기본 콘텐츠로 건너뛰기

글

라벨이 엘리스클라우드인 게시물 표시

GPU A100 동시 처리 측정을 위한 부하 테스트 후기 (엘리스 클라우드)

생성형 AI가 GPU 서버 위에서 돈다는 건 알고 있었다. 그런데 "이 GPU 한 장이 동시에 몇 명까지 받아주느냐"고 물으면 아무도 숫자로 답을 못 했다. 나도 못 했고. 그래서 직접 재봤다. 엘리스 클라우드에서 GPU를 시간당 빌려 모델을 하나 띄우고, 파이썬으로 요청을 한꺼번에 때려봤다. 결과가 생각과 많이 달라서 정리해 둔다.