Paper summary
일괄 추론의 GPU 통신과 메모리
여러 요청을 한꺼번에 처리하면 거대 언어 모델의 GPU 통신과 메모리 부담이 어떻게 달라지는지 측정했습니다.
배치가 커지면 한 번에 처리하는 요청이 늘지만, 여러 GPU에 모델을 나눠 올린 경우에는 GPU 사이 통신과 메모리 사용량도 달라집니다. 이 논문은 모델을 나누는 방식과 커널 융합 여부에 따라 배치 크기가 추론 시간과 정확도에 어떤 영향을 주는지 비교했습니다.
실험 구성
PCIe 3.0으로 연결한 V100 32GB 4장에서 LLaMA-30B로 HellaSwag를 실행했습니다. 모델 병렬화와 텐서 병렬화에서는 1부터 64까지 두 배씩 배치를 늘렸습니다. 텐서 병렬화에 DeepSpeed 커널 융합을 더한 경우에는 메모리 한계로 배치 32까지만 결과를 냈습니다.
GPU별 PCIe 송수신 속도
텐서 병렬화 계열의 GPU별 평균 PCIe 송수신 속도(GB/s)는 모델 병렬화보다 최대 292배 높았습니다.
커널 융합 시 생성 토큰 수
커널 융합 실험의 배치 32에서는 생성 토큰을 23개로 줄여야 했고, 이때 정확도는 약 82%에서 약 26%로 떨어졌습니다. 배치 64에서는 GPU 메모리가 부족해 실행하지 못했습니다.