Publications

거대 언어 모델의 일괄 추론 수준에 따른 추론 시간, 정확도, 통신 및 GPU 메모리 점유량 비교분석

한국통신학회논문지 (J-KICS), Vol. 49, No. 10, pp. 1377-1385 (2024)

신창용, 고영훈, 유연호, 양경식, 유혁

Download PDF · Publisher / DOI

Abstract

V100 GPU 네 대에서 LLaMA-30B를 구동해 배치 크기와 병렬화 방식에 따른 추론 시간, 정확도, PCIe 송수신률과 GPU 메모리 사용량을 비교했습니다. 텐서 병렬화 계열의 GPU당 평균 PCIe 송수신률은 모델 병렬화보다 최대 292배였습니다. 커널 병합에서 배치 크기 32를 수용하려고 생성 토큰을 23개로 제한한 조건에서는 HellaSwag 정확도가 약 82%에서 26%로 떨어졌습니다.

Paper summary

일괄 추론의 GPU 통신과 메모리

여러 요청을 한꺼번에 처리하면 거대 언어 모델의 GPU 통신과 메모리 부담이 어떻게 달라지는지 측정했습니다.

배치가 커지면 한 번에 처리하는 요청이 늘지만, 여러 GPU에 모델을 나눠 올린 경우에는 GPU 사이 통신과 메모리 사용량도 달라집니다. 이 논문은 모델을 나누는 방식과 커널 융합 여부에 따라 배치 크기가 추론 시간과 정확도에 어떤 영향을 주는지 비교했습니다.

실험 구성

PCIe 3.0으로 연결한 V100 32GB 4장에서 LLaMA-30B로 HellaSwag를 실행했습니다. 모델 병렬화와 텐서 병렬화에서는 1부터 64까지 두 배씩 배치를 늘렸습니다. 텐서 병렬화에 DeepSpeed 커널 융합을 더한 경우에는 메모리 한계로 배치 32까지만 결과를 냈습니다.

GPU별 PCIe 송수신 속도

텐서 병렬화 계열의 GPU별 평균 PCIe 송수신 속도(GB/s)는 모델 병렬화보다 최대 292배 높았습니다.

커널 융합 시 생성 토큰 수

커널 융합 실험의 배치 32에서는 생성 토큰을 23개로 줄여야 했고, 이때 정확도는 약 82%에서 약 26%로 떨어졌습니다. 배치 64에서는 GPU 메모리가 부족해 실행하지 못했습니다.