vLLM

오늘은 vLLM 에대해서 간단하게 알아보고 설치하는 방법까지 알아보려고 한다.1. vLLM 이란?vLLM은 Versatile Large Language Model Serving System의 약자로, 대규모 언어 모델(LLM)을 효율적으로 서빙하기 위한 오픈소스 라이브러리이다.높은 처리량과 낮은 지연 시간을 목표로 설계되었으며, 특히 GPU 환경에서 LLM 추론 성능을 극대화해 준다는 특징이 있으며,VLLM은 PagedAttention, 최적화된 CUDA 커널, 텐서 병렬 처리 등 다양한 기술을 활용하여 빠른 추론 속도를 제공한다. GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine f..