LiteLLM 1강

LiteLLM은 OpenAI·Anthropic·Google·AWS Bedrock 등 140개 이상의 LLM 공급자를 하나의 인터페이스로 묶어 주는 오픈소스 AI 게이트웨이다. 공급자마다 제각각인 SDK·요청 형식·에러 타입을 OpenAI Chat Completions 포맷 하나로 통일해, 모델을 바꿔도 애플리케이션 코드는 그대로 둘 수 있다.

Netflix·Stripe·NVIDIA 같은 곳이 모델 교체 때마다 반복되는 보안 검토·조달을 없애려고 LiteLLM으로 모델 접근을 중앙화한다.

이 강의 목표는 다음과 같다.

• LiteLLM이 무엇이고 왜 필요한지 이해한다.
• 두 가지 사용 형태(SDK·Proxy)의 차이를 안다.
• 설치하고 첫 호출을 준비한다.

1. 왜 필요한가

공급자를 직접 붙이면 OpenAI는 openai SDK, Anthropic은 anthropic SDK로 코드가 갈라지고, 에러·재시도·비용 계산도 따로 짜야 한다. LiteLLM은 이 모두를 표준화한다. 모델 문자열만 바꾸면 공급자가 바뀌므로, A/B 비교·가격 최적화·장애 대비가 쉬워진다.

2. 두 가지 사용 형태

• SDK(라이브러리): 파이썬 코드에 import 해서 직접 호출. 개인·소규모·빠른 실험에 적합.
• Proxy(게이트웨이): 독립 서버로 띄워 여러 앱·팀이 공유. 가상 키·예산·로깅·가드레일을 중앙에서 관리. 운영 환경에 적합.

3. 설치

pip install litellm                 # SDK
pip install 'litellm[proxy]'        # 게이트웨이 서버까지
# 또는 Docker 로 게이트웨이 실행
docker run ghcr.io/berriai/litellm:main-latest

핵심 명령·용어

예제

from litellm import completion
resp = completion(
    model="openai/gpt-4o",
    messages=[{"role": "user", "content": "LiteLLM을 한 줄로 설명해줘"}],
)
print(resp.choices[0].message.content)

해설) model에 공급자/모델 문자열만 주면 된다. 뒤 강의에서 이 한 줄이 스트리밍·멀티공급자·라우팅·게이트웨이로 확장된다.