LiteLLM 4강

LiteLLM의 핵심 규칙은 model 문자열이 공급자/모델 형태라는 것이다. 접두어가 라우팅을 결정하므로, 문자열만 바꾸면 공급자가 바뀐다. 코드·에러 처리·응답 파싱은 그대로다.

이 강의 목표는 주요 공급자의 모델 네이밍과 인증 키 설정법을 익혀, 한 코드에서 여러 공급자를 자유롭게 오가는 것이다.

1. 공급자별 네이밍

2. 인증 키

키는 표준 환경변수로 두면 LiteLLM이 자동으로 찾는다.

export OPENAI_API_KEY=sk-...
export ANTHROPIC_API_KEY=sk-ant-...
export AWS_ACCESS_KEY_ID=...        # Bedrock
export AWS_SECRET_ACCESS_KEY=...

3. 같은 코드, 공급자만 교체

from litellm import completion
msgs = [{"role": "user", "content": "한 문장 자기소개"}]

for m in ["openai/gpt-4o",
          "anthropic/claude-sonnet-4",
          "ollama/llama3"]:           # 로컬 무료
    r = completion(model=m, messages=msgs)
    print(m, "→", r.choices[0].message.content[:30])

핵심 명령·용어

예제

# 사내 호환 엔드포인트나 프록시로 붙일 때
r = completion(
    model="openai/gpt-4o",
    messages=msgs,
    api_base="https://my-gateway.internal/v1",
    api_key="sk-internal",
)

해설) api_base로 OpenAI 호환 엔드포인트를 지정하면, vLLM·사내 게이트웨이 등 어떤 호환 서버든 같은 코드로 호출할 수 있다.