LiteLLM

LiteLLM 12강

[운영] 프로덕션 배포 & 총정리

David Lee 2026년 7월 29일 · 1분 읽기

마지막으로 게이트웨이를 프로덕션에 배포한다. 컨테이너 이미지로 여러 레플리카를 띄우고, Postgres(키·지출)와 Redis(캐시·라우팅 상태)를 붙인다. Rust 기반 게이트웨이는 P99 오버헤드 0.66ms, 초당 2,800+ 요청을 낮은 자원으로 처리한다.

LiteLLM 12강 구성도

이 강의 목표는 docker-compose로 게이트웨이 스택을 띄우고, 지금까지의 12강을 하나로 꿰는 것이다.

1. docker-compose 배포

services:
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    ports: ["4000:4000"]
    environment:
      - DATABASE_URL=postgres://user:pw@db:5432/litellm
      - LITELLM_MASTER_KEY=sk-1234
      - OPENAI_API_KEY=sk-...
    volumes:
      - ./config.yaml:/app/config.yaml
    command: ["--config", "/app/config.yaml"]
  db:
    image: postgres:16
    environment: [POSTGRES_DB=litellm, POSTGRES_PASSWORD=pw]

2. 운영 체크리스트

  • 관측: success_callback으로 Langfuse/Datadog 연동(8강).
  • 가용성: Router 다중 배포·폴백으로 장애 대비(6강).
  • 비용통제: 팀·키별 예산·한도(10강).
  • 보안: 가드레일·SSO·RBAC(11강).
  • 성능: Redis 캐시로 반복 요청 절감(7강).

3. 12강 총정리

단계 강
기초 호출 ① 개요 ② completion ③ 스트리밍·비동기
멀티·견고성 ④ 멀티공급자 ⑤ 예외 ⑥ Router
최적화·관측 ⑦ 캐시 ⑧ 비용·콜백
게이트웨이 ⑨ Proxy ⑩ 가상키·예산 ⑪ 가드레일 ⑫ 배포

핵심 명령·용어

이름 뜻
DATABASE_URL 키·지출 저장 Postgres
LITELLM_MASTER_KEY 관리자 마스터 키
레플리카 게이트웨이 수평 확장 단위
Redis 캐시·라우팅 상태 공유

예제

docker compose up -d                       # 스택 기동
curl http://localhost:4000/health          # 상태 확인

해설) 이것으로 LiteLLM 12강을 마친다. SDK의 completion() 한 줄에서 시작해, 멀티공급자·라우팅·캐시·비용·게이트웨이·거버넌스·배포까지 — LLM을 다루는 애플리케이션의 뼈대를 세웠다.

댓글 0