LiteLLM — MyBlog

David Lee · 2026년 7월 29일

LiteLLM 12강

[운영] 프로덕션 배포 & 총정리

마지막으로 게이트웨이를 프로덕션에 배포한다. 컨테이너 이미지로 여러 레플리카를 띄우고, Postgres키·지출와 Redis캐시·라우팅 상태를 붙인다. Rust 기반 게이트웨이는 P99 오버헤드 0.66ms, 초당 2,800+ 요청을 낮은 자원으로 처리한다. 이 강의 목표는 dockerc…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 28일

LiteLLM 11강

[보안] 가드레일 & 인증

운영 게이트웨이는 개인정보 유출·프롬프트 인젝션을 막아야 한다. LiteLLM은 호출 전입력·후출력에 가드레일을 끼워 PII를 마스킹하고 악성 입력을 차단한다. 기업용으로는 SSO·JWT·RBAC·감사로그·에어갭 배포를 지원한다. 이 강의 목표는 config에 가드레일을 붙이고, 인증·…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 27일

LiteLLM 10강

[거버넌스] 가상 키 & 예산·RBAC

게이트웨이를 여럿이 쓰면 "누가 얼마나 쓰는가"를 통제해야 한다. LiteLLM은 마스터 키로 가상 키virtual key를 발급하고, 키마다 예산·속도 한도·허용 모델을 건다. 지출이 상한을 넘으면 자동 차단된다. 이 강의 목표는 게이트웨이에 마스터 키·DB를 붙이고, 팀·유저별 가상…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 26일

LiteLLM 9강

[게이트웨이] Proxy 기초 — config.yaml

지금까지는 SDK였다. Proxy게이트웨이는 LiteLLM을 독립 서버로 띄워 여러 앱·팀이 공유하게 한다. 앱은 base_url만 게이트웨이로 바꾼 OpenAI 클라이언트로 호출하고, 모델·키 관리는 게이트웨이가 중앙에서 맡는다. 이 강의 목표는 config.yaml로 모델을 등록하고…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 25일

LiteLLM 8강

[관측] 비용 추적 & 콜백·로깅

운영에서는 "이 호출이 얼마였나, 어디서 실패했나"를 알아야 한다. LiteLLM은 응답의 토큰으로 달러 비용을 계산하고, 콜백으로 Langfuse·Datadog·S3 같은 관측 도구에 모든 호출을 자동 전송한다. 이 강의 목표는 호출별 비용을 구하고, 성공·실패 콜백과 커스텀 로거를 …

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 24일

LiteLLM 7강

[최적화] 캐싱 — 응답·시맨틱 캐시

같은 질문을 매번 LLM에 보내면 돈과 시간이 낭비된다. 캐싱은 동일또는 의미가 비슷한 요청의 응답을 저장해 두었다가 즉시 반환한다. 캐시 HIT는 지연이 거의 0이고 추가 비용도 0이다. 이 강의 목표는 인메모리·Redis·시맨틱 캐시를 켜고, 캐시 동작을 제어하는 것이다. 1. 캐시…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 22일

LiteLLM 6강

[라우팅] Router — 로드밸런싱 & 폴백

Router는 같은 모델의 여러 배포다른 키·리전·공급자를 하나의 풀로 묶어 부하를 분산하고, 한도 초과·장애 시 자동으로 폴백한다. 대량 트래픽에서 429를 회피하고 가용성을 높이는 핵심 도구다. 이 강의 목표는 model_list로 배포 풀을 구성하고, 라우팅 전략과 폴백을 설정하는…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 21일

LiteLLM 5강

[SDK] 예외 처리 & 자동 재시도

공급자마다 에러 형식이 다르지만, LiteLLM은 모든 에러를 OpenAI 예외 타입으로 매핑한다. 덕분에 기존 try/except 코드를 그대로 쓸 수 있고, num_retries로 일시적 오류를 자동 재시도한다. 이 강의 목표는 주요 예외 타입을 알고, 재시도·타임아웃·폴백을 조합해…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 20일

LiteLLM 4강

[SDK] 멀티 공급자 & 모델 네이밍

LiteLLM의 핵심 규칙은 model 문자열이 공급자/모델 형태라는 것이다. 접두어가 라우팅을 결정하므로, 문자열만 바꾸면 공급자가 바뀐다. 코드·에러 처리·응답 파싱은 그대로다. 이 강의 목표는 주요 공급자의 모델 네이밍과 인증 키 설정법을 익혀, 한 코드에서 여러 공급자를 자유롭게…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 19일

LiteLLM 3강

[SDK] 스트리밍 & 비동기

응답을 통째로 기다리면 사용자 체감이 느리다. 스트리밍은 토큰이 생성되는 즉시 흘려보내 첫 글자가 빨리 뜨게 한다. 비동기acompletion는 여러 호출을 동시에 처리해 처리량을 높인다. 둘 다 completion과 같은 인자를 쓴다. 이 강의 목표는 스트리밍으로 실시간 출력을 만들고…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 18일

LiteLLM 2강

[SDK] completion() & 응답 구조

LiteLLM의 심장은 completion 함수 하나다. model과 messages만 주면, 어떤 공급자든 OpenAI Chat Completions 포맷으로 응답을 돌려준다. 응답 접근 방식이 항상 같으므로 공급자를 바꿔도 파싱 코드를 고칠 필요가 없다. 이 강의 목표는 messag…

1분 읽기 · 👏 0 · 💬 0

David Lee · 2026년 7월 17일

LiteLLM 1강

[개요] 통합 게이트웨이 · SDK vs Proxy

LiteLLM은 OpenAI·Anthropic·Google·AWS Bedrock 등 140개 이상의 LLM 공급자를 하나의 인터페이스로 묶어 주는 오픈소스 AI 게이트웨이다. 공급자마다 제각각인 SDK·요청 형식·에러 타입을 OpenAI Chat Completions 포맷 하나로 통일해…

1분 읽기 · 👏 0 · 💬 0