LiteLLM

LiteLLM 11강

[보안] 가드레일 & 인증

David Lee 2026년 7월 28일 · 1분 읽기

운영 게이트웨이는 개인정보 유출·프롬프트 인젝션을 막아야 한다. LiteLLM은 호출 전(입력)·후(출력)에 가드레일을 끼워 PII를 마스킹하고 악성 입력을 차단한다. 기업용으로는 SSO·JWT·RBAC·감사로그·에어갭 배포를 지원한다.

LiteLLM 11강 구성도

이 강의 목표는 config에 가드레일을 붙이고, 인증·접근제어 옵션을 이해하는 것이다.

1. 가드레일 설정

guardrails:
  - guardrail_name: pii-mask
    litellm_params:
      guardrail: presidio       # PII 탐지·마스킹
      mode: pre_call            # 호출 전 입력 검사
  - guardrail_name: injection
    litellm_params:
      guardrail: lakera         # 프롬프트 인젝션 차단
      mode: pre_call

mode는 pre_call(입력)·post_call(출력)·during_call(병렬 검사) 중 선택한다. 출력에서 PII를 지우려면 post_call을 쓴다.

2. 호출 시 가드레일 지정

resp = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role":"user","content":"내 카드번호는 4111-1111-1111-1111"}],
    extra_body={"guardrails": ["pii-mask"]},
)

3. 기업 인증·접근제어

기능 설명
SSO / JWT Okta·Azure AD 등 기업 로그인
RBAC 역할별 모델·엔드포인트 권한
감사 로그 전 요청·키 변경 기록
에어갭 외부 통신 없는 폐쇄망 배포

핵심 명령·용어

이름 뜻
guardrails 입출력 검사 규칙 목록
mode: pre_call 호출 전 입력 검사
presidio / lakera PII·인젝션 가드레일
RBAC 역할 기반 접근 제어

예제

# 특정 팀 키만 고급 모델 허용(RBAC 성격)
model_list:
  - model_name: gpt-4o
    litellm_params: {model: openai/gpt-4o}
    model_info: {access_groups: ["premium"]}

해설) 가상 키를 발급할 때 allowed_model_group을 premium으로 제한하면, 그 키는 프리미엄 모델만 부를 수 있다. 가드레일·RBAC·예산이 함께 게이트웨이의 거버넌스를 이룬다.

댓글 0