Databricks 데이터 엔지니어 12강

이번 강은 레이크하우스의 데이터 모델링 — 메달리온 아키텍처와 스타 스키마를 다룬다.

데이터를 어떤 계층으로 나누고, 최종 분석층을 어떤 구조로 만들지가 파이프라인 설계의 뼈대다.

이 강의 목표는 다음과 같다.

• 메달리온(Bronze/Silver/Gold) 각 층의 책임을 안다.
• 스타 스키마의 팩트·차원을 구분한다.
• 각 층에 무엇을 두는지 설계한다.

1. 메달리온 아키텍처

품질을 단계적으로 끌어올리는 3계층 패턴이다.

층	책임	특징
Bronze	원천 그대로 수집(raw)	스키마 최소·이력 보존, append
Silver	정제·정합·조인(cleaned)	중복 제거·형변환·검증
Gold	집계·비즈니스(agg)	BI·리포트·ML 피처

Bronze는 원본을 그대로 두어 언제든 재처리할 수 있게 한다.

2. 스타 스키마

Gold 층은 보통 스타 스키마로 모델링한다.

• 팩트(Fact): 측정치(매출액·수량)와 외래키를 담는 중심 테이블. 행이 많다.
• 차원(Dimension): 팩트를 설명하는 맥락(날짜·고객·상품·지역). 상대적으로 작다.
• 팩트를 차원이 별처럼 둘러싼 형태라 스타 스키마다.

3. 차원 이력

차원이 바뀌면 11강의 SCD로 이력을 관리한다. 예: 고객 등급이 바뀌어도 과거 팩트는 당시 등급과 연결.

4. 설계 원칙

• Bronze는 최소 변형·append-only로 재현성 확보.
• Silver에서 품질을 보장(제약·검증).
• Gold는 소비 패턴(대시보드·집계)에 맞춰 비정규화·집계.

예제

예제) 일별 지역별 매출 대시보드를 만들어야 한다. 어떤 층·구조로 설계하나?

해설) Bronze에 원천 주문을 그대로 적재하고, Silver에서 정제·조인한다. Gold에는 매출 측정치를 담은 팩트 테이블과 날짜·지역·상품 차원 테이블을 스타 스키마로 둔다. 대시보드는 팩트를 차원으로 필터·그룹핑해 일별·지역별로 빠르게 집계한다.

샘플 문제

문) 스타 스키마에서 측정치(매출액 등)와 외래키를 담는 중심 테이블은?

• (A) 차원(Dimension) 테이블
• (B) 팩트(Fact) 테이블
• (C) Bronze 테이블
• (D) 뷰

정답: (B). 팩트 테이블이 측정치와 차원 외래키를 담는 중심이며, 차원 테이블이 이를 설명하는 맥락을 제공한다.

정리

• 메달리온은 Bronze(raw)→Silver(정제)→Gold(집계)로 품질을 올린다.
• Bronze는 append-only로 재현성을 확보한다.
• Gold는 팩트(측정치)를 차원(맥락)이 둘러싼 스타 스키마로 모델링.
• 차원 이력은 SCD로 관리한다.

다음 강에서는 이 파이프라인의 성능을 최적화한다.