Databricks 데이터 엔지니어

Databricks Certified Data Engineer Associate·Professional 자격증 대비 강의

글 16편

David Lee · 2026년 7월 16일

Databricks 데이터 엔지니어 16강

[Professional] 테스트 & 배포 — CI/CD·Asset Bundles

Professional 마지막 강은 파이프라인의 테스트와 배포CI/CD를 다룬다. 노트북을 손으로 옮기는 대신, 코드를 버전관리하고 자동 테스트·환경별 배포로 신뢰성 있게 운영한다. 이 강의 목표는 다음과 같다. Repos와 Git으로 코드를 버전관리한다. 단위·통합 테스트를 자동화한다…
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 7월 12일

Databricks 데이터 엔지니어 15강

[Professional] 모니터링 & 로깅

이번 강은 파이프라인을 관측하는 모니터링과 로깅을 다룬다. 성능 병목을 찾고, 잡 실패를 감지하며, 접근을 감사하려면 어떤 도구를 보는지 알아야 한다. 이 강의 목표는 다음과 같다. Spark UI와 Query Profile로 병목을 진단한다. 시스템 테이블로 사용량·감사를 조회한다. …
1분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 7월 9일

Databricks 데이터 엔지니어 14강

[Professional] 보안 & 거버넌스 — Unity Catalog 심화

이번 강은 Unity Catalog 기반의 보안과 거버넌스를 심화한다. Associate에서 GRANT 기초를 봤다면, 여기서는 3단 이름공간·계보·동적 뷰·서비스 주체로 세밀한 통제를 다룬다. 이 강의 목표는 다음과 같다. 3단 이름공간과 중앙 거버넌스를 이해한다. 동적 뷰로 행·열 …
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 7월 5일

Databricks 데이터 엔지니어 13강

[Professional] 성능 최적화 & 파티셔닝

이번 강은 스파크 잡의 성능 최적화를 다룬다. 느린 쿼리의 대부분은 셔플·조인·파티셔닝에서 비롯된다. 원인을 이해하고 튜닝 도구를 적용한다. 이 강의 목표는 다음과 같다. 셔플이 왜 비싼지 이해한다. 브로드캐스트 조인·AQE를 활용한다. 파티셔닝·캐싱을 올바르게 쓴다. 1. 셔플 Shu…
1분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 7월 1일

Databricks 데이터 엔지니어 12강

[Professional] 데이터 모델링 — 메달리온 + 스타 스키마

이번 강은 레이크하우스의 데이터 모델링 — 메달리온 아키텍처와 스타 스키마를 다룬다. 데이터를 어떤 계층으로 나누고, 최종 분석층을 어떤 구조로 만들지가 파이프라인 설계의 뼈대다. 이 강의 목표는 다음과 같다. 메달리온Bronze/Silver/Gold 각 층의 책임을 안다. 스타 스키마…
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 6월 23일

Databricks 데이터 엔지니어 10강

[Professional] 고급 스트리밍 — 상태·워터마크·윈도우

이번 강은 상태state를 다루는 고급 스트리밍을 다룬다. 집계·조인 같은 연산은 과거 데이터를 기억해야 한다. 이 상태를 어떻게 관리하고, 늦게 도착하는 데이터를 어떻게 처리하는지가 핵심이다. 이 강의 목표는 다음과 같다. 이벤트 시간과 워터마크의 개념을 안다. 윈도우 집계와 상태 관…
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 6월 15일

Databricks 데이터 엔지니어 8강

[Associate] 프로덕션 파이프라인 & 거버넌스

Associate 마지막 강은 파이프라인을 운영하는 프로덕션 Job과 거버넌스를 다룬다. 개발한 노트북·DLT를 자동으로 실행하려면 Job으로 스케줄링하고, Unity Catalog로 접근 권한을 통제해야 한다. 이 강의 목표는 다음과 같다. 멀티태스크 Job으로 워크플로를 구성한다. …
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 6월 8일

Databricks 데이터 엔지니어 6강

[Associate] 증분 처리 — Structured Streaming·Auto Loader

이번 강은 계속 도착하는 데이터를 다루는 증분 처리 — Structured Streaming과 Auto Loader를 다룬다. 배치는 매번 전체를 다시 읽지만, 증분 처리는 새로 들어온 부분만 처리한다. 메달리온 아키텍처의 Bronze 적재가 대표 사례다. 이 강의 목표는 다음과 같다.…
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 6월 4일

Databricks 데이터 엔지니어 5강

[Associate] Spark SQL로 ELT (2) — 고급 변환·UDF

이번 강은 ELT의 두 번째로, 중첩 데이터와 고차 함수·UDF 같은 고급 변환을 다룬다. 실제 데이터는 JSON처럼 배열·구조체가 중첩된 경우가 많다. Spark SQL은 이를 다루는 강력한 함수를 제공한다. 이 강의 목표는 다음과 같다. 중첩 구조struct·array에 접근·전개한…
2분 읽기 · 👏 0 · 💬 0
David Lee · 2026년 5월 28일

Databricks 데이터 엔지니어 3강

[Associate] 관계형 엔티티 — Managed vs External

이번 강은 데이터베이스·테이블·뷰 같은 관계형 엔티티와 저장 방식을 다룬다. Databricks에서 테이블을 만드는 방법은 여러 가지이고, 특히 관리형Managed과 외부External 테이블의 차이는 시험에 자주 나온다. 이 강의 목표는 다음과 같다. 메타스토어·카탈로그·스키마·테이블…
2분 읽기 · 👏 0 · 💬 0