AWS 클라우드 따라잡기 17장

이번 장은 데이터 분석을 다룬다.

데이터를 모으는 것과 그 데이터에서 통찰을 얻는 것은 다른 일이다.

AWS는 저장부터 분석·시각화까지 이어지는 도구를 제공한다.

이 장의 목표는 다음과 같다.

• 데이터 레이크 개념을 이해한다.
• 분석 파이프라인의 흐름을 잡는다.
• Athena와 Redshift의 차이를 안다.

1. 데이터 레이크

데이터 레이크(Data Lake)는 모든 원천의 데이터를 원본 그대로 모아 두는 저장소다.

AWS에서는 보통 S3가 데이터 레이크의 중심이다.

• 정형(표), 반정형(JSON), 비정형(로그·이미지)을 가리지 않고 담는다.
• 저렴하고 무제한에 가까워 "일단 다 모아 두고 나중에 분석"이 가능하다.

2. 분석 파이프라인의 흐름

전형적인 흐름은 이렇다.

원천 데이터 → S3(데이터 레이크) → Glue(정리·카탈로그)
   → Athena / Redshift(분석) → QuickSight(시각화)

각 단계를 서비스로 보면 다음과 같다.

• Glue: 서버리스 ETL. 데이터를 추출·변환·적재하고, 데이터 카탈로그로 스키마를 관리한다.
• Athena: S3의 데이터에 직접 표준 SQL을 던진다. 서버가 필요 없고 스캔한 양만큼 과금.
• Redshift: 대규모 데이터 웨어하우스. 복잡한 분석 쿼리를 빠르게 처리.
• QuickSight: BI 대시보드로 결과를 시각화.

3. Athena vs Redshift

둘 다 SQL로 분석하지만 성격이 다르다.

구분	Athena	Redshift
형태	서버리스 쿼리	클러스터(웨어하우스)
데이터	S3에 그대로	웨어하우스에 적재
적합	가끔·즉석 분석	상시·대규모 반복 분석
과금	스캔량 기준	클러스터/용량 기준

가볍게 S3를 조회하면 Athena, 본격적인 데이터 웨어하우스는 Redshift다.

4. 비용을 줄이는 팁

• 데이터를 컬럼형 포맷(Parquet)으로 저장하면 스캔량이 크게 준다.
• 파티셔닝(날짜별 폴더 등)으로 필요한 부분만 읽는다.
• Athena는 스캔량 과금이므로 이 두 가지가 곧 비용 절감이다.

정리

• S3를 중심으로 모든 데이터를 모으는 것이 데이터 레이크다.
• Glue로 정리, Athena/Redshift로 분석, QuickSight로 시각화한다.
• 즉석 분석은 Athena, 대규모 반복 분석은 Redshift.
• Parquet + 파티셔닝으로 스캔량과 비용을 줄인다.

다음 장에서는 데이터를 지능으로 바꾸는 AI/ML 서비스를 다룬다.