PPAS 백업·복구 시스템 / 데이터 레이크하우스
KT
KT의 PostgreSQL(PPAS) 백업을 HDFS 위 Parquet·Apache Iceberg 테이블로 구성해 백업 스토리지를 150TB에서 7.53TB로 약 95% 줄였다.
- 과제
- PostgreSQL(PPAS) 전체 백업이 150TB를 차지.
- 설계
- Sqoop으로 추출해 Parquet로 HDFS에 저장하고 Apache Iceberg 테이블로 구성. 백업을 시간/일/주/월 계층으로 분류해 보존과 비용을 균형.
- 근거
- 스냅샷 격리와 스키마 진화 때문에 Hive 테이블 대신 Iceberg를 선택. 원본 스키마가 바뀌어도 이력을 다시 만들 필요가 없다.
- 결과
- 백업 스토리지 150TB → 7.53TB (약 95% 절감). 컬럼형 Parquet로 복구 속도와 저장 효율 개선.
- 스택
- Apache Iceberg, Parquet, HDFS, Sqoop, Hive, PostgreSQL
관련 프로젝트
- 실시간 분석 플랫폼 고도화
- MartDB 생성형 AI 데이터 에이전트 (GPT-4o)
- Airflow DAG 배치 스케줄링 환경
- 보험 시스템 온프레미스 → AWS 마이그레이션
- iOS/Android QA 자동화
- 문서 플랫폼 PoC 시리즈 — localization.md의 전신
- GitHub 단일 파일 연산 라인 챌린지