Airflow DAG 배치 스케줄링 환경
KT
KT의 Crontab 기반 Spark·프로시저 배치를 Docker 위 Airflow DAG로 전환해 명시적 태스크 의존성과 웹 기반 모니터링을 갖췄다.
- 과제
- Crontab 기반 배치는 의존성 제어와 가시성이 없음.
- 설계
- Spark·프로시저·Crontab 배치를 분석해 Airflow DAG로 전환. 명시적 태스크 의존성, Docker 환경, 웹 기반 실행 모니터링.
- 결과
- 태스크 단위 장애 추적, 웹에서 로그·스케줄 확인, Docker로 유지보수성 개선.
- 스택
- Apache Airflow, Docker, Spark, PostgreSQL
관련 프로젝트
- PPAS 백업·복구 시스템 / 데이터 레이크하우스
- 실시간 분석 플랫폼 고도화
- MartDB 생성형 AI 데이터 에이전트 (GPT-4o)
- 보험 시스템 온프레미스 → AWS 마이그레이션
- iOS/Android QA 자동화
- 문서 플랫폼 PoC 시리즈 — localization.md의 전신
- GitHub 단일 파일 연산 라인 챌린지