About Me
現 놀 유니버스 데이터 엔지니어
데이터가 가진 힘을 믿고, 데이터로 더 큰 가치를 만들고 싶은 3년차 데이터 엔지니어입니다.
전사 데이터 플랫폼팀에서 EDW 배치 파이프라인을 구축하고 있으며, 인프라 최적화 설계·운영을 목표하고 있습니다.
새로운 기술을 빠르게 흡수하고, 문제를 멀리 내다보며 해결책을 찾아가는 것을 즐깁니다.
Skills
Language & Processing
Python / SQL / Spark / Hive
Orchestration & Platform
Airflow / Nifi / Databricks / Trino / Tableau / Redash
Infrastructure & DevOps
AWS / Kubernetes / Git / Terraform / Docker
In Nol-Universe
2022.09 - 현재 (3년 1개월)
데이터 인프라 구축 및 최적화
EKS, EMR, Presto, Terraform, Nifi, Hive
- DataHub 메타 솔루션을 EKS 기반으로 구축 및 CI 효율화 (빌드 시간 40% 단축)
- 도메인별 Presto 인프라 분리, 조회 안정성 및 성능 개선
- Terraform 기반 인프라 코드화 및 오토스케일링 도입으로 비용 41%~60% 절감
- NiFi 기반 Triple 배치 SLA 개선으로 배치 종료 시각 4시간 단축
- 레거시 인프라 정리로 연간 약 6천만원 누수 비용 감축
데이터 파이프라인 개발
Airflow, MongoDB, Spark
- Airflow 기반 파이프라인을 구축해 MongoDB 원천 데이터를 표준 JSON으로 정규화하고 Spark 확장으로 성능 개선
- TripleKorea 전체 파이프라인 ST-AGG 구성
- 기타: 각종 ETL 파이프라인 구축 및 모듈 작성, 서비스별 지표 생성, 드라이버 업데이트 지원
데이터레이크 통합
NiFi, EMR, LakeFormation
- Tokyo 리전의 EDW 배치 및 데이터를 Seoul 리전으로 이관하여 단일 레이크 환경 구축
- NiFi·EMR 이관 테스트 및 권한·옵션 설정
- LakeFormation 기반 접근 제어 및 통합 데이터 환경 구성
- 기타: 작업중 Firebase 배치 Hive/Tez 튜닝으로 20% 시간 단축
데이터브릭스 도입 및 운영
Databricks, Delta Lake
- Databricks PoC 및 Prod 환경 구성
- 인스턴스 프로파일링·권한 설정·EMR 연동 등 인프라 이슈 대응
- Delta Lake 기반 데이터 정합성 검증 및 사내 서비스 배치 데이터브릭스로 이관
- 놀 유니버스 전사 오너쉽 이관 진행중