김광현

• Python, PHP, Java
• Apache Spark, Apache Airflow, Apache Kafka, Apache Flink
• Laravel, Composer
• MVP

• Linux
• Nginx, Apache
• AWS EC2, AWS S3
• MySQL

• Html / CSS
• JS, Jqeury
• Json, Ajax

웹 페이지 백앤드 개발을 맡아했습니다.

퍼블리싱 된 프론트에 기능을 추가하고 서버에서 필요한 데이터를 가져와 뿌려주는 작업을 했습니다. 카카오맵 API를 사용해 다중오버레이 작업을 했고, 폴더에 저장된 텍스트 파일을 한줄씩 읽어와 데이터를 뿌려주는 기능을 구현했습니다. 개발자체는 어렵지 않았지만 처음으로 누군가가 요구하는 기능을 만들면서 개발과정에서 소통의 중요성을 이해할 수 있었던 시간이었습니다.

사용 기술 요약

• PHP Laravel Framwork
• KakaoMap API

우버 모빌리티 데이터로 실시간 빅데이터 처리를 실습하면서 ETL 방식에서 ELT 흐름으로 넘어가는 모던 데이터 엔지니어링 아키텍쳐를 학습.

과거 데이터와 실시간 데이터를 기반으로 배치 파이프라인과 스트림 파이프라인을 동시에 사용하는 ML 데이터 학습과 서빙 파이프라인을 설계합니다. 오케스트레이션 데이터 엔지니어링 스케쥴링 이해, 학습

사용 기술 요약

• Apache Spark
  • 배치 데이터 분석
  • Data Preprocessing
  • Hyper Parameter 파이프라인
  • ML 예측 모델 학습 파이프라인
• Apache Airflow
  • 배치 데이터 가공, 저장 파이프라인 DAG 설계
  • Data Preprocessing -> Train/Test 데이터 저장
  • Hyper Parameter 학습 -> 파라미터 csv 파일로 저장
  • Train Model -> 학습 된 모델을 저장
  • 위 과정을 에어플로우 DAG의 작업화(Task) 하고 의존성 추가
• Apache Kafka
  • 카프카 실시간 빅데이터 처리 실습
  • 카프카를 활용한 Fraud Detection Sub Project
• Apache Flink
  • 스트림 데이터 프로세싱 실습
  • 플링크를 활용한 Twitter API RealTime Stream Process Sub Project
  • 배치 데이터 모델을 실시간 택시비 예측에 사용하기

건강상의 문제로 약 1년여만에 개발 공부를 다시 시작하게 된 후 제작한 웹 사이트입니다. 휴식기간 동안 가끔 즐기던 게임인 메이플스토리의 경매장을 모티브삼아 웹사이트로 만들어보았습니다. 개발 목적은 개발에 대한 감각을 되살리고 여러가지 조건에 쿼리문을 다양하게 적용해보고 싶었습니다. 자세한 내용은 깃허브에 정리해두었습니다.

사용 기술 요약

• bootstrap5
• PHP PDO
• DB transaction, DB triger

웹 서버를 처음 구현하면서 백엔드에 대한 이해가 생기는 좋은 시간이었습니다. 직접 APM을 구성하고 리눅스에서 터미널 명령어를 다뤄보면서 내가 개발고수가 된 느낌이 들면서 이때부터 백앤드 개발자가 되어야겠다고 다짐했습니다. 자세한 내용은 깃허브에 정리해두었습니다.

사용 기술 요약

• CRUD
• 세션, 쿠키
• SMTP 이메일 서비스
• 댓글 : disqus API
• 스팸방지 : recaptcha2 API
• Summernote : ajax 다중이미지 처리
• 썸네일 : 이미지 압축

• 실무 데이터 처리의 End - End 학습
• 우버 모빌리티 데이터로 실시간 빅데이터 처리 실습
• 일괄처리 VS 실시간 빅데이터 처리 비교 학습
• 오케스트레이션으로 데이터 엔지니어링 스케쥴링 학습

• 인공지능 전반에 필요한 기초 습득
• 머신러닝을 위한 라이브러리 Numpy, Pandas 등을 이해하고 구현
• 머신 러닝 알고리즘에 대한 이해
• 자기 주도적 학습, 팀 학습, 코칭 결합된 스터디

• 데이터 파이프라인 전체 과정 커버
• AWS와 Spark를 포함한 다양한 툴 활용
• AWS 운영, 코스트 최적화 노하우
• 실무와 유사한 환경 실습

• 컴퓨터 과학의 기초 개념 이해
• C를 이용한 배열, 자료구조, 알고리즘 실습
• 프로그래밍에 필요한 컴퓨팅 사고 향상
• CS강의 블로그 정리

• 4.39/4.5 졸업