GOAT : Data Pipeline Toy Project
GOAT는 지금 듣고있는 노래 제목이다... 참고로 저스디스 노래다.
데이터 수집, 처리, 적재 및 시각화 프로젝트를 여럿 진행하며 시도해보고 싶었던 것들을 적용한 간단한 프로젝트다.
서비스 목적의 프로젝트는 아니다.
관련 토이 프로젝트를 진행한 이유는 본 프로젝트를 진행하며 '이 아키텍쳐로는 안될까? 가능할 것 같은데' 했던 궁금증들을 직접 구현하며 해결해보는 것이었다.
툴을 사용해서 아키텍쳐를 그려봐도 경우의 수도 수십개 나오고 정리도 안되고, 도저히 감이 잡히질 않아 직접 해본 것이다.
구현 하면서 부족한 것들이 계속 보이지만 그래도 머릿속으로만 생각했을 때와 직접 구현했을 때랑 비교해보면 후자가 훨씬 더 잘 와닿는다.
Data Collection and Storage System - (2)
여기서 피드백 받은거 수정 크롤러도 airflow로 관리
피드백 받은 아키텍처가 더 깔끔하고 관리도 편하고, 피드백을 준 친구 말로는 현업에서도 보편적으로 사용하는 방법이다.
Last updated