Architeture 수정

Project Architeture

Version 1

Version 2

• 기존의 ETL 파이프라인 대거 수정 -> link

• Flutter -> React

Version 3

• 크롤링 서버 수정 -> link

Version 4

• Spring WebSocket, Spring Scheduler 추가 실시간성 개선 -> link

Version 5

• To Do

  • Airflow + Kafka로 데이터 파이프라인 리팩터링

  • 스케줄러에 Celery, Rabbitmq 붙이기

  • Spring Stomp (with React) 로 리팩터링

  • Spring Batch(or scheduler)로 리팩터링 -> 스케줄러로 함

  • 기존의 Spring Boot API 개선 -> 좀 깊게 딥다이브 & 디테일 챙기기

  • ETL 파이프라인에서 데이터 처리 파이프라인 추가

    • 원본 백업, 처리, 실시간

    • 데이터 신뢰성 보장

  • 데이터 중복 처리, 그 방지

  • (하고싶음) 기존의 추천 기능 고도화 (설문, 기타 학습 데이터 등등)

  • (할 수 있으려나) 데이터 기반 AI 예측 기능 추가

  • (시도) 카프카에서 DB, Spring Boot로 가는 경우 구현해보기

Excalidraw Plus+

• Figma하는 것 같기도 하고.. 비효율적인 것 같기도 하고... 취업은 안하고 이러는 것이 맞나 싶기도 하고..

• 아무튼 아래 그림은 가능한 아키텍처 경우의 수다. 실제로 맞는지 모르겠고... 나름 열심히 찾아보고 수정했지만

• 일단 직감적으로 생각나는대로 '이거 가능하지 않나?' ,'이렇게 해도 될 것 같은데' 이런거 그냥 그린거다.

• 이 정도면 그래도... 7달라 뽕은 뽑은 듯 싶다.

ETC

Basic Data Pipeline

P

Logging

Monotioring