[Problem-Solving]

데이터 파이프라인 개선

• 문제: 기존 FastAPI와 APScheduler 방식에서 대규모 센서 데이터를 수집할 때 성능 저하와 확장성, 유지보수 한계

• 해결 방안

  • Kafka를 통해 실시간 데이터 스트리밍을 도입하여 전송 속도 및 비동기 데이터 처리를 개선

  • Airflow를 도입해 데이터 수집 스케줄링과 작업 자동화를 구현하고, 오류 복구 기능을 적용

  • FastAPI + APScheduler에서 Airflow + Kafka로 전환, 확장성 및 유지보수성 문제 해결

• 결과: 데이터 처리 성능과 응답 시간이 개선되고, 시스템 확장성과 유지보수 용이성 향상

센서 데이터 실시간 동기화

• 문제: 실시간 정보와 데이터 동기화가 정확하지 않아 사용자 경험이 저하됨

• 해결 방안

  • Kafka 파이프라인을 이중화하여 MySQL 저장과 동시에 실시간 전송 처리

  • STOMP와 WebSocket을 활용해 실시간 데이터를 프론트로 전송, 사용자 새로고침 기능 추가

  • Redis을 도입해 15분 단위 데이터를 저장하고 24시간 유지하며 빠른 데이터 접근 지원

• 결과: 실시간 데이터 처리 성능과 UI 반영 속도 개선, 사용자 경험 향상