System Architectures

System Overview (고도화 전)

┌─────────────────────────────────────────────────────────┐
│                    Client Layer                          │
│              [Flutter Mobile App]                        │
└─────────────────────────────────────────────────────────┘
                        ↓ REST API
┌─────────────────────────────────────────────────────────┐
│                Application Layer                         │
│                                                           │
│   [FastAPI Crawler]                                     │
│     ├─ LibreView 크롤링                                   │
│     ├─ 데이터 정제 및 변환                                   │
│     └─ MySQL 저장                                         │
│              ↓                                            │
│   [Spring Boot API Server]                               │
│     ├─ Spring Scheduler (주기적 MySQL 조회)                 │
│     ├─ REST API                                          │
│     └─ Basic WebSocket                                   │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│                 Storage Layer                            │
│   [MySQL]          [MongoDB]         [AWS S3]            │
│ (센서 데이터)      (사료 정보)       (원본 백업)         │
└─────────────────────────────────────────────────────────┘

데이터 수집 흐름 (팀 프로젝트):

IoT Sensor → LibreView
                ↓
         FastAPI Crawler (크롤링 & 정제)
                ↓
         MySQL 저장
                ↓
    Spring Scheduler (주기적 조회)
                ↓
    Spring Boot API (데이터 처리 & 제공)
                ↓
         Flutter App

System Overview (고도화 후)

┌─────────────────────────────────────────────────────────┐
│                    Client Layer                          │
│              [React Dashboard (Web)]                     │
└─────────────────────────────────────────────────────────┘
                        ↓ REST API + WebSocket
┌─────────────────────────────────────────────────────────┐
│                Application Layer                         │
│   [Spring Boot API Server]                               │
│     ├─ REST API                                          │
│     ├─ WebSocket Server (STOMP)                          │
│     └─ Redis Subscriber (Pub/Sub)                        │
│                                                           │
│   [Django Crawler Service]                               │
│     └─ Celery Beat + Celery Worker                       │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│              Data Processing Layer                       │
│   [Airflow] → [Kafka] → [Spark Streaming/Batch]         │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│                 Storage Layer                            │
│   [MySQL]  [MongoDB]  [Redis]  [AWS S3]                 │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│              Monitoring Layer                            │
│   [Prometheus + Grafana]  [ELK Stack]                   │
└─────────────────────────────────────────────────────────┘

---

Core Data Flows

1. 실시간 센서 데이터 처리 (고도화 후)

IoT Sensor → LibreView → Airflow (크롤링)
                           ↓
                        Kafka Producer
                           ↓
                    Spark Streaming
                    ├─→ MySQL (분석 데이터)
                    ├─→ Redis (캐시)
                    ├─→ AWS S3 (원본 CSV)
                    └─→ Redis Pub/Sub (이상 감지 시)
                           ↓
                    Spring Boot Consumer
                           ↓
                    WebSocket → React Dashboard

2. 배치 데이터 집계

Airflow DAG (매일 02:00)
    ↓
Spark Batch Job
    ├─ S3 원본 데이터 읽기
    └─→ MySQL (일일 통계)

3. 사료 정보 크롤링

Celery Beat
    ↓
Django Crawler
    ├─ BeautifulSoup/Selenium
    └─→ MongoDB (사료 정보)