Real-Time Equipment Monitor

Overview

[설비 실시간 가동 현황 모니터링 및 리포트 서비스]에서 Full Stack 개발을 담당했습니다. FastAPI 기반 REST API를 통해 센서 데이터를 수집하고 시각화 기능을 구현했으며, AWS Aurora의 쿼리 튜닝과 인덱스 최적화를 통해 대용량 데이터 조회 성능을 개선했습니다. AWS QuickSight를 활용해 실시간 운영 현황을 시각화하고, 운영자가 공장 상태를 직관적으로 파악할 수 있도록 대시보드를 구성했습니다. Docker 기반 컨테이너를 AWS EC2에 배포하고, React와 Highcharts.js를 사용해 관리자용 UI를 개발했습니다.

---

Timeline

Phase 1: PoC 구현

기존 서비스의 유지보수 어려움 문제를 해결하고, 고객사 맞춤형 커스터마이징이 용이한 새로운 모니터링 시스템 개발을 목표로 PoC를 진행했습니다.

FastAPI 기반 센서 데이터 수집 REST API를 설계 및 구현했으며, AWS QuickSight를 활용한 실시간 가동 현황 대시보드 프로토타입을 구축했습니다. 데이터 수집부터 시각화까지 전체 파이프라인의 기술적 타당성을 검증하고, 고객 프레젠테이션을 통해 MVP 단계로의 진행을 확정했습니다.

Phase 2: MVP 구축

PoC 검증 결과를 바탕으로 실제 운영 가능한 MVP 개발을 진행했습니다.

React 기반 관리자용 대시보드를 개발하고, AWS Aurora의 쿼리 튜닝 및 인덱스 최적화를 통해 대용량 데이터 조회 성능을 개선했습니다. Docker 기반 컨테이너화로 배포 환경을 구성하고, AWS EC2에 서비스를 배포하여 안정적인 운영 환경을 마련했습니다.

---

Key Features

1. 실시간 설비 가동 현황 모니터링

IoT 센서를 통해 수집된 설비 가동 데이터를 실시간으로 처리하고 시각화하는 모니터링 시스템을 구축했습니다. AWS QuickSight와 React 대시보드를 통해 관리자가 공장 상태를 직관적으로 파악할 수 있는 환경을 제공합니다.

핵심 기능

• 설비별 가동률 및 가동 상태를 실시간으로 확인

• 시간대별 가동 추이 그래프 및 트렌드 분석 제공

• 생산 지연률, 가동 중단 횟수 등 주요 KPI 시각화

2. 주기별 운영 리포트 자동 생성

수집된 데이터를 기반으로 주간/월간 운영 리포트를 자동 생성합니다. 리포트를 통해 공장 운영 효율성을 분석하고, 개선 포인트를 도출할 수 있습니다.

핵심 지표

• 설비별 평균 가동률

• 비가동 시간 및 원인 분석

• 생산량 대비 가동률 비교

• (월별 트렌드 및 예측 분석)

3. 고객사 맞춤형 대시보드

고객사별 요구사항에 따라 대시보드 레이아웃과 지표를 유연하게 커스터마이징할 수 있는 구조를 설계했습니다.

핵심 기능

• 대시보드 위젯 동적 구성

• 고객사별 KPI 지표 설정

• 필터링 및 데이터 범위 조정 기능

---

Architecture

PoC 시스템 아키텍처

MVP 시스템 아키텍처

전체 시스템 아키텍처

┌─────────────────────────────────────────────────────────┐
│                    Client Layer                          │
│              [React Dashboard(Highcharts.js)]                           │
│         [AWS QuickSight Dashboard]                       │
└─────────────────────────────────────────────────────────┘
                        ↓ REST API
┌─────────────────────────────────────────────────────────┐
│                Application Layer                         │
│           [FastAPI Server]                               │
│              ├─ REST API                                 │
│              ├─ 센서 데이터 수집                          │
│              └─ 데이터 처리 & 변환                        │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│                 Storage Layer                            │
│   [AWS Aurora (MySQL)]      [AWS QuickSight]             │
│    (센서 데이터)            (분석 & 시각화)               │
└─────────────────────────────────────────────────────────┘

데이터 수집 흐름

IoT Sensor → FastAPI Server (데이터 수집 & 정제)
                ↓
         AWS Aurora 저장
                ↓
    ┌───────────┴───────────┐
    ↓                       ↓
React Dashboard    AWS QuickSight
(관리자용)         (실시간 모니터링)

---

Contributions

1. 실시간 모니터링 대시보드 구축

• AWS QuickSight 대시보드

  • AWS QuickSight를 활용하여 설비 가동 현황 데이터를 시각화하고 직관적인 대시보드 설계 및 구축

  • 데이터 필터링, 대시보드 레이아웃 최적화, 주요 지표 KPI 포함하여 관리자가 가동 현황을 신속히 파악할 수 있도록 지원

• React 관리자 대시보드

  • Highcharts.js를 활용한 실시간 차트 구현

  • 설비별 가동률, 생산 지연률 등 핵심 지표 시각화

2. 대용량 데이터 조회 성능 최적화

• 쿼리 튜닝

  • AWS Aurora(MySQL)에서 복잡한 데이터 조회 쿼리를 분석하고, 쿼리 튜닝 및 인덱스 최적화를 통해 조회 속도 개선

  • 대량 센서 데이터의 효율적인 저장 및 검색을 위한 데이터베이스 스키마 설계

• 최적화 기법

  • 인덱스 추가: JOIN 비용 감축

  • 불필요한 JOIN 제거: 쿼리 구조 단순화

  • Prepared Statement 활용: 반복 쿼리 캐싱

  • WHERE 조건 최적화: Full Table Scan → Range Scan 전환

3. 센서 데이터 수집 및 API 개발

• FastAPI REST API

  • 실시간 센서 데이터 수집 및 처리용 REST API 설계 및 구현

  • 데이터 처리 파이프라인을 모듈화하여 유지보수성을 개선하고, 다양한 데이터 포맷의 요구사항에 대응 가능한 유연한 구조 구축

• 데이터 파이프라인

  • 센서 데이터 수집 → 정제 → 변환 → Aurora 저장

  • 비동기 처리로 대량 데이터 수집 성능 확보

---

Tech Stack

Backend

• Python

• FastAPI

• SQLAlchemy

Frontend

Database & Cloud

DevOps

---

Challenges

대시보드 렌더링 속도 저하 문제

[문제 상황]

대시보드 초기 로딩 시간이 1분 이상 소요되어 실시간 모니터링이 어려웠습니다. 백엔드 서버는 정상 작동했으나, 대량 센서 데이터로 인한 DB 조회 지연이 주요 원인으로 판단되었습니다.

[해결]

쿼리 실행 계획 분석

• EXPLAIN 명령어로 쿼리 실행 계획을 분석하여 병목 구간 파악

• Full Table Scan 발생 확인

• 불필요한 JOIN 및 비효율적인 인덱스 사용 확인

최적화 작업

1. 인덱스 추가: 자주 조회되는 컬럼(설비 ID, 타임스탬프)에 복합 인덱스 생성

2. JOIN 리팩토링: 불필요한 JOIN 제거 및 서브쿼리 최적화

3. Range Scan 조건 추가: WHERE 절 조건을 최적화하여 Full Scan → Range Scan 전환

4. 파티셔닝 적용: 날짜 기준 테이블 파티셔닝으로 조회 범위 축소

5. Prepared Statement: 반복 실행되는 쿼리 캐싱

[결과]

쿼리 최적화를 통해 대시보드 로딩 속도를 1분 이상 → 1초 이내로 단축하여 실시간 데이터 분석이 가능해졌습니다. 데이터가 많아질수록 효율적인 저장 및 조회 구조 설계의 중요성을 체감했습니다.

---

Tech Blog

• How to Visualize Bigdata — Part2 AWS QuickSight로 데이터 시각화하기

• How to Visualize Bigdata — Part3 쿼리 성능 튜닝