IoT Sensor Data Pipeline for Smart Factories

Overview

[IoT 센서 데이터 파이프라인 및 시각화 대시보드 서비스]에서 Data Engineer로 참여해, 센서 데이터 수집부터 시각화까지 End-to-End 파이프라인을 구축했습니다. Spring Boot 기반 REST API로 데이터를 수집/정제하고 Google BigQuery에 저장해 시계열 데이터 처리 성능을 최적화했습니다. GitLab CI로 빌드 및 배포를 자동화하고, GKE(Google Kubernetes Engine)를 활용해 안정적인 서비스 운영 환경을 구성했습니다. 운영자가 이상 징후를 실시간으로 파악할 수 있도록 Google Data Studio 기반 대시보드를 구축했습니다.

---

Timeline

Phase 1: PoC 구현 (Express.js)

초기에는 Express.js로 빠르게 PoC(Proof of Concept)를 개발했습니다. IoT Gateway에서 전송되는 온도 센서 데이터를 받아 Google BigQuery에 저장하는 기본 REST API를 구현하고, 데이터 수집 파이프라인의 기술적 타당성을 검증했습니다.

Phase 2: Spring Boot 리팩터링

PoC 검증 후, 확장성과 안정성을 위해 Spring Boot로 전면 리팩터링했습니다. 데이터 검증 로직, 에러 핸들링, 로깅 체계를 강화하고, BigQuery 스키마를 재설계하여 시계열 데이터 처리에 최적화된 구조를 구축했습니다.

Phase 3: 시각화 및 배포

Google Data Studio를 활용하여 실시간 온도 데이터 시각화 대시보드를 구축했습니다. GitLab CI를 통한 CI/CD 파이프라인을 설계하고, GKE(Google Kubernetes Engine)에 서비스를 배포하여 안정적인 운영 환경을 마련했습니다. Auto-scaling 설정으로 트래픽 변화에 대응할 수 있는 구조를 완성했습니다.

---

Key Features

1. 실시간 센서 데이터 수집

IoT Gateway에서 전송되는 온도 센서 데이터를 실시간으로 수집하고 검증하는 REST API를 구축했습니다. 데이터 품질을 보장하기 위한 검증 로직과 에러 핸들링을 구현했습니다.

핵심 기능

• REST API를 통한 센서 데이터 수집

• 데이터 유효성 검증 (범위, 포맷, 누락값)

• 에러 로깅 및 모니터링

2. 데이터 웨어하우스 구축

Google BigQuery를 활용하여 대량의 시계열 센서 데이터를 저장하고 분석할 수 있는 데이터 웨어하우스를 설계했습니다.

핵심 기능

• 시계열 데이터 최적화 스키마 설계

• 파티셔닝을 통한 쿼리 성능 향상

• 데이터 보관 정책 설정

3. 실시간 데이터 시각화

Google Data Studio를 활용하여 실시간 온도 데이터를 시각화하는 대시보드를 구축했습니다. 설비별, 시간대별 온도 추이를 직관적으로 파악할 수 있는 환경을 제공합니다.

핵심 기능

• 실시간 온도 차트 및 트렌드 분석

• 설비별 온도 비교 대시보드

• 이상 온도 알림 및 리포트

4. CI/CD 파이프라인

GitLab CI와 GKE를 활용하여 자동화된 빌드, 테스트, 배포 파이프라인을 구축했습니다.

핵심 기능

• GitLab CI를 통한 자동 빌드 및 테스트

• Docker 이미지 자동 빌드 및 GCR 푸시

• GKE에 자동 배포 및 롤링 업데이트

---

Architecture

전체 시스템 아키텍처

┌─────────────────────────────────────────────────────────┐
│                    Data Source                           │
│              [IoT Gateway]                               │
│            (온도 센서 데이터)                             │
└─────────────────────────────────────────────────────────┘
                        ↓ HTTP POST
┌─────────────────────────────────────────────────────────┐
│                Application Layer                         │
│           [Express.js API Server]                        │
│              └─ 데이터 수집 API (PoC)                     │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│                 Storage Layer                            │
│              [Google BigQuery]                           │
│            (센서 데이터 저장)                             │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│              Visualization Layer                         │
│              [Google Data Studio]                        │
│            (실시간 대시보드)                              │
└─────────────────────────────────────────────────────────┘

System Overview (Phase 2/3 - Production)

┌─────────────────────────────────────────────────────────┐
│                    Data Source                           │
│              [IoT Gateway]                               │
│            (온도 센서 데이터)                             │
└─────────────────────────────────────────────────────────┘
                        ↓ HTTP POST
┌─────────────────────────────────────────────────────────┐
│                Application Layer                         │
│           [Spring Boot API Server]                       │
│              ├─ REST API                                 │
│              ├─ 데이터 검증                               │
│              └─ 에러 핸들링 & 로깅                        │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│                 Storage Layer                            │
│              [Google BigQuery]                           │
│            (데이터 웨어하우스)                            │
└─────────────────────────────────────────────────────────┘
                        ↓
┌─────────────────────────────────────────────────────────┐
│              Visualization Layer                         │
│              [Google Data Studio]                        │
│            (실시간 대시보드 & 리포트)                     │
└─────────────────────────────────────────────────────────┘

CI/CD 파이프라인

GitLab Repository
    ↓
GitLab CI (자동 트리거)
    ├─ Build (Gradle)
    ├─ Test (JUnit)
    └─ Docker Build
        ↓
    GCR (Google Container Registry)
        ↓
    GKE (Google Kubernetes Engine)
        ├─ Rolling Update
        └─ Auto-scaling

---

Contributions

1. 데이터 웨어하우스 설계 및 데이터 시각화

• BigQuery 스키마 설계

  • 시계열 데이터에 최적화된 테이블 구조 설계

  • 타임스탬프 기준 파티셔닝으로 쿼리 성능 향상

  • 설비 ID, 센서 타입별 클러스터링

• Google Data Studio 대시보드

  • 실시간 온도 추이 차트 구현

  • 설비별 온도 비교 대시보드

  • 이상 온도 감지 알림 설정

  • 사용자 맞춤형 필터링 기능

2. Spring Boot 기반 데이터 처리 API 개발

• REST API 설계

  • IoT 센서 데이터 수집 엔드포인트

  • 데이터 검증 및 변환 로직

  • BigQuery 삽입 API 통합

• 데이터 검증 로직

  • 온도 범위 검증 (-50°C ~ 200°C)

  • 필수 필드 검증

  • 데이터 포맷 검증

  • 중복 데이터 필터링

• 에러 핸들링

  • 글로벌 예외 핸들러 구현

  • 커스텀 에러 코드 및 메시지

  • 상세 로깅 (Logback)

3. GKE 및 GitLab CI를 활용한 배포 및 운영 자동화

• GitLab CI/CD 파이프라인 예시

.gitlab-ci.yml

stages:
  - build
  - test
  - docker
  - deploy

build:
  stage: build
  script:
    - ./gradlew clean build
  artifacts:
    paths:
      - build/libs/*.jar

test:
  stage: test
  script:
    - ./gradlew test

docker:
  stage: docker
  script:
    - docker build -t gcr.io/$PROJECT_ID/sensor-api:$CI_COMMIT_SHA .
    - docker push gcr.io/$PROJECT_ID/sensor-api:$CI_COMMIT_SHA

deploy:
  stage: deploy
  script:
    - kubectl set image deployment/sensor-api 
        sensor-api=gcr.io/$PROJECT_ID/sensor-api:$CI_COMMIT_SHA
    - kubectl rollout status deployment/sensor-api

• GKE 배포 설정 예시

Kubernetes Deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: sensor-api
spec:
  replicas: 2
  selector:
    matchLabels:
      app: sensor-api
  template:
    metadata:
      labels:
        app: sensor-api
    spec:
      containers:
      - name: sensor-api
        image: gcr.io/project-id/sensor-api:latest
        ports:
        - containerPort: 8080
        resources:
          requests:
            memory: "512Mi"
            cpu: "500m"
          limits:
            memory: "1Gi"
            cpu: "1000m"
        env:
        - name: SPRING_PROFILES_ACTIVE
          value: "production"

---

Tech Stack

Backend

• Java 11

• Spring Boot 2.5

• Spring Web (REST API)

Database & Data Warehouse

Visualization

Infrastructure

---

Challenges

Express.js에서 Spring Boot로 마이그레이션

[문제]

초기 PoC는 Express.js로 빠르게 구현했지만, 서비스 확장과 유지보수를 고려했을 때 한계가 있었습니다. 타입 안정성, 에러 핸들링, 트랜잭션 관리 등 프로덕션 레벨의 안정성이 필요했습니다.

[해결]

Spring Boot로 리팩터링 결정

• Java의 강력한 타입 시스템 활용

• Spring의 풍부한 에코시스템 (Spring Data, Spring Security 등)

• 엔터프라이즈급 안정성 및 확장성

마이그레이션 과정

1. Express.js API 분석 및 요구사항 정리

2. Spring Boot 프로젝트 초기 설정

3. REST API 재설계 및 구현

4. 데이터 검증 로직 강화

5. 에러 핸들링 체계 구축

6. 테스트 코드 작성

7. 성능 비교 및 최적화

[결과]

타입 안정성과 에러 핸들링이 강화되어 데이터 품질이 향상되었습니다. Spring의 다양한 기능(의존성 주입, AOP, 트랜잭션 관리 등)을 활용하여 유지보수가 용이한 구조를 구축했습니다.

GitLab CI와 GKE를 활용한 CI/CD 파이프라인 구축

[문제 상황]

수동 배포는 시간이 오래 걸리고 실수 가능성이 높았습니다. 빠른 기능 배포와 안정적인 운영을 위해 자동화된 CI/CD 파이프라인이 필요했습니다.

[해결]

GitLab CI 파이프라인 설계

• Build → Test → Docker → Deploy 4단계 파이프라인

• 각 단계별 실패 시 자동 중단

• Artifact 관리로 빌드 결과물 보관

GKE 배포 자동화

• kubectl을 활용한 이미지 업데이트

• Rolling Update로 무중단 배포

• HPA(Horizontal Pod Autoscaler)로 Auto-scaling 설정

모니터링 및 롤백

• 배포 상태 모니터링 (kubectl rollout status)

• 문제 발생 시 이전 버전으로 자동 롤백

[결과]

자동화된 CI/CD 파이프라인으로 배포 시간이 30분 → 5분으로 단축되었습니다. 코드 푸시 후 자동으로 빌드, 테스트, 배포가 진행되어 개발 생산성을 향상시켰습니다.