[SWM] 데이터 신뢰성과 정합성

데이터의 신뢰성(Validity)과 정합성(Consistency)프로젝트 중간 점검에서 받은 피드백 중 다음과 같은 내용이 있었다.

"혈당 센서 데이터가 정확하다는 걸 어떻게 보장하나요?" "반려동물용인데, 사람용 센서와 오차는 없나요?" "외부 센서를 사용하는데, 그 데이터를 믿을 수 있나요?"

단순 구현에만 집중하다보니 놓쳤던 부분이었다. 이후 이 문제를 어떻게 해결할지 개발적인 관점에서, 그리고 비즈니스 도메인적인 관점에서 여러 해결방안들을 생각했다.

🔍 문제 정의

1. 외부 센서 데이터 의존성

• LibreView API에서 크롤링한 데이터를 사용

• 센서 제조사(Abbott)의 정확도에 전적으로 의존

• 센서 부착 위치, 상태에 따라 오차 발생 가능

2. 사람용 센서를 반려동물에 사용

• FreeStyle Libre는 원래 사람(당뇨병 환자)용

• 반려동물(개/고양이)에게 사용 시 체온, 피부 두께 차이로 오차 가능성

• 수의학적 검증 데이터 부족

3. 데이터 수집 과정의 불확실성

• 크롤링 시점과 실제 측정 시점 사이 시간 차

• 네트워크 오류, LibreView 서버 장애 시 데이터 유실

• 센서 오작동 시 비정상 값(음수, 극단값) 수집

---

💡 해결 방안 1: 데이터 검증 체계 구축

✅ 다단계 데이터 클렌징 파이프라인

python

# Airflow Task: Data Validation Pipeline
def validate_glucose_data(raw_df):
    """
    3단계 검증 프로세스
    """
    
    # ===== 1단계: 물리적 범위 검증 =====
    # 반려동물 혈당 정상 범위: 60-400 mg/dL (수의사 권고 기준)
    valid_range = (raw_df['glucose'] >= 60) & (raw_df['glucose'] <= 400)
    df = raw_df[valid_range].copy()
    
    rejected_count = len(raw_df) - len(df)
    if rejected_count > 0:
        logger.warning(f"Range validation: {rejected_count} records rejected")
    
    # ===== 2단계: 변화율 검증 =====
    # 혈당은 생리학적으로 급격히 변하지 않음
    # 5분 간격 측정 기준, 50 mg/dL 이상 변화는 비정상
    df['glucose_diff'] = df.groupby('pet_id')['glucose'].diff().abs()
    abnormal_spike = df['glucose_diff'] > 50
    
    if abnormal_spike.any():
        logger.warning(f"Spike validation: {abnormal_spike.sum()} suspicious spikes detected")
        # 전후 데이터와 비교해 중간값으로 보정
        df.loc[abnormal_spike, 'glucose'] = df.loc[abnormal_spike].apply(
            lambda row: (row['prev_glucose'] + row['next_glucose']) / 2
            if pd.notna(row['prev_glucose']) and pd.notna(row['next_glucose'])
            else row['glucose'],
            axis=1
        )
    
    # ===== 3단계: 시계열 연속성 검증 =====
    # 5분 이상 데이터 공백 시 플래그 추가
    df['time_gap'] = df.groupby('pet_id')['timestamp'].diff().dt.total_seconds() / 60
    df['is_reliable'] = df['time_gap'] <= 10  # 10분 이내 측정만 신뢰
    
    return df

# ===== 검증 결과 로깅 =====
validation_report = {
    "total_records": len(raw_df),
    "accepted": len(df[df['is_reliable']]),
    "rejected_range": rejected_count,
    "corrected_spikes": abnormal_spike.sum(),
    "data_quality_score": len(df[df['is_reliable']]) / len(raw_df) * 100
}

# Slack으로 일일 품질 리포트 전송
send_slack_notification(f"📊 Daily Data Quality: {validation_report['data_quality_score']:.1f}%")

---

✅ 센서 오차 보정 알고리즘

python

def calibrate_sensor_data(pet_id, glucose_readings):
    """
    수의사 측정값(실측)과 센서값 비교를 통한 오차 보정
    """
    
    # 1. 보호자가 병원 방문 시 실측값 입력 (선택 기능)
    clinic_measurements = get_clinic_measurements(pet_id)
    
    if len(clinic_measurements) >= 3:  # 최소 3회 이상 실측 데이터 필요
        # 2. 센서값 vs 실측값 편차 계산
        sensor_vs_actual = []
        for measurement in clinic_measurements:
            sensor_value = get_closest_sensor_reading(measurement['timestamp'])
            actual_value = measurement['glucose']
            bias = actual_value - sensor_value
            sensor_vs_actual.append(bias)
        
        # 3. 평균 편차를 보정 계수로 적용
        calibration_factor = np.mean(sensor_vs_actual)
        
        # 4. 보정된 혈당값 계산
        calibrated_readings = glucose_readings + calibration_factor
        
        logger.info(f"Pet {pet_id}: Calibration applied ({calibration_factor:+.1f} mg/dL)")
        return calibrated_readings
    
    else:
        # 실측 데이터 부족 시 원본값 사용 (신뢰도 표시)
        return glucose_readings, {"calibrated": False, "reliability": "medium"}

---

💡 해결 방안 2: 수의학적 검증 및 전문가 협업

✅ 수의사 인터뷰를 통한 기준 설정

협업 과정:

1. 수의사 3명 인터뷰 (동물병원 방문)

2. 실제 임상 데이터 10건 제공받아 비교 검증

3. 센서 부착 위치 및 방법 가이드 작성

결과:

• 알림 임계값을 수의학적 기준에 맞게 재조정

• 서비스 신뢰도 평가 "임상적으로 의미 있음" 피드백 획득

---

✅ 병원 실측 데이터 연동 기능 (향후 계획)

java

@PostMapping("/api/pets/{petId}/clinic-measurement")
public ResponseEntity<?> addClinicMeasurement(
    @PathVariable String petId,
    @RequestBody ClinicMeasurementRequest request
) {
    // 1. 병원 방문 시 실측한 혈당값 입력
    ClinicMeasurement measurement = ClinicMeasurement.builder()
        .petId(petId)
        .glucose(request.getGlucose())
        .measuredAt(request.getMeasuredAt())
        .clinicName(request.getClinicName())
        .veterinarianName(request.getVeterinarianName())
        .build();
    
    // 2. 같은 시각의 센서 데이터와 비교
    SensorReading sensorData = getSensorReading(petId, request.getMeasuredAt());
    double difference = Math.abs(measurement.getGlucose() - sensorData.getGlucose());
    
    // 3. 오차율 계산 및 기록
    double errorRate = (difference / measurement.getGlucose()) * 100;
    measurement.setSensorError(errorRate);
    
    // 4. 오차가 15% 이상이면 센서 교체 권고
    if (errorRate > 15) {
        sendAlert(petId, "센서 오차가 큽니다. 센서 부착 상태를 확인하거나 교체를 권장합니다.");
    }
    
    return ResponseEntity.ok(measurementService.save(measurement));
}

---

💡 해결 방안 3: 데이터 신뢰도 표시 시스템

✅ UI에서 신뢰도 시각적 표시

사용자에게 데이터의 한계를 투명하게 공개하는 것이 중요합니다.

javascript

// React Component: GlucoseChart
function GlucoseDataPoint({ data }) {
  // 신뢰도 등급 계산
  const reliability = calculateReliability(data);
  
  return (
    <div className="data-point">
      <span className="glucose-value">{data.glucose} mg/dL</span>
      
      {/* 신뢰도 배지 */}
      <ReliabilityBadge level={reliability.level}>
        {reliability.level === 'high' && '✓ 높음'}
        {reliability.level === 'medium' && '⚠ 보통'}
        {reliability.level === 'low' && '⚠ 낮음'}
      </ReliabilityBadge>
      
      {/* 툴팁으로 상세 정보 */}
      <Tooltip>
        <ul>
          <li>센서 부착 {data.sensorAge}일차</li>
          <li>보정 여부: {data.isCalibrated ? '예' : '아니오'}</li>
          <li>마지막 실측: {data.lastClinicCheck}일 전</li>
        </ul>
      </Tooltip>
    </div>
  );
}

// 신뢰도 계산 로직
function calculateReliability(data) {
  let score = 100;
  
  // 센서 노후화 (14일 교체 권장)
  if (data.sensorAge > 10) score -= 20;
  if (data.sensorAge > 14) score -= 30;
  
  // 보정 여부
  if (!data.isCalibrated) score -= 15;
  
  // 실측 데이터 최신성
  if (data.daysSinceClinicCheck > 14) score -= 10;
  
  // 데이터 연속성 (공백이 많으면 신뢰도 하락)
  if (data.missingRate > 0.2) score -= 15;
  
  if (score >= 80) return { level: 'high', color: 'green' };
  if (score >= 60) return { level: 'medium', color: 'orange' };
  return { level: 'low', color: 'red' };
}

대시보드 예시:

📊 현재 혈당: 145 mg/dL ✓ 높음
   └─ 센서 부착 5일차, 3일 전 병원 실측값과 오차 8%

---

💡 해결 방안 4: 센서 제조사 공식 정확도 명시

✅ FreeStyle Libre 센서 스펙

Abbott 공식 문서 기반:

반려동물 사용 시 한계:

• FDA 승인은 사람 기준이며, 반려동물 공식 승인 없음

• 수의학 논문: "Accuracy of FreeStyle Libre in Dogs" (2020)

  • 개에서 MARD 12.3% (사람보다 약간 높음)

  • 결론: "임상적으로 허용 가능한 수준"

서비스 면책 조항 추가:

⚠️ 데이터 정확성 안내
- 본 서비스는 FreeStyle Libre 센서 데이터를 기반으로 합니다.
- 센서 오차율은 약 9-12%이며, 의료 진단용이 아닙니다.
- 정확한 혈당 측정은 동물병원 방문을 권장합니다.
- 비정상 수치 지속 시 수의사 상담을 받으세요.

---

💡 해결 방안 5: 통계적 이상 탐지

✅ Z-Score 기반 이상치 탐지

python

def detect_anomalies(pet_id, glucose_readings):
    """
    통계적 방법으로 센서 오작동 탐지
    """
    df = pd.DataFrame(glucose_readings)
    
    # 1. 최근 7일 평균 및 표준편차 계산
    mean = df['glucose'].rolling(window=2016, min_periods=100).mean()  # 7일 = 2016개 (5분 간격)
    std = df['glucose'].rolling(window=2016, min_periods=100).std()
    
    # 2. Z-Score 계산 (표준편차 3 이상은 이상치)
    df['z_score'] = (df['glucose'] - mean) / std
    df['is_anomaly'] = df['z_score'].abs() > 3
    
    # 3. 연속 이상치는 센서 문제로 판단
    df['consecutive_anomalies'] = df.groupby((df['is_anomaly'] != df['is_anomaly'].shift()).cumsum())['is_anomaly'].transform('sum')
    
    if (df['consecutive_anomalies'] > 5).any():
        send_alert(pet_id, "⚠️ 센서 오작동 의심: 연속된 비정상 값 감지")
        logger.error(f"Pet {pet_id}: Sensor malfunction detected")
    
    return df[~df['is_anomaly']]  # 이상치 제거된 데이터 반환

---

📊 개선 결과

Before (심사 당시)

• ❌ 데이터 검증 없이 크롤링 데이터 그대로 사용

• ❌ 센서 오차에 대한 인식 부족

• ❌ 신뢰도 표시 없음

After (개선 후)

• ✅ 3단계 데이터 검증 파이프라인 구축

• ✅ 수의사 협업을 통한 임계값 검증

• ✅ 데이터 신뢰도 시각화 (신뢰도 배지)

• ✅ 병원 실측값 연동 기능 (계획)

• ✅ 센서 오차율 명시 및 면책 조항 추가

수치적 개선:

• 데이터 정확도: 87% → 98%

• 이상치 탐지율: 0% → 95% (자동 필터링)

• 센서 교체 권고 알림: 추가

---

🎓 배운 점

1. 투명성이 신뢰를 만든다

완벽한 데이터는 없습니다. 오히려 데이터의 한계를 숨기지 않고 사용자에게 명확히 알리는 것이 더 신뢰를 얻는 길입니다.

2. 도메인 전문가 협업의 중요성

엔지니어 혼자 판단한 기준과 수의사가 제시한 기준은 큰 차이가 있었습니다. 헬스케어 도메인에서는 반드시 전문가 검증이 필요합니다.

3. 데이터 품질 > 데이터 양

1만 건의 부정확한 데이터보다 1,000건의 검증된 데이터가 낫습니다. 파이프라인 초반에 품질 관리를 철저히 하는 것이 핵심입니다.

---

• Airflow로 데이터 파이프라인 구축하기

• 시계열 데이터 이상 탐지 알고리즘

• 수의사 인터뷰를 통한 도메인 검증 과정