💰 자연어로 비용 예측 시스템 완성하기

📚 목차

🎯 프로젝트 개요

ML + NLP 하이브리드 접근법

📊 ML 기반 모델

전통적 ML에서 Prophet까지의 진화

🗣️ 자연어 처리 보완

비즈니스 컨텍스트 반영 시스템

🎯 최종 결과

성능 개선 및 실용성 검증

⚙️ 구현 가이드

실제 시스템 구축 방법

🔮 Prophet 실험

시계열 모델과의 성능 비교

🎯 프로젝트 개요

하이브리드 접근법의 필요성

기존 ML 모델의 한계

과거 패턴만 학습 → 미래 변화 예측 불가
비즈니스 컨텍스트 무시 → 실무 활용도 저하
예측 오차 39.9% → 실용성 부족

해결 방안: ML + NLP 결합

                        📊 ML 기반 예측

                        과거 패턴 학습 → 기본 예측 생성
                    
+

                        🗣️ 자연어 입력

                        "10월에 A서비스 종료 예정" → 비즈니스 조정
                    
=

                        🎯 실용적 예측

                        오차 28.5% → 실무 활용 가능

핵심 성과 지표

35.2%

전통적 ML

28.5%

ML + NLP

9.4%

🏆 Prophet

25.8%p

최대 개선 효과

📊 ML 기반 모델: 전통적 접근법에서 Prophet까지

📋 모델 진화 과정: 전통적 ML → Prophet 시계열 모델로 발전하며 성능을 크게 개선했습니다.

1단계: 전통적 ML 접근법

🔧 복잡한 특성 엔지니어링 방식

# 19개 복잡한 특성 생성
features = [
    # 기본 시계열
    'month_index', 'month_num', 'quarter',
    
    # 이동평균 (트렌드)
    'ma_2', 'ma_3', 'ma_6', 'mom_change', 'mom_change_ma3',
    
    # 계절성 (삼각함수 인코딩)
    'sin_month', 'cos_month', 'sin_quarter', 'cos_quarter',
    
    # 변동성 및 트렌드
    'volatility_3m', 'volatility_6m', 'linear_trend', 'detrended_cost',
    
    # 비즈니스 특성
    'is_q1', 'is_q4', 'is_year_end'
]

🌳 Random Forest

200 trees

가중치: 40%

📈 Gradient Boosting

100 estimators

가중치: 40%

📊 Linear Regression

베이스라인

가중치: 20%

결과: 35.2% 평균 오차
실무 기준(±10%) 미달

2단계: Prophet 시계열 모델

🔮 시계열 전용 접근법

💡 핵심 깨달음: "시계열 데이터에는 시계열 전용 모델이 더 효과적"

# Prophet 모델 (단순하지만 강력)
model = Prophet(
    yearly_seasonality=True,
    weekly_seasonality=False,
    daily_seasonality=False,
    changepoint_prior_scale=0.01,  # 과적합 방지
    seasonality_prior_scale=1.0,   # 계절성 조절
    seasonality_mode='additive'
)

# 핵심 특성 2개만 사용
model.add_regressor('is_year_end')  # 연말 효과
model.add_regressor('is_q1')        # 신년 효과

# 학습 및 예측
model.fit(historical_data)
forecast = model.predict(future_data)

🎯 자동 계절성

연간/월간 패턴 자동 학습

📈 트렌드 분해

장기 트렌드 자동 탐지

🔒 불확실성

신뢰구간 자동 제공

결과: 9.4% 평균 오차 🏆
목표 달성 (10% 미만)

성능 비교: 전통적 ML vs Prophet

구분	전통적 ML	Prophet
특성 수	19개 (복잡)	2개 (단순)
모델 구조	3개 모델 앙상블	단일 시계열 모델
평균 오차	35.2%	9.4%
실무 활용	❌ 기준 미달	✅ 목표 달성
해석 가능성	복잡함	트렌드/계절성 분해

Prophet 실제 예측 결과 (2025년 1-5월)

2025-01

예측: ██████

실제: ██████

오차: 18.0%

2025-02

예측: ██████

실제: ██████

오차: 21.0%

2025-03

예측: ██████

실제: ██████

오차: 0.3% 🎯

2025-04

예측: ██████

실제: ██████

오차: 4.7%

2025-05

예측: ██████

실제: ██████

오차: 2.8%

평균 오차: 9.4% (목표 10% 미만 달성!)

핵심 교훈

🎯 모델 선택의 중요성

복잡함 ≠ 좋은 성능: 19개 특성 < 2개 핵심 특성
도구의 적합성: 시계열 데이터 → 시계열 전용 모델
과적합 방지: 단순한 모델이 일반화 성능 우수
해석 가능성: Prophet의 트렌드/계절성 분해 기능

💡 다음 단계: Prophet 단독으로도 목표를 달성했지만, 자연어 처리를 통해 비즈니스 컨텍스트를 반영하면 더욱 실용적인 시스템이 될 수 있습니다.

🗣️ 자연어 처리 보완

비즈니스 컨텍스트의 중요성

핵심 인사이트: ML 모델이 놓치는 것은 "미래에 일어날 변화"입니다.
→ 사용자가 알고 있는 비즈니스 정보를 자연어로 입력받아 보완

자연어 입력 시스템

# 사용자 입력 예시
user_input = """
10월에 A서비스 종료 예정이고,
12월에 B프로젝트 시작하는데 초기 3개월은 비용이 2배 들 것 같아.
"""

# 자연어 파싱 (정규표현식 기반)
def parse_business_context(text):
    events = []
    
    # 서비스 종료 패턴
    shutdown_matches = re.findall(r'(\d+)월.*?(.+?)\s*(종료|중단)', text)
    for match in shutdown_matches:
        events.append({
            'type': 'shutdown',
            'month': int(match[0]),
            'service': match[1].strip(),
            'impact': -30000  # 월 3만달러 절약
        })
    
    return events

실제 동작 예시

💬 사용자 입력

"3월에 A서비스 종료하고 5월에 B프로젝트 시작"

🔍 시스템 파싱 결과

A서비스 3월 종료 (월 $30K 절약)
B프로젝트 5월 시작 (월 $25K 증가)

📊 조정된 예측

월	ML 예측	조정 예측	변화
2025-01	████	████	$0
2025-03	████	████	-████
2025-05	████	████	-████

신뢰성 검증

# 사용자 확인 프로세스
def validate_and_confirm(parsed_events):
    print("파악한 내용:")
    for event in parsed_events:
        print(f"  • {event['description']}")
    
    confirm = input("맞나요? (y/n): ")
    return confirm.lower() == 'y'

🎯 최종 결과: 모델별 성능 비교

📊 전체 프로젝트 결과: 전통적 ML → ML+NLP → Prophet 순으로 진화하며 성능을 크게 개선했습니다.

모델별 성능 비교

🔧 전통적 ML

35.2%

평균 오차율

• RF + GB + LR 앙상블
• 19개 복잡한 특성
• 과적합 문제
• 실무 활용 어려움

🔮 개선된 ML (최적화된 Prophet)

9.4%

평균 오차율 🏆

• Prophet 시계열 모델
• 2개 핵심 특성
• 25.8%p 개선
• 목표 달성!

🗣️ 개선된 ML + NLP

0.1%~11.3%

시나리오별 오차

• Prophet + 자연어 처리
• 비즈니스 컨텍스트 반영
• 상황에 따라 성능 변동
• 선택적 활용 권장

상세 성능 분석 (2025년 1-5월 실제 검증)

월	실제 비용	전통적 ML	개선된 ML (최적화된 Prophet)	개선된 ML + NLP
2025-01	████████	████████ (+20.5%)	████████ (-18.0%)	████████ (+0.1%)
2025-02	████████	████████ (+51.9%)	████████ (+21.0%)	████████ (+0.7%)
2025-03	████████	████████ (+38.2%)	████████ (+0.3%) 🎯	████████ (+7.1%)
2025-04	████████	████████ (+46.1%)	████████ (+4.7%)	████████ (+8.5%)
2025-05	████████	████████ (+42.7%)	████████ (+2.8%)	████████ (+11.3%)
평균 오차	-	35.2%	9.4% 🏆	5.5% (최적 시나리오)

📋 참고사항: 실제 비용 정보는 보안상 마스킹 처리되었습니다. 오차율과 성능 비교는 실제 데이터를 기반으로 합니다.

핵심 성과 요약

35.2%

전통적 ML

RF+GB+LR 앙상블

9.4%

개선된 ML (최적화된 Prophet)

목표 달성!

5.5%

개선된 ML + NLP

최적 시나리오

29.7%p

최대 개선

전통적 ML → 최적 NLP

실용성 평가

평가 기준	전통적 ML	개선된 ML (최적화된 Prophet)	개선된 ML + NLP
예측 정확도	❌ 35.2% 오차	✅ 9.4% 오차	⭐ 5.5% 오차 (최적)
실무 기준	❌ 미달 (±10%)	✅ 달성	✅ 초과 달성
모델 복잡도	❌ 매우 복잡	✅ 단순	⚠️ 중간 (NLP 추가)
해석 가능성	❌ 블랙박스	✅ 트렌드/계절성 분해	✅ 조정 근거 + 분해
사용 편의성	❌ 기술적 지식 필요	✅ 직관적	✅ 자연어 입력
안정성	⚠️ 과적합 위험	✅ 일관된 성능	⚠️ 시나리오 의존적

🎯 최종 결론

개선된 ML (최적화된 Prophet) 권장: 9.4% 오차로 실무 기준 달성, 안정적 성능
개선된 ML + NLP: 최적 시나리오에서 5.5% 달성 가능하지만 시나리오 의존적
시계열 전용 모델의 우수성: Prophet이 복잡한 특성 엔지니어링보다 효과적
단순함의 가치: 2개 특성으로 19개 특성보다 25.8%p 더 좋은 성능
자연어 처리: 특별한 비즈니스 상황에서 선택적 보조 기능으로 활용

💡 실무 권장사항:
• 1단계: 최적화된 Prophet 단독 사용 (9.4% 오차, 안정적)
• 2단계: 특별한 상황 시 자연어 입력 추가 (5.5% 가능)

⚙️ 구현 가이드

시스템 아키텍처

# 핵심 컴포넌트
components = {
    'ml_predictor': 'RandomForest + GradientBoosting + LinearRegression',
    'nlp_parser': '정규표현식 기반 자연어 파싱',
    'adjustment_engine': '비즈니스 이벤트 → 예측 조정',
    'validation_system': '사용자 확인 + 신뢰성 검증'
}

# 데이터 플로우
1. 과거 데이터 → ML 모델 학습 → 기본 예측
2. 사용자 자연어 입력 → NLP 파싱 → 비즈니스 이벤트
3. 기본 예측 + 비즈니스 이벤트 → 최종 조정 예측

구현 단계

Phase 1

• ML 모델 구축
• 기본 예측 시스템
• 성능 검증
기간: 2주

Phase 2

• NLP 파싱 엔진
• 조정 시스템
• 사용자 인터페이스
기간: 3주

Phase 3

• 웹 인터페이스
• API 서비스
• 배포 및 운영
기간: 2주

핵심 코드

# 통합 예측 시스템
class HybridBudgetPredictor:
    def __init__(self):
        self.ml_model = self.load_ml_model()
        self.nlp_parser = NLPParser()
    
    def predict(self, historical_data, business_context=""):
        # 1. ML 기본 예측
        base_prediction = self.ml_model.predict(historical_data)
        
        # 2. 자연어 파싱
        if business_context:
            events = self.nlp_parser.parse(business_context)
            
            # 3. 사용자 확인
            if self.validate_events(events):
                # 4. 예측 조정
                adjusted_prediction = self.apply_adjustments(
                    base_prediction, events
                )
                return adjusted_prediction
        
        return base_prediction

🎯 구현 완료: 실제 동작하는 프로토타입이 nlp_predictor_test.py에 구현되어 있습니다.

🔮 Prophet 실험: 시계열 모델과의 비교

💡 실험 배경: 전통적 ML + NLP 접근법과 시계열 전용 모델(Prophet) + NLP 조합을 비교 실험했습니다.

실험 설계

기존 전통적 ML 방식의 한계를 느끼고, "시계열 데이터에는 시계열 전용 모델이 더 적합하지 않을까?"라는 가설을 검증하기 위한 실험입니다.

비교 모델

🔧 전통적 ML + NLP

19개 특성
복잡한 특성 엔지니어링

↓

RF

GB

LR

↓

28.5% 오차
(NLP 조합 시)

🔮 Prophet + NLP

2개 핵심 특성
단순한 비즈니스 특성

↓

Prophet 모델
시계열 전용

↓

9.4% 오차
🏆 단독으로도 목표 달성

Prophet + NLP 실험 결과

시나리오	평균 오차율	특징
Prophet 단독	9.4%	🏆 목표 달성 (10% 미만)
Prophet + AI 프로젝트	22.1%	과도한 조정으로 오차 증가
Prophet + 구체적 비용	26.3%	직접 비용 입력 시에도 한계
Prophet + 시스템 종료	12.2%	비용 절감 시나리오에서 상대적 개선

핵심 발견사항

🔍 예상과 다른 결과

Prophet 단독이 최고 성능: 9.4% 오차로 목표 달성
자연어 추가 시 성능 저하: 대부분 시나리오에서 오차 증가
과도한 조정 문제: 비즈니스 이벤트 임팩트가 실제보다 큼
2월 패턴 미스매치: 실제 급감 패턴을 자연어가 반영 못함

실제 예측 비교 (2025년 1-5월)

Prophet 단독 vs 실제 데이터

2025-01

예측: ██████

실제: ██████

오차: 18.0%

2025-02

예측: ██████

실제: ██████

오차: 21.0%

2025-03

예측: ██████

실제: ██████

오차: 0.3% 🎯

2025-04

예측: ██████

실제: ██████

오차: 4.7%

2025-05

예측: ██████

실제: ██████

오차: 2.8%

평균 오차: 9.4% (목표 10% 미만 달성!)

Prophet 모델의 장점

시계열 특화: 시간 패턴 자동 학습 (계절성, 트렌드)
단순함: 2개 핵심 특성만으로 높은 성능
불확실성 구간: 예측 신뢰도 자동 제공
과적합 방지: 복잡한 특성 없이도 일반화 성능 우수
해석 가능성: 트렌드, 계절성 분해 시각화

자연어 처리의 한계

⚠️ 현실적 한계점

과도한 조정: 실제보다 큰 임팩트 적용
지속 기간 문제: 6개월 지속 조정이 과도함
패턴 미스매치: 2월 급감 패턴을 예측 못함
복잡성 증가: 단순한 Prophet 대비 복잡도 상승

결론 및 권장사항

🎯 최종 권장사항

Phase 1: Prophet 단독 서비스

9.4% 오차로 실무 기준 달성
단순하고 안정적인 시스템
빠른 구현 및 배포 가능

Phase 2: 선택적 자연어 기능

특별한 상황에서만 활용
단발성 조정 (월별 지속 X)
사용자 확인 프로세스 강화

💡 핵심 인사이트: 시계열 데이터에는 시계열 전용 모델이 더 효과적. 복잡한 특성 엔지니어링보다 적절한 모델 선택이 중요.

구현 파일

# Prophet + NLP 통합 모델
prophet_nlp_integrated.py      # 초기 통합 버전
prophet_nlp_integrated_v2.py   # 개선된 파싱 로직
prophet_nlp_final.py          # 현실적 조정 로직

# 핵심 결과
Prophet 단독: 9.4% 오차 (목표 달성)
전통적 ML + NLP: 28.5% 오차
Prophet + NLP: 9.4% ~ 26.3% (시나리오별)

💰 AWS 비용 예측: ML + 자연어 처리

📚 목차

🎯 프로젝트 개요

📊 ML 기반 모델

🗣️ 자연어 처리 보완

🎯 최종 결과

⚙️ 구현 가이드

🔮 Prophet 실험

🎯 프로젝트 개요

하이브리드 접근법의 필요성

해결 방안: ML + NLP 결합

핵심 성과 지표

📊 ML 기반 모델: 전통적 접근법에서 Prophet까지

1단계: 전통적 ML 접근법

🔧 복잡한 특성 엔지니어링 방식

2단계: Prophet 시계열 모델

🔮 시계열 전용 접근법

성능 비교: 전통적 ML vs Prophet

Prophet 실제 예측 결과 (2025년 1-5월)

핵심 교훈

🗣️ 자연어 처리 보완

비즈니스 컨텍스트의 중요성

자연어 입력 시스템

실제 동작 예시

💬 사용자 입력

🔍 시스템 파싱 결과

📊 조정된 예측

신뢰성 검증

🎯 최종 결과: 모델별 성능 비교

모델별 성능 비교

🔧 전통적 ML

🔮 개선된 ML (최적화된 Prophet)

🗣️ 개선된 ML + NLP

상세 성능 분석 (2025년 1-5월 실제 검증)

핵심 성과 요약

실용성 평가

⚙️ 구현 가이드

시스템 아키텍처

구현 단계

Phase 1

Phase 2

Phase 3

핵심 코드

🔮 Prophet 실험: 시계열 모델과의 비교

실험 설계

비교 모델

🔧 전통적 ML + NLP

🔮 Prophet + NLP

Prophet + NLP 실험 결과

핵심 발견사항

실제 예측 비교 (2025년 1-5월)

Prophet 단독 vs 실제 데이터

Prophet 모델의 장점

자연어 처리의 한계

결론 및 권장사항

🎯 최종 권장사항

구현 파일