📊 AI로 모니터링 알람 70% 줄이기

📚 목차

📋 프로젝트 개요

기본 정보

• 📅 진행 기간: 2025년 9월 16일 (1일 완성)
• 📊 데이터 규모: 알람 1,129건, 장애 75건 (2년간)
• 🎯 핵심 문제: QuickSight FILE 타입의 API 접근 불가
• 🏆 최종 성과: 70% 알람 감소 예상, 구체적 기술 솔루션 도출

🎯 AI 활용 포인트

1. 문제 정의 및 접근 전략

• 데이터 현실 파악 → 아키텍처 마이그레이션 → 분석 → 해결방안
• 35개 파일로 전 과정 문서화 자동 생성
• Python 스크립트 자동 개발

2. 데이터 아키텍처 설계

• 파티션 구조 최적화 (year/month)
• CSV → Parquet 변환 (70% 용량 절약)
• Athena 테이블 스키마 자동 생성

3. 패턴 분석 및 인사이트 도출

• ERP 시스템 81% 집중도 식별
• 8월 8일 배치 장애 근본 원인 규명
• 시간대별 알람 패턴 분석

🚧 데이터 준비 과정: 가장 시간이 오래 걸린 작업

QuickSight FILE 타입의 현실적 한계

🔍 초기 상황 분석:

• 기존 QuickSight 대시보드: "[monthly] alarm/failure" 운영 중
• 3개 데이터셋: [Monthly]Alarm, [Monthly]failure_mgmt, [Emart]Monthly_jira
• 문제: FILE 타입 → API 접근 불가, 자동화 불가, 확장성 제한

AWS 기술을 활용한 데이터 추출 과정

# 1. QuickSight 대시보드 접근 (shared-service 프로필)
aws quicksight describe-dashboard --aws-account-id 463941703341 \
  --dashboard-id 851e80f0-5fd7-417c-88b7-03457fc4af67

# 2. 데이터셋 분석 및 원본 파일 위치 추적
- [Monthly]Alarm (d877a45a-45bc-40f1-bed5-7c004a49fab7)
- [Monthly]failure_mgmt (f42429f0-b031-446c-a518-b9302777f443)

# 3. 수동 CSV 다운로드 (FILE 타입의 한계)
- Alarm_list_1758007950846.csv (262KB, 1,129건)
- Failure_list_1758007909241.csv (10KB, 75건)

데이터 구조 분석 및 표준화

📊 실제 데이터 스키마 발견

• Alarm 데이터 (8개 컬럼): 일자, 시간, AccountGroup, Category, 모니터링메시지, 발생원인, 유효알람, 개수
• Failure 데이터 (8개 컬럼): 발생일자, AccountGroup, Level, 복구시간, 내용, Link_URL, Category, SLA대상

📊 8단계 분석 과정

Step 0: 데이터 아키텍처 마이그레이션 (가장 시간 소요)

# 1. 데이터 변환 파이프라인 구축
- Python pandas: CSV → DataFrame 변환
- PyArrow: Parquet 형식 최적화 (70% 용량 절약)
- 파티션 구조: year=2024/month=08/ 설계

# 2. S3 데이터 레이크 구축
- 버킷: sac-prd-finops-billing-s3
- 구조: alarm_data/, failure_data/, jira_data/
- 파티션: year/month 기반 최적화

# 3. Athena 테이블 생성
- EXTERNAL TABLE 정의
- PARTITIONED BY (year, month)
- STORED AS PARQUET 성능 최적화

Step 1-4: 데이터 접근성 확보

• Step 1: 데이터 현실 파악 - 1,129건 알람, 75건 장애 분석
• Step 2-3: CSV → Parquet 변환 및 S3 업로드 자동화
• Step 4: Athena 테이블 생성 및 쿼리 테스트

Step 5-8: 핵심 분석 및 해결방안

• Step 5: 전체 현황 파악 - ERP 시스템 81% 집중도 발견
• Step 6: 급증 원인 규명 - 8월 8일 배치 장애 근본 원인
• Step 7: 서비스별 심층 분석 - calyx-review 12배 증가
• Step 8: 구체적 해결방안 도출 - 70% 감소 방안

🛠️ AI가 생성한 AWS 핵심 산출물

1. AWS 인프라 자동화 스크립트 (8개)

import boto3
import pandas as pd
from datetime import datetime

# AWS 세션 설정 (shared-service 프로필)
session = boto3.Session(profile_name='shared-service', region_name='ap-northeast-2')
s3_client = session.client('s3')

# 데이터 변환: CSV → Parquet (70% 용량 절약)
df = pd.read_csv('Alarm_list_1758007950846.csv')
df.to_parquet('alarm_data_202508.parquet', index=False)

# S3 파티션 업로드
s3_key = f"alarm_data/year=2024/month=08/alarm_data_202408.parquet"
s3_client.upload_file(local_file, 'sac-prd-finops-billing-s3', s3_key)

주요 스크립트

• 데이터 변환: 15_convert_to_parquet.py, 18_step2_convert_to_parquet.py
• S3 업로드: 16_upload_to_s3.py, 19_step3_upload_to_s3.py
• Athena 연동: 12_create_athena_tables.py, 20_step4_athena_query_test.py
• 분석 스크립트: 22_step5_alarm_analysis.py ~ 25_step8_technical_solutions.py

2. Athena 테이블 생성 SQL (자동 생성)

-- AI가 실제 데이터 구조 분석 후 생성한 스키마
CREATE EXTERNAL TABLE alarm_data (
  date_column date,
  time_column int,
  account_group string,
  category string,
  monitoring_message string,
  cause string,
  valid_alarm string,
  count int
)
PARTITIONED BY (
  year int,
  month int
)
STORED AS PARQUET
LOCATION 's3://sac-prd-finops-billing-s3/alarm_data/'
TBLPROPERTIES ('has_encrypted_data'='false');

3. 분석 보고서 (8개)

• 단계별 보고서: 27_step1_data_analysis_report.md ~ 33_step8_technical_solutions_report.md
• 종합 보고서: 26_alarm_analysis_report.md, 35_executive_summary.md
• 교훈 정리: 34_journey_lessons_learned.md

🔍 핵심 인사이트

1. 데이터 준비가 80%의 시간을 차지

⏰ 실제 시간 분배:
- 데이터 준비 (Step 0): 6시간 (75%)
  └── QuickSight FILE 타입 한계 파악: 1시간
  └── CSV 수동 다운로드 및 구조 분석: 2시간  
  └── AWS 아키텍처 설계: 1시간
  └── 변환 스크립트 개발 및 테스트: 2시간

- 실제 분석 (Step 1-8): 2시간 (25%)
  └── 패턴 분석 및 인사이트 도출
  └── 해결방안 수립

2. 80/20 법칙의 현실

• 🔥 ERP 시스템: 전체 알람의 81%
• 📈 calyx-review: 최근 76건 집중
• ⚡ ALB 장애: 99.8%가 ERP 관련
• 💡 핵심 교훈: 소수 시스템이 대부분 문제 야기

3. 시간 패턴의 중요성

⏰ 시간대별 알람 패턴:
- 오전 8-11시: calyx-review 집중 (47건)
- 오전 10-11시, 오후 2시: 배치 프로세스 집중 (93건)
- 오후 1-2시: 8월 8일 장애 시점 (31건)

💡 교훈: 배치 스케줄이 시스템 안정성 결정

4. 연쇄 효과의 파급력

📈 구체적 성과

📊 정량적 결과

• 알람 감소: 70% 예상 (1,129건 → 339건)
• 용량 절약: 70% (CSV → Parquet)
• 분석 시간: 8시간으로 완전 분석
• 자동화: 35개 파일 자동 생성

🎯 정성적 효과

• 예측 가능성: 패턴 기반 사전 대응
• 의사결정 품질: 데이터 기반 판단
• 운영 효율: 자동화로 인력 절약
• 시스템 안정성: 근본 원인 해결

💡 AI 활용 방법론

COSTAR 프레임워크 적용

• Context: QuickSight FILE 타입 한계, 2년간 축적된 데이터
• Objective: API 접근 가능한 분석 환경 구축, 70% 알람 감소
• Style: AWS 네이티브 서비스 활용, 단계별 체계적 접근
• Tone: 데이터 기반 객관적 분석, 실행 가능한 구체적 솔루션
• Audience: 기술팀 (인프라 구축) + 경영진 (비즈니스 임팩트)
• Response: 자동화 스크립트, 분석 보고서, 기술 솔루션

📚 참고 자료

• 프로젝트 폴더: /Users/emart/Documents/PromptLibrary/alarm/
• 핵심 학습 자료: 34_journey_lessons_learned.md, 35_executive_summary.md
• 작성: 2025.10.01 (기반: 2025.09.16 알람/장애 분석)
• AI 도구: Amazon Q Developer