📚 AI 기초 개념 이해하기

📚 학습 목차

1️⃣ 인공지능(AI)

인공지능(AI)이란?

간단히 말하면: 컴퓨터가 사람처럼 생각하고 판단할 수 있게 만드는 기술

깊이 있게 이해하기

• 인간의 지능을 모방하여 학습, 추론, 인식 등을 수행하는 컴퓨터 시스템
• 데이터에서 패턴을 찾아 새로운 상황에 적용하는 능력

🏢 실무에서 알아야 할 AI의 현실

실제 프로젝트에서 고려해야 할 요소들

• 조직적 맥락: 기존 인프라 호환성, 팀 학습곡선, 벤더 락인 위험, 규제 요구사항
• 비즈니스 제약: 예산과 ROI 기대치, 출시 일정과 MVP 요구사항, 경쟁사 대비 차별화
• 기술적 부채: 현재 선택이 미래 확장성에 미치는 영향, 기술 생태계의 빠른 변화

시나리오 A: 최신 기술 선택
→ 성능 우수, 하지만 안정성 불확실, 인재 부족

시나리오 B: 검증된 기술 선택  
→ 안정적, 하지만 성능 한계, 경쟁 우위 부족

실제 해결책: 하이브리드 접근
→ 핵심 부분은 안정적 기술, 실험적 부분은 최신 기술
                

2️⃣ 머신러닝(ML)

머신러닝(Machine Learning)

간단히 말하면: 컴퓨터가 데이터를 보고 스스로 학습하는 방법

깊이 있게 이해하기

• 명시적 프로그래밍 없이 데이터에서 패턴을 학습
• 경험(데이터)을 통해 성능이 향상되는 알고리즘

📊 실무에서의 데이터 중심 사고

실무 ML 파이프라인의 숨겨진 복잡성

수집: API 변경, 서비스 중단, 포맷 변화
저장: 스키마 진화, 백업 전략, 비용 최적화  
처리: 배치 vs 스트림, 장애 복구, 순서 보장
품질: 이상치 탐지, 드리프트 모니터링, 편향 검사
                

실무에서 자주 만나는 성능 지표의 함정들

• 정확도 패러독스: 불균형 데이터에서 높은 정확도의 무의미함
• 평균의 함정: 전체 평균은 좋지만 특정 그룹에서 편향
• 벤치마크 과최적화: 테스트 셋에만 좋은 모델

머신러닝의 3가지 유형

지도학습 (Supervised Learning)

• 정답이 있는 데이터로 학습
• 입력과 출력의 관계를 학습하여 새로운 입력에 대한 출력 예측

비지도학습 (Unsupervised Learning)

• 정답 없이 데이터의 숨겨진 패턴을 찾는 학습
• 데이터를 그룹화하거나 차원을 축소

강화학습 (Reinforcement Learning)

• 시행착오를 통해 보상을 최대화하는 방향으로 학습
• 환경과 상호작용하며 최적의 행동 전략을 학습

3️⃣ 딥러닝(DL)

딥러닝(Deep Learning)

간단히 말하면: 인간의 뇌 구조를 모방한 고급 머신러닝

깊이 있게 이해하기

• 다층 신경망을 통해 복잡한 패턴 학습
• 이미지, 음성, 텍스트 등 비정형 데이터 처리에 특화

🧠 실무에서의 딥러닝 복잡성 관리

Phase 1: 간단한 베이스라인으로 문제 정의 명확화
Phase 2: 도메인 지식 반영한 특성 엔지니어링
Phase 3: 복잡도 점진적 증가하며 성능 개선
Phase 4: 프로덕션 제약 고려한 최적화

각 단계에서 비즈니스 가치 검증 필수
                

4️⃣ 자연어 처리 (NLP)

자연어처리(NLP)란?

간단히 말하면: 컴퓨터가 인간의 언어를 이해하고 처리하는 기술

주요 기능

• 텍스트 분석 및 이해
• 언어 번역
• 감정 분석
• 텍스트 생성

🗣️ 실무에서의 NLP 구현 현실

실무 NLP 프로젝트의 숨겨진 도전들

• 데이터 품질: 오타, 줄임말, 신조어, 이모티콘 처리
• 다국어 지원: 언어별 특성, 문화적 뉘앙스, 번역 품질
• 실시간 처리: 응답 속도 vs 정확도의 트레이드오프
• 개인정보 보호: 텍스트 내 민감 정보 마스킹

전처리: 토큰화, 정규화, 불용어 제거
→ 언어별로 다른 처리 방식 필요

특성 추출: 단어 임베딩, 문맥 벡터
→ 도메인 특화 모델 vs 범용 모델 선택

후처리: 결과 검증, 신뢰도 측정
→ 잘못된 결과의 비즈니스 임팩트 고려
                

대화형 AI (Conversational AI)

간단히 말하면: 사람과 자연스럽게 대화할 수 있는 AI 시스템

핵심 구성요소

• 자연어 이해 (NLU)
• 대화 관리
• 자연어 생성 (NLG)

💬 실무 대화형 AI의 현실적 고려사항

대화형 AI 구축 시 실무 고려사항

• 대화 흐름 설계: 사용자가 길을 잃지 않도록 가이드
• 오류 처리: "모르겠습니다" 대신 대안 제시
• 개성과 톤: 브랜드에 맞는 대화 스타일 정의
• 학습과 개선: 실제 대화 로그 분석을 통한 지속적 개선

생성형 AI (Generative AI)

간단히 말하면: 새로운 콘텐츠를 창조하는 AI

생성 가능한 콘텐츠

• 텍스트 (글, 코드, 시나리오)
• 이미지 (그림, 사진, 디자인)
• 음성 및 음악
• 비디오

🎨 실무에서의 생성형 AI 활용과 한계

실무 적용 시 고려해야 할 요소들

• 품질 관리: 생성된 콘텐츠의 사실성, 적절성 검증
• 저작권 이슈: 학습 데이터와 유사한 결과물 생성 위험
• 브랜드 일관성: 기업 톤앤매너에 맞는 결과물 보장
• 비용 효율성: 생성 비용 vs 인력 비용 비교

1. 프롬프트 엔지니어링: 원하는 결과를 위한 명확한 지시
2. 다중 생성: 여러 버전 생성 후 최적안 선택  
3. 인간 검토: 품질, 적절성, 브랜드 적합성 확인
4. 후편집: 필요시 수정 및 보완
5. 승인 프로세스: 최종 사용 전 검증 단계
                

5️⃣ 대규모 언어 모델 (LLM)

전통적 ML vs 파운데이션 모델

핵심 차이점: 전통적 ML은 "전문가", 파운데이션 모델은 "만능 재주꾼"

LLM (Large Language Model)

LLM의 특징

• 창발적 능력: 훈련하지 않은 작업도 수행 가능
• Few-shot Learning: 적은 예시로도 새로운 작업 학습
• 멀티태스킹: 하나의 모델로 다양한 작업 처리

🏗️ 실무에서의 LLM 선택과 운영

실무 LLM 선택 기준

• 비용 구조: 토큰당 비용, 월 사용량, 예산 예측 가능성
• 응답 속도: 실시간 서비스 vs 배치 처리 요구사항
• 데이터 보안: 온프레미스 vs 클라우드, 데이터 유출 위험
• 커스터마이징: 파인튜닝 가능성, 도메인 특화 필요성

비용 관리: 토큰 사용량 모니터링, 캐싱 전략
성능 최적화: 프롬프트 길이 최적화, 배치 처리
품질 관리: 출력 검증, 할루시네이션 탐지
확장성: 트래픽 증가 대응, 로드 밸런싱
                

파인 튜닝 (Fine-tuning)

파인 튜닝 방법들

• Full Fine-tuning: 모든 파라미터를 업데이트 (비용 높음)
• LoRA (Low-Rank Adaptation): 일부 파라미터만 효율적으로 조정
• Prompt Tuning: 프롬프트만 최적화
• In-Context Learning: 예시를 통한 즉석 학습

⚙️ 실무 파인튜닝의 현실적 고려사항

파인튜닝 결정 기준

• 데이터 충분성: 최소 수천~수만 개의 고품질 예시 필요
• 비용 대비 효과: 파인튜닝 비용 vs 프롬프트 최적화 비용
• 유지보수성: 모델 업데이트 시 재훈련 필요
• 성능 개선 정도: 기존 방법 대비 명확한 개선 확인

6️⃣ 프롬프트 엔지니어링

프롬프트 엔지니어링이란?

간단히 말하면: AI가 원하는 답변을 하도록 질문을 잘 만드는 기술

깊이 있게 이해하기

• AI 모델에게 명확하고 구체적인 지시를 제공하는 방법
• 원하는 결과를 얻기 위해 입력 텍스트를 최적화하는 과정

✍️ 실무에서의 프롬프트 작성 현실

효과적인 프롬프트 작성 원칙

1. 명확성 (Clarity)

• 구체적이고 명확한 지시
• 모호한 표현 피하기
• 원하는 결과물의 형태 명시

2. 맥락 제공 (Context)

• 배경 정보와 상황 설명
• 대상 독자나 목적 명시
• 관련 예시나 참고 자료 제공

3. 구조화 (Structure)

• 단계별 지시사항 나열
• 원하는 출력 형식 지정
• 제약 조건 명확히 표시

역할: 당신은 [전문 분야]의 전문가입니다.
상황: [구체적인 상황이나 배경]
작업: [수행해야 할 구체적인 작업]
조건: [지켜야 할 제약사항이나 요구사항]
형식: [원하는 출력 형태나 구조]
                

🎯 실무 프롬프트 최적화 전략

반복적 개선 과정

• 1단계: 기본 프롬프트로 시작
• 2단계: 결과 분석 후 부족한 부분 파악
• 3단계: 프롬프트 수정 및 재테스트
• 4단계: 여러 버전 A/B 테스트

자주 하는 실수들

• 너무 짧은 프롬프트: "요약해줘" (무엇을? 어떻게?)
• 너무 긴 프롬프트: 핵심이 묻히고 AI가 혼란
• 모호한 지시: "좋게 써줘" (좋다는 기준이 불명확)
• 일회성 사용: 테스트 없이 바로 실무에 적용

연결점: 프롬프트 엔지니어링은 AI와 효과적으로 소통하는 핵심 기술로, 모든 AI 활용의 출발점입니다.

7️⃣ 토큰과 컨텍스트 윈도우

토큰(Token)이란?

간단히 말하면: AI가 텍스트를 이해하는 최소 단위

깊이 있게 이해하기

• 단어, 문자, 또는 문자 조합을 AI가 처리할 수 있는 숫자로 변환한 단위
• 한국어 1글자 ≈ 1-2토큰, 영어 1단어 ≈ 1토큰 (대략적 기준)

컨텍스트 윈도우(Context Window)

간단히 말하면: AI가 한 번에 기억할 수 있는 정보의 양

주요 모델별 컨텍스트 윈도우

• GPT-3.5: 4,096토큰 (약 3,000단어)
• GPT-4: 8,192토큰 (약 6,000단어)
• GPT-4 Turbo: 128,000토큰 (약 96,000단어)
• Claude 3: 200,000토큰 (약 150,000단어)

🔢 실무에서의 토큰 관리 현실

실무에서 자주 만나는 토큰 문제들

• 토큰 한계 초과: 긴 문서 처리 시 중간에 잘림
• 예상보다 높은 비용: 토큰 계산 실수로 예산 초과
• 성능 저하: 컨텍스트가 길수록 뒷부분 내용 망각
• 응답 속도 저하: 긴 컨텍스트는 처리 시간 증가

1. 청킹: 긴 문서를 적절한 크기로 분할
2. 요약: 핵심 내용만 추출하여 토큰 절약
3. 템플릿화: 반복되는 지시사항을 간소화
4. 배치 처리: 여러 요청을 효율적으로 묶어서 처리
                

⚡ 실무 컨텍스트 윈도우 활용법

컨텍스트 윈도우 크기별 활용 전략

• 작은 윈도우 (4K토큰): 간단한 질답, 짧은 텍스트 생성
• 중간 윈도우 (8K토큰): 문서 요약, 코드 리뷰
• 큰 윈도우 (128K토큰): 긴 문서 분석, 복잡한 추론

토큰 계산과 비용 관리

토큰 사용량 예측 방법

• 한국어: 글자 수 × 1.5 (대략적 계산)
• 영어: 단어 수 × 1.3 (대략적 계산)
• 정확한 계산: OpenAI Tokenizer 등 도구 활용

8️⃣ 할루시네이션

할루시네이션(Hallucination)이란?

간단히 말하면: AI가 그럴듯하지만 틀린 정보를 만들어내는 현상

깊이 있게 이해하기

• AI가 학습 데이터에 없는 내용을 마치 사실인 것처럼 생성하는 현상
• 확신에 찬 톤으로 거짓 정보를 제공하여 더욱 위험함

🚨 실무에서의 할루시네이션 대응

할루시네이션이 발생하는 이유

기술적 원인

• 확률적 생성: AI는 가장 그럴듯한 다음 단어를 예측
• 학습 데이터 한계: 모든 정보를 학습할 수 없음
• 패턴 과일반화: 비슷한 패턴을 잘못 적용
• 지식 경계 불명확: 아는 것과 모르는 것의 구분 어려움

상황적 요인

• 모호한 질문: 불분명한 프롬프트
• 최신 정보 요구: 학습 데이터 이후의 정보
• 전문 분야: 학습 데이터가 부족한 영역
• 창의적 요구: 상상력이 필요한 작업

⚠️ 실무에서 할루시네이션 탐지법

의심해야 할 신호들

• 구체적인 수치나 날짜: 정확한 통계, 특정 연도
• 인명이나 고유명사: 실존 인물, 기관명, 제품명
• 인용이나 참조: 논문, 기사, 보고서 언급
• 최신 정보: 최근 사건이나 트렌드

1. 사실 확인: 중요한 정보는 반드시 별도 검증
2. 교차 검증: 여러 소스에서 동일한 정보 확인
3. 전문가 검토: 해당 분야 전문가의 검토
4. 출처 요구: AI에게 정보 출처 명시 요청
5. 불확실성 표현: "확실하지 않다"는 답변도 수용
                

🛡️ 할루시네이션 최소화 전략

프롬프트 개선

• 명확한 지시: "모르면 모른다고 답하세요"
• 출처 요구: "정보의 출처를 함께 제공하세요"
• 불확실성 표현: "확실하지 않은 부분은 명시하세요"
• 범위 제한: "제공된 문서 내용만 사용하세요"

시스템적 접근

• RAG 활용: 신뢰할 수 있는 외부 지식 베이스 연결
• 팩트 체킹: 자동화된 사실 확인 시스템
• 신뢰도 점수: AI 답변의 확신도 표시
• 인간 검토: 중요한 결정은 인간이 최종 검토

분야별 할루시네이션 위험도

6️⃣ 임베딩 & 벡터

임베딩 (Embedding)

# 실제 구현 과정
1. 문서 청킹: Confluence 정책 문서를 20개 섹션으로 분할
2. 임베딩 생성: sentence-transformers로 384차원 벡터 생성
3. 벡터 저장: NumPy 배열로 로컬 저장 (embeddings.npy)
4. 유사도 검색: 코사인 유사도로 관련 정책 찾기

결과: "S3 버킷 네이밍 규칙이 뭐야?" 
→ 유사도 0.657로 정확한 정책 문서 검색 성공!

임베딩의 특징

• 의미 보존: 비슷한 의미의 단어는 비슷한 벡터
• 연산 가능: 벡터 간 거리로 유사도 측정
• 다차원: 복잡한 의미 관계 표현

🔢 실무에서의 임베딩 구현과 최적화

실무 임베딩 구현 시 고려사항

• 모델 선택: OpenAI, Cohere, 오픈소스 모델별 특성 비교
• 차원 수: 높은 차원 = 정확도 ↑, 저장공간 ↑, 속도 ↓
• 업데이트 전략: 실시간 vs 배치, 증분 업데이트
• 품질 관리: 임베딩 품질 측정, 드리프트 모니터링

텍스트 전처리: 정규화, 청킹, 메타데이터 추가
임베딩 생성: 배치 처리, 오류 처리, 재시도 로직
벡터 저장: 인덱싱, 압축, 백업 전략
품질 검증: 유사도 테스트, 성능 벤치마크
                

벡터 데이터베이스 (Vector DB)

# 왜 벡터 DB 대신 NumPy를 선택했나?
1. 프로토타입 목적: 빠른 검증이 우선
2. 데이터 규모: 20개 청크 (소규모)
3. 비용: $0 (완전 무료)
4. 성능: 응답 시간 < 1초 (충분)

# 실제 구현
embeddings = np.load('embeddings.npy')  # 20×384 벡터
similarity = cosine_similarity(query_vector, embeddings)
best_match = np.argmax(similarity)  # 가장 유사한 문서 찾기

🗄️ 실무 벡터 DB 선택과 운영

벡터 DB 비교 관점

• 관리형 vs 셀프호스팅: 편의성 vs 비용 vs 제어권
• 성능: QPS, 레이턴시, 인덱싱 속도
• 확장성: 수평 확장, 샤딩, 복제
• 기능: 필터링, 하이브리드 검색, 메타데이터 지원

의미 검색 (Semantic Search)

전통적 검색 vs 의미 검색

🔍 실무 의미 검색 구현 전략

1단계: 키워드 검색으로 후보군 필터링 (빠른 속도)
2단계: 의미 검색으로 정확도 향상 (높은 품질)
3단계: 비즈니스 로직으로 최종 순위 조정
                

실무 의미 검색 최적화

• 청킹 전략: 문서 분할 크기, 오버랩, 메타데이터
• 재순위화: 비즈니스 규칙, 사용자 피드백 반영
• 성능 튜닝: 캐싱, 인덱스 최적화, 배치 처리
• 품질 측정: 정확도, 재현율, 사용자 만족도

활용 사례

• 의미 검색: 키워드가 아닌 의미로 검색
• 추천 시스템: 유사한 콘텐츠 추천
• RAG 시스템: 관련 문서 빠른 검색

7️⃣ RAG (검색 증강 생성)

RAG (Retrieval-Augmented Generation)

🔍 실무에서의 RAG 구현 현실

실무 RAG 파이프라인의 복잡성

문서 처리: 청킹, 메타데이터 추출, 품질 검증
임베딩: 모델 선택, 배치 처리, 버전 관리
검색: 유사도 임계값, 결과 수, 재순위화
생성: 프롬프트 엔지니어링, 컨텍스트 길이 관리
후처리: 답변 검증, 출처 표시, 신뢰도 측정
                

RAG vs 파인튜닝

⚙️ 실무 RAG 최적화 전략

검색 품질 개선

• 하이브리드 검색: 키워드 + 의미 검색 조합
• 쿼리 확장: 동의어, 관련어 추가
• 재순위화: 비즈니스 규칙, ML 모델 활용
• 메타데이터 필터링: 날짜, 카테고리, 권한 기반

생성 품질 개선

• 프롬프트 최적화: 역할 정의, 출력 형식 지정
• 컨텍스트 관리: 토큰 제한, 우선순위 설정
• 답변 검증: 사실성 체크, 일관성 확인
• 출처 표시: 신뢰성 향상, 추적 가능성

지식 베이스 (Knowledge Base)

지식 베이스 구성 요소

• 문서 저장소: 원본 문서 관리
• 메타데이터: 문서 속성 정보
• 검색 인덱스: 빠른 검색을 위한 색인
• 접근 권한: 보안 및 권한 관리

📚 실무 지식 베이스 구축과 운영

실무 지식 베이스 설계 원칙

• 단일 진실 원천: 중복 정보 최소화, 일관성 유지
• 버전 관리: 변경 이력 추적, 롤백 가능
• 품질 관리: 정기 검토, 오래된 정보 정리
• 접근성: 사용자별 권한, 검색 편의성

수집: 다양한 소스에서 정보 수집
정제: 중복 제거, 표준화, 품질 검증
저장: 구조화, 메타데이터 추가, 인덱싱
활용: 검색, RAG, 분석 등 다양한 용도
갱신: 정기 업데이트, 피드백 반영
                

RAG 활용 사례

• 고객 지원: FAQ, 매뉴얼 기반 자동 응답
• 내부 문서 검색: 회사 정책, 프로세스 안내
• 연구 보조: 논문, 보고서 기반 인사이트 제공
• 법률 자문: 판례, 법령 기반 초기 검토

연결점: RAG는 임베딩과 벡터 DB를 활용해 LLM의 한계(지식 업데이트, 할루시네이션)를 해결하는 실용적 기법입니다.

8️⃣ 멀티모달 AI

멀티모달 AI (Multimodal AI)

🎭 실무에서의 멀티모달 AI 구현 도전

실무 멀티모달 구현 시 고려사항

• 데이터 동기화: 서로 다른 형태 데이터의 시간적 일치
• 품질 불균형: 모달리티별 성능 차이 관리
• 처리 비용: 이미지/비디오 처리는 텍스트보다 훨씬 비쌈
• 지연 시간: 복합 처리로 인한 응답 속도 저하

응용 분야

• 의료: X-ray 이미지 + 환자 기록 종합 진단
• 교육: 시각적 자료와 음성 설명 결합
• 창작: 텍스트 설명으로 이미지/영상 생성
• 접근성: 시각장애인을 위한 이미지 설명

연결점: 멀티모달 AI는 LLM이 텍스트를 넘어 다양한 형태의 데이터를 처리할 수 있게 확장된 형태입니다.

9️⃣ AI Agent & Agentic AI

AI Agent (에이전트)

AI Agent의 핵심 구성 요소

• Perception: 환경 상태 인식 (입력 데이터 분석)
• Decision Making: 상황에 따른 행동 결정
• Action: 외부 시스템과의 상호작용 실행
• Learning: 경험을 통한 성능 개선

🤖 실무에서의 AI Agent 구현 현실

실제 구현 사례

Agentic AI

Agentic AI의 핵심 능력

• Planning: 복잡한 작업을 단계별로 계획
• Tool Use: 다양한 도구와 API 활용
• Memory: 과거 상호작용 기억 및 활용
• Reflection: 자신의 행동을 평가하고 개선

ReAct 패턴 예시

연결점: AI Agent는 LLM, RAG, 멀티모달 AI 등의 기술을 통합하여 실제 업무를 수행하는 실행 단위입니다.

🔟 MCP (Model Context Protocol)

MCP 기본 개념

MCP 아키텍처

• MCP Client: AI 모델 (Claude, GPT 등)
• MCP Server: 외부 서비스 연결 서버
• Transport Layer: 통신 프로토콜 (HTTP, WebSocket)
• Security Layer: 인증 및 권한 관리

MCP 구현 사례

파일 시스템 MCP 서버

데이터베이스 MCP 서버

MCP vs 기존 API 비교

연결점: MCP는 AI Agent와 Agentic AI가 실제 업무 환경에서 안전하고 효율적으로 작동할 수 있게 하는 핵심 인프라입니다.

1️⃣4️⃣ Jupyter 생태계

Jupyter란?

Jupyter: Julia + Python + R에서 시작된 대화형 개발 환경. 웹 브라우저에서 코드 작성, 실행, 시각화를 한 곳에서 처리할 수 있는 도구

🎯 AI/ML에서 Jupyter가 중요한 이유

• 실험적 개발: 코드 → 결과 → 분석 → 개선의 반복 과정에 최적화
• 시각화 통합: 데이터 분석 결과를 바로 그래프로 확인
• 문서화: 코드 + 결과 + 설명을 하나의 문서로 관리
• 협업: 분석 과정 전체를 동료와 공유 가능

🔄 개발 방식의 진화

전통적 방식 (CLI):
명령 실행 → 결과 확인 → 다음 명령 결정 (선형적)

Jupyter 방식:
가설 → 실험 → 분석 → 개선 (반복적, 실험적)

📊 실제 사용 예시

# 데이터 로드
import pandas as pd
data = pd.read_csv('aws_costs.csv')

# 바로 결과 확인 (Jupyter의 장점!)
data.head()  # 표 형태로 즉시 출력

# 시각화도 바로
import matplotlib.pyplot as plt
data.plot(kind='bar')  # 그래프가 바로 나타남

# 분석 결과를 바탕으로 다음 실험 설계

🚀 Jupyter 생태계 발전

🎯 학습 경로별 접근법

💡 실무 활용 팁

# ❌ 나쁜 예: 모든 걸 한 셀에
import pandas as pd
data = pd.read_csv('file.csv')
data.dropna()
data.groupby('category').sum()
data.plot()

# ✅ 좋은 예: 단계별로 나누기
# 셀 1: 데이터 로드
import pandas as pd
data = pd.read_csv('file.csv')
print(f"데이터 크기: {data.shape}")

# 셀 2: 데이터 정리
data = data.dropna()
print(f"정리 후 크기: {data.shape}")

# 셀 3: 분석
result = data.groupby('category').sum()
result

# 셀 4: 시각화
result.plot(kind='bar')

# 각 단계마다 결과 확인
data.head()  # 데이터 미리보기
data.info()  # 데이터 타입 확인
data.describe()  # 통계 요약

# 마크다운 셀에서:
## 데이터 분석 목표
- 월별 매출 트렌드 파악
- 상위 10개 상품 분석

## 발견한 문제점
- 4월 데이터에 이상치 발견
- 카테고리 A의 급격한 감소

# 실행 시간 측정
%%time
# 오래 걸리는 작업

# 시스템 명령어 실행
!pip install seaborn  # 패키지 설치
!ls *.csv  # CSV 파일 목록 보기

# 변수 확인
%whos  # 현재 변수들 보기

# ❌ 문제 상황
# 셀 1에서: x = 10
# 셀 3에서: y = x + 5  (셀 2를 건너뛰고 실행)
# 셀 2에서: x = 20  (나중에 실행)
# 결과: y = 15 (예상과 다름!)

# 문제: 이전 실험의 변수가 남아있음
data = old_experiment_data  # 이전 실험
# ... 새로운 실험 시작
data.head()  # 어? 이전 데이터가 나옴

# 해결법: 명확한 변수명 사용
sales_data_2024 = pd.read_csv('sales_2024.csv')
user_data_clean = clean_user_data(raw_user_data)

🔗 다른 AI 도구와의 연관성

• 머신러닝: 모델 실험과 검증의 핵심 도구
• 데이터 분석: pandas, numpy와 완벽 통합
• 시각화: matplotlib, seaborn 등과 즉시 연동
• AI Agent: 프로토타입 개발과 테스트 환경

1️⃣5️⃣ MLOps

MLOps란?

MLOps: Machine Learning + DevOps. ML 모델을 실제 서비스에서 안전하고 지속적으로 사용하기 위한 방법론

🤔 왜 필요한가?

일반 프로그램: 2+2=4 (영원히 변하지 않음)
ML 모델: 사람 취향, 세상이 계속 변함 → 지속적 관리 필요

🎯 핵심 개념: 점진적 개선

🛒 쉬운 예시: 이마트 상품 추천

# 개발 단계 (Jupyter에서)
model = train_recommendation_model(customer_data)
# 김철수님에게 ["우유", "빵", "계란"] 추천

# 배포 단계 (실제 앱에서)  
recommendations = model.predict("김철수")
show_recommendations(recommendations)

# 문제 발생
1월: 김철수님 → 우유, 빵 구매 → 모델: "유제품 선호"
6월: 김철수님 → 다이어트 시작, 샐러드만 구매
문제: 모델이 여전히 "우유, 빵" 추천 😅

# MLOps 해결책
if click_rate < 30%:  # 추천 클릭률 저하
    retrain_with_recent_data()  # 최근 데이터로 재훈련

🔄 MLOps 핵심 과정

• 데이터 검증: 새 데이터 품질 체크
• A/B 테스트: 새 모델을 일부 사용자에게만 적용
• 성능 모니터링: 실시간 정확도 추적
• 안전한 롤백: 문제 시 이전 버전으로 즉시 복구

💡 MLOps vs 일반 개발

일반 웹사이트 배포:
코드 작성 → 테스트 → 배포 → 끝

ML 모델 배포:
모델 훈련 → 검증 → A/B 테스트 → 배포 → 모니터링 → 재훈련 → 반복...

1️⃣6️⃣ AIOps

AIOps란?

AIOps: AI for IT Operations. IT 인프라와 애플리케이션 운영에서 발생하는 대량의 데이터를 AI로 분석하여, 문제를 예측하고 자동으로 해결하는 방법론

🔄 AIOps 핵심 프로세스

🏗️ 전통적 방식 vs AIOps

전통적 IT 운영:
장애 발생 → 담당자 호출 → 원인 분석 → 복구 (수시간)

AIOps 방식:
패턴 감지 → 장애 예측 → 자동 예방 조치 → 장애 방지 (수분)

우리 프로젝트 예시:
전통적: 수동 S3 업로드 → 링크 깨짐 발견 → 수정
AIOps: 247개 링크 자동 검증 → 문제 사전 차단 → 안전 배포

🚀 AIOps 성숙도 단계

• Level 1 - 모니터링: 시스템 상태 추적 (우리: 프로젝트 파일 상태 추적 ✅)
• Level 2 - 분석: 패턴 분석, 대시보드 (우리: 세션 컨텍스트 Agent ✅)
• Level 3 - 예측: 문제 예측 (우리: 배포 전 문제 예측 ✅)
• Level 4 - 자동화: 자동 복구 (우리: 자동 검증, 자동 배포 ✅)
• Level 5 - 자율 운영: 완전 자율 시스템 (우리: 거버넌스 준수 자율 시스템 🔄)

💡 AIOps vs 다른 Ops

DevOps: 개발과 운영의 협업 문화/프로세스
MLOps: ML 모델의 생명주기 관리  
AIOps: IT 운영 전반에 AI 적용

관계:
• AIOps는 DevOps 파이프라인을 더 지능적으로 만듦
• MLOps는 AIOps의 한 분야
• 모든 Ops는 결국 AIOps로 통합되는 추세

1️⃣7️⃣ AI 서비스 분류

핵심 질문

"Amazon Q, Copilot, ChatGPT, Gemini는 AI 서비스야? 플랫폼이야? 도구야? 솔루션이야?"
→ 답: 모두 "AI 서비스"이지만, 제공 형태와 특성이 다릅니다.

📊 주요 AI 서비스 분류

🏗️ 제공 형태별 분류

플랫폼 (Platform): 여러 기능이 통합된 환경
• Amazon Q Developer (AWS 통합)
• Microsoft 365 Copilot (Office 통합)

도구 (Tool): 특정 작업을 위한 전용 기능
• GitHub Copilot (코드 완성)
• Amazon Q CLI (명령어 도구)

서비스 (Service): 사용자에게 제공되는 AI 기능
• ChatGPT (대화 서비스)
• Gemini (멀티모달 서비스)

솔루션 (Solution): 특정 문제를 해결하는 완전한 패키지
• Microsoft 365 Copilot (오피스 생산성)
• Amazon Q Business (기업 지식 관리)

🤔 왜 구분이 어려운가?

• 경계의 모호성: 하나의 제품이 여러 역할 수행
• 마케팅 용어 혼재: 같은 것을 다르게 부름
• 빠른 진화: 기능이 계속 추가되면서 분류 변경

🎯 실용적 구분 방법

💡 선택 가이드

하이브리드 접근 (추천):
• AWS ERP 데이터 분석 → Amazon Q
• GCP 데이터 레이크 분석 → Gemini + BigQuery  
• MS Office 문서 작업 → Microsoft 365 Copilot
• 일반 질의응답 → ChatGPT

단계적 접근:
1단계: 가장 중요한 데이터 소스부터 시작
2단계: 성과 확인 후 다른 소스 추가
3단계: 필요시 통합 또는 API 연계

실제 기업 환경 예시:
• ERP 시스템이 AWS에 있다면 → Amazon Q가 데이터 접근성 우수
• 데이터 레이크가 GCP에 있다면 → Gemini가 분석 작업에 유리  
• 직원들이 MS Office 중심이라면 → Microsoft 365 Copilot이 학습 비용 최소
• 인프라팀이 Confluence/Jira 숙련도 높다면 → 기존 도구 연계 우선 고려

🚀 미래 전망