Module 1 – 생성형 AI 보안 개론

• 생성형 AI(LLM) 동작 원리 및 AI 기반 애플리케이션 아키텍처 이해

• AI 개발이 가져오는 새로운 공격 표면(Attack Surface) 및 리스크 분석

• LLM API 연동 및 챗봇 애플리케이션 환경 구축

• 개발 환경에서의 초기 보안 고려사항 점검

Module 2 – LLM 핵심 취약점 (Input & Output)

• LLM01: 프롬프트 인젝션 (Prompt Injection) 원리, 유형, 예상 피해 분석

• 기본적인 프롬프트 인젝션 공격 시도 및 분석

• LLM02: 안전하지 않은 출력 처리 (Insecure Output Handling) (XSS, CSRF 연계)

• LLM 출력값에 대한 안전한 렌더링 (Output Encoding)

• LLM06: 민감 정보 유출 (Sensitive Information Disclosure) 및 RAG 데이터 유출

• RAG 시스템에서의 민감 데이터 비식별화 (PII Masking)

Module 3 – LLM 심화 방어 전략

• 간접 프롬프트 인젝션, 다단계 공격 시나리오 분석

• 프롬프트 인젝션 방어 전략 (입력 필터링, 방어 프롬프트 설계)

• 프롬프트 인젝션 방어 기법 적용 (System Prompt, Input/Output 분리)

• LLM04: 서비스 거부 공격 (Model Denial of Service) 분석 및 방어 (Rate Limiting)

• LLM05: 공급망 취약점 (Supply Chain Vulnerabilities) (e.g., Hugging Face)

• AI 인프라 보안 설정 (API 키 관리, Rate Limiting)

Module 4 – 모델 및 에이전트 보안

• LLM03: 학습 데이터 오염 (Training Data Poisoning) 동작 원리 및 파급 효과

• LLM10: 불안전한 모델 동기화 (Model Theft) 및 모델 보호 전략

• LLM07: 과도한 에이전트 권한 (Excessive Agency)의 위험성

• LLM09: 안전하지 않은 플러그인 설계 (Insecure Plugin Design)

• LLM08: 과도한 의존성 (Excessive Reliance) 및 3rd-party 위험

• 에이전트/플러그인 방어 전략 (최소 권한 원칙, 샌드박싱)

• 안전한 AI 에이전트 기능 제한 및 플러그인 권한 제어

Module 5 – AI 애플리케이션과 전통적 웹 보안

• A01: AI 환경에서의 접근 제어 실패 (Broken Access Control) 시나리오

• A07: 식별 및 인증 실패 (Identification and Authentication Failures)

• AI 애플리케이션의 사용자 세션 및 권한 제어 구현

• A03: 인젝션 (Injection) - SQL Injection과 Prompt Injection 연계

• A02: 암호화 실패 (Cryptographic Failures) - API 키, 벡터 DB 암호화

• A05: 보안 설정 오류 (Security Misconfiguration) - AI 인프라, Cloud 설정

• 안전한 API 키 관리 (Secret Management)