Private LLM & AIOps : K8s, TensorRT-LLM, vLLM 기반 고성능 LLM 서빙 아키텍처

Module 1 – K8s 기반 AI 인프라 구축

• Private LLM 구축을 위한 AIOps 아키텍처 개요 (On-prem vs. Cloud)

• K8s 클러스터 구축 및 NVIDIA GPU Operator 설치 및 GPU 리소스 검증

• Docker를 활용한 AI 모델 및 애플리케이션 컨테이너화 전략

Module 2 – Private LLM 준비: 파인튜닝 및 모델 패키징

• Hugging Face 오픈소스 LLM(Llama 3, Mistral) 모델 구조 이해 

• 한국어 데이터셋 기반 파인튜닝(Fine-Tuning) 및 모델 저장 

• RAG vs 파인튜닝 접근법 및 Vector DB(ChromaDB) 연동 기초

Module 3 – LLM 서빙 최적화 (1): TensorRT-LLM Deep Dive

• LLM 추론 병목 현상과 최적화 원리 (Quantization, In-flight Batching) 

• TensorRT-LLM 빌드 및 파인튜닝된 모델 최적화 (FP8/INT4 퀀타이제이션) 

• Triton Inference Server와 TensorRT-LLM 연동을 통한 프로덕션 배포 및 성능 벤치마킹

Module 4 – LLM 서빙 최적화 (2): vLLM과 KServe

• vLLM 핵심 기술: PagedAttention과 Continuous Batching 원리 이해 

• vLLM을 K8s 환경에 독립형 서비스로 배포 및 성능 벤치마킹 (vs TensorRT-LLM) 

• KServe를 활용한 모델 서빙 및 Canary/Blue-Green 배포 구성

Module 5 – AIOps: CI/CD 파이프라인 및 모니터링

• GitLab CI/CD (또는 GitHub Actions) 파이프라인 설계 

• Git Push -> Docker 이미지 빌드 -> KServe 모델 자동 업데이트 (GitOps) 

• Prometheus & Grafana 기반 GPU 사용률 및 LLM 응답 속도(TPS) 모니터링 대시보드 구축