NVIDIA 기반 LLM 애플리케이션 개발

Module 1 – Transformer & LLM 기본기

• Transformer와 Attention의 핵심 개념

• 토큰화, 임베딩, 컨텍스트 처리 방식 이해

• BERT·GPT·Seq2Seq 구조 비교 및 활용 목적 이해

• Hugging Face pipeline()을 통한 실습형 LLM 체험

• 실습: 감정분석, 간단한 Q&A, 텍스트 생성 실행

• 성과: 로컬 환경에서 기본 LLM/NLP 모델을 실행하고 구조를 이해

Module 2 – 생성형 LLM과 프롬프트 설계

• 생성형 언어모델(Decoder, Seq2Seq)의 작동 방식

• LangChain에서 API 기반 모델과 로컬 모델 연결 방식 비교

• Prompt Engineering

• 실습: 프롬프트 최적화 및 구조화 출력 기반 챗봇 구현

• Streamlit 템플릿 활용법 안내 및 기본 UI 연동

• 성과: 사용자의 질의에 대응하는 생성형 챗봇 데모 구현

Module 3 – Retrieval-Augmented Generation (RAG)

•임베딩(Embedding)과 벡터DB 개념

•문서 검색 + 생성 결합 파이프라인 설계

•LangChain을 이용한 문서요약/지식검색형 AI 어시스턴트 구현

•RAG 품질 개선 포인트: chunking, retrieval, hallucination 완화

•Langfuse를 활용한 프롬프트/체인 실행 추적 및 결과 분석

•실습: 사내 문서를 읽고 요약·질의응답하는 RAG 애플리케이션 구축

•성과: 문서를 이해하고 근거 기반으로 답변하는 AI 어시스턴트 완성

Module 4 – NVIDIA NIM 기반 LLM 서버 배포

•LLM Inference 서버 구조 이해 (Triton, TensorRT-LLM, NIM)

•NIM 환경에서 모델 API 구축 및 테스트

•LangGraph를 활용한 다단계 LLM 워크플로우 설계

•Tool-calling, Routing, 상태 관리 등 서비스 구성 요소 이해 (선택)

•Streamlit 기반 최종 데모 애플리케이션 구성

•프로젝트 실습: 문서요약 Copilot 또는 “대화형 AI 비서” 구현 및 발표

•성과: 실무형 LLM 애플리케이션 프로토타입 완성 및 시연