아파치 하둡으로 구축하는 분산처리 빅데이터 플랫폼
Hadoop Ecodesystem 기술을 이해하고, 빠른 데이터 분석을 위하 Spark의 기본적인 사용법 및 Hadoop 과의 연동을 합니다.
Spark Core, Spark SQL, Spark Stream, Spark MLlib를 이용하여 데이터 수집, 적재, 처리, 분석까지 빅데이터 분석 과정을 다룹니다.
학습 목표
• 빅데이터 플랫폼, Hadoop Ecosystem 기술, HDFS, Mapreduce를 이해하고 하드웨어나 네트워크 등 실제 빅데이터 플랫폼 밥법을 설계합니다.
수강대상
• 빅데이터 처리 분석 활용에 관심있는 모든 분들
교육 일정
- 시작일 : 2025년 8월 25일 ~ 종료일 : 2025년 8월 29일
- 시작 시간 : 9시 30분 ~ 종료 시간 : 17시 30분
커리큘럼
- 2025-08-25 - 2025-08-29
35시간
대면아파치 하둡으로 구축하는 분산처리 빅데이터 플랫폼1일차 : Hadoop 기초와 빅데이터 플랫폼의 개념 및 설계
빅데이터 플랫폼과 하둡
빅데이터 플랫폼 구축계획
Spark의 개념과 아키텍처를 이해
2일차 : Hadoop을 이용한 빅데이터 플랫폼
빅데이터 수집에 활용할 기술
빅데이터 실시간 적재에 활용한 기술
빅데이터 탐색에 횔용되는 기술
3일차 : 효율적인 데이터 처리와 분석을 위한 Hadoop Ecosystem
빅데이터 분석에 활용 기술
제플린을 이용한 실시간 분석
4일차 : 빠른 데이터 분석을 위한 Spark
Spark 기본적인 사용법과 연동방법
Spark SQL, Stream, MLlib
5일차 : 실전 빅데이터 분석 프로젝트
스파크로 실시간 처리 및 분석 이해와 실습
접속 로그 분석 결과를 실시간 대시보드에 표시하는 스파크 스트리밍 애플리케이션 작성
스파크와 H2O를 활용한 딥러닝을 사용한 회귀 예측