교육문의

02-587-5180

평일 09:00~18:00

(토,일,공휴일 휴무)

1:1 온라인 상담
  1. 재직자교육
  2. 교육일정 및 신청

교육일정 및 신청

페이스북 트위터 구글

아파치스파크기반 실시간 빅데이터 분석 플랫폼 구축

아파치스파크기반 실시간 빅데이터 분석 플랫폼 구축
차수 교육기간 시간 교육장소 신청하기
1 2019년 05월 27일(월) ~ 05월 29일(수) 종료
  • 주간
  • 09:00~18:00
NCIA양재교육장 마감
2 2019년 07월 22일(월) ~ 07월 24일(수) 종료
  • 주간
  • 09:00~18:00
NCIA양재교육장 마감
3 2019년 08월 15일(목) ~ 08월 17일(토) 종료
  • 주간
  • 09:00~18:00
NCIA양재교육장 마감

교육목표

• 빅데이터생태계의 기술들을 알아보고 기능들을 알 수 있다.

• 대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크애플리케이션을 개발할 수 있다.

• 스파크아키텍처를이해하고 애플리케이션을 개발할 수 있는 스파크코어를이해하고 스파크쉘을이용하여 대화형 데이터를 분석할 수 있다.

• 스파크애플리케이션을 개발하고 실행할 수 있으며 스파크스트리밍을이용한 고속 데이터 스트림처리방법을 이해하고 활용할 수 있다.

• 스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을이해하고 MLlib와 스파크ML을 이용하여 머신러닝애플리케이션을 개발할 수 있다.

• GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크디플로이방법, 스파크애플리케이션 모니터링방법을 습득할 수 있다.

교육내용

 

일차과목내용
1일차

빅데이터생태계

빅데이터생태계의 기술들을 알아보고 기능들을 알수있다.

- 하둡

- 데이터 직렬화

- 칼럼기반 스토리지

- 메시징시스템

- No SQL

- 분산 SQL 쿼리 엔진

스칼라 프로그래밍

대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크 애플리케이션을 개발할 수 있다.

- 함수형 프로그래밍

- 스칼라 기본

- 스칼라 애플리케이션

2일차

스파크 코어

스파크아키텍처를 이해하고 애플리케이션을 개발할 수 있는 스파크코어를 이해하고 스파크쉘을 이용하여 대화형 데이터를 분석할 수 있다.

- 스파크 아키텍처

- 스파크 애플리케이션 개발

- 스파크 쉘

스파크애플리케이션

스파크애플리케이션을 개발하고 실행할 수 있으며 스파크스트리밍을이용한 고속 데이터 스트림처리방법을 이해하고 활용할 수 있다.

애플리케이션 컴파일 및 실행

애플리케이션 모니터링 및 디버깅

스파크스트리밍애플리케이션

3일차

스파크SQL 및 머신러닝

스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을이해하고 MLlib와 스파크ML을 이용하여 머신러닝애플리케이션을 개발할 수 있다.

- 스파크SQL 이해

- 스파크SQL JDBC서버를 이용한 대화형 분석

- 머신러닝이해

- 스마프머신러닝라이브러리 이해 및 실습

- 스파크ML 이해 및 실습

스파크그래프 디플로이와모니터링

GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크디플로이방법, 스파크애플리케이션 모니터링방법을 습득할 수 있다.

- GraphX 이해 및 실습

- 클러스터 매니저 (스탠드얼론클러스터 매니저, 아파치 메소드, )

- 모니터링 (스탠드얼론, 스파크애플리케이션)


 ​ 

교육대상

• 프로그래밍 경험자

• 실시간으로 데이터를 저장하고 분석하는 방법을 습득하고자 하는 개발자

• 선수과정:아파치 하둡기반 빅데이터 플랫폼 구축

수/강/후/기