교육문의

02-587-5180

평일 09:00~18:00

(토,일,공휴일 휴무)

1:1 온라인 상담
  1. 재직자교육
  2. 교육일정 및 신청

교육일정 및 신청

페이스북 트위터 구글

아파치스파크기반 빅데이터 분석

아파치스파크기반 빅데이터 분석
차수 교육기간 시간 교육장소 신청하기
1 2018년 03월 29일(목) ~ 03월 31일(토) 종료
  • 주간
  • 09:00~18:00
NCIA양재교육장 마감
2 2018년 05월 31일(목) ~ 06월 02일(토)
  • 주간
  • 09:00~18:00
NCIA양재교육장 대기 신청
3 2018년 07월 16일(월) ~ 07월 18일(수)
  • 주간
  • 09:00~18:00
NCIA양재교육장 신청
4 2018년 09월 13일(목) ~ 09월 15일(토)
  • 주간
  • 09:00~18:00
NCIA양재교육장 신청
5 2018년 10월 22일(월) ~ 10월 24일(수)
  • 주간
  • 09:00~18:00
NCIA양재교육장 신청
6 2018년 11월 26일(월) ~ 11월 28일(수)
  • 주간
  • 09:00~18:00
NCIA양재교육장 신청

교육목표

- 빅데이터 생태계의 기술들을 알아보고 기능들을 알수 있다.

- 대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크 애플리케이션을 개발할 수 있다.

- 스파크아키텍처를 이해하고 애플리케이션을 개발할 수 있는 스파크코어를 이해하고 스파크쉘을 이용하여 대화형 데이터를 분석할 수 있다.

- 스파크 애플리케이션을 개발하고 실행할 수 있으며 스파크 스트리밍을 이용한 고속 데이터 스트림 처리방법을 이해하고 활용할 수 있다.

- 스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을 이해하고 MLlib와 스파크 ML을 이용하여 머신러닝 애플리케이션을 개발할 수 있다.

- GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크 디플로이방법, 스파크 애플리케이션 모니터링방법을 습득할 수 있다. 

교육내용

- 데이터 생태계(하둡, 데이터직렬화, 칼럼기반스토리지, 메시징시스템, NoSQL, 분산SQL쿼리엔진)

- 스칼라프로그래밍 (함수형 프로그래밍, 스칼라 기본, 스칼라 애플리케이션)

- 스파크 코어 (스파크 아키텍처, 스파크 애플리케이션개발, 스파크 쉘)

- 스파크 애플리케이션 (코딩, 컴파일 및 실행, 모니터링 및 디버깅) 

- 스파크 스트리밍 애플리케이션

- 스파크 SQL (SQL 이해, 스파크 SQL JDBC서버를 이용한 대화형 분석)

- 스파크 머신러닝 (머신러닝의 이해, 스파크 머신러닝 라이브러리, 스파크ML)

- 스파크그래프 (GraphX이해 및 실습)

- 스파크 디플로이 (클러스터 매니저-스탠드얼론 클러스터 매니저, 아파치 메소드, 얀)

- 스파크 모니터링 (스탠드얼론애플리케이션, 스파크애플리케이션)

 

일차과목내용
1일차빅데이터 생태계

빅데이터 생태계의 기술들을 알아보고 기능들을 알수 있다.

- 하둡
- 데이터 직렬화
- 칼럼기반 스토리지
- 메시징시스템
- No SQL
- 분산 SQL 쿼리 엔진

스칼라 프로그래밍

대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크 애플리케이션을 개발할 수 있다.

- 함수형 프로그래밍
- 스칼라 기본
- 스칼라 애플리케이션

2일차스파크 코어

스파크아키텍처를 이해하고 애플리케이션을 개발할 수 있는 스파크코어를 이해하고 스파크쉘을 이용하여 대화형 데이터를 분석할 수 있다.

- 스파크 아키텍처
- 스파크 애플리케이션 개발
- 스파크 쉘
스파크 애플리케이션

스파크 애플리케이션을 개발하고 실행할 수 있으며 스파크 스트리밍을 이용한 고속 데이터 스트림 처리방법을 이해하고 활용할 수 있다.

- 애플리케이션 컴파일 및 실행
- 애플리케이션 모니터링 및 디버깅
- 스파크 스트리밍 애플리케이션

3일차스파크 SQL 및 머신러닝

스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을 이해하고 MLlib와 스파크 ML을 이용하여 머신러닝 애플리케이션을 개발할 수 있다.

- 스파크 SQL 이해
- 스파크 SQL JDBC서버를 이용한 대화형 분석
- 머신러닝 이해
- 스마프 머신러닝 라이브러리 이해 및 실습
- 스파크 ML 이해 및 실습

스파크 그래프 디플로이와 모니터링

GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크 디플로이방법, 스파크 애플리케이션 모니터링방법을 습득할 수 있다.

- GraphX 이해 및 실습
- 클러스터 매니저 (스탠드얼론 클러스터 매니저, 아파치 메소드, 얀)
- 모니터링 (스탠드얼론, 스파크애플리케이션)


 

교육대상

 

프로그래밍 경험자

 

수/강/후/기