재직자 교육

재직자 직무능력향상 교육
교육문의

02-587-5180

평일 09:00~18:00

(토,일,공휴일 휴무)

1:1 온라인 상담
  1. 홈
  2. 재직자교육
  3. 교육일정 및 신청

교육일정 및 신청

페이스북 트위터 구글

아파치스파크기반 빅데이터 분석

아파치스파크기반 빅데이터 분석
차수 교육기간 시간 교육장소 신청하기
1 2018년 03월 29일(목) ~ 03월 31일(토) 종료
  • 주간
  • 09:00~18:00
 NCIA양재교육장(대면) 마감
2 2018년 05월 31일(목) ~ 06월 02일(토) 종료
  • 주간
  • 09:00~18:00
 NCIA양재교육장(대면) 마감
3 2018년 07월 16일(월) ~ 07월 18일(수) 종료
  • 주간
  • 09:00~18:00
 NCIA양재교육장(대면) 마감
4 2018년 09월 13일(목) ~ 09월 15일(토) 종료
  • 주간
  • 09:00~18:00
 NCIA양재교육장(대면) 마감
5 2018년 10월 22일(월) ~ 10월 24일(수) 종료
  • 주간
  • 09:00~18:00
 NCIA양재교육장(대면) 마감
6 2018년 11월 26일(월) ~ 11월 28일(수) 종료
  • 주간
  • 09:00~18:00
 NCIA양재교육장(대면) 마감

교육목표

- 빅데이터 생태계의 기술들을 알아보고 기능들을 알수 있다.

- 대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크 애플리케이션을 개발할 수 있다.

- 스파크아키텍처를 이해하고 애플리케이션을 개발할 수 있는 스파크코어를 이해하고 스파크쉘을 이용하여 대화형 데이터를 분석할 수 있다.

- 스파크 애플리케이션을 개발하고 실행할 수 있으며 스파크 스트리밍을 이용한 고속 데이터 스트림 처리방법을 이해하고 활용할 수 있다.

- 스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을 이해하고 MLlib와 스파크 ML을 이용하여 머신러닝 애플리케이션을 개발할 수 있다.

- GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크 디플로이방법, 스파크 애플리케이션 모니터링방법을 습득할 수 있다. 

교육내용

- 데이터 생태계(하둡, 데이터직렬화, 칼럼기반스토리지, 메시징시스템, NoSQL, 분산SQL쿼리엔진)

- 스칼라프로그래밍 (함수형 프로그래밍, 스칼라 기본, 스칼라 애플리케이션)

- 스파크 코어 (스파크 아키텍처, 스파크 애플리케이션개발, 스파크 쉘)

- 스파크 애플리케이션 (코딩, 컴파일 및 실행, 모니터링 및 디버깅) 

- 스파크 스트리밍 애플리케이션

- 스파크 SQL (SQL 이해, 스파크 SQL JDBC서버를 이용한 대화형 분석)

- 스파크 머신러닝 (머신러닝의 이해, 스파크 머신러닝 라이브러리, 스파크ML)

- 스파크그래프 (GraphX이해 및 실습)

- 스파크 디플로이 (클러스터 매니저-스탠드얼론 클러스터 매니저, 아파치 메소드, 얀)

- 스파크 모니터링 (스탠드얼론애플리케이션, 스파크애플리케이션)

 

일차과목내용
1일차빅데이터 생태계

빅데이터 생태계의 기술들을 알아보고 기능들을 알수 있다.

- 하둡
- 데이터 직렬화
- 칼럼기반 스토리지
- 메시징시스템
- No SQL
- 분산 SQL 쿼리 엔진

스칼라 프로그래밍

대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크 애플리케이션을 개발할 수 있다.

- 함수형 프로그래밍
- 스칼라 기본
- 스칼라 애플리케이션

2일차스파크 코어

스파크아키텍처를 이해하고 애플리케이션을 개발할 수 있는 스파크코어를 이해하고 스파크쉘을 이용하여 대화형 데이터를 분석할 수 있다.

- 스파크 아키텍처
- 스파크 애플리케이션 개발
- 스파크 쉘
스파크 애플리케이션

스파크 애플리케이션을 개발하고 실행할 수 있으며 스파크 스트리밍을 이용한 고속 데이터 스트림 처리방법을 이해하고 활용할 수 있다.

- 애플리케이션 컴파일 및 실행
- 애플리케이션 모니터링 및 디버깅
- 스파크 스트리밍 애플리케이션

3일차스파크 SQL 및 머신러닝

스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을 이해하고 MLlib와 스파크 ML을 이용하여 머신러닝 애플리케이션을 개발할 수 있다.

- 스파크 SQL 이해
- 스파크 SQL JDBC서버를 이용한 대화형 분석
- 머신러닝 이해
- 스마프 머신러닝 라이브러리 이해 및 실습
- 스파크 ML 이해 및 실습

스파크 그래프 디플로이와 모니터링

GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크 디플로이방법, 스파크 애플리케이션 모니터링방법을 습득할 수 있다.

- GraphX 이해 및 실습
- 클러스터 매니저 (스탠드얼론 클러스터 매니저, 아파치 메소드, 얀)
- 모니터링 (스탠드얼론, 스파크애플리케이션)


 

교육대상

 

프로그래밍 경험자

 

수/강/후/기

  • HRD출결관리 앱에 로그인이 안되어 아이디를 새로 만들었다 (미리공지가 안된것 같았다) 강사님의 전문가 포스가 느껴졌다. Spark에 대해 빅데이터 시스템 전반에 대해 제대로 배웠다. PC가 잘 켜지지 않아 불편했다. (강사님 앞 두자리)
    2018.03.29 ~ 2018.03.31김*현
  • 교육날짜가 3일이라 아쉬웠습니다. 강사님께서 필요한 이론 수업과 실습을 적절하게 알려주셔서 감사했습니다
    2018.03.29 ~ 2018.03.31김*환
  • 실제 대용량데이터로 분산처리 환경에서 스파크를 활용하여 데이터 멍임 및 분석과정에 대한 실습이 있었으면 좋겠습니다. 하둡 에코시스템과의 연관성 및 전반적인 내용을 자세히 설명해 주신점이 좋았습니다.
    2018.03.29 ~ 2018.03.31박*영
  • - 교육과정 내 이해가 필요한 항목에 대해서 부과적으로 설명해 주시는게 매우 좋았습니다. 앞으로도 유익한 강의 부탁드립니다. 수고하셨습니다
    2018.03.29 ~ 2018.03.31송*리
  • 아파치스파크에 대한 전반적으로 이론과 실습을 통해서 스파크활용기법을 익히는데 많은 도움이 되었습니다
    2018.03.29 ~ 2018.03.31이*경
1 2 3 4