빅데이터생태계

빅데이터생태계의 기술들을 알아보고 기능들을 알수있다.

- 하둡

- 데이터 직렬화

- 칼럼기반 스토리지

- 메시징시스템

- No SQL

- 분산 SQL 쿼리 엔진

스칼라 프로그래밍

대용량 데이터를 처리하고 분석하기 위해 스칼라로 스파크 애플리케이션을 개발할 수 있다.

- 함수형 프로그래밍

- 스칼라 기본

- 스칼라 애플리케이션

스파크 코어

스파크아키텍처를 이해하고 애플리케이션을 개발할 수 있는 스파크코어를 이해하고 스파크쉘을 이용하여 대화형 데이터를 분석할 수 있다.

- 스파크 아키텍처

- 스파크 애플리케이션 개발

- 스파크 쉘

스파크애플리케이션

스파크애플리케이션을 개발하고 실행할 수 있으며 스파크스트리밍을이용한 고속 데이터 스트림처리방법을 이해하고 활용할 수 있다.

- 애플리케이션 컴파일 및 실행

- 애플리케이션 모니터링 및 디버깅

- 스파크스트리밍애플리케이션

스파크SQL 및 머신러닝

스파크SQL을 이해하고 상호대화형 대용량데이터를 분석할 수 있으며, 머신러닝을이해하고 MLlib와 스파크ML을 이용하여 머신러닝애플리케이션을 개발할 수 있다.

- 스파크SQL 이해

- 스파크SQL JDBC서버를 이용한 대화형 분석

- 머신러닝이해

- 스마프머신러닝라이브러리 이해 및 실습

- 스파크ML 이해 및 실습

스파크그래프 디플로이와모니터링

GraphX를 이용한 그래프 지향 데이터 분석과 그래프 알고리즘 구현방법을 이해하고, 다양한 클러스터매니저를 이용한 스파크디플로이방법, 스파크애플리케이션 모니터링방법을 습득할 수 있다.

- GraphX 이해 및 실습

- 클러스터 매니저 (스탠드얼론클러스터 매니저, 아파치 메소드, 얀)

- 모니터링 (스탠드얼론, 스파크애플리케이션)