빅데이터를도입하는 이유에 따른 도입 전략을 수립하여 실무에 적용하는 방법을 습득한다.

- 빅데이터가치와 도입전략, 빅데이터저장관리 기술

pyspark 프로그래밍

대용량 데이터를 처리하고 분석하기 위해 파이썬으로 스파크 애플리케이션을 개발할 수 있다.

- 파이썬 기본

- pyspark 모듈 및 함수 활용

빅데이터 생태계, 

빅데이터 생태계의 기술들을 알아보고 기능들을 알 수 있다.

-하둡, 데이터 직렬화, 칼럼기반 스토리지, 메시징시스템, No SQL, 분산 SQL 쿼리 엔진

스파크 코어

스파크SQL 및 시각화

스파크 코어의 개념을 학습한다.

- 스파크SQL을 이용하여 데이터베이스를 이용하는 것과 유사한 방법으로 빅데이터를분석하고 이 결과를 matplotlib을 이용하여 시각화한다.

- pyspark로 스파크애플리케이션을 개발하고 이를 디플로이하는방법을 학습한다.

웹 어플리케이션의 개요

동적인 시각화를 위하여 d3.js를 이용한다. d3.js는 웹 기반의 시각화 기술이므로 이를 이해하기 위한 기본 개념을 학습한다.

-HTML, CSS, Javascript의 기본 구문

-웹 프레임워크, 웹서버설정

-d3.js를 이용한 웹 어플리케이션 구성

스파크애플리케이션의동적인 시각화

스파크애플리케이션과d3.js를 연동하여 빅데이터분석결과를 다양하게 시각화하는 방법을 학습한다.

-시각화 레이아웃

-대용량 지리데이터 및 네트워크 데이터 시각화

실습: pyspark로 개발한 스파크애플리케이션과 d3.js를 연동하여 웹 어플리케이션에 분석결과를 시각화한다.