Flume과 Sqoop을 활용한 데이터 수집

과정소개

- 본 과정은 Apache Flume을 이용한 비정형 데이터 수집에 대해 이해하고 수집데이터를 저장하는 기술을 습득하도록 구성된 과정입니다.
- 본 과정은 Sqoop을 이용한 정형데이터(RDBMS) 수집에 대해 이해하고, 수집데이터를 저장하는 기술을 학습하도록 구성되었습니다.

교육기간

4Day, 32Hr

Hadoop 기반의 Big Data 처리 기술

과정소개

- 본 과정은 대규모 데이터를 분산처리 할 수 있는 오픈 소스 프레임워크인 Hadoop을 이해하고 관련된 Eco-System까지 습득할 수 있도록 구성된 과정입니다.
- 본 과정은 일반적인 데이터베이스보다 데이터 수집 시간이 짧고, 비정형 데이터도 수집이 가능한 방법을 습득하여 업무에 직접 적용할 수 있도록 구성되었습니다.
- 본 과정은 Hadoop 시스템에 데이터를 저장, 처리하는 방법을 익혀서 데이터의 분산, 병렬처리, 성능 향상을 한 번에 활용할 수 있는 역량을 배양할 수 있도록 구성되었습니다.

교육기간

4Day, 32Hr

Hive를 활용한 데이터 처리

과정소개

- 본 과정은 빅데이터를 저장할 때 가장 보편적으로 활용하는 Storage로서의 Hive의 개념과 활용 사례를 이해하도록 구성된 과정입니다.
- 본 과정은 Hadoop에 저장된 데이터를 분산된 서버 구성으로 확장하여 사용하는 방법을 습득하여, 실무에 적용할 수 있는 방법과 빅데이터를 처리할 수 있는 HiveQL를 실무에 어떻게 적용하는지 실습을 통하여 학습하는 과정입니다.

교육기간

3Day, 24Hr

Kafka를 활용한 데이터 처리

과정소개

- 본 과정은 빅데이터 분석, 처리, 시스템부터 Micro Service까지 모든 개발 플랫폼을 연결하는 컴포넌트 기능으로서 Kafka를 응용할 수 있도록 구성된 과정입니다.
- 본 과정은 전통적인 메시지 시스템으로서 메시징 처리 뿐만 아니라, 사용자의 웹 사이트 활동 추적 파이프라인으로 활용하고 애플리케이션의 통계를 집계하여 모니터링 데이터로 활용할 수 있도록 구성되었습니다.

교육기간

3Day, 24Hr

MapReduce 데이터 처리

과정소개

- 본 과정은 Hadoop Framework의 데이터 처리 기능을 담당하는 MapReduce의 개념과 작동방식에 대해 학습하도록 구성된 과정입니다. - 본 과정은 MapReduce 데이터 처리를 위한 프로그래밍 기법을 학습하여 빅데이터 처리에 필수적인 기법을 습득하도록 구성되었습니다.

교육기간

3Day, 24Hr

Spark Streaming 데이터 처리

과정소개

- 본 과정은 Apache Spark 아키텍처의 이해와 RDD의 이해를 통해 실시간 데이터 처리 방법에 대해 학습하도록 구성된 과정입니다.
- 본 과정은 다양한 실시간 데이터 소스를 입력 받아 실시간으로 저장 또는 처리하는 기법을 학습하도록 구성된 과정입니다.

교육기간

2Day, 16Hr

Spark를 위한 Scala Programming 기초

과정소개

- 본 과정은 각종 프로그래밍 언어의 패러다임을 적절하게 혼합하여, 객체지향 개념의 함수형 언어인 Scala의 활용 용도와 성능을 정확하게 이해하도록 구성된 과정입니다.
- 본 과정은 Scala 프로그래밍을 활용하여, 향후 Spark를 이용한 빅데이터 분석과 머신 러닝 구현을 용이하게 할 수 있는 기초 역량을 확보할 수 있도록 구성되었습니다.

교육기간

4Day, 32Hr

Spark를 활용한 데이터 분석과 처리

과정소개

- 본 과정은 In-Memory 기반의 대용량 데이터 고속 처리 엔진으로, 범용 분산 클러스터 컴퓨팅 프레임워크를 활용하는 목적과 방법을 학습하는 과정입니다.
- 본 과정은 빅데이터 분석 및 머신 러닝 구현을 위하여, 다양한 컴포넌트, 다양한 클러스터 매니저, 다양한 파일 포맷 지원, Hbase, Hive 등과 연동 가능한 Spark 기능을 학습하여 현업 업무에 즉시 적용 가능한 빅데이터 처리 역량을 확보할 수 있도록 구성되었습니다.

교육기간

4Day, 32Hr

Storm을 활용한 실시간 데이터 처리

과정소개

- 본 과정은 Apache Storm의 아키텍처를 이해하고 지속적인 메시지 처리와 실시간 데이터의 처리 방법에 대해 학습하도록 구성된 과정입니다.
- 본 과정은 Apache Storm을 이용한 대용량 데이터를 분석하고, 실시간 데이터 프로세싱을 위한 기술을 습득하도록 구성되었습니다.

교육기간

2Day, 16Hr

Zeppelin을 활용한 데이터 시각화

과정소개

- 본 과정은 오픈소스 Apache Zeppelin을 이용한 시각화에 대해 학습하는 과정입니다. - 본 과정은 Zeppelin의 확장성과 다양한 기술 스택과 연동하는 방법을 학습하여 데이터 분석 및 시각화 시스템을 구축할 수 있는 기술을 습득하도록 구성되었습니다.

교육기간

2Day, 16Hr

YARN Hadoop 클러스터 관리

과정소개

- 본 과정은 Apache Hadoop Eco-System을 확장하는 방법의 하나인, YARN의 필요성과 설계방법, 아키텍처, 구성 요소 등을 학습하는 과정입니다.
- 본 과정은 기존의 MapReduce Application을 실행하는 방법과 대규모 클러스터 YARN Application을 개발하는 방법을 현업에 즉시 적용할 수 있는 수준까지 학습하도록 구성되었습니다.

교육기간

3Day, 24Hr