Flume과 Sqoop을 활용한 데이터 수집

과정소개

- 본 과정은 Apache Flume을 이용한 비정형 데이터 수집에 대해 이해하고 수집데이터를 저장하는 기술을 습득하도록 구성된 과정입니다.
- 본 과정은 Sqoop을 이용한 정형데이터(RDBMS) 수집에 대해 이해하고, 수집데이터를 저장하는 기술을 학습하도록 구성되었습니다.

교육기간

4Day, 32Hr

Hadoop 기반의 Big Data 처리 기술

과정소개

- 본 과정은 대규모 데이터를 분산처리 할 수 있는 오픈 소스 프레임워크인 Hadoop을 이해하고 관련된 Eco-System까지 습득할 수 있도록 구성된 과정입니다.
- 본 과정은 일반적인 데이터베이스보다 데이터 수집 시간이 짧고, 비정형 데이터도 수집이 가능한 방법을 습득하여 업무에 직접 적용할 수 있도록 구성되었습니다.
- 본 과정은 Hadoop 시스템에 데이터를 저장, 처리하는 방법을 익혀서 데이터의 분산, 병렬처리, 성능 향상을 한 번에 활용할 수 있는 역량을 배양할 수 있도록 구성되었습니다.

교육기간

4Day, 32Hr

Hive를 활용한 데이터 처리

과정소개

- 본 과정은 빅데이터를 저장할 때 가장 보편적으로 활용하는 Storage로서의 Hive의 개념과 활용 사례를 이해하도록 구성된 과정입니다.
- 본 과정은 Hadoop에 저장된 데이터를 분산된 서버 구성으로 확장하여 사용하는 방법을 습득하여, 실무에 적용할 수 있는 방법과 빅데이터를 처리할 수 있는 HiveQL를 실무에 어떻게 적용하는지 실습을 통하여 학습하는 과정입니다.

교육기간

3Day, 24Hr

Kafka를 활용한 데이터 처리

과정소개

- 본 과정은 빅데이터 분석, 처리, 시스템부터 Micro Service까지 모든 개발 플랫폼을 연결하는 컴포넌트 기능으로서 Kafka를 응용할 수 있도록 구성된 과정입니다.
- 본 과정은 전통적인 메시지 시스템으로서 메시징 처리 뿐만 아니라, 사용자의 웹 사이트 활동 추적 파이프라인으로 활용하고 애플리케이션의 통계를 집계하여 모니터링 데이터로 활용할 수 있도록 구성되었습니다.

교육기간

3Day, 24Hr

MapReduce 데이터 처리

과정소개

- 본 과정은 Hadoop Framework의 데이터 처리 기능을 담당하는 MapReduce의 개념과 작동방식에 대해 학습하도록 구성된 과정입니다. - 본 과정은 MapReduce 데이터 처리를 위한 프로그래밍 기법을 학습하여 빅데이터 처리에 필수적인 기법을 습득하도록 구성되었습니다.

교육기간

3Day, 24Hr