국립금오공과대학교 전자책도서관

책소개

빅데이터 프로그래밍을 위한 최고의 입문서!

로컬에서 작은 규모나마 직접 빅데이터 서비스를 구현함으로써 독자들이 서비스 아키텍처에 대한 이해와 통찰력을 얻는 데 목표를 두며, 빅데이터 사용과 구현방식의 다양성을 위해 이 책은 자바와 파이썬으로 실습 애플리케이션을 구현하고, 각 빅데이터 기술의 설치와 설정에 있어서도 윈도우 11과 우분투 22.04에서 작업을 수행하며, 마지막으로 통합 개발환경은 이클립스 IDE를 사용하여 단일 개발환경에서 이 모든 개발을 진행합니다.

저자소개

연세대학교에서 기계공학을 전공했고 동 대학원에서 석사학위를 취득하였다. 소프트웨어 사업을 천직으로 여기며 끊임없는 자기계발과 인사이트를 찾으려 하는 기술 작가다. 오픈소스 기술이 가져오는 열린 마음, 포용적이고 개방적인 영향력을 체험하며 오픈소스 관련 개발 언어와 서비스에 대한 서적을 집필하고 있다. 《Eclipse와 JBoss7을 이용한 Java 웹서비스 구축》(홍릉과학출판사), 《빅데이터 프로그래밍》(지앤선)을 집필하였다

머리말 viii
베타리더 후기 xii

CHAPTER 1 빅데이터 개론 1

1.1 빅데이터란? 1
1.2 빅데이터 저장과 분석 12
1.3 데이터 전처리와 람다 아키텍처 23

CHAPTER 2 개발 통합 환경 29

2.1 자바 설치 29
2.2 파이썬 설치 34
2.3 이클립스 설치 및 설정 39
2.4 저장소 설치 51
2.5 실습 데이터 63

CHAPTER 3 하둡 파일 시스템 I 89

3.1 하둡 구조 및 기능 89
3.2 하둡 파일 시스템 설치 및 설정 93
3.3 하둡 파일시스템 API 114

CHAPTER 4 하둡 파일 시스템 II 129

4.1 자바 실습 프로젝트 129
4.2 파이썬 실습 프로젝트 172

CHAPTER 5 카프카를 이용한 데이터 송수신 197

5.1 카프카의 개념과 기능 197
5.2 카프카 설치 및 설정 202
5.3 카프카 메시지 서비스의 API 211
5.4 자바 실습 프로젝트 224
5.5 파이썬 실습 프로젝트 231

CHAPTER 6 아파치 스파크 배치 작업 I 237

6.1 아파치 스파크의 개념과 하부 프로젝트 237
6.2 아파치 스파크 설치 및 설정 242
6.3 아파치 스파크 SQL API 252

CHAPTER 7 아파치 스파크 배치 작업 II 295

7.1 자바 실습 프로젝트 295
7.2 파이썬 실습 프로젝트 306

CHAPTER 8 아파치 스파크 스트리밍 작업 317

8.1 아파치 스파크의 구조화 스트리밍 개념 317
8.2 아파치 스파크 구조화 스트리밍 API 322
8.3 자바 실습 프로젝트 329
8.4 파이썬 실습 프로젝트 335

CHAPTER 9 MySQL 데이터 작업 341

9.1 관계형 데이터베이스 정의와 개념 341
9.2 SQL 및 Python API 347
9.3 파이썬 실습 프로젝트 376

CHAPTER 10 몽고디비 데이터 작업 389

10.1 몽고디비 개념과 특징 389
10.2 몽고디비 API 394
10.3 파이썬 실습 프로젝트 406

찾아보기 415

책소개

저자소개

목차