국립금오공과대학교 전자책도서관

책소개

아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!

국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified Administrator for Apache Kafka)을 보유한 『카프카, 데이터 플랫폼의 최강자』 저자 고승범이 SKT, 카카오 등 국내 최대 규모의 데이터 플랫폼상에서 카프카를 운영하며 쌓아온 현업 경험과 노하우를 이 책에 모두 담아냈다.

저자소개

현재 SK텔레콤에서 빅데이터 플랫폼의 중추 역할을 하는 카프카 운영 업무를 맡고 있다. 이전에는 카카오에서 전사 공용 카프카와 래빗MQ를 운영했으며 그 경험을 살려서 공동 집필한 『카프카, 데이터 플랫폼의 최강자』(책만, 2018)로 국내 카프카 기술 저변 확대에 일조해왔다. 또한 카프카 한국 사용자 모임(facebook.com/groups/kafka.kru)도 창설하여 카프카 기술을 알리고 지식도 공유하며 각종 온오프라인 세미나를 리딩하고 있다. 국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사 자격(Confluent Certified Trainer for Apache Kafka)을 비롯해, 컨플루언트 공인 아파치 카프카 관리자 자격(Confluent Certified Administrator for Apache Kafka)도 보유하고 있다.

1장 카프카 개요

1.1 잘란도와 트위터의 카프카 도입 사례
__1.1.1 유럽 최대 온라인 패션몰 잘란도의 도전 사례
__1.1.2 SNS 절대 강자 트위터의 카프카 활용 사례
1.2 국내외 카프카 이용 현황
1.3 카프카의 주요 특징
1.4 카프카의 성장
1.5 다양한 카프카의 사용 사례
1.6 정리

2장 카프카 환경 구성

2.1 이 책의 실습 환경 구성
__2.1.1 AWS 환경에서 실습 환경 구성
__2.1.2 온프레미스 환경에서 실습 환경 구성
2.2 카프카 클러스터 구성
2.3 5분 만에 카프카 맛보기
__2.3.1 카프카의 기본 구성
__2.3.2 메시지 보내고 받기
2.4 정리

3장 카프카 기본 개념과 구조

3.1 카프카 기초 다지기
__3.1.1 리플리케이션
__3.1.2 파티션
__3.1.3 세그먼트
3.2 카프카의 핵심 개념
__3.2.1 분산 시스템
__3.2.2 페이지 캐시
__3.2.3 배치 전송 처리
__3.2.4 압축 전송
__3.2.5 토픽, 파티션, 오프셋
__3.2.6 고가용성 보장
__3.2.7 주키퍼의 의존성
3.3 프로듀서의 기본 동작과 예제 맛보기
__3.3.1 프로듀서 디자인
__3.3.2 프로듀서의 주요 옵션
__3.3.3 프로듀서 예제
3.4 컨슈머의 기본 동작과 예제 맛보기
__3.4.1 컨슈머의 기본 동작
__3.4.2 컨슈머의 주요 옵션
__3.4.3 컨슈머 예제
__3.4.4 컨슈머 그룹의 이해
3.5 정리

4장 카프카의 내부 동작 원리와 구현

4.1 카프카 리플리케이션
__4.1.1 리플리케이션 동작 개요
__4.1.2 리더와 팔로워
__4.1.3 복제 유지와 커밋
__4.1.4 리더와 팔로워의 단계별 리플리케이션 동작
__4.1.5 리더에포크와 복구
4.2 컨트롤러
4.3 로그(로그 세그먼트)
__4.3.1 로그 세그먼트 삭제
__4.3.2 로그 세그먼트 컴팩션
4.4 정리

5장 프로듀서의 내부 동작 원리와 구현

5.1 파티셔너
__5.1.1 라운드 로빈 전략
__5.1.2 스티키 파티셔닝 전략
5.2 프로듀서의 배치
5.3 중복 없는 전송
5.4 정확히 한 번 전송
__5.4.1 디자인
__5.4.2 프로듀서 예제 코드
__5.4.3 단계별 동작
__5.4.4 예제 실습
5.5 정리

6장 컨슈머의 내부 동작 원리와 구현

6.1 컨슈머 오프셋 관리
6.2 그룹 코디네이터
6.3 스태틱 멤버십
6.4 컨슈머 파티션 할당 전략
__6.4.1 레인지 파티션 할당 전략
__6.4.2 라운드 로빈 파티션 할당 전략
__6.4.3 스티키 파티션 할당 전략
__6.4.4 협력적 스티키 파티션 할당 전략
6.5 정확히 한 번 컨슈머 동작
6.6 정리

7장 카프카 운영과 모니터링

7.1 안정적인 운영을 위한 주키퍼와 카프카 구성
__7.1.1 주키퍼 구성
__7.1.2 카프카 구성
7.2 모니터링 시스템 구성
__7.2.1 애플리케이션으로서 카프카의 로그 관리와 분석
__7.2.2 JMX를 이용한 카프카 메트릭 모니터링
__7.2.3 카프카 익스포터
7.3 정리

8장 카프카 버전 업그레이드와 확장

8.1 카프카 버전 업그레이드를 위한 준비
8.2 주키퍼 의존성이 있는 카프카 롤링 업그레이드
__8.2.1 최신 버전의 카프카 다운로드와 설정
__8.2.2 브로커 버전 업그레이드
__8.2.3 브로커 설정 변경
__8.2.4 업그레이드 작업 시 주의사항
8.3 카프카의 확장
__8.3.1 브로커 부하 분산
__8.3.2 분산 배치 작업 시 주의사항
8.4 정리

9장 카프카 보안

9.1 카프카 보안의 세 가지 요소
__9.1.1 암호화(SSL)
__9.1.2 인증(SASL)
__9.1.3 권한(ACL)
9.2 SSL을 이용한 카프카 암호화
__9.2.1 브로커 키스토어 생성
__9.2.2 CA 인증서 생성
__9.2.3 트러스트스토어 생성
__9.2.4 인증서 서명
__9.2.5 나머지 브로커에 대한 SSL 구성
__9.2.6 브로커 설정에 SSL 추가
__9.2.7 SSL 기반 메시지 전송
9.3 커버로스(SASL)를 이용한 카프카 인증
__9.3.1 커버로스 구성
__9.3.2 키탭을 이용한 인증
__9.3.3 브로커 커버로스 설정
__9.3.4 클라이언트 커버로스 설정
9.4 ACL을 이용한 카프카 권한 설정
__9.4.1 브로커 권한 설정
__9.4.2 유저별 권한 설정
9.5 정리

10장 스키마 레지스트리

10.1 스키마의 개념과 유용성
10.2 카프카와 스키마 레지스트리
__10.2.1 스키마 레지스트리 개요
__10.2.2 스키마 레지스트리의 에이브로 지원
__10.2.3 스키마 레지스트리 설치
10.3 스키마 레지스트리 실습
__10.3.1 스키마 레지스트리와 클라이언트 동작
__10.3.2 파이썬을 이용한 스키마 레지스트리 활용
10.4 스키마 레지스트리 호환성
__10.4.1 BACKWARD 호환성
__10.4.2 FORWARD 호환성
__10.4.3 FULL 호환성
__10.4.4 스키마 레지스트리 호환성 실습
10.5 정리

11장 카프카 커넥트

11.1 카프카 커넥트의 핵심 개념
11.2 카프카 커넥트의 내부 동작
11.3 단독 모드 카프카 커넥트
__11.3.1 파일 소스 커넥터 실행
__11.3.2 파일 싱크 커넥터 실행
11.4 분산 모드 카프카 커넥트
11.5 커넥터 기반의 미러 메이커 2.0
11.6 정리

12장 엔터프라이즈 카프카 아키텍처 구성 사례

12.1 엔터프라이즈용 카프카 아키텍처의 개요
12.2 엔터프라이즈용 카프카의 환경 구성
12.3 엔터프라이즈용 카프카의 운영 실습
__12.3.1 CMAK를 이용한 토픽 생성
__12.3.2 카프카 커넥트 설정
__12.3.3 모니터링 환경 구성
__12.3.4 메시지 전송과 확인
12.4 정리

13장 카프카의 발전과 미래

13.1 주키퍼 없는 카프카의 미래
__13.1.1 주키퍼 사용에 따른 제약사항
__13.1.2 주키퍼 의존성을 제거한 카프카 업그레이드
13.2 새로운 합의 프로토콜
13.3 최적화된 컨트롤러 노드 구성
13.4 카프카의 미래가 담긴 KIP
13.5 정리

부록 A MSK와 컨플루언트 클라우드
__A.1 MSK
__A.2 컨플루언트 클라우드
__A.3 MSK와 컨플루언트 클라우드 비교

부록 B 앤서블 맛보기
__B.1 앤서블의 특징
__B.2 실습 환경 구성
__B.3 앤서블 기능 살펴보기

부록 C 도커를 이용한 카프카 설치
__C.1 도커 기반의 카프카 구성
__C.2 메시지 보내고 받기

부록 D 한눈에 보는 Q&A
__D.1 주키퍼 관련
__D.2 카프카 관련
__D.3 프로듀서 관련
__D.4 컨슈머 관련

책소개

저자소개

목차