책소개
"LLM을 활용하면 데이터 분석 작업을 더 빠르고 효율적으로 수행할 수 있다. 이 책에서 다루는 기법들을 익히고 나면, 자연어 프롬프트와 단 몇 줄의 파이썬 코드만으로 텍스트는 물론, 테이블 및 그래프 데이터, 이미지, 동영상, 오디오까지 분석할 수 있게 된다.
이 책은 다양한 실전 프로젝트를 통해 OpenAI 파이썬 라이브러리, LangChain, LlamaIndex 등의 도구와 Anthropic, Cohere, Hugging Face가 제공하는 LLM을 다룬다. 이를 활용해 데이터를 쿼리하고 분석하며, 비용과 품질을 최적화하는 방법까지 익히게 된다."
저자소개
"코넬대학교 컴퓨터과학과 부교수로 재직 중이며, 데이터 분석과 머신러닝의 접점에서 연구하고 있다. 특히 LLM을 데이터 분석에 활용하는 연구에 주력하여 여러 차례 논문상을 수상했고, 산업계와도 활발히 협력하고 있다. 유튜브에 올린 강의 영상도 조회수 100만을 돌파했다.
평소에는 바이올린 연주와 뉴욕주 북부의 아름다운 자연 탐방을 즐기며, 가족과 함께하는 시간을 소중히 여긴다."
목차
"1부 언어 모델 소개
1장 LLM을 활용한 데이터 분석
__1.1 언어 모델은 무엇을 할 수 있는가?
__1.2 이 책에서 배울 내용
__1.3 언어 모델 사용 방법
____1.3.1 프롬프팅
____1.3.2 프롬프트 예시
____1.3.3 인터페이스
__1.4 언어 모델을 데이터 분석에 활용하기
____1.4.1 언어 모델을 데이터에 직접 활용하기
____1.4.2 외부 툴을 통한 데이터 분석
__1.5 비용 최소화
____1.5.1 적합한 모델 선택
____1.5.2 모델 최적화 설정
____1.5.3 프롬프트 엔지니어링
__1.6 고급 소프트웨어 프레임워크와 에이전트
2장 ChatGPT와 채팅
__2.1 웹 인터페이스 접속
__2.2 인터페이스 소개
__2.3 ChatGPT를 사용한 텍스트 처리
__2.4 ChatGPT를 사용한 테이블 처리
____2.4.1 웹 인터페이스에서 테이블 처리
____2.4.2 자체 플랫폼에서 테이블 처리
2부 언어 모델을 활용한 데이터 분석
3장 OpenAI 파이썬 라이브러리
__3.1 사전 준비 사항
__3.2 OpenAI의 파이썬 라이브러리 설치
__3.3 사용 가능한 모델 목록 조회
__3.4 채팅 완성
__3.5 모델 동작 커스터마이징
____3.5.1 종료 조건 구성
____3.5.2 출력 생성 구성
____3.5.3 무작위성 구성
____3.5.4 커스터마이제이션 예시
____3.5.5 추가 매개변수
4장 텍스트 데이터 분석
__4.1 준비 사항
__4.2 분류
____4.2.1 개요
____4.2.2 프롬프트 생성
____4.2.3 모델 호출하기
____4.2.4 종단 간 분류 코드
____4.2.5 문서 분류
____4.2.6 코드 실행 방법
____4.2.7 다양한 변형 시도해 보기
__4.3 텍스트 추출
____4.3.1 개요
____4.3.2 프롬프트 생성
____4.3.3 후처리
____4.3.4 종단 간 추출 코드
____4.3.5 직접 해 보기
__4.4 클러스터링
____4.4.1 개요
____4.4.2 임베딩 계산하기
____4.4.3 벡터 클러스터링
____4.4.4 텍스트 클러스터링을 위한 종단 간 코드
____4.4.5 직접 해 보기
____4.4.6 임베딩 벡터의 다른 활용 사례
5장 구조화된 데이터 분석
__5.1 개요
__5.2 게임 판매 분석을 위한 자연어 쿼리 인터페이스
____5.2.1 SQLite 데이터베이스 설정
____5.2.2 SQL 기초
____5.2.3 개요
____5.2.4 text-to-SQL 변환을 위한 프롬프트 생성
____5.2.5 완성된 코드
____5.2.6 직접 해 보기
__5.3 일반적인 자연어 쿼리 인터페이스
____5.3.1 쿼리 실행
____5.3.2 데이터베이스 구조 추출
____5.3.3 전체 코드
____5.3.4 시험 운용
__5.4 그래프 데이터를 위한 자연어 쿼리 인터페이스
____5.4.1 그래프 데이터란 무엇인가?
____5.4.2 Neo4j 데이터베이스 설정
____5.4.3 Cypher 쿼리 언어
____5.4.4 질문을 Cypher 쿼리로 변환하기
____5.4.5 프롬프트 생성하기
____5.4.6 전체 코드
____5.4.7 직접 해 보기
6장 이미지와 동영상 분석
__6.1 설정
__6.2 이미지에 대한 질문 답변하기
____6.2.1 멀티모달 입력 지정하기
____6.2.2 코드 설명
____6.2.3 직접 해 보기
__6.3 이미지에서 사람 태그하기
____6.3.1 개요
____6.3.2 로컬에 저장된 이미지 인코딩하기
____6.3.3 로컬에 저장된 이미지를 OpenAI로 전송하기
____6.3.4 종단 간 구현
____6.3.5 직접 해 보기
__6.4 동영상 제목 생성하기
____6.4.1 개요
____6.4.2 동영상 프레임 인코딩
____6.4.3 종단 간 구현
____6.4.4 직접 해 보기
7장 오디오 데이터 분석
__7.1 준비 작업
__7.2 오디오 파일 텍스트 전사
____7.2.1 음성을 텍스트로 전사하기
____7.2.2 종단 간 코드
____7.2.3 직접 해 보기
__7.3 음성을 이용한 관계형 데이터 쿼리
____7.3.1 기본 준비 사항
____7.3.2 개요
____7.3.3 오디오 녹음
____7.3.4 종단 간 코드
____7.3.5 시험 운용
__7.4 음성-음성 번역
____7.4.1 개요
____7.4.2 음성 생성하기
____7.4.3 종단 간 코드
____7.4.4 직접 해 보기
3부 고급 주제
8장 GPT 대안 모델
__8.1 Anthropic
____8.1.1 Claude와 대화하기
____8.1.2 파이썬 라이브러리
__8.2 Cohere
____8.2.1 Command R+와 대화하기
____8.2.2 파이썬 라이브러리
__8.3 Google
____8.3.1 Gemini와 채팅하기
____8.3.2 파이썬 라이브러리
__8.4 Hugging Face
____8.4.1 웹 플랫폼
____8.4.2 파이썬 라이브러리
9장 비용과 품질 최적화
__9.1 예시 시나리오
__9.2 조정되지 않은 분류기
__9.3 모델 튜닝
__9.4 모델 선택
__9.5 프롬프트 엔지니어링
__9.6 Tunable 분류기
__9.7 파인튜닝
__9.8 훈련 데이터 생성하기
__9.9 파인튜닝 작업 시작하기
__9.10 파인튜닝된 모델 사용하기
10장 소프트웨어 프레임워크
__10.1 LangChain
__10.2 LangChain을 이용한 리뷰 분류
____10.2.1 개요
____10.2.2 분류 체인의 생성
____10.2.3 코드 완성
____10.2.4 시도하기
__10.3 에이전트: 대형 언어 모델을 주도적으로 활용하기
__10.4 데이터 분석을 위한 에이전트 구축
____10.4.1 개요
____10.4.2 LangChain을 이용한 에이전트 생성
____10.4.3 데이터 분석 에이전트의 전체 코드
____10.4.4 직접 해 보기
__10.5 사용자 정의 툴 추가하기
____10.5.1 통화 변환기
____10.5.2 직접 실행해 보기
__10.6 LlamaIndex를 사용한 멀티모달 데이터 인덱싱
____10.6.1 개요
____10.6.2 LlamaIndex 설치
____10.6.3 간단한 쿼리 응답 시스템 구현
____10.6.4 직접 실행해 보기
__10.7 결론"
.png){kind=logo}
