국립금오공과대학교 전자책도서관

책소개

최신 딥러닝 기술을 활용한 자연어 처리
기본기부터 실전 심화까지 한 권으로 끝내기

자연어 처리 기초부터 심화까지 파이토치를 활용하여 짜임새 있게 설명한다. 저자가 현업에서 시스템을 구현하며 얻은 경험과 인사이트를 최대한 담았다. 자칫 지루할 수 있는 수학적 이론을 최소화하고 실전에 꼭 필요한 개념을 정리했다. 최신 딥러닝을 활용한 기술뿐만 아니라, 딥러닝 이전의 전통적인 방식도 차근차근 설명하여 왜 지금의 기술이 필요하고, 어떤 부분이 성능 개선을 이끌어냈는지 쉽게 이해할 수 있다. 딥러닝과 머신러닝 관련 개념과 이론의 기본기를 어느 정도 갖춘 독자라면 자연어 처리를 실무에 적용하는 데 필요한 지식을 이 한 권으로 체계적으로 익힐 수 있다.

저자소개

지난 10여 년간 자연어 처리 연구 및 서비스 개발에 몸담았으며, 현재 인공지능 스타트업 마키나락스(MakinaRocks)에서 딥러닝 연구 개발 수석을 맡고 있습니다. 주요 관심 연구 분야는 자연어 생성과 비지도학습입니다.
딥러닝 이전부터 머신러닝을 통해 자연어 처리의 실무를 경험하였으며, 기계번역과 음성인식 그리고 추천 시스템 등의 실제 서비스를 코드 레벨부터 직접 설계, 구현하여 상용화한 이력이 다수 있습니다. 이처럼 밑바닥부터 다져온 자연어 처리 핵심 실무 경험과 이론을 포함해, 자연어 처리 기술에 딥러닝을 접목하여 다양한 사례에 적용한 경험과 노하우를 온·오프라인 플랫폼을 통해 다른 이들에게 널리 전달하고 있습니다.
패스트캠퍼스에서 『PyTorch를 활용한 자연어 처리 심화 CAMP』 와 『자연어 처리를 위한 딥러닝 CAMP』 강의를 하고 있습니다. 같은 주제로 SK텔레콤과 KT 등의 기업에서도 강의했습니다.

0장_ 윈도우 개발 환경 구축
__0.1_ 아나콘다 설치
__0.2_ 파이토치 설치
__0.3_ 깃 설치

1장_ 딥러닝을 활용한 자연어 처리 개요
__1.1_ 자연어 처리란 무엇일까?
__1.2_ 딥러닝 소개
__1.3_ 왜 자연어 처리는 어려울까?
__1.4_ 무엇이 한국어 자연어 처리를 더욱 어렵게 만들까?
__1.5_ 자연어 처리의 최근 추세

2장_ 기초 수학
__2.1_ 확률 변수와 확률 분포
__2.2_ 쉬어가기: 몬티 홀 문제
__2.3_ 기댓값과 샘플링
__2.4_ MLE
__2.5_ 정보 이론
__2.6_ 쉬어가기: MSE 손실 함수와 확률 분포 함수
__2.7_ 마치며

3장_ Hello 파이토치
__3.1_ 딥러닝을 시작하기 전에
__3.2_ 설치 방법
__3.3_ 짧은 튜토리얼

4장_ 전처리
__4.1_ 전처리
__4.2_ 코퍼스 수집
__4.3_ 정제
__4.4_ 문장 단위 분절
__4.5_ 분절
__4.6_ 병렬 코퍼스 정렬
__4.7_ 서브워드 분절
__4.8_ 분절 복원
__4.9_ 토치텍스트

5장_ 유사성과 모호성
__5.1_ 단어의 의미
__5.2_ 원핫 인코딩
__5.3_ 시소러스를 활용한 단어 의미 파악
__5.4_ 특징
__5.5_ 특징 추출하기: TF-IDF
__5.6_ 특징 벡터 만들기
__5.7_ 벡터 유사도 구하기
__5.8_ 단어 중의성 해소
__5.9_ 선택 선호도
__5.10_ 마치며

6장_ 단어 임베딩
__6.1_ 들어가며
__6.2_ 차원 축소
__6.3_ 흔한 오해 1
__6.4_ word2vec
__6.5_ GloVe
__6.6_ word2vec 예제
__6.7_ 마치며

7장_ 시퀀스 모델링
__7.1_ 들어가며
__7.2_ 순환 신경망
__7.3_ LSTM
__7.4_ GRU
__7.5_ 그래디언트 클리핑
__7.6_ 마치며

8장_ 텍스트 분류
__8.1_ 들어가며
__8.2_ 나이브 베이즈 활용하기
__8.3_ 흔한 오해 2
__8.4_ RNN 활용하기
__8.5_ CNN 활용하기
__8.6_ 쉬어가기: 멀티 레이블 분류
__8.7_ 마치며

9장_ 언어 모델링
__9.1_ 들어가며
__9.2_ n-gram
__9.3_ 언어 모델의 평가 방법
__9.4_ SRILM을 활용하여 n-gram 실습하기
__9.5_ NNLM
__9.6_ 언어 모델의 활용
__9.7_ 마치며

10장_ 신경망 기계번역
__10.1_ 기계번역
__10.2_ seq2seq
__10.3_ 어텐션
__10.4_ input feeding
__10.5_ 자기회귀 속성과 Teacher forcing 훈련 방법
__10.6_ 탐색(추론)
__10.7_ 성능 평가
__10.8_ 마치며

11장_ 신경망 기계번역 심화 주제
__11.1_ 다국어 신경망 번역
__11.2_ 단일 언어 코퍼스 활용하기
__11.3_ 트랜스포머
__11.4_ 마치며

12장_ 강화학습을 활용한 자연어 생성
__12.1_ 들어가며
__12.2_ 강화학습 기초
__12.3_ 정책 기반 강화학습
__12.4_ 자연어 생성에 강화학습 적용하기
__12.5_ 강화학습을 활용한 지도학습
__12.6_ 강화학습을 활용한 비지도학습
__12.7_ 마치며

13장_ 듀얼리티 활용
__13.1_ 들어가며
__13.2_ 듀얼리티를 활용한 지도학습
__13.3_ 듀얼리티를 활용한 비지도학습
__13.4_ 쉬어가기: Back-translation 재해석하기
__13.5_ 마치며

14장_ NMT 시스템 구축
__14.1_ 파이프라인
__14.2_ 구글의 NMT
__14.3_ 에든버러 대학교의 NMT
__14.4_ MS의 NMT

15장_ 전이학습
__15.1_ 전이학습이란
__15.2_ 기존의 사전 훈련 방식
__15.3_ ELMo
__15.4_ BERT
__15.5_ OpenAI의 GPT-2
__15.6_ 마치며

책소개

저자소개

목차