LLMとハルシネーション ―基礎と対策―

※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。 はたしてなぜ生成AIは嘘をつくのか？ ハルシネーションの原理とその対策を一からわかりやすく解説 　生成AIを利用する際に最も厄介な問題となるのがハルシネーション（hallucination）です．ハルシネーションは幻覚とも呼ばれる現象で，一見もっともらしいのに，まったく正しくない文章が生成されることをいいます．これによって，実際にはありもしない発言や事実が大量につくり出され，SNSなどで拡散されて私たちの社会や認識を大きくゆがめてしまっています．これからの情報系エンジニアにとって，ハルシネーションの対策に必要な知見やスキルは非常に重要です． 　本書では，ハルシネーションに挑むための土台となるべき自然言語処理や機械学習の基礎的な知識や，「言語の正しさ」に関する基本的な知見から解説しています．そして，これまで研究されてきたハルシネーションの検出方法や，LLMの学習方法および構造の改善，RAGや外部モデルの利用によるハルシネーション対策について解説しています．　AI関連の技術は日進月歩で進歩していますが，エンジニアにとって重要なことは流行に乗り遅れないことより，少しずつ自分の引き出しを増やしていくことであると考えられます．この観点から，本書では「スタンダードな手法への手っとり早い入門」という以上の価値を提供できるように心がけています． Chapter 1　自然言語処理の基礎 1.1　自然言語処理とは 1.2　トークン化と分散表現 1.3　言語モデル 1.4　自然言語処理の評価指標 1.5　言語の研究の歴史 Chapter 2　統計学と機械学習の基礎 2.1　帰　納 2.2　統計的推測 2.3　強化学習 2.4　さまざまな生成AI Chapter 3　TransformerとLLM 3.1　Transformer登場の背景 3.2　Transformerの内部構造 3.3　学　習 3.4　TransformerによるLLM 3.5　ChatGPT 3.6　さまざまな大規模言語モデル Chapter 4　ハルシネーションの基礎 4.1　ハルシネーションとは 4.2　事実性／忠実性 4.3　内在型／外在型 4.4　文や知識の正しさとは 4.5　ハルシネーションの発生源 4.6　ハルシネーションの検出と評価 4.7　ハルシネーションに関する評価ベンチマーク Chapter 5　ハルシネーションの抑制 5.1　学習データの改善 5.2　デコーディング方法の改善 5.3　モデル構造の改良 5.4　プロンプトエンジニアリング Chapter 6　外部知識活用にもとづく生成 6.1　検索を組み合わせた生成 6.2　疎ベクトル検索 6.3　密ベクトル検索 6.4　知識データベース 6.5　RAGの発展的な話題 6.6　ツール拡張生成