情報理論

AI社会を生き抜くための基礎知識である情報理論。本書は微分積分・線形代数・確率論などの大学初年級で学ぶ数学をベースに、エントロピー理論と符号化定理を中心に解説した入門的テキスト。詳細な証明や計算が必要なため、重要事項だが他書では割愛されるような内容も、本書では丁寧に取り上げる。また、情報理論における三大定理のうちの2つ「情報源符号化定理」「通信路符号化定理」の詳細を解説し、「エントロピーの一意性定理」についてもその概略を紹介する。 第1章　情報理論から広がる世界 　　　1.1 情報理論を学ぶ意義 　　　1.2 熱力学・微分積分の復習 第2章　物理学におけるエントロピー 　　　2.1 熱力学的(Clausius)エントロピー 　　　2.2 統計力学的(Boltzmann)エントロピー 第3章　情報(Shannon)エントロピー 　　　3.1 自己情報量とエントロピー 　　　3.2 エントロピーの性質と公理的特徴付け 第4章　情報源符号化 　　　4.1 符号化の基本 　　　4.2 符号化アルゴリズムと情報源符号化定理 　　　4.3 Huffman 符号の最適性 　　　4.4 ユニバーサル符号化 第5章　相対エントロピー 　　　5.1 相互情報量 　　　5.2 相対エントロピー 　　　5.3 微分エントロピー 第6章　通信路符号化 　　　6.1 通信路容量と具体的な通信路 　　　6.2 通信路符号化定理(順定理) 　　　6.3 通信路符号化定理(逆定理) 第7章　符号理論入門 　　　7.1 誤り検出と訂正の仕組み 　　　7.2 線形符号の基礎 　　　7.3 巡回符号の基礎 第8章　典型系列による符号化定理の証明 　　　8.1 典型系列 　　　8.2 情報源符号化定理(固定長) 　　　8.3 同時典型系列と通信路符号化定理 第9章　量子情報理論 　　　9.1 量子力学的(von Neumann)エントロピー 　　　9.2 典型部分空間 　　　9.3 量子情報源符号化定理 　　　9.4 量子通信路符号化定理 付録　　　 　　　A マルコフ情報源 　　　B いくつかの不等式のまとめ 　　　C さまざまなエントロピー 　　　D 9章で必要な事柄