こんにちはたくまろです。
今回紹介するおすすめの一冊は、甘利俊一著の『情報理論』です。
これから、情報理論を学ぶなら、絶対におすすめする一冊です。
シャノン流の情報理論から情報幾何学の基礎まで、丁寧に紹介されたこの本の良さをお伝えしたいと思います。
気になる方は、是非ともご覧ください！
 |
新品価格 |
情報理論について
情報量とは何か？
情報量というのは、名前の通り情報のもつ量となります。
例として、次の3つの文章を比べてみましょう。
A：「池に魚が泳いでいた」
B：「池に鯉が泳いでいた」
C：「池に鯉が10匹泳いでいた」
Bの文章はAの文章よりも詳しく、Cの文章はBの文章より詳しくことがわかりますね。
このことから、Cの文章が持つ情報量が最も多いことが感じられるのではないでしょうか。
しかし、これでは数学的な定義が不十分です。
そのためA~Cの確率を元に、確率が高いとき情報量が少ないとし、逆に確率が少ないとき情報量が多いとする考えが誕生しました。
この場合は、Cの文章が最も珍しい事象になりそうですね。
統計学と情報理論の関係
統計学において、統計モデルの選択は非常に重要な問題の一つです。
モデルのパラメーターの推定などで用いられる、最尤法やAIC（赤池情報量基準）、フィッシャー情報量、K-L（カルバック・ライブラー）情報量などは情報理論を基に考えられています。
他にも、計量学習の分野でも情報理論が使われています。
通信と情報理論の関係
情報を通信する際に、人同士ならば言葉で話せばわかりますが、コンピュータなどの場合、符号化と呼ばれる処理をしなければいけません。
言葉を0と1の2進数表記に変えて、コンピュータでも理解できるように変換することは容易ですが、次のような問題も発生します。
1つ目はデータ量が大きくなってしまうと処理が重くなる点。
2つ目はノイズによってデータが上手く変換できなくなる点。
これを改善するために、1948年、クロード・シャノンは情報理論を数学的に構築して、符号化定理を考えました。
今回紹介する本では、シャノンの考えた符号化定理について分かりやすく書かれています。
『情報理論』おすすめポイント
この本で主にシャノンの考えた符号化定理を解説すると共に、ノイズが入った信号の処理などに触れています。
ここでは、おすすめするポイントを３つ取り上げました。
Point１：著者が凄い
著者である、甘利先生は情報幾何学の第一人者と呼ばれる人物です。
これまで、情報幾何について似たような事を考えた人はたくさんいたのですが、甘利先生は微分幾何学を元に、統計多様体を数学的に定義しました。情報幾何は他の統計理論に比べ、数学的に扱いやすいため、統計力学や学習理論への応用がされています。
非常に情報理論について熟知している方が書いているんだなということがよく分かります。
Point２：数式ばかりではない点
情報理論といえば、数学的の高度な知識が必要になります。
しかし、この本では文章による導入が丁寧で可読性が高いです。
もちろんある程度の知識は必要ですが、理論的に難しい証明は省かれており、どちらかというと読み物を読んでいるような感覚です。
Point３：具体例がたくさん出てくる
“数学書＝抽象表現”のイメージがあるかもしれません。
この本では、抽象的な数式を踏まえて、そのあとに具体例がよく出てきます。
この具体例が情報理論の難しさを中和してくれます。
より発展的な本
甘利先生が書いている『情報幾何の方法』
はより数学的な記述が多く、上記の本に比べるやや難しい内容です。
この本では、微分幾何学をもとに情報量基準や計量学習について書かれています。
難易度は高めですが、情報幾何を学ぶなら、合わせて読んで欲しい一冊です。
 |
岩波講座 応用数学 [対象12] 情報幾何の方法 (岩波オンデマンドブックス) 新品価格 |
まとめ
今回は、おすすめの一冊ということで甘利俊一著の『情報理論』を紹介しました。
Takumaro’s blogでは他にも初学者向けの分かりやすい本を紹介しています。
良かった、ご覧ください！！
【初心者におすすめ】はじめての統計学におすすめの本【統計学入門書】
【数学専攻がおすすめ】数理統計学おすすめの本10選【数理統計学入門】
【初心者におすすめ】はじめての統計的機械学習におすすめの本10選【機械学習入門】
【初心者におすすめ】統計学のための数学おすすめの本5選【統計学入門書】
