こんにちはたくまろです。今回は、数理統計学を専攻していた者として、スパース推定に関するおすすめの本を紹介したいと思います。
「スパース推定って、どこぐらい種類があるの？」
「スパース推定の理論的な部分がよくわからない」
そんな時に役立つ、おすすめの本をまとめてみました。理論的にもしっかりしている本を選んでいるので、はじめてスパース推定に触れる方はぜひ、ご覧ください！
スパース推定について
スパース推定とは、正則化法の一つです。回帰分析を中心にさまざな場面で見かけることが多い方法です。
例えば、2000次元のデータがあったとします。
それに対して、データ数が500だった場合、”データ数<次元数“となります。
回帰分析を行うと、2000次元の係数ベクトルを500個のサンプルで表現しないいけないので、非常に不安定になりやすいです。
そのため、2000次元すべてを推定するのではなく、回帰する時に重要になる係数が大きい100次元の部分を残して、それ以外の1900次元を0として考えることがよくあります。
この2000次元のうち、95%を0と考えて推定を行う方法をスパース推定と呼びます。
スパースというのは、日本語で”疎”という意味です。係数ベクトルのほとんどが0でスカスカなので、スパース推定という名前が付けられています。
今回は適当に100次元で設定しましたが、正則化定数というものを決めてあげれば、最適な次元数を残して、残りの部分を0とみなした推定を行うことが出来ます。
機械学習の本などでもスパース推定については、学ぶことが出来ますが、種類が多いので、スパース推定に特化した本を紹介したいと思います。
スパース推定法による統計モデリング
 |
スパース推定法による統計モデリング （統計学One Point 6） [ 川野 秀一 ] 価格:2,420円 |
スパース推定について初歩的な内容から近年の研究成果・トレンドまで丁寧かつコンパクトに説明されており、非常にわかいやすい一冊です。
特にこの本が素晴らしいと思った点は、理論的な説明が非常に丁寧であることです。
単純なアルゴリズムの説明だけではなく、「どうしてこの結果がえられるのか？」「本当に最適解なのか？」など、理論的部分にも言及した本です。
ここまでコンパクトにまとめられた本は、日本中探してもこれしかないです。
是非、一度は読んで欲しいスパース推定の本です。
スパース性に基づく機械学習
 |
スパース性に基づく機械学習 （機械学習プロフェッショナルシリーズ） [ 冨岡 亮太 ] 価格:3,080円 |
MLPシリーズの一つであるこの本は、先の本よりもやや専門的な内容になっています。
ある程度、多変量解析で使われるような行列やベクトルの操作に慣れていないと読みにくいかもしれません。
しかしながら、非常にボリュームがある内容なので、スパース推定を応用したさまざまな手法にも触れており、新たな学びが多い一冊でした。
文章による補足も多いため、すべての数式が理解できなくとも、わかった気にはなれると思います。
より専門的かつボリュームを求めるのであればおすすめです！
Statistical Learning with Sparsity: The Lasso and Generalizations
 |
Statistical Learning with Sparsity: The Lasso and Generalizations 価格:23,044円 |
この本では、スパース推定が成り立つ条件について詳しく言及しています。
数学的なステップをいくつか紹介して、スパース推定によって得られる結果と真のモデルとの差異について、より厳密な証明と説明が展開されています。
スパース推定はいくつかの条件が必要なのですが、日本語の本ではそれらについて言及されている本が少ないです。
この本では、スパース推定が正しくモデルを推定するために必要な条件を数学的に記述しています。
読めば分かりますが、誤差評価やパラメータの推定、最適化をちゃんとやると、むちゃくちゃ大変であることが分かると思います。
数学的な厳密性を求めている方におすすめの一冊です。
なお、Amazonで買った方が圧倒的に安いです！
ほかにも
【初心者におすすめ】はじめての統計学におすすめの本【統計学入門書】
【数学専攻がおすすめ】数理統計学おすすめの本10選【数理統計学入門】
【初心者におすすめ】統計学のための数学おすすめの本5選【統計学入門書】
