情報利得とは何か

情報利得とは？

英語ではinformation gain。ある項目を知ったときに、どれだけ分からなさが減るかを表した量だ。

アキネーターは、はい／いいえの質問を重ねて頭の中の人物を当ててくる。あのとき、良い質問とそうでない質問がある。

• 「その人は実在しますか」——どちらに答えても候補が半分近く落ちる。切れ味が鋭い
• 「その人は左利きですか」——ほとんどの候補が「いいえ」に固まって、ほぼ何も減らない

この「減った分」を数字にしたのが情報利得になる。

測り方はこうだ。

1. いまの分からなさを測る（この量をエントロピーと呼ぶ）
2. その項目で候補を分ける
3. 分けたあとの分からなさを、それぞれの大きさに応じて測り直す

減った差が、その項目の情報利得となる。

ゼロなら、その質問は聞くだけ無駄だったということ。人狼で、すでに白だと分かっている人をもう一度占うのと同じになる。

これは決定木と呼ばれるモデルに使用されている。

決定木の分岐を選ぶ。

木が枝分かれするたびに、その時点でいちばん利得の大きい項目が選ばれる（scikit-learnの決定木の説明）

ピンとこない人が多いと思うが、この決定木は、Amazonのおすすめ商品、銀行やクレジットカードの不正利用検知等、様々な分析と予測に使用できる。

しかし、情報利得にも落とし穴がある。

ひとつに、この数字は単に大きければいいというわけではない。

極端な例が、顧客IDのような1人1つの番号だ

そりゃあ、IDで分ければ全員がきれいに1人ずつに分かれるので、分けたあとの分からなさはゼロになり、利得は最大になる。

しかし、次の新しい客が来た瞬間、そのIDは一度も見たことのない番号で、何の役にも立たない。過去の1人ぶんの答えを丸暗記しただけなので、見たことのない番号ではどちらへ進めばいいのか決められないからだ。

この偏りを補正するために、分かれ方の細かさで割り算する利得比（gain ratio）が考え出されたが、また別のお話。

情報利得は目的変数に対して測るものだ。

何を当てたいのかが変われば、効く質問も入れ替わる。

たとえば、バスの運転手さんが「次の便は何人乗りそうか」を予想したいとする。

手がかりになりそうな質問はいくつもある。何曜日か。何時台か。雨が降っているか。近くでイベントがあるか。

このうち、どれから聞けば人数の見当が一番つくのか。その順位を決めるのが情報利得になる。

ここで、当てたい答えを「Aさんがこの便に乗るか」へ変えてみる。順位は入れ替わる。人数を当てるときに効いていた天気より、「Aさんの出勤日か」のほうがよほど効く。

アキネーターが強いのは、質問をたくさん覚えているからではない。いま残っている候補に対して、次にどれを聞けば一番減るかを毎回選び直しているからだ。

まとめ・私見

結局これ、質問の上手い人が強いという話だと思っている。

会議でも同じで、みんなが知っていることを確認する質問は、場が進んだ気になるだけで何も減っていない。

「これを聞いたら、次に何が決まるのか」。そこだけ考えて聞くと、会議は短くなる。

アキネーターは、それを毎回やっている。

豆知識

• エントロピー: 分からなさの量。全部同じなら0、半々に割れていると最大になる。単位はビット。
• ビット: 「はい／いいえ」1回ぶんの情報量。1ビットは候補をちょうど半分に減らす。
• ジニ不純度: エントロピーの代わりに使われる別の物差し。結論はだいたい似るが、計算が軽い。
• 利得比: 選択肢の多い項目が有利になる偏りを補正した情報利得。
• 決定木: はい／いいえの質問を枝分かれさせて答えにたどり着く形のモデル。
• 特徴量重要度: どの項目が効いたかを後から合計した指標。偏りがあるので、順位をそのまま信じない。

歴史

1948年、クロード・シャノンが通信の理論として「分からなさ」を数字にした。どれだけ驚きがあるかを確率から計算し、単位をビットと置く。もともとは電話線にどれだけの情報を通せるかという問題だったが、この物差しがあとから機械学習へそのまま持ち込まれる（A Mathematical Theory of Communication、1948年）。

1986年、ロス・キンランが決定木の作り方をまとめる。木の分かれ道でどの項目を使うかを、人が決めるのではなく、シャノンの物差しで自動的に選ぶ。減る分からなさが一番大きい項目を採る、という素直な方法で、これが情報利得の使われ方の原型になった（Induction of Decision Trees、1986年）。

すぐに弱点が見つかる。選択肢の多い項目が有利になりすぎるのだ。キンラン自身が利得比という補正を入れ、別の系統では分かれ方の純度をジニ不純度という別の物差しで測る方法も広まった。同じ「どの質問が効くか」を測るのに、複数のものさしが並ぶ状態がここで生まれた（C4.5の改良、1996年）。

2000年代以降、木は1本ではなく何百本も束ねて使うようになる。その副産物として、各項目がどれだけ効いたかを合計した「特徴量重要度」が広く使われ始めた（Random Forests、2001年）。便利な反面、ここでも選択肢の多い項目が過大評価される偏りが指摘され（Strobl et al.、2007年）、いまは予測への寄与を別のやり方で見積もる手法も併用されている。困っていたことは一貫して同じで、どの質問が本当に効いているのかを、思い込みではなく数字で言いたい、である。