エントロピーとは何か

エントロピーとは？

英語ではentropy。ここで扱うのは熱や物理の話ではなく、データの方のエントロピーだ。情報エントロピー、シャノン・エントロピーとも呼ばれる。

雑誌の袋とじを思い浮かべてほしい。開けるまで中身は分からない。まだ開いていないうちは期待度が高く、開封が進むほど期待度は下がり、丸見えになれば期待することは何も残らない。

エントロピーは、この期待度を数字にしたもの。

• 高い: 期待度が高い状態。答えがばらけていて、次に何が来るか読めない。全部が同じ確率のときに最大になる
• 低い: 期待度が低い状態。答えがほぼ1つに固まっていて、読める。全部が同じ答えなら0になる

数字の感覚は、ガチャで考えると早い。

• 表と裏が半々のコイン: 1ビット
• 4種類が同じ確率で出るガチャ: 2ビット
• 9割が同じキャラのガチャ: 約0.47ビット
• 1種類しか入っていないガチャ: 0ビット

単位はビットで、1ビットは「はい／いいえ」1回ぶん。割合（%）ではないので上限は決まっておらず、種類が2倍に増えるたびに最大値が1ビットずつ上がる。

種類が多く、確率が揃っているほど読めない。偏っているほど読める。エントロピーが測っているのは当たりやすさではなく、読めなさだ。

データ分析では、当てたい答え（目的変数）のばらけ具合を測るのに使う。そこへ手がかりを1つ聞いて候補を分けると、袋とじの開封が進み、期待度、つまりエントロピーが下がる。この下がった分が情報利得だ。決定木は、枝分かれのたびにエントロピーが一番下がる質問を選んでいる（scikit-learnの決定木の説明）。

では、高いのと低いのと、どちらが良いのか。

エントロピーは良し悪しではなく、いまどれだけ期待度が残っているかを示す目盛りだ。

• 当てる前の答えのエントロピーは、高くて当然。むしろ最初から0なら、全員が同じ答えなので当てる意味がない
• 手がかりで分けたあとのエントロピーは、低いほど答えが読めるようになったということ。ただし、手元のデータでぴったり0まで開け切ると、過去の答えを丸暗記しただけになり、新しいデータで外れる

AIの学習でも同じ物差しが使われている。交差エントロピーと呼ばれるもので、AIの予想と正解がどれだけずれているかを測る。こちらは低いほど良い（PyTorchのCrossEntropyLoss）。

袋とじは、開けた瞬間に中身が分かる。データは一度に全部は開かない。どこから開ければ一番早く丸見えになるかを探すのが、分析の仕事になる。

まとめ・私見

下手の横好きでデータ分析しているが、、、

分析作業の中で、エントロピーを行き過ぎない程度にゼロに近づける作業が一番悩ましくて、一番楽しい。

AIがでてから、推論を片っ端から試してくれるため、工夫の機会も失われつつあるよな、という今日このごろ。

豆知識

• ビット: はい／いいえ1回ぶんの情報量。1ビットで候補がちょうど半分になる。
• 情報エントロピー: この記事で扱うデータの方のエントロピー。シャノン・エントロピーとも呼ぶ。
• 熱力学のエントロピー: 熱が使えない形へ散らばっていく度合い。名前と式の形は同じだが、測っている対象が違う。
• 交差エントロピー: AIの予想と正解のずれを測る量。AIの学習では、これを小さくするように調整していく。
• KLダイバージェンス: 2つの確率の分布がどれだけ違うかを測る量。交差エントロピーと親戚。
• 最大エントロピー原理: 分かっていること以外は決めつけず、一番読めない状態を仮定して推測する考え方。

歴史

エントロピーという言葉は、データより先に熱の世界で生まれた。1865年、ドイツの物理学者クラウジウスが、熱の理論で物体の「変化の中身」を表す量に、ギリシャ語で「変化」を意味する語から名前を付けた。エネルギーという言葉にわざと似せた、と本人が書いている（クラウジウスの1865年の論文）。1877年にはボルツマンが、同じ量を「ありうる並び方の数」から数える見方を出し、エントロピーは確率の話とつながる（スタンフォード哲学百科事典「ボルツマンの統計物理学」）。

データの方へ持ち込んだのはシャノンだ。1948年、電話線でどれだけ情報を送れるかという問題を解くために、答えの読めなさを確率から計算する式を作った。その式が統計力学のエントロピーと同じ形だったので、同じ名前で呼んだ。単位のビットも、この論文で広まっている（A Mathematical Theory of Communication、1948年）。

そこから先は、道具として広がっていく。1986年には決定木が、どの質問から聞くかをエントロピーの下がり方で選ぶようになった（Induction of Decision Trees、1986年）。いまのAIの学習では、予想と正解のずれを測る交差エントロピーが標準の物差しになっている（Deep Learning、第6章）。熱の話から始まった言葉が、読めなさを測る共通の目盛りになった。