こんにちは、今回はエントロピー(平均情報量)について記述していきたいと思います。

 

エントロピーって何?

先ず最初にエントロピーの定義を確認しましょう。Wikipediaには以下のように記載されています。

情報量(じょうほうりょう)やエントロピーentropy)は、情報理論の概念で、あるできごと(事象)が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと(たとえば「風の音」)が起こったことを知ってもそれはたいした「情報」にはならないが、逆に珍しいできごと(たとえば「曲の演奏」)が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとが本質的にどの程度の情報を持つかの尺度であるとみなすこともできる。

なるほどと言いたいところですが、風の音と曲の演奏という例えのクセが強く少しわかりにくいような気がします。

 

もう少しわかりやすい例えとしては、コインの表裏どちらが出たかという情報よりもサイコロの1~6でどの目が出たかという情報の方が多くの情報を含んでいる。と言ったところでしょうか。

 

発生確率においてコインの表が出る確率は1/2であるのに対し、サイコロの1が出る確率は1/6であるため、サイコロの出目の情報の方が価値があるということになります。

 

より簡単な考え方として、あなたが今カジノに来ていると想定してください。

 

ルーレットの台に闇取引の人間がいるとします。

 

その男が

 

今からお前に2つの情報のうちどちらかを教えよう。

  1. 次の数字が偶数か、奇数か
  2. 次の数字が何番か

 

この時あなたはどちらの情報を聞きますか?

 

考えるまでもなく2番の情報を選ぶと思います。

 

偶数か奇数かといった情報は確率が1/2であるのに対し、どの数字が出るかといった情報は1/36の確率です。(正確には0や00といったマスがあるので異なりますが)

 

このようにあなたがより知りたいと思う情報は情報としての価値が高くエントロピーも高くなります。

 

なんとなくエントロピーがどのようなものか体感できましたか?次は実際に計算を行なっていきましょう。

 

実際に計算してみよう

 

では実際に計算をしていきたいのですが、先ずエントロピーを求める公式が以下の通りです。

 

$$H(X)=-\sum_{i=1}^{n}p_ilog_2p_i$$

 

正直こんなの見せられたところで意味わかりません。簡単な例で確認していきたいと思います。

 

例えば コイントスをした際のエントロピーは

 

$$H(X)=-\frac{1}{2}log_2\frac{1}{2}-\frac{1}{2}log_2\frac{1}{2}$$

 

で求められ、答えは1bitとなります。

 

サイコロをふった際のエントロピーは

 

$$H(X)=-\frac{1}{6}log_2\frac{1}{6}-\frac{1}{6}log_2\frac{1}{6}-\frac{1}{6}log_2\frac{1}{6}-\frac{1}{6}log_2\frac{1}{6}-\frac{1}{6}log_2\frac{1}{6}-\frac{1}{6}log_2\frac{1}{6}$$

 

で求められ、log6=2.58bitと求められます。

 

先ほどまでは漠然とサイコロの出目の情報の方が価値があるという感覚でしかわからなかったものが約1.58bit分価値のある情報だと言うことがわかりました。

 

また、イカサマサイコロを用いた場合はどうでしょうか。

 

イカサマサイコロとはよく賭博などに出てくるサイコロの重心をずらすことによって特定の目を出やすく改良されているサイコロのことです。

 

今回は出目が以下のような確率で出るようなサイコロを用いていきましょう。(実際にこんなサイコロが作れるかは知りませんが)

 

$$A=\left\{\begin{matrix}1&2&3&4&5&6 \\\frac{1}{2}&\frac{1}{4}&\frac{1}{8}&\frac{1}{16}&\frac{1}{32}&\frac{1}{32}\end{matrix}\right\}$$

 

 

このエントロピーを求めていくと答えは約1.94bitになりました。

 

一般的なサイコロを用いた場合よりもエントロピーが低いことが分かります。つまりイカサマサイコロの方が情報量は少ないんですね。

 

時々エントロピーは乱雑さとも表されるため、最初の頃自分は

 

「え、イカサマサイコロの方が乱雑じゃね?」

 

と思っていましたが、その事象の起こりにくさと考えると半分の確率で1が出るイカサマサイコロよりも6つの目が同様の確率で出る普通のサイコロの方がよっぽど出目の予想が難しく、エントロピーが高いことが想像できます。

 

このようにエントロピーは確率分布が一様に近い事象形であればあるほど大きい値になり、全ての事象が起こる確率が同じであるとき最大となります。

 

以下はコインの表裏が出る確率とその時のエントロピーを表すグラフです。先ほど伝えたように2つの事象の発生確率が1/2の時にエントロピーは最大となります。

 

また、当然ですが確実に表が出る場合、裏が出る場合はそんな情報には価値がないためエントロピーも0となっています。

 

 

今回はこんな感じにしておきます。

 

また、いずれ条件付エントロピーについて書くつもりなのでその時はここにリンクを貼ります。

 

条件付エントロピーについて考える