以前、自分なりの解釈でエントロピーについてまとめましたが、今回は条件付エントロピーについて記述していきたいと思います。

 

条件付エントロピーとは?

 

Bという情報を得たことによって得られるAのエントロピーをH(A|B)と表し、Bが分かった時の条件付エントロピーと呼ぶ。

 

??

 

実際の問題に触れて考えてみる

 

 

例えば以下のような状況を想像してください。

残念なことにあなたの晩御飯はカレーかラーメンの2種類しかありません。また、晩御飯の内3/4がカレーであり、1/4がラーメンです。そして、晩御飯を作ってくれるのは母親か姉です。母親はカレーを好むので母親が晩御飯を作成する際は6/7の確率でカレーです。一方姉はどちらが好きということもなくどちらも同じ確率(1/2)で作成します。また、母親が7/10の晩御飯を作成し、姉は3/10の晩御飯を作成します。

非常に気味の悪い状況ですが、こんな状況を想像してください。では質問です。

 

1、晩御飯のエントロピーを求めてください

 

状況があまりにも特殊すぎて問題文も意味不明になってしまい、この書き方で適切かわからないのですが「晩御飯がカレーかラーメンかわかった際にどれだけの情報量の増加があるのか」を求めてみましょう。

 

$$H(X)=-\sum_{n}^{i=1}p_ilog_2p_i$$

 

上記の式に当てはめて計算を行うと

 

$$H(X)=-\frac{1}{4}log_2\frac{1}{4}-\frac{3}{4}log_2\frac{3}{4}$$

 

より約0.811bitだということが分かります。

 

ちなみにこのエントロピーはカレーが出てくる確率とラーメンが出てくる確率が等しく1/2の時に最大になります。

 

この話はエントロピーについて記述した際にしたので気になる方はどうぞ

 

情報理論におけるエントロピーとは何か

 

ここまでは普通のエントロピーについての話です。ではここからが本題の条件付エントロピーの話です。

 

2、晩御飯を作成するのが母と姉のどちらかが分かった際の条件付エントロピーを求めてください

 

これはつまり、晩御飯を作成するのが母親か姉か分かっている状況で晩御飯が出てきた際の情報量の増加を求めようというわけです。

 

 

場合分けを行なっていきます。

  1. 母親が晩御飯を作る場合
  2. 姉が晩御飯を作る場合

 

 

1の母親が晩御飯を作成する場合について考えていきましょう。

 

母親が晩御飯を作成する場合のエントロピーは

 

$$H(X)=-\frac{1}{7}log_2\frac{1}{7}-\frac{6}{7}log_2\frac{6}{7}=0.60$$

 

となり、約0.60bitであることがわかりました。

 

 

2の姉が晩御飯を作る場合に関して

 

姉はカレーもラーメンも同様の確率で作成するためコインの表裏のエントロピーと同様に1bitのエントロピーだと考えられます。

 

 

以上の2つの情報と問題文の母親が7/10の晩御飯を作成し、姉は3/10の晩御飯を作成しますという情報から

 

X…晩御飯にカレーとラーメンどちらが出るかという事象

Y…晩御飯を母親か姉のどちらが作成するかという事象

 

$$H(X|Y)=\frac{7}{10}×0.6+\frac{3}{10}×1=0.72$$

 

H(X|Y)とはYという事前事象がある場合のXのエントロピーを表す(今回は晩御飯をどちらが作成するかという情報がある状態でカレーかラーメンかが分かった際の情報量の増加分を意味する)

 

 

答えの0.72について考察していきましょう。

 

問題1のエントロピーH(X)は0.811であったのに対してH(X|Y)は0.72でした。

 

つまりこれは晩御飯がカレーかラーメンであるという同様の情報を得たにも関わらず、晩御飯を誰が作ったかという情報を持っているかいないかで情報量に差があることを示しています。

 

晩御飯を作る人が分かればある程度の予測ができるため、知らない時に比べて晩御飯がラーメンかカレーか分かった際の情報量が少なくなることには納得できると思います。

 

以下の図を見て見ましょう。

 

 

 

 

H(X)は晩御飯がどちらかという事象に対するエントロピーです。

H(Y)は晩御飯を作成するのがどちらかという事象に対するエントロピーです。

三日月のような形をしているH(X|Y)はYの事象が分かっている時のXのエントロピーです。

 

Yの情報がある時にXの情報が推測できる分、エントロピーが小さくなっていることが確認できます。

 

また、今回は全く触れていませんが中央の2つの円が被っているI(X,Y)という部分は相互情報量といい今回は晩御飯を作成する人が誰か分かったおかげで得ることができた情報量と考えることができます。

 

 

なんとなく条件付エントロピーについて分かったような気がしていただければ不幸中の幸い極まりないです。