18.5 全確率の法則

場合分けを使うと確率の計算を単純化できる場合が多い。基本的なアイデアは「事象 \(A\) の確率を計算するとき、別の事象 \(E\) が起こるかどうかで場合を分けて確率を計算する」である。言い換えれば、\(A \cap E\) と \(A \cap \overline{\mathstrut E}\) の確率の和として \(A\) の確率を計算する。加算則 (規則 17.5.3) より、この二つの確率の和は確かに \(A\) の確率に等しい。条件付き確率を使って共通部分の確率を表せば次の規則を得る:

規則 18.5.1[全確率の法則 (law of total probability, \(1\) 事象バージョン)]

\[ \operatorname{Pr}[A] = \operatorname{Pr} [A \, | \, E] \cdot \operatorname{Pr} [E] + \operatorname{Pr} [A \, | \, \overline{\mathstrut E}] \cdot \operatorname{Pr} [\overline{\mathstrut E}] \]

例として次の試行を考えよう。まず、公平なコインを一度投げる。表が出たら、\(1\) 個のサイコロを振って出た目を記録する。裏が出たら、\(2\) 個のサイコロを振って出た目の和を記録する。この試行で \(2\) が記録される確率はいくつだろうか？ \(E\) を事象 [コイン投げの結果が表] として、\(A\) を事象 [\(2\) が記録される] とする。コインは公平なので \(\operatorname{Pr}[E] = \operatorname{Pr}[\overline{\mathstrut E}] = 1/2\) が分かる。このとき \(\operatorname{Pr} [A]\) は \(E\) に関する場合分けで計算できる。コイン投げの結果が表なら、その後 \(1\) 個のサイコロを振るので \(1/6\) の確率で \(2\) が記録される。つまり \(\operatorname{Pr}[A \, | \, E] = 1/6\) が成り立つ。これに対して、コイン投げの結果が裏なら、その後 \(2\) 個のサイコロを振るので \(1/36\) の確率で \(2\) が記録される。よって全確率の法則より、\(2\) が記録される確率は次のように計算できる:

\[ \begin{aligned} \operatorname{Pr} [A] &= \operatorname{Pr} [A \, | \, E] \cdot \operatorname{Pr} [E] + \operatorname{Pr} [A \, | \, \overline{\mathstrut E}] \cdot \operatorname{Pr} [\overline{\mathstrut E}] \\[2pt] &= \frac{1}{2} \cdot \frac{1}{6} + \frac{1}{2} \cdot \frac{1}{36} \\[8pt] &= \frac{7}{72} \end{aligned} \]

この法則は標本空間全体を被覆する任意の排反な事象の集合に拡張できる。例えば:

規則[全確率の法則 (\(3\) 事象バージョン)]

事象 \(E_{1}\), \(E_{2}\), \(E_{3}\) が排反で \(\operatorname{Pr}[E_{1} \cup E_{2} \cup E_{3}] = 1\) が成り立つなら、次の等式が成り立つ:

\[ \operatorname{Pr}[A] = \operatorname{Pr} [A \, | \, E_{1}] \cdot \operatorname{Pr} [E_{1}] + \operatorname{Pr} [A \, | \, E_{2}] \cdot \operatorname{Pr} [E_{2}] + \operatorname{Pr} [A \, | \, E_{3}] \cdot \operatorname{Pr} [E_{3}] \]

この規則を使うと、今度は \(3\) 事象バージョンの Bayes 則が得られる。\(A\) の成立を仮定したときの \(E_{1}\) の確率を、反対に \(E_{1}\), \(E_{2}\), \(E_{3}\) それぞれの成立を仮定したときの \(A\) の確率から計算できる:

規則[Bayes 則 (\(3\) 事象バージョン)]

\[ \operatorname{Pr} [E_{1} \, | \, A] = \frac{\operatorname{Pr}[A \, | \, E_{1}] \cdot \operatorname{Pr} [E_{1}]} {\operatorname{Pr} [A \, | \, E_{1}] \cdot \operatorname{Pr} [E_{1}] + \operatorname{Pr} [A \, | \, E_{2}] \cdot \operatorname{Pr} [E_{2}] + \operatorname{Pr} [A \, | \, E_{3}] \cdot \operatorname{Pr} [E_{3}]} \]

全確率の法則と Bayes 則を \(n\) 個の事象に拡張する作業は簡単な練習問題とする (問題 18.3, 問題 18.4)。

18.5.1 単一事象に関する条件付け

第 17.5.2 項で導出した確率に関する規則は、同じ事象に関して条件付けられた確率に関する規則に拡張できる。例えば、二つの事象に関する包除則の両辺を事象 \(C\) に関して条件付けると次の恒等式が得られる:

\[ \operatorname{Pr} [A \cup B \, | \, C] = \operatorname{Pr} [A \, | \, C] + \operatorname{Pr} [B \, | \, C] - \operatorname{Pr} [A \cap B \, | \, C] \]

証明は条件付き確率の定義 (定義 18.2.1) を代入すれば簡単に得られる¹。

新しく追加される事象が条件付けを表す縦棒の後に (条件として) 追加される事実を忘れてはいけない。例えば、次の恒等式は正しくない:

誤った規則

\[ \operatorname{Pr} [A \, | \, B \cup C ] = \operatorname{Pr} [A \, | \, B ] + \operatorname{Pr} [A \, | \, C ] - \operatorname{Pr} [A \, | \, B \cap C ] \tag{18.3}\]

簡単な反例を示す。\(A\), \(B\), \(C\) を一様標本空間上の事象で、\(A\) がほとんど全ての結果を含み、かつ \(B\), \(C\) を完全には含まないとする。このとき \(\operatorname{Pr}[A \, | \, B]\) と \(\operatorname{Pr}[A \, | \, C]\) は \(1\) に近い値になる。例えば次のように定める:

\[ \begin{aligned} B &::= [0..9] \\ C &::= [10..18] \cup \left\{ 0 \right\} \\ A &::= [1..18] \end{aligned} \]

このとき次の等式が成り立つ:

\[ \operatorname{Pr} [A \, | \, B] = \operatorname{Pr} [A \, | \, C] = \frac{9}{10} \]

一方 \(B \cap C = \left\{ 0 \right\}\) かつ \(0 \notin A\) からは次の等式を得る:

\[ \operatorname{Pr} [A \, | \, B \cap C] = 0 \]

よって式 \(\text{(18.3)}\) の右辺は \(1.8\) であるのに対して、左辺は確率なので \(1\) より大きくならない (実際には \(18/19\) である)。

この恒等式や同様の条件付き確率に関する恒等式を条件付いていない恒等式から示す一般的な方法を問題 18.14 で見る。 ↩︎