17.5 集合論と確率論

これまでの議論を抽象化して、標本空間と確率といった用語を一般的な数学的概念として定義しよう。

17.5.1 確率空間

定義 17.5.1

非空加算¹集合を (加算) 標本空間 (sample space) と呼ぶ。標本空間 \(\mathcal{S}\) の要素 \(\omega \in \mathcal{S}\) を結果 (outcome) と呼ぶ。\(\mathcal{S}\) の部分集合を事象 (event) と呼ぶ。

定義 17.5.2

\(\mathcal{S}\) を標本空間とする。次の条件を満たす全域関数 \(\operatorname{Pr} \colon \mathcal{S} \to \mathbb{R}\) を \(\mathcal{S}\) 上の確率関数 (probability function) と呼ぶ:

全ての \(\omega \in \mathcal{S}\) に対して \(\operatorname{Pr}[\omega] \geq 0\)
\(\displaystyle \sum_{\omega \in \mathcal{S}} \operatorname{Pr}[\omega] = 1\)

事象 \(\omega\) に対する確率関数の値 \(\operatorname{Pr}[\omega]\) を \(\omega\) の確率 (probability) と呼ぶ。標本空間と確率関数を合わせたものを確率空間 (probability space) と呼ぶ。任意の事象 \(E \subseteq \mathcal{S}\) に対して、\(E\) に含まれる結果の確率の和を \(E\) の確率 (probability) と呼び、\(\operatorname{Pr}[E]\) と表記する:

\[ \operatorname{Pr} [E] ::= \sum_{\omega \in E} \operatorname{Pr} [\omega] \]

これまでに見てきた例には有限個の結果しか存在しなかった。しかし、加算無限個の結果が存在する例をすぐに見る。

任意の非空集合は標本空間とみなすことができ、さらに任意の部分集合は事象とみなすことができるために、確率論は集合論と強く結び付いている。一般的な確率論では実数全体の集合といった非加算集合を扱うものの、そういった理論は今の私たちに必要ないので、本書では加算集合に関する確率だけを議論する。そのため、例えば事象の確率は積分ではなく総和で定義される。さらに、議論を加算集合に狭めておけば、第 8.4 節で触れた Banachバナッハ-Tarskiタルスキの「パラドックス」のような集合論に関する細かな問題を避けることもできる。

17.5.2 集合論から分かる確率の規則

これまでに見てきた有限集合に関する規則や恒等式は確率へと自然に拡張できる。最初に、以降の議論で頻出する性質を表現する言葉を定義する:

定義

事象 \(E_{1}\), \(E_{2}\) \(\ldots\), \(E_{n}\), \(\ldots\) が排反 (disjoint) とは、任意の二事象 \(E_{i}\), \(E_{j}\) (\(1 \leq i < j \leq n\))が共通要素を持たないことを意味する。

事象の確率の定義から、排反な事象 \(E\), \(F\) に関する次の等式が分かる:

\[ \begin{aligned} \operatorname{Pr}[E \cup F] = \operatorname{Pr}[E] + \operatorname{Pr}[F] \end{aligned} \]

この事実は加算個の事象に拡張できる:

規則 17.5.3[加算則 (sum rule)]

事象 \(E_{0}\), \(E_{1}\), \(\ldots\), \(E_{n}\), \(\ldots\) が排反なら、次の等式が成り立つ:

\[ \operatorname{Pr} \left[ \bigcup_{n \in \mathbb{N}} E_{n} \right] = \sum_{n \in \mathbb{N}} \operatorname{Pr} [E_{n}] \]

加算則を使うと、複雑な事象を単純な事象に分解できる。例えば、ランダムに選んだ MIT の学生がアメリカ出身である確率は \(60\%\)、カナダ出身である確率は \(5\%\)、メキシコ出身である確率は \(5\%\) である。ここから、ランダムに選んだ MIT の学生の出身がアメリカ・カナダ・メキシコのいずれかである確率は \(70\%\) だと分かる。

加算則からは \(\operatorname{Pr}[A] + \operatorname{Pr}[\overline{\mathstrut A}] = 1\) も分かる: \(\operatorname{Pr}[\mathcal{S}] = 1\), \(\,\mathcal{S} = A \cup \overline{\mathstrut A}\), \(\,A \cap \overline{\mathstrut A} = \varnothing\) が利用される。この等式は次の形でよく使われる:

\[ \operatorname{Pr} [ \overline{\mathstrut A} ] = 1 - \operatorname{Pr}[A] \tag*{\(\overset{\text{complement rule}}{(\text{補集合則})}\)} \]

事象の補集合の確率を計算してから補集合則を使うことで事象の確率を簡単に計算できる場合がある。

有限集合の要素数に関する関係から、確率に関する基礎的な事実がさらに得られる:

\[ \begin{align*} \operatorname{Pr}[B - A] &= \operatorname{Pr}[B] - \operatorname{Pr}[A \cap B] \tag*{\(\overset{\text{difference rule}}{(\text{差集合則})}\)} \\[15pt] \operatorname{Pr}[A \cup B] &= \operatorname{Pr}[A] + \operatorname{Pr}[B] - \operatorname{Pr}[A \cap B] \tag*{\(\overset{\text{inclusion-exclusion}}{(\text{包除則})}\)} \\[8pt] \operatorname{Pr}[ A \cup B] &\leq \operatorname{Pr}[A] + \operatorname{Pr}[B] \tag*{\(\overset{\text{Boole’s inequality}}{(\text{Boole の不等式})}\)} \\[8pt] A \subseteq B &\text{ なら } \operatorname{Pr} [A] \leq \operatorname{Pr} [B] \tag*{\(\overset{\text{monotonicity rule}}{(\text{単調則})}\)} \end{align*} \]

差集合則は排反な二集合 \(B - A\) と \(A \cap B\) の和集合が \(B\) に等しい事実と加算則から分かる。包除則は排反な二集合 \(A\) と \(B - A\) の和集合が \(A \cup B\) に等しい事実と加算則と差集合則から分かる。Boole の不等式は確率が非負という定義と包除則から明らかである。単調性も確率が非負という定義と事象確率の定義から分かる。

集合の要素数に関する包除則 (規則 15.9.1) が \(n\) 個の集合に対して拡張できるのと同様に、確率に関する包除則も任意個の集合に関する等式に拡張できる。また、Boole の不等式は加算無限個の集合に一般化できる:

規則 17.5.4[和集合上界則 (union bound)]

任意の事象 \(E_{0}\), \(E_{1}\), \(\ldots\), \(E_{n}\), \(\ldots\) に対して次の不等式が成り立つ:

\[ \operatorname{Pr} [E_{1} \cup \cdots \cup E_{n} \cup \ldots] \leq \operatorname{Pr} [E_{1}] + \cdots + \operatorname{Pr} [E_{n}] + \cdots \tag{17.8}\]

和集合上界則は様々な計算で有用となる。例えば、\(n\) 個のクリティカルなコンポーネントを持つ宇宙船で \(i\) 番目のコンポーネントが障害を起こす事象を \(E_{i}\) とするとき、\(E_{1} \cup \cdots \cup E_{n}\) は一つ以上のコンポーネントで障害が起こる事象となる。もし \(\sum_{i=1}^{n} \operatorname{Pr} [E_{i}]\) が分かるなら、その値が宇宙船全体で一つ以上のクリティカルな障害が起こる確率の上界となることが和集合上界則から分かる。

17.5.3 一様確率空間

定義 17.5.5

有限確率空間 \(\mathcal{S}\) が一様 (uniform) とは、全ての結果 \(\omega \in \mathcal{S}\) に対する確率 \(\operatorname{Pr}[\omega]\) が等しいことを意味する。

第 17.4 節で奇妙なサイコロの例を使って見たように、一様な確率空間は特に扱いやすい。なぜなら、任意の事象 \(E \subseteq \mathcal{S}\) に対して次の等式が成り立つからである:

\[ \operatorname{Pr}[E] = \frac{|E|}{|\mathcal{S}|} \tag{17.9}\]

このため、\(E\) と \(\mathcal{S}\) の要素数が変えれば \(\operatorname{Pr}[E]\) が直ちに得られる。第 III 部で様々な集合の要素数を数える方法を学んだ私たちにとって、これは良いニュースである。

例えば、\(52\) 枚からなる通常のトランプ一式から \(5\) 枚の手札をランダムに取ったとする。この手札がフルハウスである確率はいくつだろうか？普通に解くと少し手間取るものの、第 15.7.2 項の結果からは次の等式が分かる:

\[ \begin{aligned} | \mathcal{S} | &= \binom{52}{5} \\ | E | &= 13 \cdot \binom{4}{3} \cdot 12 \cdot \binom{4}{2} \end{aligned} \]

ここで \(\mathcal{S}\) は \(52\) 枚のトランプ一式から \(5\) 枚の手札を引く試行に対応する標本空間、\(E\) は手札がフルハウスである事象を表す。全ての手札は等しい確率を持つので、等式 \(\text{(17.9)}\) より次を得る:

\[ \begin{aligned} \operatorname{Pr}[E] &= \frac{13 \cdot 12 \cdot \binom{4}{3} \cdot \binom{4}{2}}{\binom{52}{5}} \\[17pt] &= \frac{13 \cdot 12 \cdot 4 \cdot 6 \cdot 5 \cdot 4 \cdot 3 \cdot 2}{52 \cdot 51 \cdot 50 \cdot 49 \cdot 48} \\[13pt] &= \frac{18}{12495} \approx \frac{1}{694} \end{aligned} \]

17.5.4 無限確率空間

無限の要素を持つ確率空間は例外的な存在ではなく、様々な問題で姿を現す。例えば、二人のプレイヤーが公平なコインを交互に投げて、先に表を出した方が勝利するゲームを考えよう。先攻のプレイヤーが勝つ確率はいくつだろうか？この問題の試行を表す樹形図を図 \(\text{17.10}\) に示す。

図 17.10二人のプレイヤーが公平なコインを交互に投げて、先に表を出した方が勝利するゲームの樹形図

先攻のプレイヤーが勝利する事象には無限個の結果が含まれるものの、その確率は計算できる:

\[ \begin{aligned} \operatorname{Pr} [\text{先攻のプレイヤーが勝利する}] &= \frac{1}{2} + \frac{1}{8} + \frac{1}{32} + \frac{1}{128} + \cdots \\[10pt] &= \frac{1}{2} \sum_{n=0}^{\infty} \left( \frac{1}{4} \right)^{\! n} \\[10pt] &= \frac{1}{2} \left( \frac{1}{1 - 1/4} \right) \\[10pt] &= \frac{2}{3} \end{aligned} \]

同様に、後攻のプレイヤーが勝利する確率も計算できる:

\[ \operatorname{Pr} [\text{後攻のプレイヤーが勝利する}] = \frac{1}{4} + \frac{1}{16} + \frac{1}{64} + \frac{1}{256} + \cdots = \frac{1}{3} \]

この問題で考える標本空間は次の集合として表せる:

\[ \mathcal{S} ::= \left\{ \texttt{T}^{\hspace{1pt}n}\texttt{H} \; | \; n \in \mathbb{N} \right\} \]

ここで \(\texttt{T}^{\hspace{1pt}n}\) は投げたコインが \(n\) 回連続で裏tailになることを表し、\(\texttt{H}\) は投げたコインが表headになることを表す。そして確率関数は次の関数である:

\[ \operatorname{Pr}[\texttt{T}^{\hspace{1pt}n}\texttt{H}] = \frac{1}{2^{n+1}} \]

この標本空間と確率関数が本当に確率空間を構成することを検証するには、全ての確率が非負で和が \(1\) であることを確かめればよい。\(1 / 2^{n+1} > 0\) より確率は非負であり、幾何級数の和の公式を使えば次の等式が分かる:

\[ \sum_{n \in \mathbb{N}} \operatorname{Pr} [\texttt{T}^{\hspace{1pt}n}\texttt{H}] = \sum_{n \in \mathbb{N}} \frac{1}{2^{n+1}} = 1 \]

このモデルには二人のプレイヤーがコインを永遠に投げ続ける状況に対応する結果が存在しない点に注目してほしい (樹形図では、葉に到達しない無限路がこの状況に対応する)。この事実に納得できないなら、標本空間に結果 \(\omega_{\text{forever}}\) を追加しても構わない。ただし確率の和は \(1\) から変化してはいけないので、\(\omega_{\text{forever}}\) の確率は \(0\) と定義する必要がある。確率が \(0\) の事象をモデルに加えても上述の計算は全く変化しないので、あなたの納得感が増すなら加えても問題はない。ただ、一般に加算確率空間では確率 \(0\) の事象を考える意味はないので、そういった事象は無視されることが多い。

参考文献

[19], [26], [30], [34], [38], [39] [43], [42], [51]

この定義が示すように、標本空間の要素が無限に存在する可能性もある。第 8 章を飛ばしていたとしても問題はない ── 集合が加算 (countable) とは、その要素を \(\omega_{0}\), \(\omega_{1}\), \(\omega_{2}\), \(\ldots\) と一列に並べられることを意味する。 ↩︎