【数理統計学入門】事象と確率【データサイエンス・機械学習】

こんにちはたくまろです。まず統計学を考える上で、必要になるのは確率です。第一回は確率とはどうゆうものなのか？について説明したいと思います。数理統計学を始める第一歩なので、ちゃんと学びたい方はぜひご覧ください。

1.1 事象

定義1.1
ある試行の可能な結果全体の集合を標本空間(sample space)といい, $\Omega$で表す. $\Omega$の部分集合または, 単一の元を事象(event)と呼ぶ.

定義1.2
$A,B\subset\Omega$とする. $A\cup B$を$A,B$の和事象, $A\cap B$を$A,B$の積事象という.
また$A^c = \Omega -A$を$A$の余事象, $\Omega$を全事象, 空集合$\phi$を空事象とする.

例1.1
サイコロを一回投げる.標本空間$\Omega=\{1, 2, 3, 4, 5, 6\}$となる.偶数の目が出るという事象を$E$とすると, $E=\{2,4,6\}$なので, $E\subset\Omega$となるので, $E$は$\Omega$の事象である.

1.2 完全加法族

定義1.3
$\Omega$の部分集合で(A1)~(A3)を満たす集合族$\mathcal{A}$を完全加法族と呼ぶ.
(A1) $\Omega\in\mathcal{A}$
(A2) $A\in\mathcal{A}$のとき, $A^c\in\mathcal{A}$
(A3) $A_i\in\mathcal{A}\ (i=1,2,…)$ のとき, $\bigcup_{i=1}^{\infty} A_i\in\mathcal{A}$

MEMO

ちなみに, (A3)が次の条件
(A3′) $A_i\in\mathcal{A}\ (i=1,2,…,n)$ のとき, $\bigcup_{i=1}^{n} A_i\in\mathcal{A}$
このとき, $\mathcal{A}$を有限加法族と呼ぶ.

例1.2
次の集合族は完全加法族になる.
(1) $\mathcal{A}_1 = \{\phi,\Omega\}$
(2) 任意の$A\subset\Omega$に対して, $\mathcal{A}_2 = \{\phi, A, A^c, \Omega\}$
(3) すべての$\Omega$の部分集合からなら集合族$\mathcal{A}_3$

(3)のみ示す.(A-i)は自明である. (A-ii)について, $A\in\mathcal{A}_3$とすると$A^c\in\Omega$なので$A^c\in\mathcal{A}_3$となる. (A-iii)について, $A_i\in\mathcal{A}_3\ (i=1,2,…,n)$ とする.任意の$a\in\bigcup_{i=1}^{n} A_i$について, $a\in A_i\subset\Omega$となる$i$が存在するので, $\bigcup_{i=1}^{n} A_i\subset\Omega$.以上より$\bigcup_{i=1}^{n} A_i\in\mathcal{A}_3$が成立する.

1.3 確率測度

定義1.4
完全加法族$\mathcal{A}$上の確率（測度）$P$を次の性質(P1)~(P3)を満たすものとして定義する.
(P1) 任意の$A\in\mathcal{A}$について, $P(A)\geq0$.
(P2) $P(\Omega)=1$.
(P3) $A_i\in\mathcal{A} (i=1,2,…,n)$について, 任意の$i,j(i\neq j)$に対して$A_i \cap A_j=\phi$ならば,$$P(\bigcup_{i=1}^{n} A_i)=\sum_{i=1}^{\infty}P(A_i)$$である.

任意の$i,j(i\neq j)$に対して$A_i \cap A_j=\phi$ならば,$A_i $と$ A_j$は排反である.

$ (\Omega, \mathcal{A}, P)$の組を確率空間(probability space)という.

定理1.1 (確率測度の加法性)
任意の$A_1, A_2\in\mathcal{A}$について,$$P(A_1\cup A_2)=P(A_1)+P(A_2)-P(A_1\cap A_2)$$が成り立つ.

(証明)
$B_1=A_1-(A_1\cap A_2), B_2=A_2-(A_1\cap A_2), B_3=A_1\cap A_2$とすると,$B_1, B_2, B_3$は排反である. (P3)より,$$P(A_1\cup A_2)=P(\bigcup_{i=1}^{3} B_i)=\sum_{i=1}^{3}P(B_i)$$
また,$P(A_i)=P(B_i)+P(A_1\cap A_2)\ (i=1,2)$なので,

$$P(A_1\cup A_2)=P(A_1)-P(A_1\cap A_2)+P(A_2)-P(A_1\cap A_2)+P(A_1\cap A_2)$$

$$=P(A_1)+P(A_2)-P(A_1\cap A_2)$$