[측도론] 9-1 확률의 기본개념

[측도론] 9-1 확률의 기본개념

측도공간 $(X,\,\mathcal{M},\,\mu)$에서 $\mu(X)=1$이면, 이 측도공간을 표본공간(sample space), $\mu$를 확률측도(probability measure)라고 한다. 

해석학	확률론
-측도공간 $(X,\,\mathcal{M},\,\mu)\,(\mu(X)=1)$  -($\sigma$-)대수  -가측집합  -가측 실함수 $f$   -$f$의 적분 $\displaystyle\int_{X}{fd\mu}$  -$L^{p}$  -측도수렴   -거의 어디서나, $a.e.$  -$\mathbb{R}$상의 보렐 확률측도   -측도의 푸리에변환  -특성함수 $\chi_{E}$	-표본공간 $(\Omega,\,\mathcal{B},\,P)$  -($\sigma$-)체  -사건  -확률변수 $X$ -$X$의 평균 또는 기댓값 $\displaystyle E(X)=\int_{\Omega}{XdP}$  -유한 $p$차 모멘트를 갖는  -확률수렴  -거의 확실히, $a.s.$  -분포  -분포의 특성함수  -지시함수 $\mathbb{1}_{E}$

$\{\omega\,|\,X(\omega)>a\}$와 $P(\{\omega\,|\,X(\omega)>a\})$를 간단히 $\{X>a\}$, $P(X>a)$로 나타내고 "$L^{p}$ 확률변수(random variable)"라는 용어 대신 "유한 $p$차 모멘트를 갖는 확률변수"라는 용어를 사용한다.  

$X$가 확률변수일 때 $X$의 분산(variance) $\sigma^{2}(X)$와 표준변차(standard deviation) $\sigma(X)$를 각각 다음과 같이 정의한다. $$\sigma^{2}(X)=\inf_{a\in\mathbb{R}}{E((X-a)^{2})},\,\sigma(X)=\sqrt{\sigma^{2}(X)}$$ $X\notin L^{2}$이면 $\sigma^{2}(X)=\infty$이고 $X\in L^{2}$이면 $E((X-a)^{2})=E(X^{2})-2aE(X)+a^{2}$이고 $a=E(X)$일 때 최소이므로 따라서 분산은 다음과 같다. $$\sigma^{2}(X)=E((X-E(X))^{2})=E(X^{2})-\{E(X)\}^{2}\,(X\in L^{2})$$ 여기서 $\sigma(X)$는 $X$가 $E(X)$로부터 얼마나 흩어져 있는가를 나타내는 척도이다.  

$(\Omega,\,\mathcal{B},\,P)$를 확률공간(임의의 측도공간), $(\Omega',\,\mathcal{B}')$를 다른 가측공간, $\phi:\Omega\,\rightarrow\,\Omega'$를 $(\mathcal{B},\,\mathcal{B}')-$가측사상이라 하자. 그러면 측도(확률) $P$는 $\Omega'$에서 다음과 같이 정의되는 상측도(image measure) $P_{\phi}$를 유도한다. $$P_{\phi}(E)=P(\phi^{-1}[E])$$

9.1 $f:\Omega'\,\rightarrow\,\mathbb{R}$가 가측함수이면 $\displaystyle\int_{\Omega'}{fdP_{\phi}}=\int_{\Omega}{(f\circ\phi)dP}$(양 변의 적분은 정의됨)이다.  

증명: $f=\chi_{E}\,(E\in\mathcal{B}')$이면, $P_{\phi}$의 정의에 의해 분명하고($\because\,\chi_{E}\circ\phi=\chi_{\phi^{-1}[E]}$), 나머지 경우는 2.10과 단조수렴정리에 의해 성립한다.  

$X$가 $\Omega$상의 확률변수이면, $P_{X}$는 $\mathbb{R}$에서의 확률측도이고 $X$의 분포(distribution)라고 하고, 다음의 함수 $$F(t)=P_{X}((-\infty,\,t])=P(X\leq t)$$ (1.15에 의해 $P_{X}$를 결정)를 $X$의 분포함수(distribution function)라고 한다. $\{X_{\alpha}\}_{\alpha\in A}$가 모든 $\alpha,\,\beta\in A$에 대하여 $P_{X_{\alpha}}=P_{X_{\beta}}$인 확률변수들의 집합족이면, $X_{\alpha}$들은 동일분포를 갖는다(identically distributed)라고 한다. 

일반적으로 유한개의 확률변수 $X_{1},\,...,\,X_{n}$에 대해 $(X_{1},\,...,\,X_{n})$을 $\Omega$에서 $\mathbb{R}^{n}$으로의 사상이라고 할 수 있고 $\mathbb{R}^{n}$상의 측도 $P_{(X_{1},\,...,\,X_{n})}$을 $X_{1},\,...,\,X_{n}$의 결합분포(joint distribution)라고 한다. 9.11에 의해 다음이 성립한다. $$E(X)=\int_{\mathbb{R}}{tdP_{X}(t)},\,\sigma^{2}(X)=\int_{\mathbb{R}}{(t-E(X))^{2}dP_{X}(t)},\\E(X,\,Y)=\int_{\mathbb{R}^{2}}{(t+s)dP_{(X,\,Y)}(t,\,s)}$$ $\mathbb{R}$에서의 보렐 확률측도 $\lambda$에 대한 평균(mean) $\overline{\lambda}$와 분산(variance) $\sigma^{2}$은 다음과 같다. $$\overline{\lambda}=\int_{\mathbb{R}}{td\lambda(t)},\,\sigma^{2}=\int_{\mathbb{R}}{(t-\overline{\lambda})^{2}d\lambda(t)}$$ 확률론에서 가장 중요한 개념 중 하나는 (확률적)독립((stochastic) independence)이다. 확률공간 $(\Omega,\,\mathcal{F},\,P)$와 사건 $E\,(P(E)>0)$가 있다고 하자. 그러면 다음의 집합함수 $$P_{E}(F)=\frac{P(E\cap F)}{P(E)}\,(F\in\mathcal{F})$$ 는 $\Omega$에서의 확률측도이고 $E$에서의 조건부 확률(conditional probability)이라고 한다. $P_{E}(F)$는 사건 $E$가 일어났을 때, 사건 $F$가 일어날 확률을 나타낸다. $P_{E}(F)=P(F)$(사건 $F$가 일어날 확률이 사건 $E$의 영향을 받지 않음)이면, $E$와 $F$는 독립(independent)이라고 한다. 따라서 $E$와 $F$가 독립일 필요충분조건은 다음과 같고, $P(E)=0$이더라도 성립한다. $$P(E\cap F)=P(E)P(F)$$ 일반적으로 $\Omega$에서의 사건들의 집합 $\{E_{\alpha}\}_{\alpha\in A}$가 모든 $n\in\mathbb{N}$과 서로 다른 $\alpha_{1},\,...,\,\alpha_{n}\in A$에 대해 다음이 성립하면, $\{E_{\alpha}\}_{\alpha\in A}$들을 독립(independence)이라고 한다. $$P\left(\bigcap_{i=1}^{n}{E_{\alpha_{i}}}\right)=\prod_{i=1}^{n}{P(E_{\alpha_{i}})}$$ 주의할 점은 쌍별로의 독립이 독립을 의미하지 않는다.   

$\Omega$에서의 확률변수들의 집합 $\{X_{\alpha}\}_{\alpha\in A}$가 모든 보렐집합 $B_{\alpha}\subset\mathbb{R}$에 대해 사건 $\{X_{\alpha}\in B_{\alpha}\}=X_{\alpha}^{-1}[B_{\alpha}]$들이 독립이면, $\{X_{\alpha}\}_{\alpha\in A}$를 독립(independence)이라고 한다. $\alpha_{1},\,...,\,\alpha_{n}\in A$이고 $X_{\alpha_{i}}=X_{i}$로 나타내면 다음이 성립한다. $$\begin{align*}P\left(\bigcap_{i=1}^{n}{X_{i}^{-1}[B_{i}]}\right)&=P((X_{1},\,...,\,X_{n})^{-1}[B_{1}\times\cdots\times B_{n}])\\&=P_{(X_{1},\,...,\,X_{n})}(B_{1}\times\cdots\times B_{n})\end{align*}$$ 이다. 반면에 $$\prod_{i=1}^{n}{P(X_{i}^{-1}[B_{i}])}=\prod_{i=1}^{n}{P_{X_{i}}(B_{i})}=\left(\prod_{i=1}^{n}{P_{X_{i}}}\right)(B_{1}\times\cdots\times B_{n})$$ 이므로 이 등식이 모든 보렐집합 $B_{i}\subset\mathbb{R}$에 대해 성립할 필요충분조건은 $$P_{(X_{1},\,...,\,X_{n})}=\prod_{i=1}^{n}{P_{X_{i}}}$$ 이고 이것은 $\{X_{\alpha}\}_{\alpha\in A}$가 독립확률변수들의 집합일 필요충분조건이 유한개의 $X_{\alpha}$들의 결합분포가 개별 분포들의 곱이라는 것을 뜻한다.    

9.2 $\{X_{ni}\,|\,1\leq i\leq J(n),\,1\leq n\leq N\}$을 독립확률변수들의 집합, $f_{n}:\mathbb{R}^{J(n)}\,\rightarrow\,\mathbb{R}\,(1\leq n\leq N)$을 보렐 가측함수라고 하자. 그러면 확률변수 $Y_{n}=f_{n}(X_{n1},\,...,\,X_{nJ(n)})\,(1\leq n\leq N)$들은 독립이다. 

증명: $\mathbf{X}_{n}=(X_{n1},\,...,\,X_{nJ(n)})$이라 하자. $B_{1},\,...,\,B_{N}$이 $\mathbb{R}$상의 보렐 부분집합이면, $Y_{n}^{-1}[B_{n}]=\mathbf{X}_{n}^{-1}[f_{n}^{-1}[B_{n}]]$이고 따라서 $$\begin{align*}(Y_{1},\,...,\,Y_{N})^{-1}[B_{1}\times\cdots\times B_{n}]&=\bigcap_{n=1}^{N}{Y_{n}^{-1}[B_{n}]}\\&=(\mathbf{X}_{1},\,...,\,\mathbf{X}_{N})^{-1}[f_{1}^{-1}[B_{1}]\times\cdots\times f_{N}^{-1}[B_{N}]]\end{align*}$$ 이다. 그러므로 $X_{ni}$들이 독립이기 때문에 푸비니정리에 의해 다음의 결과를 얻는다. $$\begin{align*}P_{(Y_{1},\,...,\,Y_{N})}(B_{1}\times\cdots\times B_{N})&=P_{(\mathbf{X}_{1},\,...,\,\mathbf{X}_{n})}(f_{1}^{-1}[B_{1}]\times\cdots\times f_{N}^{-1}[B_{B}])\\&=\left(\prod_{i=1}^{N}{\prod_{j=1}^{J(n)}{P_{X_{n_{i}}}}}\right)(f_{1}^{-1}[B_{1}]\times\cdots\times f_{N}^{-1}[B_{N}])\\&=\prod_{n=1}^{N}{P_{\mathbf{X}_{n}}}(f_{n}^{-1}[B_{n}])\\&=\prod_{n=1}^{N}{P_{Y_{n}}(B_{n})}\end{align*}$$  

$\lambda_{1},\,...,\,\lambda_{n}\in M(\mathbb{R})$일 때 $\lambda_{1}*\cdots*\lambda_{n}$은 다음과 같다. $$(\lambda_{1}*\cdots*\lambda_{n})(E)=\int{\cdots\int_{\mathbb{R}^{n}}{\chi_{E}(t_{1}+\cdots+t_{n})d\lambda_{1}(t)}\cdots d\lambda_{n}(t)}$$

9.3 $\{X_{i}\}_{i=1}^{n}$이 독립확률변수이면, $P_{X_{1}+\cdots+X_{n}}=P_{X_{1}}*\cdots*P_{X_{n}}$이다.  

증명: $\displaystyle A(t_{1},\,...,\,t_{n})=\sum_{i=1}^{n}{t_{i}}$라 하자. 그러면 $X_{1}+\cdots+X_{n}=A(X_{1},\,...,\,X_{n})$이고 다음의 결과를 얻는다. $$P_{X_{1}+\cdots+X_{n}}=\left(P_{(X_{1},\,...,\,X_{n})}\right)_{A}=\left(\prod_{i=1}^{n}{P_{X_{i}}}\right)_{A}=P_{X_{1}}*\cdots*P_{X_{n}}$$   

9.4 $\{X_{i}\}_{i=1}^{n}$을 독립확률변수라 하자. 모든 $i$에 대하여 $X_{i}\in L^{1}$이면, $\displaystyle\prod_{i=1}^{n}{X_{i}}\in L^{1}$이고 $\displaystyle E\left(\prod_{i=1}^{n}{X_{i}}\right)=\prod_{i=1}^{n}{E(X_{i})}$이다.  

증명: $\displaystyle f(t_{1},\,...,\,t_{n})=\prod_{i=1}^{n}{|t_{i}|}$라고 하면 $\displaystyle\prod_{i=1}^{n}{|X_{i}|}=f(X_{1},\,...,\,X_{n})$이고 따라서 다음이 성립한다. $$\begin{align*}E\left(\prod_{i=1}^{n}{|X_{i}|}\right)&=\int_{\mathbb{R}^{n}}{fdP_{(X_{1},\,...,\,X_{n})}}=\int_{\mathbb{R}^{n}}{fd\left(\prod_{i=1}^{n}{P_{X_{i}}}\right)}\\&=\prod_{i=1}^{n}{\int_{\mathbb{R}}{|t_{i}|dP_{X_{i}}(t_{i})}}=\prod_{i=1}^{n}{E(|X_{i}|)}\end{align*}$$  

9.5 $\{X_{i}\}_{i=1}^{n}\subset L^{2}$들이 독립이면, $\displaystyle\sigma^{2}(X_{1}+\cdots+X_{n})=\sum_{i=1}^{n}{\sigma^{2}(X_{i})}$이다.  

증명: $Y_{i}=X_{i}-E(X_{i})$라 하자. 그러면 $\{Y_{i}\}_{i=1}^{n}$들은 독립이고 $E(Y_{i})=0$이므로 $$E(Y_{i}Y_{k})=E(Y_{i})E(Y_{k})=0\,(i\neq k)$$ 이고 다음이 성립한다. $$\begin{align*}\sigma^{2}(X_{1}+\cdots+X_{n})&=E((Y_{1}+\cdots+Y_{n})^{2})=\sum_{i,\,k}{E(Y_{i}Y_{k})}\\&=\sum_{i=1}^{n}{E(Y_{i}^{2})}=\sum_{i=1}^{n}{\sigma^{2}(X_{i})}\end{align*}$$   

$X,\,Y$가 독립이고 $E(X)=0$이라 하자. 그러면 조건 $f\circ Y\in L^{1}$을 만족하는 $\mathbb{R}$상의 보렐 가측함수 $f$에 대하여 $$E(X\cdot(f\circ Y))=E(X)E(f\circ Y)=0$$ 이고 $X$와 $Y$는 수직이다.   

$\Omega=\Omega_{1}\times\cdots\times\Omega_{n}$, $\displaystyle\mathcal{B}=\bigotimes_{i=1}^{n}{\mathcal{B}_{i}}$, $P=P_{1}\times\cdots\times P_{n}$이라 하자. 그러면 $i$번째 좌표만을 갖는 $\Omega$상의 확률변수 $X_{1},\,...,\,X_{n}$들은 독립이다. $X_{i}=f_{i}\circ\pi_{i}$($\pi_{i}:\Omega\,\rightarrow\,\Omega_{i}$는 좌표사상)라고 하면 $$(X_{1},\,...,\,X_{n})^{-1}[B_{1}\times\cdots B_{n}]=\prod_{i=1}^{n}{f_{i}^{-1}[B_{i}]}$$ 이고 따라서 다음이 성립한다. $$P_{(X_{1},\,...,\,X_{n})}(B_{1}\times\cdots\times B_{n})=P\left(\prod_{i=1}^{n}{f_{i}^{-1}[B_{i}]}\right)=\prod_{i=1}^{n}{P_{i}\left(f_{i}^{-1}[B_{i}]\right)}=\prod_{i=1}^{n}{P_{X_{i}}(B_{i})}$$

9.6 $f\in C([0,\,1])$에 대하여 다음과 같이 정의된 다항식 $B_{n}(x)$는 $[0,\,1]$에서 $f$로 균등수렴한다. $$B_{n}(x)=\sum_{k=0}^{n}{f\left(\frac{k}{n}\right)\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}}$$  

증명: $x\in[0,\,1]$에 대하여 $\lambda=x\delta_{1}+(1-x)\delta_{0}$($\delta_{t}$는 $t$에서의 점질량)라 하고 $\Omega=\mathbb{R}^{n}$, $P=\lambda\times\cdots\times\lambda$, $X_{i}$를 $\mathbb{R}^{n}$에서의 $i$번째 좌표함수라 하자. 그러면 $X_{1},\,...,\,X_{n}$들은 독립이고, 분포는 $\lambda$이다. 다음의 식 $$(\lambda*\cdots*\lambda)=\sum_{k=0}^{n}{\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}\delta_{k}}$$ $$\left(\begin{align*}(\delta_{0}*\delta_{0})(t)&=\iint_{\mathbb{R}^{2}}{\chi_{\{t\}}(x+y)d\delta_{0}(x)d\delta_{0}(y)}=\chi_{\{t\}}(0)=\delta_{0}(t)\\(\delta_{0}*\delta_{1})(t)&=\iint_{\mathbb{R}^{2}}{\chi_{\{t\}}(x+y)d\delta_{0}(x)d\delta_{1}(y)}=\chi_{\{t\}}(1)=\delta_{1}(t)\\(\delta_{1}*\delta_{1})(t)&=\iint_{\mathbb{R}^{2}}{\chi_{\{t\}}(x+y)d\delta_{1}(x)d\delta_{2}(y)}=\chi_{\{t\}}(2)=\delta_{2}(t)\\ \lambda*\lambda&=\{x\delta_{1}+(1-x)\delta_{0}\}*\{x\delta_{1}+(1-x)\delta_{0}\}\\&=x^{2}\delta_{2}+2x(1-x)\delta_{1}+(1-x)^{2}\delta_{0}\\&=\sum_{k=0}^{2}{\frac{2!}{k!(2-k)!}x^{k}(1-x)^{2-k}\delta_{k}}\end{align*}\right)$$ 과 9.3에 의해 $$B_{n}(x)=E\left(f\left(\frac{X_{1}+\cdots+X_{n}}{n}\right)\right)$$ 이고 이항정리로부터 $\displaystyle\sum_{k=0}^{n}{\frac{n!}{k!(n-k)!}}=1$이므로 다음의 부등식이 성립한다. $$|f(x)-B_{n}(x)|\leq\sum_{k=0}^{n}{\left|f(x)-f\left(\frac{k}{n}\right)\right|\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}}$$ $f$는 $[0,\,1]$에서 균등연속이므로 임의의 $\epsilon>0$과 $\delta>0$가 존재해서 모든 $x,\,y\in[0,\,1]$에 대해 $|x-y|\leq\delta$일 때 $|f(x)-f(y)|\leq\epsilon$이다.  

$\displaystyle\left|x-\frac{k}{n}\right|\leq\delta$인 $x$에 대해서 $$\sum_{k=0}^{n}{\left|f(x)-f\left(\frac{k}{n}\right)\right|\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}}\leq\epsilon$$ 이고 나머지는 $\displaystyle2\|f\|_{u}P\left(\left|\frac{X_{1}+\cdots+X_{n}}{n}\right|>\delta\right)$보다 작다. $$\sigma^{2}(X_{i})=E(X_{i}^{2})-\{E(X_{i})\}^{2}=x-x^{2}\leq1$$ 이므로 9.5에 의해 $$E\left(\left(\frac{X_{1}+\cdots+X_{n}}{n}-x\right)^{2}\right)=\sigma^{2}\left(\frac{X_{1}+\cdots+X_{n}}{n}\right)\leq\frac{n}{n^{2}}=\frac{1}{n}$$ 이고 체비셰프 부등식에 의해 다음이 성립하고 따라서 $B_{n}(x)$는 $[0,\,1]$에서 $f$로 균등수렴한다. $$|f(x)-B_{n}(x)|\leq\epsilon+\frac{2\|f\|^{2}}{n\delta^{2}}<2\epsilon\,(\because\,\text{Archimedian property})$$       

참고자료: 

Real Analysis: Modern Techniques and Their Applications Second edition, Folland, Wiley