[측도론] 9-1 확률의 기본개념

[측도론] 9-1 확률의 기본개념

측도공간 \((X,\,\mathcal{M},\,\mu)\)에서 \(\mu(X)=1\)이면, 이 측도공간을 표본공간(sample space), \(\mu\)를 확률측도(probability measure)라고 한다. 

해석학	확률론
-측도공간 \((X,\,\mathcal{M},\,\mu)\,(\mu(X)=1)\)  -(\(\sigma\)-)대수  -가측집합  -가측 실함수 \(f\)   -\(f\)의 적분 \(\displaystyle\int_{X}{fd\mu}\)  -\(L^{p}\)  -측도수렴   -거의 어디서나, \(a.e.\)  -\(\mathbb{R}\)상의 보렐 확률측도   -측도의 푸리에변환  -특성함수 \(\chi_{E}\)	-표본공간 \((\Omega,\,\mathcal{B},\,P)\)  -(\(\sigma\)-)체  -사건  -확률변수 \(X\) -\(X\)의 평균 또는 기댓값 \(\displaystyle E(X)=\int_{\Omega}{XdP}\)  -유한 \(p\)차 모멘트를 갖는  -확률수렴  -거의 확실히, \(a.s.\)  -분포  -분포의 특성함수  -지시함수 \(\mathbb{1}_{E}\)

\(\{\omega\,|\,X(\omega)>a\}\)와 \(P(\{\omega\,|\,X(\omega)>a\})\)를 간단히 \(\{X>a\}\), \(P(X>a)\)로 나타내고 "\(L^{p}\) 확률변수(random variable)"라는 용어 대신 "유한 \(p\)차 모멘트를 갖는 확률변수"라는 용어를 사용한다.  

\(X\)가 확률변수일 때 \(X\)의 분산(variance) \(\sigma^{2}(X)\)와 표준변차(standard deviation) \(\sigma(X)\)를 각각 다음과 같이 정의한다.$$\sigma^{2}(X)=\inf_{a\in\mathbb{R}}{E((X-a)^{2})},\,\sigma(X)=\sqrt{\sigma^{2}(X)}$$\(X\notin L^{2}\)이면 \(\sigma^{2}(X)=\infty\)이고 \(X\in L^{2}\)이면 \(E((X-a)^{2})=E(X^{2})-2aE(X)+a^{2}\)이고 \(a=E(X)\)일 때 최소이므로 따라서 분산은 다음과 같다.$$\sigma^{2}(X)=E((X-E(X))^{2})=E(X^{2})-\{E(X)\}^{2}\,(X\in L^{2})$$여기서 \(\sigma(X)\)는 \(X\)가 \(E(X)\)로부터 얼마나 흩어져 있는가를 나타내는 척도이다.  

\((\Omega,\,\mathcal{B},\,P)\)를 확률공간(임의의 측도공간), \((\Omega',\,\mathcal{B}')\)를 다른 가측공간, \(\phi:\Omega\,\rightarrow\,\Omega'\)를 \((\mathcal{B},\,\mathcal{B}')-\)가측사상이라 하자. 그러면 측도(확률) \(P\)는 \(\Omega'\)에서 다음과 같이 정의되는 상측도(image measure) \(P_{\phi}\)를 유도한다.$$P_{\phi}(E)=P(\phi^{-1}[E])$$

9.1 \(f:\Omega'\,\rightarrow\,\mathbb{R}\)가 가측함수이면 \(\displaystyle\int_{\Omega'}{fdP_{\phi}}=\int_{\Omega}{(f\circ\phi)dP}\)(양 변의 적분은 정의됨)이다.  

증명: \(f=\chi_{E}\,(E\in\mathcal{B}')\)이면, \(P_{\phi}\)의 정의에 의해 분명하고(\(\because\,\chi_{E}\circ\phi=\chi_{\phi^{-1}[E]}\)), 나머지 경우는 2.10과 단조수렴정리에 의해 성립한다.  

\(X\)가 \(\Omega\)상의 확률변수이면, \(P_{X}\)는 \(\mathbb{R}\)에서의 확률측도이고 \(X\)의 분포(distribution)라고 하고, 다음의 함수$$F(t)=P_{X}((-\infty,\,t])=P(X\leq t)$$(1.15에 의해 \(P_{X}\)를 결정)를 \(X\)의 분포함수(distribution function)라고 한다. \(\{X_{\alpha}\}_{\alpha\in A}\)가 모든 \(\alpha,\,\beta\in A\)에 대하여 \(P_{X_{\alpha}}=P_{X_{\beta}}\)인 확률변수들의 집합족이면, \(X_{\alpha}\)들은 동일분포를 갖는다(identically distributed)라고 한다. 

일반적으로 유한개의 확률변수 \(X_{1},\,...,\,X_{n}\)에 대해 \((X_{1},\,...,\,X_{n})\)을 \(\Omega\)에서 \(\mathbb{R}^{n}\)으로의 사상이라고 할 수 있고 \(\mathbb{R}^{n}\)상의 측도 \(P_{(X_{1},\,...,\,X_{n})}\)을 \(X_{1},\,...,\,X_{n}\)의 결합분포(joint distribution)라고 한다. 9.11에 의해 다음이 성립한다.$$E(X)=\int_{\mathbb{R}}{tdP_{X}(t)},\,\sigma^{2}(X)=\int_{\mathbb{R}}{(t-E(X))^{2}dP_{X}(t)},\\E(X,\,Y)=\int_{\mathbb{R}^{2}}{(t+s)dP_{(X,\,Y)}(t,\,s)}$$\(\mathbb{R}\)에서의 보렐 확률측도 \(\lambda\)에 대한 평균(mean) \(\overline{\lambda}\)와 분산(variance) \(\sigma^{2}\)은 다음과 같다.$$\overline{\lambda}=\int_{\mathbb{R}}{td\lambda(t)},\,\sigma^{2}=\int_{\mathbb{R}}{(t-\overline{\lambda})^{2}d\lambda(t)}$$확률론에서 가장 중요한 개념 중 하나는 (확률적)독립((stochastic) independence)이다. 확률공간 \((\Omega,\,\mathcal{F},\,P)\)와 사건 \(E\,(P(E)>0)\)가 있다고 하자. 그러면 다음의 집합함수$$P_{E}(F)=\frac{P(E\cap F)}{P(E)}\,(F\in\mathcal{F})$$는 \(\Omega\)에서의 확률측도이고 \(E\)에서의 조건부 확률(conditional probability)이라고 한다. \(P_{E}(F)\)는 사건 \(E\)가 일어났을 때, 사건 \(F\)가 일어날 확률을 나타낸다. \(P_{E}(F)=P(F)\)(사건 \(F\)가 일어날 확률이 사건 \(E\)의 영향을 받지 않음)이면, \(E\)와 \(F\)는 독립(independent)이라고 한다. 따라서 \(E\)와 \(F\)가 독립일 필요충분조건은 다음과 같고, \(P(E)=0\)이더라도 성립한다.$$P(E\cap F)=P(E)P(F)$$일반적으로 \(\Omega\)에서의 사건들의 집합 \(\{E_{\alpha}\}_{\alpha\in A}\)가 모든 \(n\in\mathbb{N}\)과 서로 다른 \(\alpha_{1},\,...,\,\alpha_{n}\in A\)에 대해 다음이 성립하면, \(\{E_{\alpha}\}_{\alpha\in A}\)들을 독립(independence)이라고 한다.$$P\left(\bigcap_{i=1}^{n}{E_{\alpha_{i}}}\right)=\prod_{i=1}^{n}{P(E_{\alpha_{i}})}$$주의할 점은 쌍별로의 독립이 독립을 의미하지 않는다.   

\(\Omega\)에서의 확률변수들의 집합 \(\{X_{\alpha}\}_{\alpha\in A}\)가 모든 보렐집합 \(B_{\alpha}\subset\mathbb{R}\)에 대해 사건 \(\{X_{\alpha}\in B_{\alpha}\}=X_{\alpha}^{-1}[B_{\alpha}]\)들이 독립이면, \(\{X_{\alpha}\}_{\alpha\in A}\)를 독립(independence)이라고 한다. \(\alpha_{1},\,...,\,\alpha_{n}\in A\)이고 \(X_{\alpha_{i}}=X_{i}\)로 나타내면 다음이 성립한다.$$\begin{align*}P\left(\bigcap_{i=1}^{n}{X_{i}^{-1}[B_{i}]}\right)&=P((X_{1},\,...,\,X_{n})^{-1}[B_{1}\times\cdots\times B_{n}])\\&=P_{(X_{1},\,...,\,X_{n})}(B_{1}\times\cdots\times B_{n})\end{align*}$$이다. 반면에$$\prod_{i=1}^{n}{P(X_{i}^{-1}[B_{i}])}=\prod_{i=1}^{n}{P_{X_{i}}(B_{i})}=\left(\prod_{i=1}^{n}{P_{X_{i}}}\right)(B_{1}\times\cdots\times B_{n})$$이므로 이 등식이 모든 보렐집합 \(B_{i}\subset\mathbb{R}\)에 대해 성립할 필요충분조건은$$P_{(X_{1},\,...,\,X_{n})}=\prod_{i=1}^{n}{P_{X_{i}}}$$이고 이것은 \(\{X_{\alpha}\}_{\alpha\in A}\)가 독립확률변수들의 집합일 필요충분조건이 유한개의 \(X_{\alpha}\)들의 결합분포가 개별 분포들의 곱이라는 것을 뜻한다.    

9.2 \(\{X_{ni}\,|\,1\leq i\leq J(n),\,1\leq n\leq N\}\)을 독립확률변수들의 집합, \(f_{n}:\mathbb{R}^{J(n)}\,\rightarrow\,\mathbb{R}\,(1\leq n\leq N)\)을 보렐 가측함수라고 하자. 그러면 확률변수 \(Y_{n}=f_{n}(X_{n1},\,...,\,X_{nJ(n)})\,(1\leq n\leq N)\)들은 독립이다. 

증명: \(\mathbf{X}_{n}=(X_{n1},\,...,\,X_{nJ(n)})\)이라 하자. \(B_{1},\,...,\,B_{N}\)이 \(\mathbb{R}\)상의 보렐 부분집합이면, \(Y_{n}^{-1}[B_{n}]=\mathbf{X}_{n}^{-1}[f_{n}^{-1}[B_{n}]]\)이고 따라서$$\begin{align*}(Y_{1},\,...,\,Y_{N})^{-1}[B_{1}\times\cdots\times B_{n}]&=\bigcap_{n=1}^{N}{Y_{n}^{-1}[B_{n}]}\\&=(\mathbf{X}_{1},\,...,\,\mathbf{X}_{N})^{-1}[f_{1}^{-1}[B_{1}]\times\cdots\times f_{N}^{-1}[B_{N}]]\end{align*}$$이다. 그러므로 \(X_{ni}\)들이 독립이기 때문에 푸비니정리에 의해 다음의 결과를 얻는다.$$\begin{align*}P_{(Y_{1},\,...,\,Y_{N})}(B_{1}\times\cdots\times B_{N})&=P_{(\mathbf{X}_{1},\,...,\,\mathbf{X}_{n})}(f_{1}^{-1}[B_{1}]\times\cdots\times f_{N}^{-1}[B_{B}])\\&=\left(\prod_{i=1}^{N}{\prod_{j=1}^{J(n)}{P_{X_{n_{i}}}}}\right)(f_{1}^{-1}[B_{1}]\times\cdots\times f_{N}^{-1}[B_{N}])\\&=\prod_{n=1}^{N}{P_{\mathbf{X}_{n}}}(f_{n}^{-1}[B_{n}])\\&=\prod_{n=1}^{N}{P_{Y_{n}}(B_{n})}\end{align*}$$ 

\(\lambda_{1},\,...,\,\lambda_{n}\in M(\mathbb{R})\)일 때 \(\lambda_{1}*\cdots*\lambda_{n}\)은 다음과 같다.$$(\lambda_{1}*\cdots*\lambda_{n})(E)=\int{\cdots\int_{\mathbb{R}^{n}}{\chi_{E}(t_{1}+\cdots+t_{n})d\lambda_{1}(t)}\cdots d\lambda_{n}(t)}$$

9.3 \(\{X_{i}\}_{i=1}^{n}\)이 독립확률변수이면, \(P_{X_{1}+\cdots+X_{n}}=P_{X_{1}}*\cdots*P_{X_{n}}\)이다.  

증명: \(\displaystyle A(t_{1},\,...,\,t_{n})=\sum_{i=1}^{n}{t_{i}}\)라 하자. 그러면 \(X_{1}+\cdots+X_{n}=A(X_{1},\,...,\,X_{n})\)이고 다음의 결과를 얻는다.$$P_{X_{1}+\cdots+X_{n}}=\left(P_{(X_{1},\,...,\,X_{n})}\right)_{A}=\left(\prod_{i=1}^{n}{P_{X_{i}}}\right)_{A}=P_{X_{1}}*\cdots*P_{X_{n}}$$  

9.4 \(\{X_{i}\}_{i=1}^{n}\)을 독립확률변수라 하자. 모든 \(i\)에 대하여 \(X_{i}\in L^{1}\)이면, \(\displaystyle\prod_{i=1}^{n}{X_{i}}\in L^{1}\)이고 \(\displaystyle E\left(\prod_{i=1}^{n}{X_{i}}\right)=\prod_{i=1}^{n}{E(X_{i})}\)이다.  

증명: \(\displaystyle f(t_{1},\,...,\,t_{n})=\prod_{i=1}^{n}{|t_{i}|}\)라고 하면 \(\displaystyle\prod_{i=1}^{n}{|X_{i}|}=f(X_{1},\,...,\,X_{n})\)이고 따라서 다음이 성립한다.$$\begin{align*}E\left(\prod_{i=1}^{n}{|X_{i}|}\right)&=\int_{\mathbb{R}^{n}}{fdP_{(X_{1},\,...,\,X_{n})}}=\int_{\mathbb{R}^{n}}{fd\left(\prod_{i=1}^{n}{P_{X_{i}}}\right)}\\&=\prod_{i=1}^{n}{\int_{\mathbb{R}}{|t_{i}|dP_{X_{i}}(t_{i})}}=\prod_{i=1}^{n}{E(|X_{i}|)}\end{align*}$$ 

9.5 \(\{X_{i}\}_{i=1}^{n}\subset L^{2}\)들이 독립이면, \(\displaystyle\sigma^{2}(X_{1}+\cdots+X_{n})=\sum_{i=1}^{n}{\sigma^{2}(X_{i})}\)이다.  

증명: \(Y_{i}=X_{i}-E(X_{i})\)라 하자. 그러면 \(\{Y_{i}\}_{i=1}^{n}\)들은 독립이고 \(E(Y_{i})=0\)이므로$$E(Y_{i}Y_{k})=E(Y_{i})E(Y_{k})=0\,(i\neq k)$$이고 다음이 성립한다.$$\begin{align*}\sigma^{2}(X_{1}+\cdots+X_{n})&=E((Y_{1}+\cdots+Y_{n})^{2})=\sum_{i,\,k}{E(Y_{i}Y_{k})}\\&=\sum_{i=1}^{n}{E(Y_{i}^{2})}=\sum_{i=1}^{n}{\sigma^{2}(X_{i})}\end{align*}$$  

\(X,\,Y\)가 독립이고 \(E(X)=0\)이라 하자. 그러면 조건 \(f\circ Y\in L^{1}\)을 만족하는 \(\mathbb{R}\)상의 보렐 가측함수 \(f\)에 대하여$$E(X\cdot(f\circ Y))=E(X)E(f\circ Y)=0$$이고 \(X\)와 \(Y\)는 수직이다.   

\(\Omega=\Omega_{1}\times\cdots\times\Omega_{n}\), \(\displaystyle\mathcal{B}=\bigotimes_{i=1}^{n}{\mathcal{B}_{i}}\), \(P=P_{1}\times\cdots\times P_{n}\)이라 하자. 그러면 \(i\)번째 좌표만을 갖는 \(\Omega\)상의 확률변수 \(X_{1},\,...,\,X_{n}\)들은 독립이다. \(X_{i}=f_{i}\circ\pi_{i}\)(\(\pi_{i}:\Omega\,\rightarrow\,\Omega_{i}\)는 좌표사상)라고 하면$$(X_{1},\,...,\,X_{n})^{-1}[B_{1}\times\cdots B_{n}]=\prod_{i=1}^{n}{f_{i}^{-1}[B_{i}]}$$이고 따라서 다음이 성립한다.$$P_{(X_{1},\,...,\,X_{n})}(B_{1}\times\cdots\times B_{n})=P\left(\prod_{i=1}^{n}{f_{i}^{-1}[B_{i}]}\right)=\prod_{i=1}^{n}{P_{i}\left(f_{i}^{-1}[B_{i}]\right)}=\prod_{i=1}^{n}{P_{X_{i}}(B_{i})}$$

9.6 \(f\in C([0,\,1])\)에 대하여 다음과 같이 정의된 다항식 \(B_{n}(x)\)는 \([0,\,1]\)에서 \(f\)로 균등수렴한다.$$B_{n}(x)=\sum_{k=0}^{n}{f\left(\frac{k}{n}\right)\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}}$$ 

증명: \(x\in[0,\,1]\)에 대하여 \(\lambda=x\delta_{1}+(1-x)\delta_{0}\)(\(\delta_{t}\)는 \(t\)에서의 점질량)라 하고 \(\Omega=\mathbb{R}^{n}\), \(P=\lambda\times\cdots\times\lambda\), \(X_{i}\)를 \(\mathbb{R}^{n}\)에서의 \(i\)번째 좌표함수라 하자. 그러면 \(X_{1},\,...,\,X_{n}\)들은 독립이고, 분포는 \(\lambda\)이다. 다음의 식$$(\lambda*\cdots*\lambda)=\sum_{k=0}^{n}{\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}\delta_{k}}$$ $$\left(\begin{align*}(\delta_{0}*\delta_{0})(t)&=\iint_{\mathbb{R}^{2}}{\chi_{\{t\}}(x+y)d\delta_{0}(x)d\delta_{0}(y)}=\chi_{\{t\}}(0)=\delta_{0}(t)\\(\delta_{0}*\delta_{1})(t)&=\iint_{\mathbb{R}^{2}}{\chi_{\{t\}}(x+y)d\delta_{0}(x)d\delta_{1}(y)}=\chi_{\{t\}}(1)=\delta_{1}(t)\\(\delta_{1}*\delta_{1})(t)&=\iint_{\mathbb{R}^{2}}{\chi_{\{t\}}(x+y)d\delta_{1}(x)d\delta_{2}(y)}=\chi_{\{t\}}(2)=\delta_{2}(t)\\ \lambda*\lambda&=\{x\delta_{1}+(1-x)\delta_{0}\}*\{x\delta_{1}+(1-x)\delta_{0}\}\\&=x^{2}\delta_{2}+2x(1-x)\delta_{1}+(1-x)^{2}\delta_{0}\\&=\sum_{k=0}^{2}{\frac{2!}{k!(2-k)!}x^{k}(1-x)^{2-k}\delta_{k}}\end{align*}\right)$$과 9.3에 의해$$B_{n}(x)=E\left(f\left(\frac{X_{1}+\cdots+X_{n}}{n}\right)\right)$$이고 이항정리로부터 \(\displaystyle\sum_{k=0}^{n}{\frac{n!}{k!(n-k)!}}=1\)이므로 다음의 부등식이 성립한다.$$|f(x)-B_{n}(x)|\leq\sum_{k=0}^{n}{\left|f(x)-f\left(\frac{k}{n}\right)\right|\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}}$$\(f\)는 \([0,\,1]\)에서 균등연속이므로 임의의 \(\epsilon>0\)과 \(\delta>0\)가 존재해서 모든 \(x,\,y\in[0,\,1]\)에 대해 \(|x-y|\leq\delta\)일 때 \(|f(x)-f(y)|\leq\epsilon\)이다.  

\(\displaystyle\left|x-\frac{k}{n}\right|\leq\delta\)인 \(x\)에 대해서$$\sum_{k=0}^{n}{\left|f(x)-f\left(\frac{k}{n}\right)\right|\frac{n!}{k!(n-k)!}x^{k}(1-x)^{n-k}}\leq\epsilon$$이고 나머지는 \(\displaystyle2\|f\|_{u}P\left(\left|\frac{X_{1}+\cdots+X_{n}}{n}\right|>\delta\right)\)보다 작다.$$\sigma^{2}(X_{i})=E(X_{i}^{2})-\{E(X_{i})\}^{2}=x-x^{2}\leq1$$이므로 9.5에 의해$$E\left(\left(\frac{X_{1}+\cdots+X_{n}}{n}-x\right)^{2}\right)=\sigma^{2}\left(\frac{X_{1}+\cdots+X_{n}}{n}\right)\leq\frac{n}{n^{2}}=\frac{1}{n}$$이고 체비셰프 부등식에 의해 다음이 성립하고 따라서 \(B_{n}(x)\)는 \([0,\,1]\)에서 \(f\)로 균등수렴한다.$$|f(x)-B_{n}(x)|\leq\epsilon+\frac{2\|f\|^{2}}{n\delta^{2}}<2\epsilon\,(\because\,\text{Archimedian property})$$      

참고자료: 

Real Analysis: Modern Techniques and Their Applications Second edition, Folland, Wiley