0-2 기초 확률론

0-2 기초 확률론

$(\Omega,\,\mathcal{B},\,P)$를 확률공간이라고 하자. $\Omega$에서 정의된 가측 실가함수를 확률변수(random variable)라 하고, 통상적으로 $X$로 나타낸다. 확률변수 $X$의 기댓값(expectation)(또는 평균(mean)) $E(X)$와 분산(variance) $\text{Var}(X)$를 각각 다음과 같이 정의한다. $$\begin{align*}E(X)&=\int_{\Omega}{X(\omega)dP(\omega)}\\ \text{Var}(X)&=E(\{X-E(X)\}^{2})\end{align*}$$ 정의 0.23 확률공간 $(\mathbb{R}^{n},\,\mathcal{B}(\mathbb{R}^{n}),\,\mu)$를 $n$차원 확률공간이라 하고, 확률측도 $\mu$를 $n-$차원 확률분포(probability distribution)라고 한다. $\mu$가 $\mathbb{R}^{n}$에서의 르베그측도 $\lambda$에 대해 절대연속이면, 라돈-니코딤 도함수 $\displaystyle\frac{d\mu}{d\lambda}$를 $\mu$의 밀도함수라 한다.

정의 0.24 $X:(\Omega,\,\mathcal{B},\,P)\,\rightarrow\,(\mathbb{R}^{n},\,\mathcal{B}(\mathbb{R}^{n}))$가 가측변환(measurable transformation)일 때, $X$를 $n$차원 확률벡터(random vector)라 한다. 다음과 같이 정의된 집합함수 $\mu_{X}$는 $(\mathbb{R}^{n},\,\mathcal{B}(\mathbb{R}^{n}))$에서 확률측도이다. $$\mu_{X}(B)=P(X^{-1}[B]),\,B\in\mathcal{B}(\mathbb{R}^{n})$$ 이 $\mu_{X}$를 확률벡터 $X$에 의해 결정되는 $n$차원 확률분포라 하고, $n=1$인 경우의 $X$는 확률변수이다. 

정리 0.25 $X$가 $n$차원 확률벡터이고, $f:\mathbb{R}^{n}\,\rightarrow\,\mathbb{R}$가 보렐가측함수이면, 변수변환정리에 의해 다음의 식을 얻는다. $$\begin{align*}E(f(X))&=\int_{\Omega}{f(X_{1}(\omega),\,...,\,X_{n}(\omega))dP(\omega)}\\&=\int_{\mathbb{R}^{n}}{f(u_{1},\,...,\,u_{n})d\mu_{X}(u_{1},\,...,\,u_{n})}\end{align*}$$ 정의 0.26 $\mu$를 $n$차원 확률분포라 하자. $\mu$의 분포함수 $F$는 다음과 같이 정의한다. $$F(x)=\mu((-\infty,\,x_{1}]\times\cdots\times(-\infty,\,x_{n}]),\,x=(x_{1},\,...,\,x_{n})\in\mathbb{R}^{n}$$ $n$차원 확률벡터 $X$의 분포함수는 $X$에 의해 결정되는 $n$차원 확률분포 $\mu_{X}$의 분포함수이다. 

정리 0.27 $F$를 1차원 확률분포의 분포함수라 하자. 그러면 $F$는 다음의 성질들을 만족한다. 

(1) 단조증가: $x<y$이면, $F(x)\leq F(y)$ 

(2) 우연속: $x\,\rightarrow\,a+$이면, $F(x)\,\rightarrow\,F(a)+$ 

(3) 유계 및 정규화: $\displaystyle\lim_{x\,\rightarrow\,-\infty}{F(x)}=0$, $\displaystyle\lim_{x\,\rightarrow\,\infty}{F(x)}=1$

정의 0.28 $n$차원 확률분포 $\mu$의 특성함수(characteristic function) $\varphi$를 다음과 같이 정의한다. $$\varphi(y)=\int_{\mathbb{R}^{n}}{e^{i\langle x,\,y\rangle}d\mu(x)},\,y\in\mathbb{R}^{n}$$ 여기서 $\displaystyle\langle x,\,y\rangle=\sum_{i=1}^{n}{x_{i}y_{i}}$이다. 

$n$차원 확률벡터 $X=(X_{1},\,...,\,X_{n})$의 특성함수 $\mathcal{F}(x)$(또는 푸리에변환)는 $X$에 의해 결정되는 $n$차원 확률분포 $\mu_{X}$의 특성함수이므로 다음이 성립한다. $$\begin{align*}\mathcal{F}(X)(v)&=\int_{\mathbb{R}^{n}}{e^{i\langle u,\,v\rangle}d\mu_{X}(u)}\\&=\int_{\Omega}{e^{i\langle v,\,X(\omega)\rangle}dP(\omega)}\\&=E(e^{i\langle v,\,X(\omega)\rangle}),\,v\in\mathbb{R}^{n}\end{align*}$$ 정의 0.29 $n$차원 확률벡터 $X=(X_{1},\,...,\,X_{n})$의 평균벡터 $E(X)$와 공분산행렬(covariance matrix) $\text{Cov}(X)$를 다음과 같이 정의한다. $$\begin{align*}E(X)&=(E(X_{1}),\,...,\,E(X_{n}))\\ \text{Cov}(X)&=\{\text{Cov}(X_{j},\,X_{l})\,|\,j,\,l=1,\,2,\,...,\,n\}\end{align*}$$ 여기서 $\text{Cov}(X_{j},\,X_{l})$은 다음과 같다. $$\text{Cov}(X_{j},\,X_{l})=E(\{X_{j}-E(X_{j})\}\{X_{l}-E(X_{l})\})$$ 확률분포 $\mu_{X}$의 평균벡터 $E(\mu_{X})$와 공분산행렬 $\text{Cov}(\mu_{X})$를 다음과 같이 각각 $X$의 평균벡터와 공분산행렬로 정의한다. $$E(\mu_{X})=E(X),\,\text{Cov}(\mu_{X})=\text{Cov}(X)$$ 정의 0.30 확률변수 $X_{1},\,...,\,X_{n}$이 다음의 식을 만족하면 서로 독립(independence)이라고 한다. $$\mu_{(X_{1},\,...,\,X_{n})}=\mu_{X_{1}}\times\cdots\times\mu_{X_{n}}$$ 정리 0.31 $X_{1},\,...,\,X_{n}$이 서로 독립인 확률변수이고 $f_{1},\,...,\,f_{n}$을 보렐 가측함수라 하자. 그러면 다음의 등식이 성립한다. $$E(f_{1}(X_{1})\cdots f_{n}(X_{n}))=E(f_{1}(X_{1}))\cdots E(f_{n}(X_{n}))$$ 정의 0.32 확률변수 $X$의 확률분포 $\mu_{X}$가 다음의 식을 만족하면, $X$를 모수 $\rho,\,\sigma^{2}$을 갖는 정규분포(normal distribution)라 하고 $X\,\sim\,N(\rho,\,\sigma^{2})$로 나타낸다. $$\mu_{X}(B)=\int_{B}{\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(u-\rho)^{2}}{2\sigma^{2}}}du},\,B\in\mathcal{B}(\mathbb{R})$$ *$X\,\sim\,N(\rho,\,\sigma^{2})$이면 다음의 성질들이 성립한다.  

(1) $E(X)=\rho$, $\text{var}(X)=\sigma^{2}$

(2) $X$의 특성함수는 다음과 같다. $$\begin{align*}\mathcal{F}(X)(v)&=\int_{\mathbb{R}}{\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{iuv}e^{-\frac{(u-\rho)^{2}}{2\sigma^{2}}}du}\\&=e^{i\rho u-\frac{1}{2}\sigma^{2}v^{2}}\end{align*}$$ $j=1,\,...,\,n$일 때 $X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})$이고 $X_{1},\,...,\,X_{n}$이 서로 독립이라 하자. $X=(X_{1},\,...,\,X_{n})$, $v=(v_{1},\,...,\,v_{n})$이라고 하면 다음의 식을 얻는다. $$\begin{align*}\mathcal{F}(X)(v)&=\int_{\Omega}{e^{i(v_{1}X_{1}+\cdots+v_{n}X_{n})}dP}\\&=\int_{\Omega}{e^{iv_{1}X_{1}}\cdots e^{iv_{n}X_{n}}dP}\\&=\mathcal{F}(X_{1})(v_{1})\cdots\mathcal{F}(X_{n})(v_{n})\\&=\exp\left\{i\sum_{j=1}^{n}{\rho_{j}v_{j}}-\frac{1}{2}\sum_{j=1}^{n}{\sigma_{j}^{2}v_{j}^{2}}\right\}\end{align*}$$ 정리 0.33 $X_{1},\,...,\,X_{n}$이 서로 독립이고 $X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\,(j=1,\,2,\,...,\,n)$일 필요충분조건은 다음의 식이 성립하는 것이다. $$\mathcal{F}(X)(v)=\exp\left\{i\sum_{j=1}^{n}{\rho_{j}v_{j}}-\frac{1}{2}\sum_{j=1}^{n}{\sigma_{j}^{2}v_{j}^{2}}\right\}$$ 정리 0.34 $X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\,(j=1,\,2,\,...,\,n)$라 하자. $X_{1},\,...,\,X_{n}$이 서로 독립일 필요충분조건은 임의의 상수 $a_{1},\,...,\,a_{n}$에 대해 다음의 등식이 성립하는 것이다. $$a_{1}X_{1}+\cdots+a_{n}X_{n}\,\sim\,N\left(\sum_{j=1}^{n}{a_{j}\rho_{j}},\,\sum_{j=1}^{n}{a_{j}^{2}\sigma_{j}^{2}}\right)$$ 정리 0.35 $X_{1},\,...,\,X_{n}$이 독립이고 $X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\,(j=1,\,2,\,...,\,n)$라 하자. $f:\mathbb{R}^{n}\,\rightarrow\,\mathbb{R}$가 르베그 가측이면, 다음의 식이 성립한다. $$E(f(X_{1},\,...,\,X_{n}))=\frac{1}{\sqrt{(2\pi)^{n}\sigma_{1}^{2}\cdots\sigma_{n}^{2}}}\int_{\mathbb{R}^{n}}{f(u)\exp\left\{-\sum_{j=1}^{n}{\frac{(u_{j}-\rho_{j})^{2}}{2\sigma_{j}^{2}}}\right\}du}\,(u=(u_{1},\,...,\,u_{n}))$$ 정의 0.36 $n$차원 확률분포 $\mu$가 다음의 조건들을 만족하면, $\mu$를 $n$차원 정규분포라고 한다.

(1) $\mu$는 르베그측도 $\lambda$에 대해 절대연속이다.  

(2) 밀도함수는 다음과 같이 주어진다. $$\frac{du}{d\lambda}(x)=\sqrt{\frac{\det(A)}{(2\pi)^{n}}}\exp\left\{-\frac{1}{2}\langle A(x-m),\,m\rangle\right\},\,x\in\mathbb{R}^{n}$$ 여기서 $m\in\mathbb{R}^{n}$, $A$는 $n\times n$양의 정부호(positive definite) 대칭행렬이다. 

정리 0.37 $n$차원 정규분포 $\mu_{X}$가 위의 밀도함수를 가지면 특성함수 $\mathcal{F}(X)$는 다음과 같고 $$\mathcal{F}(X)(y)=\exp\left\{i\langle m,\,y\rangle-\frac{1}{2}\langle Vy,\,y\rangle\right\},\,y\in\mathbb{R}^{n}$$ $\mu_{X}$의 평균벡터와 공분산행렬은 다음과 같다. $$E(\mu_{X})=m,\,\text{Cov}(\mu_{X})=V\,(V=A^{-1})$$ 정리 0.38 확률벡터 $X=(X_{1},\,...,\,X_{n})$의 확률분포가 $n$차원 정규분포이고, 평균벡터가 $0$, 공분산행렬이 $V$라고 하자. 그러면 임의의 $n\times n$대칭행렬 $C$에 대해 다음이 성립한다. $$\begin{align*}E(\langle CX,\,X\rangle)&=\text{tr}(CV)\\E(\langle CX,\,X\rangle^{2})&=3\sum_{j=1}^{n}{b_{jj}^{2}}+2\sum_{j=1}^{n}{\sum_{j<l}{(b_{jj}b_{ll}+2b_{jl}^{2})}}\end{align*}$$ 여기서 $(b_{jl})=CV$이다. 

콜모고로프 정리 

$\{Y_{k}\}$가 서로 독립인 확률변수이고 $\displaystyle\sum_{k=1}^{\infty}{\text{Var}(Y_{k})}<\infty$라 하자. 그러면 $\displaystyle\sum_{k=1}^{\infty}{(Y_{k}-E(Y_{k}))^{2}}$는 a.s.(almost surely)수렴한다. 

정리 0.39 $\{X_{n}\}$을 확률벡터들의 수열이라 하자. 다음의 식을 만족하는 $\epsilon_{n}>0$이 존재해서 $$\sum_{n=1}^{\infty}{P(\{\omega\in\Omega\,|\,|X_{n}(\omega)-X_{0}(\omega)|\geq\epsilon_{n}\})}<\infty$$ $\epsilon_{n}\,\rightarrow\,0$이라 하면 $X_{n}\,\rightarrow\,X_{0}\,a.s.\,\omega\in\Omega$이다. 

정리 0.40 $\{X_{n}\}$이 서로 독립인 확률변수들의 수열이라 하고 $\displaystyle X_{N}=\sum_{n=1}^{N}{X_{n}}$이라 하자. 그러면 다음의 성질들은 서로 동치이다. 

(1) $X_{N}$은 확률변수로 a.s. 수렴한다. 

(2) $X_{N}$은 확률변수로 확률수렴(convergence in probability)한다.

(3) $X_{N}$의 확률분포는 1차원 확률분포로 수렴한다. 

$D\subset\mathbb{R}$일 때 확률공간 $(\Omega,\,\mathcal{B},\,P)$에서 정의된 확률변수들의 집합족 $\{X_{t}\}_{t\in D}$를 확률과정(stochastic process)이라고 한다. 확률과정 $X$는 $D\times\Omega$에서 정의된 실함수 $X(t,\,\omega)$로서, 각 $t\in D$에 대해 $X(t,\,\cdot)$는 $\mathcal{B}-$가측함수이다. 여기서 $\Omega$는 표본공간(sample space), 각 $\omega\in\Omega$에 대해 $X(\cdot,\,\omega)$를 $X$의 표본함수(sample function)라고 한다. 

정의 0.41 모든 표본함수 $X(\cdot,\,\omega)$가 $D$에서 연속일 때, 확률과정 $X$를 연속이라고 한다. $a.s. \omega\in\Omega$에 대해 $X(\cdot,\,\omega)$가 연속이면, $X$를 거의 확실한(a.s.) 연속이라고 한다. 

정의 0.42 확률과정 $X$가 다음의 조건들을 만족하면, 브라운 운동과정(Brownian motion process)이라고 한다.

(1) 임의의 $\{t_{1},\,...,\,t_{n}\}\subset D\,(t_{1}<\cdots<t_{n})$에 대해 $X(t_{j+1},\,\cdot)-X(t_{j},\,\cdot)\,(j=1,\,2,\,...,\,n-1)$는 서로 독립이다. 

(2) 임의의 $t_{1},\,t_{2}\in D\,(t_{1}<t_{2})$에 대해 $X(t_{2},\,\cdot)-X(t_{1},\,\cdot)\,\sim\,N(0,\,c(t_{2}-t_{1}))\,(c>0)$이다.

정의 0.43 $X$가 확률과정일 때 모든 $t\in D$에 대해 $E(\{X(t,\,\cdot)\}^{2})<\infty$라 하자. $X$의 평균함수 $m(t)$와 공분산함수 $v(s,\,t)$는 다음과 같이 정의되는 실함수이다. $$\begin{align*}m(t)&=E(X(t,\,\cdot))\\v(s,\,t)&=\text{Cov}(X(s,\,\cdot),\,X(t,\,\cdot))\\&=E(\{X(s,\,\cdot)-E(X(s,\,\cdot))\}\{X(t,\,\cdot)-E(X(t,\,\cdot))\})\end{align*}$$ *공분산함수 $v$는 대칭이고 음이 아닌 정부호(nonnegative definite)이다. 즉

(1) $v(s,\,t)=v(t,\,s)\,s,\,t\in D$

(2) $\{\alpha_{1},\,...,\,\alpha_{n}\}\subset D,\,\{\xi_{1},\,...,\,\xi_{n}\}\subset\mathbb{R}$일 때 $\displaystyle\sum_{j=1}^{n}{\sum_{l=1}^{n}{v(\alpha_{j},\,\alpha_{l})\xi_{j}\xi_{l}}}\geq0$

확률과정 $X$가 다음의 조건을 만족할 때 $X$를 가우스과정(Gaussian process)이라고 한다.

임의의 유한부분집합 $\{\alpha_{1},\,...,\,\alpha_{n}\}\subset D$에 대해 $n$차원 확률벡터 $(X(\alpha_{1},\,\cdot),\,...,\,X(\alpha_{n},\,\cdot))$의 확률분포가 $n$차원 정규분포이다. 

정리 0.44 가우스과정 $X$는 다음의 성질들을 만족한다.

(1) 가우스과정의 임의의 부분집합은 가우스과정이다. 

(2) 가우스과정 $X$에 속하는 확률변수들의 모든 일차결합들의 집합은 가우스과정이다. 

(3) 가우스과정에 속하는 확률변수들의 수열의 확률수렴극한들의 집합은 가우스과정이다. 

(4) $X$가 가우스과정일 필요충분조건은 $X$에 속하는 확률변수들의 모든 일차결합의 확률분포가 정규분포이다. 

(5) 가우스과정 $\{X_{1},\,...,\,X_{n}\}$이 독립일 필요충분조건은 $\text{Cov}(X_{i},\,X_{j})=0\,(i\neq j)$이다. 

정의 0.45 $D=[0,\,\infty)$일 때, $D$에서 $a(t)$를 연속함수, $b(t)$를 단조증가 연속함수라 하자. 가산과정(additive process) $X$가 다음의 조건들을 만족할 때 $X$를 일반(generalized) 브라운 운동과정이라고 한다.

(1) $t',\,t''\in D$일 때 $X(t'',\,\cdot)-X(t',\,\cdot)\,\sim\,N(a(t'')-a(t'),\,b(t'')-b(t'))$  

(2) $X(0,\,\omega)=c,\,a.e.\,\omega\in\Omega$

* $a(t)=0$, $b(t)=t$, $c=0$이면, $X$는 브라운 운동과정이다. 

정리 0.46 일반 브라운 운동과정 $X$는 평균함수 $m(t)$와 공분산함수 $v(s,\,t)$가 다음과 같이 주어지는 가우스과정이다.

(1) $m(t)=E(X(t,\,\cdot))=a(t)-a(0)+c,\,t\in D$

(2) $v(s,\,t)=\text{Cov}(X(s,\,\cdot),\,X(t,\,\cdot))=b(\min\{s,\,t\})-b(0),\,s,\,t\in D$

특히 $a(t)=0$, $b(t)=t\,(t\in D)$, $c=0$인 경우의 브라운 운동과정 $X$에 대해서는 다음이 성립한다.

(3) $m(t)=0,\,t\in D$

(4) $v(s,\,t)=\min\{s,\,t\},\,s,\,t\in D$

참고자료: 

위너 적분론, 장건수, 민음사