0-2 기초 확률론

0-2 기초 확률론

\((\Omega,\,\mathcal{B},\,P)\)를 확률공간이라고 하자. \(\Omega\)에서 정의된 가측 실가함수를 확률변수(random variable)라 하고, 통상적으로 \(X\)로 나타낸다. 확률변수 \(X\)의 기댓값(expectation)(또는 평균(mean)) \(E(X)\)와 분산(variance) \(\text{Var}(X)\)를 각각 다음과 같이 정의한다.$$\begin{align*}E(X)&=\int_{\Omega}{X(\omega)dP(\omega)}\\ \text{Var}(X)&=E(\{X-E(X)\}^{2})\end{align*}$$정의 0.23 확률공간 \((\mathbb{R}^{n},\,\mathcal{B}(\mathbb{R}^{n}),\,\mu)\)를 \(n\)차원 확률공간이라 하고, 확률측도 \(\mu\)를 \(n-\)차원 확률분포(probability distribution)라고 한다. \(\mu\)가 \(\mathbb{R}^{n}\)에서의 르베그측도 \(\lambda\)에 대해 절대연속이면, 라돈-니코딤 도함수 \(\displaystyle\frac{d\mu}{d\lambda}\)를 \(\mu\)의 밀도함수라 한다.

정의 0.24 \(X:(\Omega,\,\mathcal{B},\,P)\,\rightarrow\,(\mathbb{R}^{n},\,\mathcal{B}(\mathbb{R}^{n}))\)가 가측변환(measurable transformation)일 때, \(X\)를 \(n\)차원 확률벡터(random vector)라 한다. 다음과 같이 정의된 집합함수 \(\mu_{X}\)는 \((\mathbb{R}^{n},\,\mathcal{B}(\mathbb{R}^{n}))\)에서 확률측도이다.$$\mu_{X}(B)=P(X^{-1}[B]),\,B\in\mathcal{B}(\mathbb{R}^{n})$$이 \(\mu_{X}\)를 확률벡터 \(X\)에 의해 결정되는 \(n\)차원 확률분포라 하고, \(n=1\)인 경우의 \(X\)는 확률변수이다. 

정리 0.25 \(X\)가 \(n\)차원 확률벡터이고, \(f:\mathbb{R}^{n}\,\rightarrow\,\mathbb{R}\)가 보렐가측함수이면, 변수변환정리에 의해 다음의 식을 얻는다.$$\begin{align*}E(f(X))&=\int_{\Omega}{f(X_{1}(\omega),\,...,\,X_{n}(\omega))dP(\omega)}\\&=\int_{\mathbb{R}^{n}}{f(u_{1},\,...,\,u_{n})d\mu_{X}(u_{1},\,...,\,u_{n})}\end{align*}$$정의 0.26 \(\mu\)를 \(n\)차원 확률분포라 하자. \(\mu\)의 분포함수 \(F\)는 다음과 같이 정의한다.$$F(x)=\mu((-\infty,\,x_{1}]\times\cdots\times(-\infty,\,x_{n}]),\,x=(x_{1},\,...,\,x_{n})\in\mathbb{R}^{n}$$\(n\)차원 확률벡터 \(X\)의 분포함수는 \(X\)에 의해 결정되는 \(n\)차원 확률분포 \(\mu_{X}\)의 분포함수이다. 

정리 0.27 \(F\)를 1차원 확률분포의 분포함수라 하자. 그러면 \(F\)는 다음의 성질들을 만족한다. 

(1) 단조증가: \(x<y\)이면, \(F(x)\leq F(y)\) 

(2) 우연속: \(x\,\rightarrow\,a+\)이면, \(F(x)\,\rightarrow\,F(a)+\) 

(3) 유계 및 정규화: \(\displaystyle\lim_{x\,\rightarrow\,-\infty}{F(x)}=0\), \(\displaystyle\lim_{x\,\rightarrow\,\infty}{F(x)}=1\)

정의 0.28 \(n\)차원 확률분포 \(\mu\)의 특성함수(characteristic function) \(\varphi\)를 다음과 같이 정의한다.$$\varphi(y)=\int_{\mathbb{R}^{n}}{e^{i\langle x,\,y\rangle}d\mu(x)},\,y\in\mathbb{R}^{n}$$여기서 \(\displaystyle\langle x,\,y\rangle=\sum_{i=1}^{n}{x_{i}y_{i}}\)이다. 

\(n\)차원 확률벡터 \(X=(X_{1},\,...,\,X_{n})\)의 특성함수 \(\mathcal{F}(x)\)(또는 푸리에변환)는 \(X\)에 의해 결정되는 \(n\)차원 확률분포 \(\mu_{X}\)의 특성함수이므로 다음이 성립한다.$$\begin{align*}\mathcal{F}(X)(v)&=\int_{\mathbb{R}^{n}}{e^{i\langle u,\,v\rangle}d\mu_{X}(u)}\\&=\int_{\Omega}{e^{i\langle v,\,X(\omega)\rangle}dP(\omega)}\\&=E(e^{i\langle v,\,X(\omega)\rangle}),\,v\in\mathbb{R}^{n}\end{align*}$$정의 0.29 \(n\)차원 확률벡터 \(X=(X_{1},\,...,\,X_{n})\)의 평균벡터 \(E(X)\)와 공분산행렬(covariance matrix) \(\text{Cov}(X)\)를 다음과 같이 정의한다.$$\begin{align*}E(X)&=(E(X_{1}),\,...,\,E(X_{n}))\\ \text{Cov}(X)&=\{\text{Cov}(X_{j},\,X_{l})\,|\,j,\,l=1,\,2,\,...,\,n\}\end{align*}$$여기서 \(\text{Cov}(X_{j},\,X_{l})\)은 다음과 같다.$$\text{Cov}(X_{j},\,X_{l})=E(\{X_{j}-E(X_{j})\}\{X_{l}-E(X_{l})\})$$확률분포 \(\mu_{X}\)의 평균벡터 \(E(\mu_{X})\)와 공분산행렬 \(\text{Cov}(\mu_{X})\)를 다음과 같이 각각 \(X\)의 평균벡터와 공분산행렬로 정의한다.$$E(\mu_{X})=E(X),\,\text{Cov}(\mu_{X})=\text{Cov}(X)$$정의 0.30 확률변수 \(X_{1},\,...,\,X_{n}\)이 다음의 식을 만족하면 서로 독립(independence)이라고 한다.$$\mu_{(X_{1},\,...,\,X_{n})}=\mu_{X_{1}}\times\cdots\times\mu_{X_{n}}$$정리 0.31 \(X_{1},\,...,\,X_{n}\)이 서로 독립인 확률변수이고 \(f_{1},\,...,\,f_{n}\)을 보렐 가측함수라 하자. 그러면 다음의 등식이 성립한다.$$E(f_{1}(X_{1})\cdots f_{n}(X_{n}))=E(f_{1}(X_{1}))\cdots E(f_{n}(X_{n}))$$정의 0.32 확률변수 \(X\)의 확률분포 \(\mu_{X}\)가 다음의 식을 만족하면, \(X\)를 모수 \(\rho,\,\sigma^{2}\)을 갖는 정규분포(normal distribution)라 하고 \(X\,\sim\,N(\rho,\,\sigma^{2})\)로 나타낸다.$$\mu_{X}(B)=\int_{B}{\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{-\frac{(u-\rho)^{2}}{2\sigma^{2}}}du},\,B\in\mathcal{B}(\mathbb{R})$$*\(X\,\sim\,N(\rho,\,\sigma^{2})\)이면 다음의 성질들이 성립한다.  

(1) \(E(X)=\rho\), \(\text{var}(X)=\sigma^{2}\)

(2) \(X\)의 특성함수는 다음과 같다.$$\begin{align*}\mathcal{F}(X)(v)&=\int_{\mathbb{R}}{\frac{1}{\sqrt{2\pi\sigma^{2}}}e^{iuv}e^{-\frac{(u-\rho)^{2}}{2\sigma^{2}}}du}\\&=e^{i\rho u-\frac{1}{2}\sigma^{2}v^{2}}\end{align*}$$\(j=1,\,...,\,n\)일 때 \(X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\)이고 \(X_{1},\,...,\,X_{n}\)이 서로 독립이라 하자. \(X=(X_{1},\,...,\,X_{n})\), \(v=(v_{1},\,...,\,v_{n})\)이라고 하면 다음의 식을 얻는다.$$\begin{align*}\mathcal{F}(X)(v)&=\int_{\Omega}{e^{i(v_{1}X_{1}+\cdots+v_{n}X_{n})}dP}\\&=\int_{\Omega}{e^{iv_{1}X_{1}}\cdots e^{iv_{n}X_{n}}dP}\\&=\mathcal{F}(X_{1})(v_{1})\cdots\mathcal{F}(X_{n})(v_{n})\\&=\exp\left\{i\sum_{j=1}^{n}{\rho_{j}v_{j}}-\frac{1}{2}\sum_{j=1}^{n}{\sigma_{j}^{2}v_{j}^{2}}\right\}\end{align*}$$정리 0.33 \(X_{1},\,...,\,X_{n}\)이 서로 독립이고 \(X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\,(j=1,\,2,\,...,\,n)\)일 필요충분조건은 다음의 식이 성립하는 것이다.$$\mathcal{F}(X)(v)=\exp\left\{i\sum_{j=1}^{n}{\rho_{j}v_{j}}-\frac{1}{2}\sum_{j=1}^{n}{\sigma_{j}^{2}v_{j}^{2}}\right\}$$정리 0.34 \(X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\,(j=1,\,2,\,...,\,n)\)라 하자. \(X_{1},\,...,\,X_{n}\)이 서로 독립일 필요충분조건은 임의의 상수 \(a_{1},\,...,\,a_{n}\)에 대해 다음의 등식이 성립하는 것이다.$$a_{1}X_{1}+\cdots+a_{n}X_{n}\,\sim\,N\left(\sum_{j=1}^{n}{a_{j}\rho_{j}},\,\sum_{j=1}^{n}{a_{j}^{2}\sigma_{j}^{2}}\right)$$정리 0.35 \(X_{1},\,...,\,X_{n}\)이 독립이고 \(X_{j}\,\sim\,N(\rho_{j},\,\sigma_{j}^{2})\,(j=1,\,2,\,...,\,n)\)라 하자. \(f:\mathbb{R}^{n}\,\rightarrow\,\mathbb{R}\)가 르베그 가측이면, 다음의 식이 성립한다.$$E(f(X_{1},\,...,\,X_{n}))=\frac{1}{\sqrt{(2\pi)^{n}\sigma_{1}^{2}\cdots\sigma_{n}^{2}}}\int_{\mathbb{R}^{n}}{f(u)\exp\left\{-\sum_{j=1}^{n}{\frac{(u_{j}-\rho_{j})^{2}}{2\sigma_{j}^{2}}}\right\}du}\,(u=(u_{1},\,...,\,u_{n}))$$정의 0.36 \(n\)차원 확률분포 \(\mu\)가 다음의 조건들을 만족하면, \(\mu\)를 \(n\)차원 정규분포라고 한다.

(1) \(\mu\)는 르베그측도 \(\lambda\)에 대해 절대연속이다.  

(2) 밀도함수는 다음과 같이 주어진다.$$\frac{du}{d\lambda}(x)=\sqrt{\frac{\det(A)}{(2\pi)^{n}}}\exp\left\{-\frac{1}{2}\langle A(x-m),\,m\rangle\right\},\,x\in\mathbb{R}^{n}$$여기서 \(m\in\mathbb{R}^{n}\), \(A\)는 \(n\times n\)양의 정부호(positive definite) 대칭행렬이다. 

정리 0.37 \(n\)차원 정규분포 \(\mu_{X}\)가 위의 밀도함수를 가지면 특성함수 \(\mathcal{F}(X)\)는 다음과 같고$$\mathcal{F}(X)(y)=\exp\left\{i\langle m,\,y\rangle-\frac{1}{2}\langle Vy,\,y\rangle\right\},\,y\in\mathbb{R}^{n}$$\(\mu_{X}\)의 평균벡터와 공분산행렬은 다음과 같다.$$E(\mu_{X})=m,\,\text{Cov}(\mu_{X})=V\,(V=A^{-1})$$정리 0.38 확률벡터 \(X=(X_{1},\,...,\,X_{n})\)의 확률분포가 \(n\)차원 정규분포이고, 평균벡터가 \(0\), 공분산행렬이 \(V\)라고 하자. 그러면 임의의 \(n\times n\)대칭행렬 \(C\)에 대해 다음이 성립한다.$$\begin{align*}E(\langle CX,\,X\rangle)&=\text{tr}(CV)\\E(\langle CX,\,X\rangle^{2})&=3\sum_{j=1}^{n}{b_{jj}^{2}}+2\sum_{j=1}^{n}{\sum_{j<l}{(b_{jj}b_{ll}+2b_{jl}^{2})}}\end{align*}$$여기서 \((b_{jl})=CV\)이다. 

콜모고로프 정리 

\(\{Y_{k}\}\)가 서로 독립인 확률변수이고 \(\displaystyle\sum_{k=1}^{\infty}{\text{Var}(Y_{k})}<\infty\)라 하자. 그러면 \(\displaystyle\sum_{k=1}^{\infty}{(Y_{k}-E(Y_{k}))^{2}}\)는 a.s.(almost surely)수렴한다. 

정리 0.39 \(\{X_{n}\}\)을 확률벡터들의 수열이라 하자. 다음의 식을 만족하는 \(\epsilon_{n}>0\)이 존재해서$$\sum_{n=1}^{\infty}{P(\{\omega\in\Omega\,|\,|X_{n}(\omega)-X_{0}(\omega)|\geq\epsilon_{n}\})}<\infty$$\(\epsilon_{n}\,\rightarrow\,0\)이라 하면 \(X_{n}\,\rightarrow\,X_{0}\,a.s.\,\omega\in\Omega\)이다. 

정리 0.40 \(\{X_{n}\}\)이 서로 독립인 확률변수들의 수열이라 하고 \(\displaystyle X_{N}=\sum_{n=1}^{N}{X_{n}}\)이라 하자. 그러면 다음의 성질들은 서로 동치이다. 

(1) \(X_{N}\)은 확률변수로 a.s. 수렴한다. 

(2) \(X_{N}\)은 확률변수로 확률수렴(convergence in probability)한다.

(3) \(X_{N}\)의 확률분포는 1차원 확률분포로 수렴한다. 

\(D\subset\mathbb{R}\)일 때 확률공간 \((\Omega,\,\mathcal{B},\,P)\)에서 정의된 확률변수들의 집합족 \(\{X_{t}\}_{t\in D}\)를 확률과정(stochastic process)이라고 한다. 확률과정 \(X\)는 \(D\times\Omega\)에서 정의된 실함수 \(X(t,\,\omega)\)로서, 각 \(t\in D\)에 대해 \(X(t,\,\cdot)\)는 \(\mathcal{B}-\)가측함수이다. 여기서 \(\Omega\)는 표본공간(sample space), 각 \(\omega\in\Omega\)에 대해 \(X(\cdot,\,\omega)\)를 \(X\)의 표본함수(sample function)라고 한다. 

정의 0.41 모든 표본함수 \(X(\cdot,\,\omega)\)가 \(D\)에서 연속일 때, 확률과정 \(X\)를 연속이라고 한다. \(a.s. \omega\in\Omega\)에 대해 \(X(\cdot,\,\omega)\)가 연속이면, \(X\)를 거의 확실한(a.s.) 연속이라고 한다. 

정의 0.42 확률과정 \(X\)가 다음의 조건들을 만족하면, 브라운 운동과정(Brownian motion process)이라고 한다.

(1) 임의의 \(\{t_{1},\,...,\,t_{n}\}\subset D\,(t_{1}<\cdots<t_{n})\)에 대해 \(X(t_{j+1},\,\cdot)-X(t_{j},\,\cdot)\,(j=1,\,2,\,...,\,n-1)\)는 서로 독립이다. 

(2) 임의의 \(t_{1},\,t_{2}\in D\,(t_{1}<t_{2})\)에 대해 \(X(t_{2},\,\cdot)-X(t_{1},\,\cdot)\,\sim\,N(0,\,c(t_{2}-t_{1}))\,(c>0)\)이다.

정의 0.43 \(X\)가 확률과정일 때 모든 \(t\in D\)에 대해 \(E(\{X(t,\,\cdot)\}^{2})<\infty\)라 하자. \(X\)의 평균함수 \(m(t)\)와 공분산함수 \(v(s,\,t)\)는 다음과 같이 정의되는 실함수이다.$$\begin{align*}m(t)&=E(X(t,\,\cdot))\\v(s,\,t)&=\text{Cov}(X(s,\,\cdot),\,X(t,\,\cdot))\\&=E(\{X(s,\,\cdot)-E(X(s,\,\cdot))\}\{X(t,\,\cdot)-E(X(t,\,\cdot))\})\end{align*}$$*공분산함수 \(v\)는 대칭이고 음이 아닌 정부호(nonnegative definite)이다. 즉

(1) \(v(s,\,t)=v(t,\,s)\,s,\,t\in D\)

(2) \(\{\alpha_{1},\,...,\,\alpha_{n}\}\subset D,\,\{\xi_{1},\,...,\,\xi_{n}\}\subset\mathbb{R}\)일 때 \(\displaystyle\sum_{j=1}^{n}{\sum_{l=1}^{n}{v(\alpha_{j},\,\alpha_{l})\xi_{j}\xi_{l}}}\geq0\)

확률과정 \(X\)가 다음의 조건을 만족할 때 \(X\)를 가우스과정(Gaussian process)이라고 한다.

임의의 유한부분집합 \(\{\alpha_{1},\,...,\,\alpha_{n}\}\subset D\)에 대해 \(n\)차원 확률벡터 \((X(\alpha_{1},\,\cdot),\,...,\,X(\alpha_{n},\,\cdot))\)의 확률분포가 \(n\)차원 정규분포이다. 

정리 0.44 가우스과정 \(X\)는 다음의 성질들을 만족한다.

(1) 가우스과정의 임의의 부분집합은 가우스과정이다. 

(2) 가우스과정 \(X\)에 속하는 확률변수들의 모든 일차결합들의 집합은 가우스과정이다. 

(3) 가우스과정에 속하는 확률변수들의 수열의 확률수렴극한들의 집합은 가우스과정이다. 

(4) \(X\)가 가우스과정일 필요충분조건은 \(X\)에 속하는 확률변수들의 모든 일차결합의 확률분포가 정규분포이다. 

(5) 가우스과정 \(\{X_{1},\,...,\,X_{n}\}\)이 독립일 필요충분조건은 \(\text{Cov}(X_{i},\,X_{j})=0\,(i\neq j)\)이다. 

정의 0.45 \(D=[0,\,\infty)\)일 때, \(D\)에서 \(a(t)\)를 연속함수, \(b(t)\)를 단조증가 연속함수라 하자. 가산과정(additive process) \(X\)가 다음의 조건들을 만족할 때 \(X\)를 일반(generalized) 브라운 운동과정이라고 한다.

(1) \(t',\,t''\in D\)일 때 \(X(t'',\,\cdot)-X(t',\,\cdot)\,\sim\,N(a(t'')-a(t'),\,b(t'')-b(t'))\)  

(2) \(X(0,\,\omega)=c,\,a.e.\,\omega\in\Omega\)

* \(a(t)=0\), \(b(t)=t\), \(c=0\)이면, \(X\)는 브라운 운동과정이다. 

정리 0.46 일반 브라운 운동과정 \(X\)는 평균함수 \(m(t)\)와 공분산함수 \(v(s,\,t)\)가 다음과 같이 주어지는 가우스과정이다.

(1) \(m(t)=E(X(t,\,\cdot))=a(t)-a(0)+c,\,t\in D\)

(2) \(v(s,\,t)=\text{Cov}(X(s,\,\cdot),\,X(t,\,\cdot))=b(\min\{s,\,t\})-b(0),\,s,\,t\in D\)

특히 \(a(t)=0\), \(b(t)=t\,(t\in D)\), \(c=0\)인 경우의 브라운 운동과정 \(X\)에 대해서는 다음이 성립한다.

(3) \(m(t)=0,\,t\in D\)

(4) \(v(s,\,t)=\min\{s,\,t\},\,s,\,t\in D\)

참고자료: 

위너 적분론, 장건수, 민음사