[측도론] 9-2 큰 수의 법칙

[측도론] 9-2 큰 수의 법칙

\(\{X_{i}\}\)가 확률변수열로 \(E(X_{i})=\mu_{i}\)이고 \(n\)이 한없이 커질 때 평균 \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{X_{i}}\)는 상수 \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{\mu_{i}}\)로 가까워져야 한다. 

9.7 큰 수의 약 법칙(The Weak Law of Large Numbers) 

\(\{X_{i}\}\)를 평균이 \(\{\mu_{i}\}\), 분산이 \(\{\sigma_{i}^{2}\}\)인 \(L^{2}\)독립확률변수라 하자. \(\displaystyle\lim_{n\,\rightarrow\,\infty}{\frac{1}{n^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}}=0\)이면, \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\)는 \(n\,\rightarrow\,0\)일 때 0으로 확률수렴한다. 

증명: 9.5에 의해 다음이 성립한다.$$E\left(\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\right)=0,\,\sigma^{2}\left(\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\right)=\frac{1}{n^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}$$따라서 체비셰프 부등식에 의해 임의의 \(\epsilon>0\)에 대해 다음의 부등식이 성립하고$$P\left(\left|\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\right|>\epsilon\right)\leq\frac{1}{n^{2}\epsilon^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}$$\(\displaystyle\lim_{n\,\rightarrow\,\infty}{\frac{1}{n^{2}\epsilon^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}}=0\)이다. 

9.8 보렐-칸텔리 보조정리(Borel-Cantelli Lemma) 

\(\{A_{n}\}\)을 사건들의 열이라고 하자.  

a. \(\displaystyle\sum_{n=1}^{\infty}{P(A_{n})}<\infty\)이면, \(\displaystyle P\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)=0\) 

b. \(A_{n}\)들이 독립이고 \(\displaystyle\sum_{n=1}^{\infty}{P(A_{n})}=\infty\)이면, \(\displaystyle P\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)=1\) 

증명: 

a: \(\displaystyle A_{n}=\bigcap_{k=1}^{\infty}{\bigcup_{n=k}^{\infty}{A_{n}}}\)이므로$$P\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)\leq P\left(\bigcup_{n=k}^{\infty}{A_{n}}\leq\sum_{n=k}^{\infty}{P(A_{n})}\right)$$이고 \(\displaystyle\sum_{n=1}^{\infty}{P(A_{n})}<\infty\)이면, \(\displaystyle\lim_{k\,\rightarrow\,\infty}{\sum_{n=k}^{\infty}{P(A_{n})}}=0\)이다.   

b: 다음이 성립함을 보이자.$$P\left(\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)^{c}\right)=P\left(\bigcup_{k=1}^{\infty}{\bigcap_{n=k}^{\infty}{A_{n}^{c}}}\right)=0$$이를 위해서 \(\displaystyle P\left(\bigcap_{n=k}^{\infty}{A_{n}^{c}}\right)=0\)임을 보이면 된다. \(A_{n}^{c}\)들은 독립이고 \(1-t\leq e^{-t}\)이므로$$P\left(\bigcap_{n=k}^{K}{A_{n}^{c}}\right)=\prod_{n=k}^{K}{\{1-P(A_{n})\}}\leq\prod_{n=k}^{K}{e^{-P(A_{n})}}=e^{-\sum_{n=k}^{K}{P(A_{n})}}$$이고 \(\displaystyle\lim_{K\,\rightarrow\,\infty}{e^{-\sum_{n=k}^{K}{P(A_{n})}}}=0\)이다.  

9.9 콜모고로프 부등식(Kolmogorov's Inequality) 

\(X_{1},\,...,\,X_{n}\)들을 평균이 0이고 분산이 \(\sigma_{1}^{2},\,...,\,\sigma_{n}^{2}\)인 독립확률변수, \(S_{k}=X_{1}+\cdots+X_{k}\)라 하자. 임의의 \(\epsilon>0\)에 대하여 다음의 부등식이 성립한다.$$P\left(\max_{1\leq k\leq n}{|S_{n}|}\geq\epsilon\right)\leq\frac{1}{\epsilon^{2}}\sum_{k=1}^{n}{\sigma_{k}^{2}}$$ 

증명: \(A_{k}=\{S_{k}\,|\,|S_{j}|<\epsilon\,\text{and}\,|S_{k}|\geq\epsilon\,\text{for}\,j<k\}\)라 하자. 그러면 \(A_{k}\)들은 서로소이고 \(\displaystyle\bigcup_{k}{A_{k}}=\{S_{k}\,|\,|S_{k}|\geq\epsilon\}\)이므로$$P\left(\max_{1\leq k\leq n}{|S_{k}|}\geq\epsilon\right)=\sum_{k=1}^{n}{P(A_{k})}\leq\frac{1}{\epsilon^{2}}\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{k}^{2})}\,(\because\,S_{k}^{2}\geq\epsilon^{2}\,\text{on}\,A_{k})$$이다.$$\begin{align*}E(S_{n})&\geq\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{n}^{2})}\\&=\sum_{k=1}^{n}{E(\chi_{A_{k}}\{S_{k}^{2}+2S_{k}(S_{n}-S_{k})+(S_{n}-S_{k})^{2}\})}\\&\geq\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{k}^{2})}+2\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{k}(S_{n}-S_{k}))}\end{align*}$$이므로 모든 \(k\)에 대해 \(E(\chi_{A_{k}}S_{k}(S_{n}-S_{k}))=0\)임을 보이면 된다. \(X_{k}\)들의 평균이 0이므로 9.5에 의해$$P\left(\max_{1\leq k\leq n}{|S_{k}|}\geq\epsilon\right)\leq\frac{1}{\epsilon^{2}}E(S_{n}^{2})=\frac{1}{\epsilon^{2}}\sum_{k=1}^{n}{\sigma_{k}^{2}}$$이고 \(\chi_{A_{k}}\)는 \(S_{1},\,...,\,S_{k}\)들의 가측함수이므로 \(X_{1},\,...,\,X_{k}\)들의 가측함수이다. \(S_{n}-S_{k}\)는 \(X_{k+1},\,...,\,X_{n}\)들의 가측함수이고 모든 \(k\)에 대하여 \(\displaystyle E(S_{k})=\sum_{i=1}^{k}{E(X_{i})}=0\)이므로 9.2와 9.4에 의해 다음이 성립한다.$$E(\chi_{A_{k}}S_{k}(S_{n}-S_{k}))=E(\chi_{A_{k}}S_{k})E(S_{n}-S_{k})=E(\chi_{A_{k}}S_{k})\cdot0=0$$     

9.10 큰 수의 콜모고로프 강 법칙(Kolmogorov's Strong Law of Large Numbers)

\(\{X_{n}\}\)이 평균이 \(\{\mu_{n}\}\)이고 분산이 \(\displaystyle\{\sigma_{n}^{2}\}\,\left(\sum_{n=1}^{\infty}{\frac{\sigma_{n}^{2}}{n^{2}}}\right)\)인 \(L^{2}\)독립확률변수이면, \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\)는 \(n\,\rightarrow\,\infty\)일 때 0으로 거의 확실히 수렴한다.  

증명: \(\displaystyle S_{n}=\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\), \(\epsilon>0\)이라 하고 \(k\in\mathbb{N}\)에 대해 집합 \(A_{k}\)를 다음과 같이 정의하자.$$A_{k}=\left\{S_{k}\,|\,\frac{1}{n}|S_{n}|\geq\epsilon\,\text{for some}\,2^{k-1}\leq n<2^{k}\right\}$$그러면 \(A_{k}\)에서 적당한 \(n<2^{k}\)에 대해 \(|S_{n}|\geq\epsilon2^{k-1}\)이고 콜모고로프 부등식에 의해$$P(A_{k})\leq\frac{1}{\epsilon^{2}2^{2k-2}}\sum_{n=1}^{2^{k}}{\sigma_{n}^{2}}$$이므로$$\sum_{k=1}^{\infty}{P(A_{k})}\leq\frac{4}{\epsilon^{2}}\sum_{k=1}^{\infty}{\sum_{n=1}^{2^{k}}{\frac{\sigma_{n}^{2}}{2^{2k}}}}=\frac{4}{\epsilon^{2}}\sum_{n=1}^{\infty}{\left(\sum_{k\geq\log_{2}{n}}{2^{-2k}}\right)\sigma_{n}^{2}}\leq\frac{8}{\epsilon^{2}}\sum_{n=1}^{\infty}{\frac{\sigma_{n}^{2}}{n^{2}}}<\infty$$이고 보렐-칸텔리 보조정리에 의해 \(\displaystyle P\left(\lim_{k\,\rightarrow\,\infty}{\sup A_{k}}\right)=0\)이다.$$\lim_{k\,\rightarrow\,\infty}{\sup A_{k}}=\left\{S_{k}\,|\,\frac{1}{n}|S_{n}|\geq\epsilon\,\text{for infinitely many}\,n\right\}$$이므로 \(\displaystyle P\left(\lim_{n\,\rightarrow\,\infty}{\sup\frac{1}{n}|S_{n}|}<\epsilon\right)=1\)이고 \(\epsilon\,\rightarrow\,0\)이라고 하면 거의 확실히 \(\displaystyle\frac{1}{n}S_{n}\,\rightarrow\,0\)이다.   

9.11 큰 수의 힌친 강 법칙(Khinchine's Strong Law of Large Numbers) 

\(\{X_{n}\}\)이 평균이 \(\mu\)인 독립동일분포 \(L^{1}\)확률변수이면, \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{X_{i}}\)는 \(n\,\rightarrow\,\infty\)일 때 \(\mu\)로 거의 확실히 수렴한다.  

증명: \(X_{n}\)을 \(X_{n}-\mu\)로 대체함으로써 \(\mu=0\)이라고 할 수 있다. \(\lambda\)를 \(X_{i}\)들의 공통분포라고 하자. 그러면 다음이 성립한다.$$\int_{\mathbb{R}}{|t|d\lambda(t)}<\infty,\,\int_{\mathbb{R}}{td\lambda(t)}=0$$\(Y_{i}\)를 다음과 같이 정의하자.$$Y_{i}=\begin{cases}X_{i}&\,(|X_{i}|\leq i)\\0&\,(\text{otherwise})\end{cases}$$그러면$$\begin{align*}\sum_{i=1}^{\infty}{P(X_{i}\neq Y_{i})}&=\sum_{i=1}^{\infty}{P(|X_{i}|>i)}=\sum_{i=1}^{\infty}{\lambda(\{t\,|\,|t|>i\})}\\&=\sum_{i=1}^{\infty}{\sum_{k=i}^{\infty}{\lambda(\{t\,|\,k<|t|\leq k+1\})}}\end{align*}$$이고 \(\displaystyle\sum_{i=1}^{\infty}{\sum_{k=i}^{\infty}}=\sum_{k=1}^{\infty}{\sum_{i=1}^{k}}\)이므로$$\sum_{i=1}^{\infty}{P(X_{i}\neq Y_{i})}=\sum_{k=1}^{\infty}{k\lambda(\{t\,|\,k<|t|\leq k+1\})}\leq\int_{\mathbb{R}}{|t|d\lambda(t)}<\infty$$이다. 보렐-칸텔리 보조정리에 의해 확률 1로 충분히 큰 \(i\)에 대해 \(X_{i}=Y_{i}\)이고 따라서 \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{Y_{i}}\)가 0으로 거의 확실히 수렴함을 보이면 된다.$$\sigma^{2}(Y_{n})\leq E(Y_{n}^{2})=\int_{|t|\leq n}{t^{2}d\lambda(t)}$$이고 따라서$$\begin{align*}\sum_{n=1}^{\infty}{\frac{\sigma^{2}(Y_{n})}{n^{2}}}&\leq\sum_{n=1}^{\infty}{\sum_{i=1}^{\infty}{\frac{1}{n^{2}}\int_{i-1<|t|\leq i}{t^{2}d\lambda(t)}}}\\&\leq\sum_{n=1}^{\infty}{\sum_{i=1}^{\infty}{\frac{i}{n^{2}}\int_{i-1<|t|\leq i}{|t|d\lambda(t)}}}\end{align*}$$이다. 합의 순서를 바꾸고 부등식 \(\displaystyle\sum_{n=i}^{\infty}{\frac{1}{n^{2}}}\leq\frac{2}{i}\)를 이용하면 다음의 부등식이 성립함을 알 수 있다.$$\sum_{n=1}^{\infty}{\frac{\sigma^{2}(Y_{n})}{n^{2}}}\leq2\sum_{i=1}^{\infty}{\int_{i-1<|t|\leq i}{|t|d\lambda(t)}}=2\int_{\mathbb{R}}{|t|d\lambda(t)}<\infty$$9.10에 의해 \(\mu_{i}=E(Y_{i})\)이면, \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{(Y_{i}-\mu_{i})}\)는 거의 확실히 0으로 수렴하고, 지배수렴정리에 의해 \(\displaystyle\mu_{i}=\int_{|t|\leq i}{td\lambda(t)}\)는 \(\displaystyle\int_{\mathbb{R}}{td\lambda(t)}=0\)으로 수렴한다. 그러면 \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{\mu_{i}}\,\rightarrow\,0\,a.s.\)이고 따라서 \(\displaystyle\frac{1}{n}\sum_{i=1}^{n}{Y_{i}}\,\rightarrow\,0\,a.s.\)이다.   

\(N\)개의 개체(쥐들 또는 모래알 등등)들의 집합(모집단)을 표본공간으로 간주할 수 있고, 각 개체들의 확률은 \(\displaystyle\frac{1}{N}\)이다. \(X\)를 이러한 공간에서 평균이 \(\mu\)이고 분산이 \(\sigma^{2}\)인 확률변수라 하자. 통계학에서는 모집단에서 확률표본들의 열을 취해서 \(\mu\)와 \(\sigma^{2}\)를 결정하는데 관심이 있고 이때 표본들의 열 \(\{X_{i}\}\)는 \(X\)와 동일한 분포를 갖는 독립확률변수들이다. 표본평균(sample mean) \(\displaystyle M_{n}=\frac{1}{n}\sum_{i=1}^{n}{X_{i}}\)과 표본분산 \(\displaystyle S_{n}^{2}=\frac{1}{n-1}\sum_{i=1}^{n}{(X_{i}-M_{i})^{2}}\)에 대해 다음이 성립하고$$\begin{align*}E(M_{n})&=\frac{1}{n}\cdot n\mu=\mu\\E(S_{n}^{2})&=\frac{1}{n-1}E\left(\sum_{i=1}^{n}{(X_{i}^{2}-2M_{n}X_{i}+M_{n}^{2})}\right)=\frac{1}{n-1}\left(\sum_{i=1}^{n}{E(X_{i}^{2})}-nE(M_{n}^{2})\right)\\&=\frac{1}{n-1}\left\{n(\sigma^{2}+\mu^{2})-n\left(\mu^{2}+\frac{1}{n}\sigma^{2}\right)\right\}=\sigma^{2}\end{align*}$$9.11로부터 \(M_{n}\,\rightarrow\,\mu\,a.s.\)이고 \(S_{n}^{2}\,\rightarrow\,\sigma^{2}\,a.s.\)이다.  

참고자료: 

Real Analysis: Modern Techniques and Their Applications Second edition, Folland, Wiley