[측도론] 9-2 큰 수의 법칙

[측도론] 9-2 큰 수의 법칙

$\{X_{i}\}$가 확률변수열로 $E(X_{i})=\mu_{i}$이고 $n$이 한없이 커질 때 평균 $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{X_{i}}$는 상수 $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{\mu_{i}}$로 가까워져야 한다. 

9.7 큰 수의 약 법칙(The Weak Law of Large Numbers) 

$\{X_{i}\}$를 평균이 $\{\mu_{i}\}$, 분산이 $\{\sigma_{i}^{2}\}$인 $L^{2}$독립확률변수라 하자. $\displaystyle\lim_{n\,\rightarrow\,\infty}{\frac{1}{n^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}}=0$이면, $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}$는 $n\,\rightarrow\,0$일 때 0으로 확률수렴한다. 

증명: 9.5에 의해 다음이 성립한다. $$E\left(\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\right)=0,\,\sigma^{2}\left(\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\right)=\frac{1}{n^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}$$ 따라서 체비셰프 부등식에 의해 임의의 $\epsilon>0$에 대해 다음의 부등식이 성립하고 $$P\left(\left|\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}\right|>\epsilon\right)\leq\frac{1}{n^{2}\epsilon^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}$$ $\displaystyle\lim_{n\,\rightarrow\,\infty}{\frac{1}{n^{2}\epsilon^{2}}\sum_{i=1}^{n}{\sigma_{i}^{2}}}=0$이다. 

9.8 보렐-칸텔리 보조정리(Borel-Cantelli Lemma) 

$\{A_{n}\}$을 사건들의 열이라고 하자.  

a. $\displaystyle\sum_{n=1}^{\infty}{P(A_{n})}<\infty$이면, $\displaystyle P\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)=0$ 

b. $A_{n}$들이 독립이고 $\displaystyle\sum_{n=1}^{\infty}{P(A_{n})}=\infty$이면, $\displaystyle P\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)=1$ 

증명: 

a: $\displaystyle A_{n}=\bigcap_{k=1}^{\infty}{\bigcup_{n=k}^{\infty}{A_{n}}}$이므로 $$P\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)\leq P\left(\bigcup_{n=k}^{\infty}{A_{n}}\leq\sum_{n=k}^{\infty}{P(A_{n})}\right)$$ 이고 $\displaystyle\sum_{n=1}^{\infty}{P(A_{n})}<\infty$이면, $\displaystyle\lim_{k\,\rightarrow\,\infty}{\sum_{n=k}^{\infty}{P(A_{n})}}=0$이다.   

b: 다음이 성립함을 보이자. $$P\left(\left(\lim_{n\,\rightarrow\,\infty}{\sup A_{n}}\right)^{c}\right)=P\left(\bigcup_{k=1}^{\infty}{\bigcap_{n=k}^{\infty}{A_{n}^{c}}}\right)=0$$ 이를 위해서 $\displaystyle P\left(\bigcap_{n=k}^{\infty}{A_{n}^{c}}\right)=0$임을 보이면 된다. $A_{n}^{c}$들은 독립이고 $1-t\leq e^{-t}$이므로 $$P\left(\bigcap_{n=k}^{K}{A_{n}^{c}}\right)=\prod_{n=k}^{K}{\{1-P(A_{n})\}}\leq\prod_{n=k}^{K}{e^{-P(A_{n})}}=e^{-\sum_{n=k}^{K}{P(A_{n})}}$$ 이고 $\displaystyle\lim_{K\,\rightarrow\,\infty}{e^{-\sum_{n=k}^{K}{P(A_{n})}}}=0$이다.  

9.9 콜모고로프 부등식(Kolmogorov's Inequality) 

$X_{1},\,...,\,X_{n}$들을 평균이 0이고 분산이 $\sigma_{1}^{2},\,...,\,\sigma_{n}^{2}$인 독립확률변수, $S_{k}=X_{1}+\cdots+X_{k}$라 하자. 임의의 $\epsilon>0$에 대하여 다음의 부등식이 성립한다. $$P\left(\max_{1\leq k\leq n}{|S_{n}|}\geq\epsilon\right)\leq\frac{1}{\epsilon^{2}}\sum_{k=1}^{n}{\sigma_{k}^{2}}$$  

증명: $A_{k}=\{S_{k}\,|\,|S_{j}|<\epsilon\,\text{and}\,|S_{k}|\geq\epsilon\,\text{for}\,j<k\}$라 하자. 그러면 $A_{k}$들은 서로소이고 $\displaystyle\bigcup_{k}{A_{k}}=\{S_{k}\,|\,|S_{k}|\geq\epsilon\}$이므로 $$P\left(\max_{1\leq k\leq n}{|S_{k}|}\geq\epsilon\right)=\sum_{k=1}^{n}{P(A_{k})}\leq\frac{1}{\epsilon^{2}}\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{k}^{2})}\,(\because\,S_{k}^{2}\geq\epsilon^{2}\,\text{on}\,A_{k})$$ 이다. $$\begin{align*}E(S_{n})&\geq\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{n}^{2})}\\&=\sum_{k=1}^{n}{E(\chi_{A_{k}}\{S_{k}^{2}+2S_{k}(S_{n}-S_{k})+(S_{n}-S_{k})^{2}\})}\\&\geq\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{k}^{2})}+2\sum_{k=1}^{n}{E(\chi_{A_{k}}S_{k}(S_{n}-S_{k}))}\end{align*}$$ 이므로 모든 $k$에 대해 $E(\chi_{A_{k}}S_{k}(S_{n}-S_{k}))=0$임을 보이면 된다. $X_{k}$들의 평균이 0이므로 9.5에 의해 $$P\left(\max_{1\leq k\leq n}{|S_{k}|}\geq\epsilon\right)\leq\frac{1}{\epsilon^{2}}E(S_{n}^{2})=\frac{1}{\epsilon^{2}}\sum_{k=1}^{n}{\sigma_{k}^{2}}$$ 이고 $\chi_{A_{k}}$는 $S_{1},\,...,\,S_{k}$들의 가측함수이므로 $X_{1},\,...,\,X_{k}$들의 가측함수이다. $S_{n}-S_{k}$는 $X_{k+1},\,...,\,X_{n}$들의 가측함수이고 모든 $k$에 대하여 $\displaystyle E(S_{k})=\sum_{i=1}^{k}{E(X_{i})}=0$이므로 9.2와 9.4에 의해 다음이 성립한다. $$E(\chi_{A_{k}}S_{k}(S_{n}-S_{k}))=E(\chi_{A_{k}}S_{k})E(S_{n}-S_{k})=E(\chi_{A_{k}}S_{k})\cdot0=0$$      

9.10 큰 수의 콜모고로프 강 법칙(Kolmogorov's Strong Law of Large Numbers)

$\{X_{n}\}$이 평균이 $\{\mu_{n}\}$이고 분산이 $\displaystyle\{\sigma_{n}^{2}\}\,\left(\sum_{n=1}^{\infty}{\frac{\sigma_{n}^{2}}{n^{2}}}\right)$인 $L^{2}$독립확률변수이면, $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{(X_{i}-\mu_{i})}$는 $n\,\rightarrow\,\infty$일 때 0으로 거의 확실히 수렴한다.  

증명: $\displaystyle S_{n}=\sum_{i=1}^{n}{(X_{i}-\mu_{i})}$, $\epsilon>0$이라 하고 $k\in\mathbb{N}$에 대해 집합 $A_{k}$를 다음과 같이 정의하자. $$A_{k}=\left\{S_{k}\,|\,\frac{1}{n}|S_{n}|\geq\epsilon\,\text{for some}\,2^{k-1}\leq n<2^{k}\right\}$$ 그러면 $A_{k}$에서 적당한 $n<2^{k}$에 대해 $|S_{n}|\geq\epsilon2^{k-1}$이고 콜모고로프 부등식에 의해 $$P(A_{k})\leq\frac{1}{\epsilon^{2}2^{2k-2}}\sum_{n=1}^{2^{k}}{\sigma_{n}^{2}}$$ 이므로 $$\sum_{k=1}^{\infty}{P(A_{k})}\leq\frac{4}{\epsilon^{2}}\sum_{k=1}^{\infty}{\sum_{n=1}^{2^{k}}{\frac{\sigma_{n}^{2}}{2^{2k}}}}=\frac{4}{\epsilon^{2}}\sum_{n=1}^{\infty}{\left(\sum_{k\geq\log_{2}{n}}{2^{-2k}}\right)\sigma_{n}^{2}}\leq\frac{8}{\epsilon^{2}}\sum_{n=1}^{\infty}{\frac{\sigma_{n}^{2}}{n^{2}}}<\infty$$ 이고 보렐-칸텔리 보조정리에 의해 $\displaystyle P\left(\lim_{k\,\rightarrow\,\infty}{\sup A_{k}}\right)=0$이다. $$\lim_{k\,\rightarrow\,\infty}{\sup A_{k}}=\left\{S_{k}\,|\,\frac{1}{n}|S_{n}|\geq\epsilon\,\text{for infinitely many}\,n\right\}$$ 이므로 $\displaystyle P\left(\lim_{n\,\rightarrow\,\infty}{\sup\frac{1}{n}|S_{n}|}<\epsilon\right)=1$이고 $\epsilon\,\rightarrow\,0$이라고 하면 거의 확실히 $\displaystyle\frac{1}{n}S_{n}\,\rightarrow\,0$이다.   

9.11 큰 수의 힌친 강 법칙(Khinchine's Strong Law of Large Numbers) 

$\{X_{n}\}$이 평균이 $\mu$인 독립동일분포 $L^{1}$확률변수이면, $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{X_{i}}$는 $n\,\rightarrow\,\infty$일 때 $\mu$로 거의 확실히 수렴한다.  

증명: $X_{n}$을 $X_{n}-\mu$로 대체함으로써 $\mu=0$이라고 할 수 있다. $\lambda$를 $X_{i}$들의 공통분포라고 하자. 그러면 다음이 성립한다. $$\int_{\mathbb{R}}{|t|d\lambda(t)}<\infty,\,\int_{\mathbb{R}}{td\lambda(t)}=0$$ $Y_{i}$를 다음과 같이 정의하자. $$Y_{i}=\begin{cases}X_{i}&\,(|X_{i}|\leq i)\\0&\,(\text{otherwise})\end{cases}$$ 그러면 $$\begin{align*}\sum_{i=1}^{\infty}{P(X_{i}\neq Y_{i})}&=\sum_{i=1}^{\infty}{P(|X_{i}|>i)}=\sum_{i=1}^{\infty}{\lambda(\{t\,|\,|t|>i\})}\\&=\sum_{i=1}^{\infty}{\sum_{k=i}^{\infty}{\lambda(\{t\,|\,k<|t|\leq k+1\})}}\end{align*}$$ 이고 $\displaystyle\sum_{i=1}^{\infty}{\sum_{k=i}^{\infty}}=\sum_{k=1}^{\infty}{\sum_{i=1}^{k}}$이므로 $$\sum_{i=1}^{\infty}{P(X_{i}\neq Y_{i})}=\sum_{k=1}^{\infty}{k\lambda(\{t\,|\,k<|t|\leq k+1\})}\leq\int_{\mathbb{R}}{|t|d\lambda(t)}<\infty$$ 이다. 보렐-칸텔리 보조정리에 의해 확률 1로 충분히 큰 $i$에 대해 $X_{i}=Y_{i}$이고 따라서 $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{Y_{i}}$가 0으로 거의 확실히 수렴함을 보이면 된다. $$\sigma^{2}(Y_{n})\leq E(Y_{n}^{2})=\int_{|t|\leq n}{t^{2}d\lambda(t)}$$ 이고 따라서 $$\begin{align*}\sum_{n=1}^{\infty}{\frac{\sigma^{2}(Y_{n})}{n^{2}}}&\leq\sum_{n=1}^{\infty}{\sum_{i=1}^{\infty}{\frac{1}{n^{2}}\int_{i-1<|t|\leq i}{t^{2}d\lambda(t)}}}\\&\leq\sum_{n=1}^{\infty}{\sum_{i=1}^{\infty}{\frac{i}{n^{2}}\int_{i-1<|t|\leq i}{|t|d\lambda(t)}}}\end{align*}$$ 이다. 합의 순서를 바꾸고 부등식 $\displaystyle\sum_{n=i}^{\infty}{\frac{1}{n^{2}}}\leq\frac{2}{i}$를 이용하면 다음의 부등식이 성립함을 알 수 있다. $$\sum_{n=1}^{\infty}{\frac{\sigma^{2}(Y_{n})}{n^{2}}}\leq2\sum_{i=1}^{\infty}{\int_{i-1<|t|\leq i}{|t|d\lambda(t)}}=2\int_{\mathbb{R}}{|t|d\lambda(t)}<\infty$$ 9.10에 의해 $\mu_{i}=E(Y_{i})$이면, $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{(Y_{i}-\mu_{i})}$는 거의 확실히 0으로 수렴하고, 지배수렴정리에 의해 $\displaystyle\mu_{i}=\int_{|t|\leq i}{td\lambda(t)}$는 $\displaystyle\int_{\mathbb{R}}{td\lambda(t)}=0$으로 수렴한다. 그러면 $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{\mu_{i}}\,\rightarrow\,0\,a.s.$이고 따라서 $\displaystyle\frac{1}{n}\sum_{i=1}^{n}{Y_{i}}\,\rightarrow\,0\,a.s.$이다.   

$N$개의 개체(쥐들 또는 모래알 등등)들의 집합(모집단)을 표본공간으로 간주할 수 있고, 각 개체들의 확률은 $\displaystyle\frac{1}{N}$이다. $X$를 이러한 공간에서 평균이 $\mu$이고 분산이 $\sigma^{2}$인 확률변수라 하자. 통계학에서는 모집단에서 확률표본들의 열을 취해서 $\mu$와 $\sigma^{2}$를 결정하는데 관심이 있고 이때 표본들의 열 $\{X_{i}\}$는 $X$와 동일한 분포를 갖는 독립확률변수들이다. 표본평균(sample mean) $\displaystyle M_{n}=\frac{1}{n}\sum_{i=1}^{n}{X_{i}}$과 표본분산 $\displaystyle S_{n}^{2}=\frac{1}{n-1}\sum_{i=1}^{n}{(X_{i}-M_{i})^{2}}$에 대해 다음이 성립하고 $$\begin{align*}E(M_{n})&=\frac{1}{n}\cdot n\mu=\mu\\E(S_{n}^{2})&=\frac{1}{n-1}E\left(\sum_{i=1}^{n}{(X_{i}^{2}-2M_{n}X_{i}+M_{n}^{2})}\right)=\frac{1}{n-1}\left(\sum_{i=1}^{n}{E(X_{i}^{2})}-nE(M_{n}^{2})\right)\\&=\frac{1}{n-1}\left\{n(\sigma^{2}+\mu^{2})-n\left(\mu^{2}+\frac{1}{n}\sigma^{2}\right)\right\}=\sigma^{2}\end{align*}$$ 9.11로부터 $M_{n}\,\rightarrow\,\mu\,a.s.$이고 $S_{n}^{2}\,\rightarrow\,\sigma^{2}\,a.s.$이다.  

참고자료: 

Real Analysis: Modern Techniques and Their Applications Second edition, Folland, Wiley