[수리통계학] 5. 기댓값과 적률, 공분산, 조건부기댓값

5. 기댓값과 적률, 공분산, 조건부기댓값

확률변수 \(X\)의 기댓값(expectation value) \(E(X)\)는

확률질량함수가 \(f(x)\)인 이산확률변수에 대해서 \(\displaystyle E(X)=\sum_{x}{xf(x)}\)이고

확률밀도함수가 \(f(x)\)인 연속확률변수에 대해서 \(\displaystyle E(X)=\int_{-\infty}^{\infty}{xf(x)dx}\)이다.

(합 또는 적분이 존재한다고 가정한다. 그렇지 않으면 기댓값이 정의되지 않는다.)

\(E(X)\)는 \(X\)의 평균(mean)이라고 하고 \(E(X)=\mu\)로 나타낸다.

다음은 기댓값의 성질이다.

(1) \(E(g(X))\)는 확률질량함수가 \(f(x)\) 이산확률변수의 경우, \(\displaystyle\sum_{x}{g(x)f(x)}\), 

확률밀도함수가 \(f(x)\)인 연속확률변수의 경우 \(\displaystyle\int_{-\infty}^{\infty}{g(x)f(x)dx}\)이다.

(2) \(E(aX+b)=aE(X)+b\) (\(a,\,b\)는 상수)

증명:

(1) 여기서는 \(X\)가 이산이고 유한한 경우에 대해서만 보일 것이다(일반적인 경우는 수준을 넘기 때문이다).

\(x=x_{i1},\,\cdots,\,x_{in_{i}}\)일 때 \(g(x)=g_{i}\)이라 하면$$P(g(X)=g_{i})=\sum_{j=1}^{n_{i}}{f(x_{ij})}$$이고, \(g(x)=g_{1},\,\cdots,\,g_{m}\)이면,$$\begin{align*}E(g(X))&=\sum_{i=1}^{m}{g_{i}P(g(X)=g_{i})}\\&=\sum_{i=1}^{m}{g_{i}\left(\sum_{j=1}^{n_{i}}{f(x_{ij})}\right)}\\&=\sum_{i=1}^{m}{\sum_{j=1}^{n_{i}}{g_{i}f(x_{ij})}}\\&=\sum_{x}{g(x)f(x)}\end{align*}$$이다.

(2) 이산확률변수의 경우$$E(aX+b)=\sum_{x}{(ax+b)f(x)}=a\sum_{x}{xf(x)}+b\sum_{x}{f(x)}=aE(X)+b$$이고, 연속확률변수의 경우$$E(aX+b)=\int_{-\infty}^{\infty}{(ax+b)f(x)dx}=a\int_{-\infty}^{\infty}{xf(x)dx}+b\int_{-\infty}^{\infty}{f(x)dx}=aE(X)+b$$이다.

확률변수 \(X,\,Y\)에 대해 \(g(X,\,Y)\)의 기댓값은

결합확률질량함수가 \(f(x,\,y)\)인 이산확률변수의 경우 \(\displaystyle E(g(X,\,Y))=\sum_{x}{\sum_{y}{g(x,\,y)f(x,\,y)}}\)이고,

결합확률밀도함수가 \(f(x,\,y)\)인 연속확률변수의 경우 \(\displaystyle E(g(X,\,Y))=\int_{-\infty}^{\infty}{g(x,\,y)f(x,\,y)dxdy}\)이다.

앞에서 \(E(X)=\mu\)를 확률변수 \(X\)의 평균으로 정의했다. \(X\)의 분산(variance) \(\text{Var}(X)\)와 표준편차(standard deviation) \(\sigma\)는 다음과 같이 정의된다.$$\begin{align*}\text{Var}(X)&=E((X-\mu)^{2})=\sigma^{2}\\ \sigma&=\sqrt{\text{Var}(X)}\end{align*}$$이때 분산 식을 \(\text{Var}(X)=E(X^{2})-\{E(X)\}^{2}\)로 나타낼 수 있는데 그 이유는 다음과 같다.$$\begin{align*}E((X-\mu)^{2})&=E((X^{2}-2\mu X+\mu^{2}))\\&=E(X^{2})-2\mu E(X)+\mu^{2}\\&=E(X^{2})-2\mu^{2}+\mu^{2}\\&=E(X^{2})-\{E(X)\}^{2}\end{align*}$$

주사위 한 개를 굴려서 나온 눈의 수를 \(X\)라고 할 때,

평균:$$E(X)=\frac{1}{6}\cdot1+\frac{1}{6}\cdot2+\cdots+\frac{1}{6}\cdot6=\frac{21}{6}=\frac{7}{2}$$

분산:$$E(X^{2})=\frac{1}{6}\cdot1^{2}+\frac{1}{6}\cdot2^{2}+\cdots+\frac{1}{6}\cdot6^{2}=\frac{91}{6}$$이므로$$\text{Var}(X)=E(X^{2})-\{E(X)\}^{2}=\frac{91}{6}-\left(\frac{7}{2}\right)^{2}=\frac{35}{12}$$이다.

확률변수 \(X\)의 분산이 \(\sigma^{2}\)이면, \(\text{Var}(aX+b)=a^{2}\sigma^{2}\)이다.

증명: \(E(aX+b)=aE(X)+b\)이므로

이산확률변수의 경우: \(\displaystyle\text{Var}(aX+b)=\sum_{x}{\{(ax+b)-(a\mu+b)\}^{2}f(x)}=a^{2}\sum_{x}{(x-\mu)^{2}f(x)}=a^{2}\sigma^{2}\)이고,

연속확률변수의 경우: \(\displaystyle\text{Var}(aX+b)=\int_{-\infty}^{\infty}{\{(ax+b)-(a\mu+b)\}^{2}f(x)dx}=a^{2}\int_{-\infty}^{\infty}{(x-\mu)^{2}f(x)dx}=a^{2}\sigma^{2}\)이다.

체비셰프 정리(Chebyshev's theorem)

확률변수 \(X\)에 대하여 \(E(X)=\mu\), \(\text{Var}(X)=\sigma^{2}\)이면, 임의의 상수 \(k\)에 대하여$$P(|X-\mu|<k\sigma)\geq1-\frac{1}{k^{2}}$$이다.

증명은 생략하겠다.

확률변수 \(X\)와 \(t\in\mathbb{R}\)에 대하여 함수 \(M_{X}(t)=E(e^{tX})\)를 확률변수 \(X\)의 적률생성함수(moment generating function)라고 한다.

이산확률변수의 경우 \(\displaystyle E(e^{tX})=\sum_{x}{e^{tx}f(x)}\)이고,

연속확률변수의 경우 \(\displaystyle E(e^{tX})=\int_{-\infty}^{\infty}{e^{tx}f(x)dx}\)이다.

상수 \(a,\,b\)에 대하여 \(M_{aX+b}(t)=E(e^{(aX+b)t})=e^{bt}M_{X}(e^{at})\)가 성립한다.

이 결과로부터$$M_{\frac{X-\mu}{\sigma}}=e^{-\frac{\mu t}{\sigma}}M_{X}\left(\frac{t}{\sigma}\right)$$이다.

연속확률변수 \(X\)의 적률생성함수 \(M_{X}(t)\)에 대하여$$\begin{align*}\frac{d}{dt}M_{X}(t)&=\frac{d}{dt}\int_{-\infty}^{\infty}{e^{tx}f(x)dx}=\int_{-\infty}^{\infty}{xe^{tx}f(x)dx}\\ \frac{d^{2}}{dt^{2}}M_{X}(t)&=\frac{d^{2}}{dt^{2}}\int_{-\infty}^{\infty}{e^{tx}f(x)dx}=\int_{-\infty}^{\infty}{x^{2}e^{tx}f(x)dx}\\&\vdots\\ \frac{d^{m}}{dt^{m}}M_{X}(t)&=\frac{d^{m}}{dt^{m}}\int_{-\infty}^{\infty}{e^{tx}f(x)dx}=\int_{-\infty}^{\infty}{x^{m}e^{tx}f(x)dx}\end{align*}$$이므로$$M_{X}(0)=E(X),\,M_{X}'(t)=E(X^{2}),\,\cdots,\,M_{X}^{(m)}(t)=E(X^{m})$$이고 \(E(X^{m})\)을 \(m\)차 적률(moment)이라고 한다.

 

\(M_{X}(t)\)의 매클로린 전개는$$M_{X}(t)=M_{X}(0)+\frac{M_{X}'(0)}{1!}t+\frac{M_{X}''(0)}{2!}t^{2}+\cdots+\frac{M_{X}^{(m)}(0)}{m!}t^{m}+\cdots$$이므로$$\frac{d^{r}}{dt^{r}}M_{X}(t)|_{t=0}=E(X^{r})$$이다.

확률변수 \(X\)와 \(Y\)의 평균 \(E(X)=\mu_{X},\,E(Y)=\mu_{Y}\)와, 공분산 \(\text{Cov}(X,\,Y)\)는 다음과 같이 정의된다.$$\begin{align*}E(X)&=\begin{cases}\displaystyle\sum_{x}{xf_{X}(x)},&\,(\text{discrete})\\ \displaystyle\int_{-\infty}^{\infty}{xf_{X}(x)dx},&\,(\text{continuous})\end{cases}\\ E(Y)&=\begin{cases}\displaystyle\sum_{x}{yf_{Y}(y)},&\,(\text{discrete})\\ \displaystyle\int_{-\infty}^{\infty}{yf_{Y}(y)dy},&\,(\text{continuous})\end{cases}\\ \text{Cov}(X,\,Y)&=E((X-\mu_{X})(Y-\mu_{Y}))\end{align*}$$여기서 \(f_{X}(x),\,f_{Y}(y)\)는 주변확률밀도함수 또는 주변확률질량함수이고, 이때$$E(XY)=\begin{cases}\displaystyle\sum_{x}{\sum_{y}{xyf(x,\,y)}},&\,(\text{discrete})\\ \displaystyle\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}{xyf(x,\,y)dxdy}},&\,(\text{continuous})\end{cases}$$이고,$$\begin{align*}E((X-\mu_{X})(Y-\mu_{Y}))&=E(XY-X\mu_{Y}-Y\mu_{X}+\mu_{X}\mu_{Y})\\&=E(XY)-\mu_{Y}\mu_{X}-\mu_{X}\mu_{Y}+\mu_{X}\mu_{Y}\\&=E(XY)-\mu_{X}\mu_{Y}\end{align*}$$이므로 \(\text{Cov}(X,\,Y)=E(XY)-E(X)E(Y)\)이다.

이산확률변수 \(X,\,Y\)에 대한 결합확률과 주변확률이 다음 표와 같다.

	\(X=0\)	\(X=1\)	\(X=2\)	계
\(Y=0\)	\(\displaystyle\frac{1}{6}\)	\(\displaystyle\frac{1}{3}\)	\(\displaystyle\frac{1}{12}\)	\(\displaystyle\frac{7}{12}\)
\(Y=1\)	\(\displaystyle\frac{2}{9}\)	\(\displaystyle\frac{1}{6}\)	\(0\)	\(\displaystyle\frac{7}{18}\)
\(Y=2\)	\(\displaystyle\frac{1}{36}\)	\(0\)	\(0\)	\(\displaystyle\frac{1}{36}\)
계	\(\displaystyle\frac{5}{12}\)	\(\displaystyle\frac{1}{2}\)	\(\displaystyle\frac{1}{12}\)	\(1\)

공분산 \(\text{Cov}(X,\,Y)\)를 구하면$$\begin{align*} E(XY)&=0\cdot0\cdot\frac{1}{6}+0\cdot1\cdot\frac{2}{9}+0\cdot2\cdot\frac{1}{36}+1\cdot0\cdot\frac{1}{3}+1\cdot1\cdot\frac{1}{6}+2\cdot0\cdot\frac{1}{12}\\&=\frac{1}{6}\end{align*}$$이고,$$\begin{align*}E(X)&=0\cdot\frac{5}{12}+1\cdot\frac{1}{2}+2\cdot\frac{1}{12}=\frac{2}{3}\\E(Y)&=0\cdot\frac{7}{12}+1\cdot\frac{7}{18}+2\cdot\frac{1}{36}=\frac{4}{9}\end{align*}$$이므로$$\text{Cov}(X,\,Y)=E(XY)-E(X)E(Y)=\frac{1}{6}-\frac{2}{3}\cdot\frac{4}{9}=-\frac{7}{54}$$이다.

확률변수 \(X,\,Y\)가 독립이면, \(E(XY)=E(X)E(Y)\)이고, \(\text{Cov}(X,\,Y)=0\)이다.

증명: \(X,\,Y\)가 독립이면, 결합확률질량함수 또는 결합확률밀도함수는 \(X\)와 \(Y\)의 곱으로 나타낼 수 있으므로 \(E(XY)=E(X)E(Y)\)이고, 따라서 \(\text{Cov}(X,\,Y)=E(XY)-E(X)E(Y)=E(X)E(Y)-E(X)E(Y)=0\)이다.

참고: \(\text{Cov}(X,\,Y)=0\)이라고 해서, \(X,\,Y\)가 독립이라고 할 수 없다.

확률변수 \(X,\,Y\)에 대하여 \(Z=aX+bY\)일 때,$$\text{Var}(Z)=a^{2}\text{Var}(X)+b^{2}\text{Var}(Y)+2ab\text{Cov}(X,\,Y)$$이고, \(X,\,Y\)가 독립이면, \(\text{Cov}(X,\,Y)=0\)이므로,$$\text{Var}(Z)=a^{2}\text{Var}(X)+b^{2}\text{Var}(Y)$$이다.

확률변수 \(X,\,Y\)에 대하여 \(Y=y\)일 때 \(g(X)\)의 조건부기댓값(conditional expectation)은 다음과 같이 정의된다.

(a) 이산확률변수일 때 \(\displaystyle E(g(X)|y)=\sum_{x}{g(x)f(x|y)}\)이고,

(b) 연속확률변수일 때 \(\displaystyle E(g(X)|y)=\int_{-\infty}^{\infty}{g(x)f(x|y)dx}\)이다.

비슷하게 \(X=x\)일 때 \(h(Y)\)의 조건부기댓값은 다음과 같이 정의된다.

(a) 이산확률변수일 때 \(\displaystyle E(h(Y)|x)=\sum_{y}{h(y)f(y|x)}\)이고,

(b) 연속확률변수일 때 \(\displaystyle E(h(Y)|x)=\int_{-\infty}^{\infty}{h(y)f(y|x)dy}\)이다.

위와 같은 방법으로 \(Y=y\)일 때 \(X\)의 조건부기댓값은 \(E(X|y)\)이고, 조건부분산(conditional variance) \(\text{Var}(X|y)\)는 다음과 같다.$$\text{Var}(X|y)=E((X-E(X|y))^{2}|y)=E(X^{2}|y)-\{E(X|y)\}^{2}$$

확률변수 \(X,\,Y\)에 대하여 \(E(E(X|Y))=E(X)\)이다.

증명: 연속확률변수인 경우에 대해서 보일 것이다. 이산확률변수인 경우는 적분을 합으로 대체하면 된다.

$$\begin{align*}E(E(X|Y))&=\int_{-\infty}^{\infty}{\left\{\int_{-\infty}^{\infty}{xf(x|y)dx}\right\}f_{Y}(y)dy}\\&=\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}{xf(x,\,y)dx}dy}\,\left(\because\,f(x|y)=\frac{f(x,\,y)}{f_{Y}(y)}\right)\\&=\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}{xf(x,\,y)dx}dy}\\&=\int_{-\infty}^{\infty}{x\left(\int_{-\infty}^{\infty}{f(x,\,y)dy}\right)dx}\\&=\int_{-\infty}^{\infty}{xf_{X}(x)dx}\\&=E(X)\end{align*}$$

참고자료:

John E Freund's Mathematical Statistics 8th edition, Irwon Miller, Marylees Miller, Pearson

Introduction to Mathematical Statistics 7th edition, Hogg, McKean, Craig, Pearson

수리통계학, 허문열, 송문섭, 박영사