[수리통계학] 5. 기댓값과 적률, 공분산, 조건부기댓값

5. 기댓값과 적률, 공분산, 조건부기댓값

확률변수 $X$의 기댓값(expectation value) $E(X)$는

확률질량함수가 $f(x)$인 이산확률변수에 대해서 $\displaystyle E(X)=\sum_{x}{xf(x)}$이고

확률밀도함수가 $f(x)$인 연속확률변수에 대해서 $\displaystyle E(X)=\int_{-\infty}^{\infty}{xf(x)dx}$이다.

(합 또는 적분이 존재한다고 가정한다. 그렇지 않으면 기댓값이 정의되지 않는다.)

$E(X)$는 $X$의 평균(mean)이라고 하고 $E(X)=\mu$로 나타낸다.

다음은 기댓값의 성질이다.

(1) $E(g(X))$는 확률질량함수가 $f(x)$ 이산확률변수의 경우, $\displaystyle\sum_{x}{g(x)f(x)}$, 

확률밀도함수가 $f(x)$인 연속확률변수의 경우 $\displaystyle\int_{-\infty}^{\infty}{g(x)f(x)dx}$이다.

(2) $E(aX+b)=aE(X)+b$ ($a,\,b$는 상수)

증명:

(1) 여기서는 $X$가 이산이고 유한한 경우에 대해서만 보일 것이다(일반적인 경우는 수준을 넘기 때문이다).

$x=x_{i1},\,\cdots,\,x_{in_{i}}$일 때 $g(x)=g_{i}$이라 하면 $$P(g(X)=g_{i})=\sum_{j=1}^{n_{i}}{f(x_{ij})}$$ 이고, $g(x)=g_{1},\,\cdots,\,g_{m}$이면, $$\begin{align*}E(g(X))&=\sum_{i=1}^{m}{g_{i}P(g(X)=g_{i})}\\&=\sum_{i=1}^{m}{g_{i}\left(\sum_{j=1}^{n_{i}}{f(x_{ij})}\right)}\\&=\sum_{i=1}^{m}{\sum_{j=1}^{n_{i}}{g_{i}f(x_{ij})}}\\&=\sum_{x}{g(x)f(x)}\end{align*}$$ 이다.

(2) 이산확률변수의 경우 $$E(aX+b)=\sum_{x}{(ax+b)f(x)}=a\sum_{x}{xf(x)}+b\sum_{x}{f(x)}=aE(X)+b$$ 이고, 연속확률변수의 경우 $$E(aX+b)=\int_{-\infty}^{\infty}{(ax+b)f(x)dx}=a\int_{-\infty}^{\infty}{xf(x)dx}+b\int_{-\infty}^{\infty}{f(x)dx}=aE(X)+b$$ 이다.

확률변수 $X,\,Y$에 대해 $g(X,\,Y)$의 기댓값은

결합확률질량함수가 $f(x,\,y)$인 이산확률변수의 경우 $\displaystyle E(g(X,\,Y))=\sum_{x}{\sum_{y}{g(x,\,y)f(x,\,y)}}$이고,

결합확률밀도함수가 $f(x,\,y)$인 연속확률변수의 경우 $\displaystyle E(g(X,\,Y))=\int_{-\infty}^{\infty}{g(x,\,y)f(x,\,y)dxdy}$이다.

앞에서 $E(X)=\mu$를 확률변수 $X$의 평균으로 정의했다. $X$의 분산(variance) $\text{Var}(X)$와 표준편차(standard deviation) $\sigma$는 다음과 같이 정의된다. $$\begin{align*}\text{Var}(X)&=E((X-\mu)^{2})=\sigma^{2}\\ \sigma&=\sqrt{\text{Var}(X)}\end{align*}$$ 이때 분산 식을 $\text{Var}(X)=E(X^{2})-\{E(X)\}^{2}$로 나타낼 수 있는데 그 이유는 다음과 같다. $$\begin{align*}E((X-\mu)^{2})&=E((X^{2}-2\mu X+\mu^{2}))\\&=E(X^{2})-2\mu E(X)+\mu^{2}\\&=E(X^{2})-2\mu^{2}+\mu^{2}\\&=E(X^{2})-\{E(X)\}^{2}\end{align*}$$

주사위 한 개를 굴려서 나온 눈의 수를 $X$라고 할 때,

평균: $$E(X)=\frac{1}{6}\cdot1+\frac{1}{6}\cdot2+\cdots+\frac{1}{6}\cdot6=\frac{21}{6}=\frac{7}{2}$$

분산: $$E(X^{2})=\frac{1}{6}\cdot1^{2}+\frac{1}{6}\cdot2^{2}+\cdots+\frac{1}{6}\cdot6^{2}=\frac{91}{6}$$ 이므로 $$\text{Var}(X)=E(X^{2})-\{E(X)\}^{2}=\frac{91}{6}-\left(\frac{7}{2}\right)^{2}=\frac{35}{12}$$ 이다.

확률변수 $X$의 분산이 $\sigma^{2}$이면, $\text{Var}(aX+b)=a^{2}\sigma^{2}$이다.

증명: $E(aX+b)=aE(X)+b$이므로

이산확률변수의 경우: $\displaystyle\text{Var}(aX+b)=\sum_{x}{\{(ax+b)-(a\mu+b)\}^{2}f(x)}=a^{2}\sum_{x}{(x-\mu)^{2}f(x)}=a^{2}\sigma^{2}$이고,

연속확률변수의 경우: $\displaystyle\text{Var}(aX+b)=\int_{-\infty}^{\infty}{\{(ax+b)-(a\mu+b)\}^{2}f(x)dx}=a^{2}\int_{-\infty}^{\infty}{(x-\mu)^{2}f(x)dx}=a^{2}\sigma^{2}$이다.

체비셰프 정리(Chebyshev's theorem)

확률변수 $X$에 대하여 $E(X)=\mu$, $\text{Var}(X)=\sigma^{2}$이면, 임의의 상수 $k$에 대하여 $$P(|X-\mu|<k\sigma)\geq1-\frac{1}{k^{2}}$$ 이다.

증명은 생략하겠다.

확률변수 $X$와 $t\in\mathbb{R}$에 대하여 함수 $M_{X}(t)=E(e^{tX})$를 확률변수 $X$의 적률생성함수(moment generating function)라고 한다.

이산확률변수의 경우 $\displaystyle E(e^{tX})=\sum_{x}{e^{tx}f(x)}$이고,

연속확률변수의 경우 $\displaystyle E(e^{tX})=\int_{-\infty}^{\infty}{e^{tx}f(x)dx}$이다.

상수 $a,\,b$에 대하여 $M_{aX+b}(t)=E(e^{(aX+b)t})=e^{bt}M_{X}(e^{at})$가 성립한다.

이 결과로부터 $$M_{\frac{X-\mu}{\sigma}}=e^{-\frac{\mu t}{\sigma}}M_{X}\left(\frac{t}{\sigma}\right)$$ 이다.

연속확률변수 $X$의 적률생성함수 $M_{X}(t)$에 대하여 $$\begin{align*}\frac{d}{dt}M_{X}(t)&=\frac{d}{dt}\int_{-\infty}^{\infty}{e^{tx}f(x)dx}=\int_{-\infty}^{\infty}{xe^{tx}f(x)dx}\\ \frac{d^{2}}{dt^{2}}M_{X}(t)&=\frac{d^{2}}{dt^{2}}\int_{-\infty}^{\infty}{e^{tx}f(x)dx}=\int_{-\infty}^{\infty}{x^{2}e^{tx}f(x)dx}\\&\vdots\\ \frac{d^{m}}{dt^{m}}M_{X}(t)&=\frac{d^{m}}{dt^{m}}\int_{-\infty}^{\infty}{e^{tx}f(x)dx}=\int_{-\infty}^{\infty}{x^{m}e^{tx}f(x)dx}\end{align*}$$ 이므로 $$M_{X}(0)=E(X),\,M_{X}'(t)=E(X^{2}),\,\cdots,\,M_{X}^{(m)}(t)=E(X^{m})$$ 이고 $E(X^{m})$을 $m$차 적률(moment)이라고 한다.

 

$M_{X}(t)$의 매클로린 전개는 $$M_{X}(t)=M_{X}(0)+\frac{M_{X}'(0)}{1!}t+\frac{M_{X}''(0)}{2!}t^{2}+\cdots+\frac{M_{X}^{(m)}(0)}{m!}t^{m}+\cdots$$ 이므로 $$\frac{d^{r}}{dt^{r}}M_{X}(t)|_{t=0}=E(X^{r})$$ 이다.

확률변수 $X$와 $Y$의 평균 $E(X)=\mu_{X},\,E(Y)=\mu_{Y}$와, 공분산 $\text{Cov}(X,\,Y)$는 다음과 같이 정의된다. $$\begin{align*}E(X)&=\begin{cases}\displaystyle\sum_{x}{xf_{X}(x)},&\,(\text{discrete})\\ \displaystyle\int_{-\infty}^{\infty}{xf_{X}(x)dx},&\,(\text{continuous})\end{cases}\\ E(Y)&=\begin{cases}\displaystyle\sum_{x}{yf_{Y}(y)},&\,(\text{discrete})\\ \displaystyle\int_{-\infty}^{\infty}{yf_{Y}(y)dy},&\,(\text{continuous})\end{cases}\\ \text{Cov}(X,\,Y)&=E((X-\mu_{X})(Y-\mu_{Y}))\end{align*}$$ 여기서 $f_{X}(x),\,f_{Y}(y)$는 주변확률밀도함수 또는 주변확률질량함수이고, 이때 $$E(XY)=\begin{cases}\displaystyle\sum_{x}{\sum_{y}{xyf(x,\,y)}},&\,(\text{discrete})\\ \displaystyle\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}{xyf(x,\,y)dxdy}},&\,(\text{continuous})\end{cases}$$ 이고, $$\begin{align*}E((X-\mu_{X})(Y-\mu_{Y}))&=E(XY-X\mu_{Y}-Y\mu_{X}+\mu_{X}\mu_{Y})\\&=E(XY)-\mu_{Y}\mu_{X}-\mu_{X}\mu_{Y}+\mu_{X}\mu_{Y}\\&=E(XY)-\mu_{X}\mu_{Y}\end{align*}$$ 이므로 $\text{Cov}(X,\,Y)=E(XY)-E(X)E(Y)$이다.

이산확률변수 $X,\,Y$에 대한 결합확률과 주변확률이 다음 표와 같다.

	$X=0$	$X=1$	$X=2$	계
$Y=0$	$\displaystyle\frac{1}{6}$	$\displaystyle\frac{1}{3}$	$\displaystyle\frac{1}{12}$	$\displaystyle\frac{7}{12}$
$Y=1$	$\displaystyle\frac{2}{9}$	$\displaystyle\frac{1}{6}$	$0$	$\displaystyle\frac{7}{18}$
$Y=2$	$\displaystyle\frac{1}{36}$	$0$	$0$	$\displaystyle\frac{1}{36}$
계	$\displaystyle\frac{5}{12}$	$\displaystyle\frac{1}{2}$	$\displaystyle\frac{1}{12}$	$1$

공분산 $\text{Cov}(X,\,Y)$를 구하면 $$\begin{align*} E(XY)&=0\cdot0\cdot\frac{1}{6}+0\cdot1\cdot\frac{2}{9}+0\cdot2\cdot\frac{1}{36}+1\cdot0\cdot\frac{1}{3}+1\cdot1\cdot\frac{1}{6}+2\cdot0\cdot\frac{1}{12}\\&=\frac{1}{6}\end{align*}$$ 이고, $$\begin{align*}E(X)&=0\cdot\frac{5}{12}+1\cdot\frac{1}{2}+2\cdot\frac{1}{12}=\frac{2}{3}\\E(Y)&=0\cdot\frac{7}{12}+1\cdot\frac{7}{18}+2\cdot\frac{1}{36}=\frac{4}{9}\end{align*}$$ 이므로 $$\text{Cov}(X,\,Y)=E(XY)-E(X)E(Y)=\frac{1}{6}-\frac{2}{3}\cdot\frac{4}{9}=-\frac{7}{54}$$ 이다.

확률변수 $X,\,Y$가 독립이면, $E(XY)=E(X)E(Y)$이고, $\text{Cov}(X,\,Y)=0$이다.

증명: $X,\,Y$가 독립이면, 결합확률질량함수 또는 결합확률밀도함수는 $X$와 $Y$의 곱으로 나타낼 수 있으므로 $E(XY)=E(X)E(Y)$이고, 따라서 $\text{Cov}(X,\,Y)=E(XY)-E(X)E(Y)=E(X)E(Y)-E(X)E(Y)=0$이다.

참고: $\text{Cov}(X,\,Y)=0$이라고 해서, $X,\,Y$가 독립이라고 할 수 없다.

확률변수 $X,\,Y$에 대하여 $Z=aX+bY$일 때, $$\text{Var}(Z)=a^{2}\text{Var}(X)+b^{2}\text{Var}(Y)+2ab\text{Cov}(X,\,Y)$$ 이고, $X,\,Y$가 독립이면, $\text{Cov}(X,\,Y)=0$이므로, $$\text{Var}(Z)=a^{2}\text{Var}(X)+b^{2}\text{Var}(Y)$$ 이다.

확률변수 $X,\,Y$에 대하여 $Y=y$일 때 $g(X)$의 조건부기댓값(conditional expectation)은 다음과 같이 정의된다.

(a) 이산확률변수일 때 $\displaystyle E(g(X)|y)=\sum_{x}{g(x)f(x|y)}$이고,

(b) 연속확률변수일 때 $\displaystyle E(g(X)|y)=\int_{-\infty}^{\infty}{g(x)f(x|y)dx}$이다.

비슷하게 $X=x$일 때 $h(Y)$의 조건부기댓값은 다음과 같이 정의된다.

(a) 이산확률변수일 때 $\displaystyle E(h(Y)|x)=\sum_{y}{h(y)f(y|x)}$이고,

(b) 연속확률변수일 때 $\displaystyle E(h(Y)|x)=\int_{-\infty}^{\infty}{h(y)f(y|x)dy}$이다.

위와 같은 방법으로 $Y=y$일 때 $X$의 조건부기댓값은 $E(X|y)$이고, 조건부분산(conditional variance) $\text{Var}(X|y)$는 다음과 같다. $$\text{Var}(X|y)=E((X-E(X|y))^{2}|y)=E(X^{2}|y)-\{E(X|y)\}^{2}$$

확률변수 $X,\,Y$에 대하여 $E(E(X|Y))=E(X)$이다.

증명: 연속확률변수인 경우에 대해서 보일 것이다. 이산확률변수인 경우는 적분을 합으로 대체하면 된다.

$$\begin{align*}E(E(X|Y))&=\int_{-\infty}^{\infty}{\left\{\int_{-\infty}^{\infty}{xf(x|y)dx}\right\}f_{Y}(y)dy}\\&=\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}{xf(x,\,y)dx}dy}\,\left(\because\,f(x|y)=\frac{f(x,\,y)}{f_{Y}(y)}\right)\\&=\int_{-\infty}^{\infty}{\int_{-\infty}^{\infty}{xf(x,\,y)dx}dy}\\&=\int_{-\infty}^{\infty}{x\left(\int_{-\infty}^{\infty}{f(x,\,y)dy}\right)dx}\\&=\int_{-\infty}^{\infty}{xf_{X}(x)dx}\\&=E(X)\end{align*}$$

참고자료:

John E Freund's Mathematical Statistics 8th edition, Irwon Miller, Marylees Miller, Pearson

Introduction to Mathematical Statistics 7th edition, Hogg, McKean, Craig, Pearson

수리통계학, 허문열, 송문섭, 박영사