[기초통계학] 4. 확률변수, 확률분포

[기초통계학] 4. 확률변수, 확률분포

확률변수(random variable)은 각각의 근원사건들을 실수로 대응시키는 함수, 즉 표본공간에서 실수로의 함수 \(X:\Omega\,\rightarrow\,\mathbb{R}\)이다. 

'확률변수'에서 '확률'의 의미는 실험에 앞서 어떤 값을 갖게 될지 알 수 없는 불확실성을 표현한 것이다.

확률변수의 값이 유한이거나 가산무한인 경우를 이산확률변수(discrete random variable), 연속적인 구간에 속하는 모든 값을 다 가질 수 있는(비가산) 경우를 연속확률변수(continuous random variable)라고 한다. 

확률분포(probability distribution)는 확률변수가 갖는 값들과 그에 대응하는 확률값을 나타낸 것으로 표 또는 수식으로 표현된다. 보통 확률변수 \(X\)의 분포라고 한다.

확률변수 \(X\)가 \(n\)개의 값 \(x_{1},\,...,\,x_{n}\)를 가질 때 이 값들에 대응하는 확률을 \(f(x_{1}),\,...,\,f(x_{n})\)라고 하면 \(X\)의 확률분포를 다음의 표로 나타낼 수 있다.

\(X\)	\(x_{1}\)	\(x_{2}\)	\(\cdots\)	\(x_{n}\)	계
확률 \(f(x)\)	\(f(x_{1})\)	\(f(x_{2})\)	\(\cdots\)	\(f(x_{n})\)	1

여기서 \(f(x)\)는 확률변수 \(X\)가 값 \(x\)를 가질 확률 \(P(X=x)\)를 나타내므로 0과 1사이의 값을 가져야 하고 모든 가능한 \(x\)값에 대해 그 합이 1이어야 한다. 이러한 함수 \(f(x)\)를 \(X\)의 확률질량함수(probability mass function)라고 한다. 

연속확률변수 \(X\)는 주어진 구간의 모든 값을 가지므로 각 \(x\)값에 확률을 대응시키는 방법으로 나타내기가 어려워 주어진 구간에서 확률이 어떻게 분포하는가를 나타내는 함수를 이용한다. 그 함수를 \(X\)의 확률밀도함수(probability density function)라고 하고, 다음의 조건들을 만족한다.

(1) 모든 \(x\)값에 대해 \(f(x)\geq0\) 

(2) \(\displaystyle P(a\leq X\leq b)=\int_{a}^{b}{f(x)dx}\) 

(3) \(\displaystyle P(-\infty<X<\infty)=\int_{-\infty}^{\infty}{f(x)dx}=1\) 

연속확률변수 \(X\)에 대해 특정한 값 \(x\)를 가질 확률은 0이다. 즉 \(P(X=x)=0\), 따라서 임의의 \(a\)부터 \(b\)까지의 구간의 확률은 다음이 성립한다.$$P(a\leq X\leq b)=P(a\leq X<b)=P(a<X\leq b)=P(a<X<b)$$기댓값(expected value) 또는 평균(mean)은 확률분포에서 분포의 무게중심으로 확률값을 가중치로 하는 확률변수의 가능한 값에 대한 가중평균(weighted average)이라고 할 수 있다. 확률변수 \(X\)의 기댓값을 \(E(X)\)로 나타내고, 다음과 같이 계산한다.

1. 이산확률변수 \(X\)가 \(x_{1},\,...,\,x_{n}\)을 값으로 갖고, \(X\)의 확률질량함수가 \(f(x)\)일 때 \(X\)의 기댓값 \(E(X)\)는 다음과 같다.$$E(X)=\sum_{i=1}^{n}{x_{i}f(x_{i})}$$2. 연속확률변수 \(X\)의 확률밀도함수가 \(f(x)\)일 때 \(X\)의 기댓값 \(E(X)\)는 다음과 같다.$$E(X)=\int_{-\infty}^{\infty}{xf(x)dx}$$\(X,\,Y\)를 확률변수, \(a,\,b\)를 상수라 할 때 다음의 성질들이 성립한다.

(1) \(E(a)=a\)(상수의 기댓값은 자기자신이다)

(2) \(E(aX+b)=aE(X)+b\) 

(3) \(E(aX+bY)=aE(X)+bE(Y)\)

평균은 확률의 무게중심이고, 분산(variance)은 확률분포의 흩어진 정도를 측정하는 척도이다. 분산이 클 수록 자료들이 평균에서 멀리 흩어져 있고, 분산이 적을 수록 평균에 밀집해 있다. 확률변수 \(X\)의 분산은 편차의 제곱 \((X-\mu)^{2}\,(E(X)=\mu)\)의 기댓값이고, \(\text{Var}(X)\)로 나타내며 다음과 같이 계산한다. 

1. 이산확률변수 \(X\)가 \(x_{1},\,...,\,x_{n}\)을 값으로 갖고, \(X\)의 기댓값이 \(\mu\), 확률질량함수가 \(f(x)\)일 때 \(X\)의 분산 \(\text{Var}(X)\)는 다음과 같이 계산한다.$$\text{Var}(X)=E((X-\mu)^{2})=\sum_{i=1}^{n}{(x_{i}-\mu)^{2}f(x_{i})}$$2. 연속확률변수 \(X\)의 확률밀도함수가 \(f(x)\)일 때 \(X\)의 분산 \(\text{Var}(X)\)는 다음과 같이 계산한다.$$\text{Var}(X)=E((X-\mu)^{2})=\int_{-\infty}^{\infty}{(x-\mu)^{2}f(x)dx}$$정의대로 분산을 계산한다면 복잡할 것이다. 분산에 있는 편차의 제곱을 풀어서 계산하면$$\begin{align*}E((X-\mu)^{2})&=E(X^{2}-2\mu X+\mu^{2})\\&=E(X^{2})-2\mu E(X)+\mu^{2}\\&=E(X^{2})-2\mu\cdot\mu+\mu^{2}\,(\because\,E(X)=\mu)\\&=E(X^{2})-\mu^{2}\end{align*}$$그러면 다음의 등식을 얻고, 이 등식을 이용하여 간단히 분산을 계산할 수 있다.$$\text{Var}(X)=E(X^{2})-\mu^{2}$$이산확률변수의 경우 \(\displaystyle E(X^{2})=\sum_{i=1}^{n}{x_{i}^{2}f(x_{i})}\), 연속확률변수의 경우 \(\displaystyle E(X^{2})=\int_{-\infty}^{\infty}{x^{2}f(x)dx}\)로 계산한다.  

확률변수 \(X\)의 분산 \(\text{Var}(X)\)의 양의 제곱근을 표준편차(standard deviation)라고 하고 \(\sigma(X)\)로 나타낸다. 즉, 다음이 성립한다.$$\sigma(X)=\sqrt{\text{Var}(X)}$$확률변수 \(X\)와 상수 \(a,\,b\)에 대해 다음이 성립한다.$$\text{Var}(aX+b)=a^{2}\text{Var}(X),\,\sigma(aX+b)=|a|\sigma(X)$$두 확률변수 \(X\)와 \(Y\)의 결합확률분포(joint probability distribution)는 \(X\)가 취하는 값과 \(Y\)가 취하는 값의 각 쌍에 대응하는 확률이다. \(X\)와 \(Y\)가 이산확률변수로 \(X\)가 갖는 값을 \(x_{1},\,...,\,x_{m}\), \(Y\)가 갖는 값을 \(y_{1},\,...,\,y_{n}\)이라 할 때 \(X\)와 \(Y\)의 결합확률분포는 모든 \(1\leq i\leq m\), \(1\leq j\leq n\)에 다음과 같이 정의된다.$$f(x_{i},\,y_{j})=P(X=x_{i},\,Y=y_{j})$$이 값들을 다음의 표로 나타낼 수 있고, \(f(x_{i},\,y_{j})=P(X=x_{i},\,Y=y_{j})\)를 결합확률질량함수(joint probability mass function)라고 한다.

\(X\)＼\(Y\)	\(y_{1}\)	\(y_{2}\)	\(\cdots\)	\(y_{n}\)
\(x_{1}\)	\(f(x_{1},\,y_{1})\)	\(f(x_{1},\,y_{2})\)	\(\cdots\)	\(f(x_{1},\,y_{n})\)
\(x_{2}\)	\(f(x_{2},\,y_{1})\)	\(f(x_{2},\,y_{2})\)	\(\cdots\)	\(f(x_{2},\,y_{n})\)
\(\vdots\)	\(\vdots\)	\(\vdots\)	\(\ddots\)	\(\vdots\)
\(x_{m}\)	\(f(x_{m},\,y_{1})\)	\(f(x_{m},\,y_{2})\)	\(\cdots\)	\(f(x_{m},\,y_{n})\)

\(f(x_{i},\,y_{j})\)가 결합확률질량함수이면, 0보다 커야 하고, 확률의 정의에 의해 총 확률의 합이 다음과 같이 1이어야 한다.$$\sum_{i=1}^{m}{\sum_{j=1}^{n}{f(x_{i},\,y_{j})}}=1$$두 확률변수의 결합확률분포로부터 각각의 확률변수에 대한 분포를 구할 수 있다. 각각의 확률변수에 대한 분포를 주변확률분포(marginal probability distribution)라고 정의하고 앞의 확률변수 \(X\)와 \(Y\)의 주변확률분포를 다음과 같이 정의한다.$$\begin{align*}f_{X}(x_{i})&=P(X=x_{i})=\sum_{j=1}^{n}{f(x_{i},\,y_{i})}\\f_{Y}(y_{j})&=P(Y=y_{j})=\sum_{i=1}^{m}{f(x_{i},\,y_{j})}\end{align*}$$다음은 2교대근무를 시행하는 공장의 근로자들의 결근률에 대해 조사했다. \(X\)를 아침 근무조의 결근자수, \(Y\)를 같은 날 저녁근무조의 결근자수라 하자. 조사한 결근자들의 결근률은 다음과 같다고 한다.

\(x\)＼\(y\)	0	1	2	3	행의 합계
0	0.05	0.05	0.10	0.00	0.20
1	0.05	0.10	0.25	0.10	0.50
2	0.00	0.15	0.10	0.05	0.30
열의 합계	0.10	0.30	0.45	0.15	1.00

이 표에서$$f(0,\,0)=0.05,\,f(2,\,3)=0.05,\,f(1,\,3)=0.10$$이고, 다음이 성립한다.$$\begin{align*}f_{X}(0)&=P(X=0)=0.05+0.05+0.10+0.00=0.20\\f_{X}(1)&=P(X=1)=0.05+0.10+0.25+0.10=0.50\\f_{X}(2)&=P(X=2)=0.00+0.15+0.10+0.05=0.30\\\end{align*}$$주변확률분포에서 \(X\)의 기댓값과 분산을 \(\mu_{X}\), \(\sigma_{X}^{2}\), \(Y\)의 기댓값과 분산을 \(\mu_{Y}\), \(\sigma_{Y}^{2}\)라고 하면 다음과 같이 구할 수 있다.$$\begin{align*}\mu_{X}&=\sum_{i=1}^{m}{x_{i}f_{X}(x_{i})}\\ \sigma_{X}^{2}&=\sum_{i=1}^{m}{(x_{i}-\mu_{X})^{2}f_{X}(x_{i})}=\sum_{i=1}^{m}{x_{i}^{2}f(x_{i})}-\mu_{X}^{2}\\ \mu_{Y}&=\sum_{j=1}^{n}{y_{j}f_{Y}(y_{j})}\\ \sigma_{Y}^{2}&=\sum_{j=1}^{n}{(y_{j}-\mu_{Y})^{2}f_{Y}(y_{j})}=\sum_{j=1}^{n}{y_{j}^{2}f_{Y}(y_{j})}-\mu_{Y}^{2}\end{align*}$$확률변수 \(X\)와 \(Y\)의 공분산(covariance)을 다음과 같이 정의한다.$$\begin{align*}\text{Cov}(X,\,Y)&=E((X-\mu_{X})(Y-\mu_{Y}))\\&=E(XY)-\mu_{X}\mu_{Y}\end{align*}$$이때 \(\displaystyle E(XY)=\sum_{i=1}^{m}{\sum_{j=1}^{n}{x_{i}y_{j}f(x_{i},\,y_{j})}}\)이다. 

공분산은 음의 값을 가질 수 있고, 공분산의 부호는 두 확률변수의 관계의 방향을 나타낸다. 

확률변수 \(X\), \(Y\)와 상수 \(a,\,b\)에 대해 다음이 성립하고$$\text{Cov}(aX,\,bY)=ab\text{Cov}(X,\,Y)$$상관계수(correlation coefficient)는 두 변수 사이의 관계의 밀접도를 나타내고, 확률변수 \(X\), \(Y\)에 대해 \(\sigma_{X}^{2}\), \(\sigma_{Y}^{2}\)가 각각 \(X\)와 \(Y\)의 분산, \(\sigma_{XY}\)가 \(X\)와 \(Y\)의 공분산이라고 하면, 다음과 같이 정의한다.$$\rho=\text{Corr}(X,\,Y)=\frac{\text{Cov}(X,\,Y)}{\sigma_{X}\sigma_{Y}}=\frac{\sigma_{XY}}{\sigma_{X}\sigma_{Y}}$$상관계수는 공분산을 \(\sigma_{X}\sigma_{Y}\)의 곱으로 나눈 값으로 \(-1\leq\rho\leq1\)이고, 0이 아닌 상수 \(a,\,b\)에 대해 다음이 성립한다.$$\text{Corr}(aX,\,bY)=\frac{ab}{|ab|}\text{Corr}(X,\,Y)$$앞에서 다룬 공장 근로자들의 결근율에서$$\begin{align*}\mu_{X}&=0\times0.2+1\times0.5+2\times0.3=1.1\\ \mu_{Y}&=0\times0.1+1\times0.3+2\times0.45+3\times0.15=1.65\\ \sigma_{X}^{2}&=1^{2}\times0.5+2^{2}\times0.3-1.1^{2}=0.49\\ \sigma_{Y}^{2}&=1^{2}\times0.3+2^{2}\times0.45+3^{2}\times0.15-1.65^{2}=0.7275\\E(XY)&=f(1,\,1)+2f(1,\,2)+3f(1,\,3)+2f(2,\,1)+4f(2,\,2)+6f(2,\,3)\\&=0.1+0.5+0.3+0.3+0.4+0.3=1.9\end{align*}$$(\(E(XY)\)의 계산에서 0이 포함된 부분은 적지 않았다)이므로 공분산은$$\text{Cov}(X,\,Y)=E(XY)-\mu_{X}\mu_{Y}=1.9-1.1\times0.65=0.085$$이고 상관계수는$$\text{Corr}(X,\,Y)=\frac{\text{Cov}(X,\,Y)}{\sigma_{X}\sigma_{Y}}=\frac{0.085}{\sqrt{0.49}\sqrt{0.7275}}=0.1424$$이다. 

참고자료:

통계학의 이해 8판, 이용구, 김삼용, 율곡출판사

통계학-엑셀을 이용한 분석, 김진경 외 5인, 자유아카데미