[수리통계학] 8. 확률변수의 변환

[수리통계학] 8. 확률변수의 변환

여기서는 주어진 확률밀도함수를 다른 확률밀도함수로 변환하는 방법에 대해 다룰 것이다.

평균이 \(\lambda=1\)인 지수분포를 따르는 확률변수 \(X\)에 대하여 \(Y=\sqrt{X}\)의 확률밀도함수를 구하자. \(Y\)의 분포함수는$$F_{Y}(y)=P(Y\leq y)=P(\sqrt{X}\leq y)$$이고 \(\lambda=1\)인 지수분포의 확률밀도함수와 분포함수는 각각$$\begin{align*}f(x)&=\begin{cases}e^{-x}&\,(x>0)\\0&\,(\text{otherwise})\end{cases}\\F(x)&=\begin{cases}1-e^{-x}&\,(x>0)\\0&\,(\text{otherwise})\end{cases}\end{align*}$$이며, \(Y=\sqrt{X}\)이므로 \(y>0\)이고 따라서 \(Y\)의 분포함수는$$\begin{align*}G(y)&=P(Y\leq y)=P(\sqrt{X}\leq y)\\&=P(X\leq y^{2})=F(y^{2})\\&=1-e^{-y^{2}}\,(y>0)\end{align*}$$이고 밀도함수는$$g(y)=\frac{d}{dy}G(y)=2ye^{-y^{2}}\,(y>0)$$이다.

 

확률변수 \(X_{1},\,X_{2}\)의 결합밀도가$$f(x_{1},\,x_{2})=\begin{cases}6e^{-3x_{1}-2x_{2}}&\,(x_{1}>0,\,x_{2}>0)\\0&\,(\text{otherwise})\end{cases}$$일 때 \(Y=X_{1}+X_{2}\)의 확률밀도를 구하자. 위의 결합밀도함수를 영역 \(\{(x_{1},\,x_{2})\,|\,x_{1}+x_{2}\leq y\}\)에서 적분하면$$\begin{align*}F(y)&=\int_{0}^{y}{\int_{0}^{y-x_{2}}{6e^{-3x_{1}-2x_{2}}dx_{1}}dx_{2}}\\&=1+2e^{-3y}-3e^{-2y}\end{align*}$$이고 확률밀도함수는$$f(y)=\frac{d}{dy}F(y)=6(e^{-2y}-e^{-3y})\,(y>0)$$이다.

확률변수 \(X\)가 동전을 4회 던졌을 때의 앞면의 개수라고 하자. 그러면 \(X\)의 확률분포는 다음과 같고

\(x\)	\(0\)	\(1\)	\(2\)	\(3\)	\(4\)
\(f(x)\)	\(\displaystyle\frac{1}{16}\)	\(\displaystyle\frac{4}{16}\)	\(\displaystyle\frac{6}{16}\)	\(\displaystyle\frac{4}{16}\)	\(\displaystyle\frac{1}{16}\)

확률변수 \(\displaystyle Y=\frac{1}{1+X}\)의 확률분포는 \(\displaystyle y=\frac{1}{1+x}\)를 이용하여 다음과 같이 나타낼 수 있다.

\(y\)	\(1\)	\(\displaystyle\frac{1}{2}\)	\(\displaystyle\frac{1}{3}\)	\(\displaystyle\frac{1}{4}\)	\(\displaystyle\frac{1}{5}\)
\(g(y)\)	\(\displaystyle\frac{1}{16}\)	\(\displaystyle\frac{4}{16}\)	\(\displaystyle\frac{6}{16}\)	\(\displaystyle\frac{4}{16}\)	\(\displaystyle\frac{1}{16}\)

확률변수 \(X\)의 확률질량함수는 \(\displaystyle f(x)=\binom{4}{x}\left(\frac{1}{2}\right)^{4},\,(x=0,\,1,\,\cdots,\,4)\)이고 \(\displaystyle x=\frac{1}{y}-1\)이므로 \(Y\)의 확률질량함수는 \(\displaystyle g(y)=f\left(\frac{1}{y}-1\right)=\binom{4}{\frac{1}{y}-1}\left(\frac{1}{2}\right)^{4},\,\left(y=1,\,\frac{1}{2},\,\cdots,\,\frac{1}{5}\right)\)이다.

확률변수 \(X\)의 확률밀도함수가 \(f_{X}(x)\)이고 \(g(x)\)가 \(f_{X}(x)\)의 정의역에서 증가하거나 감소하는 함수이면, \(Y=g(X)\)의 확률밀도함수는 다음과 같다.$$f_{Y}(y)=f_{X}(g^{-1}(y))\left|\frac{dx}{dy}\right|\,(x=g^{-1}(y))$$

증명:

(i) \(g(x)\)가 단조증가하면$$F_{Y}(y)=P(Y\leq y)=P(g(X)\leq y)=P(X\leq g^{-1}(y))=F_{X}(g^{-1}(y))$$이므로 \(Y\)의 확률밀도함수는$$f_{Y}(y)=\frac{d}{dy}F_{X}(g^{-1}(y))=\frac{d}{dx}F_{X}(x)\frac{dx}{dy}=f_{X}(g^{-1}(y))\frac{dx}{dy}$$이다.

(ii) \(g(x)\)가 단조감소하면$$F_{Y}(y)=P(X\geq g^{-1}(y))=1-P(X\leq g^{-1}(y))=1-F_{X}(g^{-1}(y))$$이므로 \(Y\)의 확률밀도함수는$$f_{Y}(y)=-\frac{d}{dy}F_{X}(g^{-1}(y))=-\frac{d}{dx}F_{X}(x)\frac{dx}{dy}=f_{X}(g^{-1}(y))\left(-\frac{dx}{dy}\right)$$이다.

위 두 결과를 종합하면 \(Y\)의 확률밀도함수는 \(\displaystyle f_{Y}(y)=f_{X}(g^{-1}(y))\left|\frac{dx}{dy}\right|\)이다.

\(X\,\sim\,N(\mu,\,\sigma^{2}),\,X=\ln Y\)일 때, \(\ln Y\,\sim\,N(\mu,\,\sigma^{2})\)이므로 \(Y\)는 로그정규분포(lognormal distribution)를 따른다고 한다. 위의 정리를 적용하면 로그정규분포를 따르는 확률변수 \(Y\)의 확률밀도함수는$$f_{Y}(y)=f_{X}(g^{-1}(y))\frac{dx}{dy}=\frac{1}{\sqrt{2\pi}\sigma y}e^{-\frac{(\ln y-\mu)^{2}}{2\sigma^{2}}}\,(y>0)$$이다.

\(X\,\sim\,N(0,\,1^{2}),\,Z=X^{2}\)일 때, \(Z\)의 확률밀도함수를 구하기 위해서는 먼저 \(Y=|X|\)의 확률밀도함수를 구한 다음 \(Z=Y^{2}(=X^{2})\)의 확률밀도함수를 구한다.

\(Y=|X|\)일 때,$$F_{Y}(y)=P(Y\leq y)=P(|X|\leq y)=P(-y\leq X\leq y)=F(y)-F(-y)$$이므로 \(\displaystyle f_{Y}(y)=\frac{d}{dy}F_{Y}(y)=g(y)+g(-y)\)이다.

그러면 \(\displaystyle f_{Y}(y)=\frac{2}{\sqrt{2\pi}}e^{-\frac{1}{2}y^{2}}\)이고 \(z=y^{2}\)는 \(y>0\)일 때 증가하므로 \(\displaystyle\frac{dy}{dz}=\frac{1}{2\sqrt{z}}\)이고 \(z>0\)일 때$$f_{Z}(z)=\frac{2}{\sqrt{2\pi}}e^{-\frac{1}{2}z}\left|\frac{1}{2\sqrt{z}}\right|=\frac{1}{\sqrt{2\pi z}}e^{-\frac{1}{2}z}$$이며 이외의 경우(\(z\leq0\))에 대해서 \(h(z)=0\)이다. 따라서 \(Z\)의 확률밀도함수는$$f_{Z}(z)=\frac{1}{\sqrt{2\pi z}}e^{-\frac{1}{2}z}\,(z>0)$$이다.

연속확률변수 \(X\)의 확률밀도함수와 분포함수가 각각 \(f_{X}(x)\), \(F_{X}(x)\)일 때, 확률변수 \(Y=F_{X}(X)\)의 확률밀도함수를 구하자.

\(y=F(x)\)를 \(x\)에 대해 미분하면 \(\displaystyle\frac{dy}{dx}=F_{X}'(x)=f_{X}(x)\)이므로 \(f_{X}(x)\neq0\)일 때 \(\displaystyle\frac{dx}{dy}=\frac{1}{\frac{dy}{dx}}=\frac{1}{f_{X}(x)}\)이고 \(0\leq y=F_{X}(x)\leq1\)이므로 \(0<y<1\)일 때 \(\displaystyle f_{Y}(y)=f_{X}(x)\left|\frac{1}{f_{X}(x)}\right|=1\)이고 따라서 \(Y\)는 \(\alpha=0,\,\beta=1\)인 균등분포를 따른다.

이 결과를 확률적분변환(probability integral transformation)이라고 한다. 

2변수 이상의 확률밀도함수에 대해서도 변환을 적용할 수 있다.

확률변수 \(X_{1},\,X_{2}\)가 서로 독립이고 각각 평균이 \(\lambda_{1},\,\lambda_{2}\)인 포아송 분포를 따른다고 하자. 두 확률변수가 서로 독립이므로 이 확률분포의 결합밀도함수는$$f_{X_{1},\,X_{2}}(x_{1},\,x_{2})=\frac{e^{-\lambda_{1}}(\lambda_{1})^{x_{1}}}{x_{1}!}\frac{e^{-\lambda_{2}}(\lambda_{2})^{x_{2}}}{x_{2}!}=\frac{e^{-(\lambda_{1}+\lambda_{2})}(\lambda_{1})^{x_{1}}(\lambda_{2})^{x_{2}}}{x_{1}!x_{2}!}\,(x_{1},\,x_{2}\geq0)$$이고 \(Y=X_{1}+X_{2}\)라고 하면 \(y=x_{1}+x_{2}\)이므로 \(x_{2}=y-x_{1}\)이고 \(Y,\,X_{2}\)의 결합밀도함수는 \(\displaystyle g(y,\,x_{2})=\frac{e^{-(\lambda_{1}+\lambda_{2})}(\lambda_{2})^{x_{2}}(\lambda_{1})^{y-x_{2}}}{x_{2}!(y-x_{2})!}\)이므로 \(Y\)의 주변확률밀도함수는$$\begin{align*}f_{Y_{1}}(y)&=\sum_{x_{2}=0}^{y}{\frac{e^{-(\lambda_{1}+\lambda_{2})}(\lambda_{2})^{x_{2}}(\lambda_{1})^{x_{1}}}{x_{2}!(y-x_{2})!}}\\&=\frac{e^{-(\lambda_{1}+\lambda_{2})}}{y!}\sum_{x_{2}=0}^{y}{\frac{y!}{x_{2}!(y-x_{2})!}(\lambda_{2})^{x_{2}}(\lambda_{1})^{y-x_{2}}}\\&=\frac{e^{-(\lambda_{1}+\lambda_{2})}(\lambda_{1}+\lambda_{2})^{y}}{y!}\end{align*}$$(\(y\geq0\))이다.

 

확률변수 \(X_{1},\,X_{2}\)의 결합밀도함수가$$f_{X_{1},\,X_{2}}(x_{1},\,x_{2})=\begin{cases}e^{-(x_{1}+x_{2})}&\,(x_{1}>0,\,x_{2}>0)\\0&\,(\text{otherwise})\end{cases}$$일 때 \(\displaystyle Y=\frac{X_{1}}{X_{1}+X_{2}}\)의 확률밀도함수를 구하면 \(\displaystyle y=\frac{x_{1}}{x_{1}+x_{2}}\)이므로 \(\displaystyle x_{2}=x_{1}\left(\frac{1}{y}-1\right)\)이고 \(\displaystyle\frac{\partial x_{2}}{\partial y}=-\frac{x_{1}}{y^{2}}\)이므로 \(X_{1},\,Y\)의 결합밀도함수는 \(\displaystyle f_{X_{1},\,Y}(x_{1},\,y)=f_{X_{1},\,X_{2}}(x_{1},\,x_{2})\left|\frac{\partial x_{2}}{\partial y}\right|=\frac{x_{1}}{y^{2}}e^{-\frac{x_{1}}{y}}\)이고 따라서 \(Y\)의 주변확률밀도함수는$$\begin{align*}f_{Y}(y)&=\int_{0}^{\infty}{\frac{x_{1}}{y^{2}}e^{-\frac{x_{1}}{y}}dx_{1}}\\&=\int_{0}^{\infty}{ue^{-u}du}\,\left(u=\frac{x_{1}}{y}\right)\\&=\Gamma(2)=1\end{align*}$$(\(y>0\))이다.

연속확률변수 \(X_{1},\,X_{2}\)에 대한 결합밀도함수를 \(f_{X_{1},\,X_{2}}(x_{1},\,x_{2})\)라 하고, \(Y_{1}=u_{1}(X_{1},\,X_{2})\), \(Y_{2}=u_{2}(X_{1},\,X_{2})\)라고 하자. 일대일 변환 \(y_{1}=u_{1}(x_{1},\,x_{2})\), \(y_{2}=u_{2}(x_{1},\,x_{2})\)에 대하여 \(u_{1},\,u_{2}\)의 역상 \(w_{1},\,w_{2}\)가 존재해서 \(x_{1}=w_{1}(y_{1},\,y_{2})\), \(x_{2}=w_{2}(y_{1},\,y_{2})\)가 \(f_{X_{1},\,X_{2}}(x_{1},\,x_{2})\neq0\)인 \(X_{1},\,X_{2}\)범위에서 정의되면, \(Y_{1},\,Y_{2}\)의 결합밀도함수는 다음과 같다.$$f_{Y_{1},\,Y_{2}}(y_{1},\,y_{2})=f_{X_{1},\,X_{2}}(w_{1}(y_{1},\,y_{2}),\,w_{2}(y_{1},\,y_{2}))|J|\,\left(J=\left|\begin{matrix}\frac{\partial x_{1}}{\partial y_{1}}&\frac{\partial x_{1}}{\partial y_{2}}\\ \frac{\partial x_{2}}{\partial y_{1}}&\frac{\partial x_{2}}{\partial y_{2}}\end{matrix}\right|\right)$$이다.(\(J\)는 야코비안(Jacobian))

증명: 사건 \(A\)의 일대일 변환에 의한 상을 \(B\)라고 하자. 그러면$$\begin{align*}P((X_{1},\,X_{2})\in A)&=\iint_{A}{f_{X_{1},\,X_{2}}(x_{1},\,x_{2})dx_{1}dx_{2}}\\&=\iint_{B}{f_{Y_{1},\,Y_{2}}(w_{1}(y_{1},\,y_{2}),\,w_{2}(y_{1},\,y_{2}))|J|dy_{1}dy_{2}}(=P((Y_{1},\,Y_{2})\in B))\end{align*}$$가 성립한다.

결합밀도함수가$$f_{X_{1},\,X_{2}}(x_{1},\,x_{2})=\begin{cases}e^{-(x_{1}+x_{2})}&\,(x_{1}>0,\,x_{2}>0)\\0&\,(\text{otherwise})\end{cases}$$인 확률변수 \(X_{1},\,X_{2}\)에 대해서 \(\displaystyle Y_{1}=X_{1}+X_{2},\,Y_{2}=\frac{X_{1}}{X_{1}+X_{2}}\)의 결합밀도함수를 구하자. \(\displaystyle y_{1}=x_{1}+x_{2},\,y_{2}=\frac{x_{1}}{x_{1}+x_{2}}\)를 연립해서 \(x_{1},\,x_{2}\)를 구하면 \(x_{1}=y_{1}y_{2},\,x_{2}=y_{1}(1-y_{2})\)이므로 \(\displaystyle J=\left|\begin{matrix}y_{2}&y_{1}\\1-y_{2}&-y_{1}\end{matrix}\right|=-y_{1}\)이고, 이 사상은 일대일이므로 \(x_{1}>0,\,x_{2}>0\)인 영역을 이 일대일 사상에 의해 \(y_{1}>0,\,0<y_{2}<1\)인 영역으로 사상할 수 있고 따라서 위의 정리로부터 \(Y_{1},\,Y_{2}\)의 결합밀도함수는 \(f_{Y_{1},\,Y_{2}}(y_{1},\,y_{2})=e^{-y_{1}}|-y_{1}|=y_{1}e^{-y_{1}}\)이다. 이때 \(Y_{2}\)의 주변밀도함수를 구하면$$f_{Y_{2}}(y_{2})=\int_{0}^{\infty}{f_{Y_{1},\,Y_{2}}(y_{1},\,y_{2})dy_{1}}=\int_{0}^{\infty}{y_{1}e^{-y_{1}}dy_{1}}=\Gamma(2)=1$$이다.

참고자료:

John E Freund's Mathematical Statistics with Applications 8th edition, Irwon Miller, Marylees Miller, Pearson

Introduction to Mathematical Statistics 7th edition, Hogg, McKean, Craig, Pearson

수리통계학, 허문열, 송문섭, 박영사