[금융수학] 19. 동적 계획법

[금융수학] 19. 동적 계획법

최적 소비(optimal consumption)를 포함하는 투자 전략을 고려하자. 여기서 최적 소비란 최대의 효용을 얻을 수 있는 소비이고, 효용 함수를 무엇으로 결정하는가에 따라 그 답이 달라진다. 

여기서는 재산을 불려가면서 어느 정도 소비가 일어난다고 가정하고 이때의 최적의 소비 및 투자방법을 찾을 것이다. 소비를 많이 할수록 당장은 효용이 증가하나, 재투자를 하지 못해 미래에 소비할 수 있는 능력이 줄게 되면 전체 기간 동안의 총 효용이 줄게 된다. 

미래에 불확실하게 발생하는 일을 미리 알 수 없기 때문에 여러 단계에 걸쳐 그때그때 최적의 제어를 해 전체적인 최적화를 이루는 것이 동적 계획법의 기본이다. 

확률제어(stochastic control)를 통한 최적화를 위해 동적 계획법을 이용한다.

최적화 문제의 원형인 고전적인 변분법이 미래에 일어날 일이 이미 확정적일 때 최솟값 또는 최댓값을 구하려는 것에 비해 동적 계획법은 응용수학자 벨만(Bellman)에 의해 전개된 이론으로 고전역학의 해밀턴-야코비 방정식(Hamilton-Jacobi equation)의 변형이다.

이토 확률과정 \(\{X_{t}\}_{0\leq t\leq T}\)에 대해 다음의 최적화 문제를 고려하자. 여기서 \(X_{t}\)는 시간 \(t\)에서의 재산이다.$$\max_{u}E\left(\int_{0}^{T}{f(X_{t},\,t,\,u_{t})}dt+B(X_{T},\,T)\right)$$여기서 리만적분은 시간 \(t=0\)로부터 시간 \(T\)까지의 총효용을 나타내고, \(T=\infty\)일 수도 있다. \(B(X_{T},\,T)\)는 시간 \(T\)까지 소비하고 남은 재산 \(X_{T}\)에 의한 효용, 기댓값은 모든 상황에 대한 평균이다. 

이 문제의 제약조건은 이토과정 \(dX_{t}=\mu(X_{t},\,t,\,u_{t})dt+\sigma(X_{t},\,t,\,u_{t})dW_{t}\)와 출발시점의 재산 \(X_{0}=x_{0}\)이다. 

여기서의 확률과정 \(u_{t}\)는 제어변수(control variable), 즉 시간 \(t\)에서의 정보 \(X_{t}\)를 토대로 결정한 \(u_{t}\)로서 최적의 제어를 하게 된다. 보통 \(u_{t}\)는 적당한 함수 \(g(x,\,t)\)에 대해 \(u_{t}=g(X_{t},\,t)\)의 형태를 갖는다. 

최적 제어 문제에서 가능한 모든 \(u\)에 대해 최소상계는 존재하지만 최댓값이 존재하지 않을 수 있다. 여기서는 최소상계를 얻도록 하는 \(u\)가 존재하고, 따라서 최소상계 되신 최댓값이라고 나타내겠다.

다음은 해밀턴-야코비-벨만 방정식을 간략히 유도하는 과정이다. 

임의의 \(0\leq t\leq T\)에 대해$$J(X,\,t)=\max_{u}E\left(\int{0}^{T}{f(X_{s},\,s,\,u_{s})ds}+B(X_{T},\,T)|X_{t}=X\right)$$라고 하자. 이것은 시간 \(t\)로부터 시간 \(T\)까지 \(X_{t}=X\)라는 조건 아래에서의 총효용과 시간 \(T\)에서의 잔여 가치 \(B(X_{T},\,T)\)의 합을 나타냅니다. 정의에 의해 \(J(X,\,T)=B(X,\,T)\)이고, \(t=0\)일 때 조건부 기댓값은 상수함수 \(X_{0}=x_{0}\)에 의해 조건지어지므로 상수이고, 보통의 기댓값이 된다. 즉$$\begin{align*} J(x_{0},\,0)&=\max_{u}E\left(\int_{0}^{T}{f(X_{s},\,s,\,u_{s})ds}+B(X_{T},\,T)|X_{0}=x_{0}\right)\\&=\max_{u}E\left(\int_{0}^{T}{f(X_{s},\,s,\,u_{s})ds}+B(X_{T},\,T)\right)\end{align*}$$이다. 

이 최적화 문제의 답이 존재하고, 주어진 함수들이 충분히 매끄러워 미분가능하다는 가정 하에서 간단한 설명으로 해결하자.

전체 구간에 걸친 최적화 문제의 풀이는 부분구간들로 나누었을 때에도 각 구간에서도 최적이어야 한다. 즉$$J(X,\,t)=\max_{u}E\left(\int_{t}^{t+dt}{f(X_{s},\,s,\,u_{s})ds}+J(X+dX,\,t+dt)|X_{t}=X\right)$$을 얻는다. \(X+dX\)는 시간 \(t\)에서의 값 \(X_{t}=X\)가 주어졌다는 조건 하에서 시간 \(t+dt\)에서의 값 \(X_{t+dt}\)를 나타내는데 이것은 이토 과정 식에 의해 주어지고, 적분은 다음과 같이 근사되며$$\int_{t}^{t+dt}{f(X_{s},\,s,\,u_{s})ds}\approx f(X_{t},\,t,\,u_{t})dt$$이토 과정으로부터$$dXdX=\sigma^{2}dt,\,dXdt=o(dt),\,dtdt=o(dt)$$이고 이토 공식을 이용한 테일러 전개에 의해 다음의 식을 얻는다.$$\begin{align*}&J(X+dX,\,t+dt)\\&=J(X,\,t)+\frac{\partial J(X,\,t)}{\partial X}dX+\frac{\partial J(X,\,t)}{\partial t}dt+\frac{1}{2}\frac{\partial^{2}J(X,\,t)}{\partial X^{2}}\sigma^{2}(X,\,t,\,u_{t})dt+o(dt)\\&=J(X,\,t)+\frac{\partial J(X,\,t)}{\partial X}\mu(X,\,t,\,u)dt+\frac{\partial J(X,\,t)}{\partial X}\sigma(X,\,t,\,u_{t})dW+\frac{\partial J(X,\,t)}{\partial t}dt+\frac{1}{2}\frac{\partial^{2}J(X,\,t)}{\partial X^{2}}\sigma^{2}(X,\,t,\,u)dt+o(dt)\end{align*}$$시간 \(t\)에서 브라운 운동의 증분의 조건부 기댓값은 0이므로$$\begin{align*}&E\left(\frac{\partial J(X,\,t)}{\partial X}\sigma(X,\,t,\,u_{t})dW|X_{t}\right)\\&=E\left(\frac{\partial J(X,\,t)}{\partial X}\sigma(X,\,t,\,u_{t})|X_{t}\right)E(dW|X_{t})\\&=0\end{align*}$$이다. 또한 이미 \(\sigma-\)대수 \(\sigma(X_{t})\)에 대해 가측인 함수들에 대해 \(X_{t}\)에 의한 조건부 기댓값을 취할 필요가 없으므로$$\begin{align*}&J(X,\,t)\\&=\max_{u}E(f(X,\,t,\,u)dt+J(X,\,t)+\frac{\partial J(X,\,t)}{\partial X}\mu(X,\,t,\,u_{t})dt+\frac{\partial J(X,\,t)}{\partial X}\sigma(X,\,t,\,u_{t})dW+\frac{\partial J(X,\,t)}{\partial t}dt\\&+\frac{1}{2}\frac{\partial^{2}J(X,\,t)}{\partial X^{2}})\sigma^{2}(X,\,t,\,u)dt+o(dt)|X_{t}=X)\\&=\max_{u}(f(X,\,t,\,u_{t})dt+J(X,\,t)+\frac{\partial J(X,\,t)}{\partial X}\mu(X,\,t,\,u_{t})dt\\&+\frac{\partial J(X,\,t)}{\partial t}dt+\frac{1}{2}\frac{\partial^{2}J(X,\,t)}{\partial X^{2}}\sigma^{2}(X,\,t,\,u)dt+o(dt))\end{align*}$$이고 양변에서 \(J(X,\,t)\)를 뺀 후 \(dt\)로 나누고 \(dt\,\rightarrow\,0\)이라고 하면 다음의 결과를 얻는다.

해밀턴-야코비-벨만 방정식(Hamilton-Jacobi-Bellman equation, HJB equation). 확률과정 \(X_{t}\)가 \(dX_{t}=\mu(X_{t},\,t,\,u_{t})dt+\sigma(X_{t},\,t,\,u_{t})dW_{t}\)로 주어질 때 다음의 최적화 문제$$\max_{u}E\left(\int_{0}^{T}{f(X_{s},\,s,\,u_{s})ds}+B(X_{T},\,T)|X_{t}=x_{0}\right)$$를 풀기 위해$$J(X,\,t)=\max_{u}E\left(\int_{t}^{T}{f(X_{s},\,s,\,u_{s})ds}+B(X_{T},\,T)|X_{t}=X\right)$$라고 하자. 이때 \(J\)는 다음의 방정식을 만족하고,$$-\frac{\partial J}{\partial t}(X_{t},\,t)=\max_{u}\left(f(X_{t},\,t,\,u_{t})+\frac{\partial J}{\partial x}(X_{t},\,t)\mu(X_{t},\,t,\,u_{t})+\frac{1}{2}\frac{\partial^{2}J}{\partial x^{2}}(X_{t},\,t)\sigma^{2}(X_{t},\,t,\,u_{t})\right)$$이 방정식의 경계조건은 \(J(X_{T},\,T)=B(X_{T},\,T)\)이다. 

*위의 필요조건이 충분조건도 된다. \(T=\infty\)일 때 일반적으로 \(B=0\)인 조건이 주어지며, \(\displaystyle\lim_{t\,\rightarrow\,\infty}{J(X,\,t)}=0\)이 성립하는 풀이를 요구한다. 

효용(utility)은 사람들이 재화를 소비할 때 얻는 만족이다. 또한 재화를 소비할 때 그 재화의 최종단위에 의해 얻어지는 만족감을 한계효용(marginal utility)이라고 한다. 이러한 한계효용은 일반적으로 소비되는 재화의 수량이 증가함에 따라 감소한다. 효용의 크기를 나타내는 효용함수(utility function)는 소비 비율을 \(c\geq0\)이라고 할 때 \(U(c)\)라고 나타내겠다. 즉 아주 짧은 시간 \(dt\)동안 \(cdt\)만큼 소비랗 때 얻는 효용을 \(U(c)dt\)로 나타내겠다. 일반적으로 많이 소비할수록 만족은 커지므로 \(U\)는 증가함수이다. 

한계효용 체감의 법칙(law of diminishing marginal utility)에 의해 \(U\)는 볼록함수(convex function)이다. 

예를 들자면 상수 \(0<\gamma<1\)에 대해 \(U(c)=c^{\gamma}\)이거나 \(U(c)=\ln c\)등이다. 한계효용을 수학적으로 나타내면 \(U'\)이고, 한계효용 체감의 법칙을 수학적으로 나타내면 \(U''<0\)이다. 

위험자산(예: 주식의 가격 방정식)을 기하 브라운 운동 \(dS_{t}=\alpha S_{t}dt+\sigma S_{t}dW_{t}\)로 가정한다. 시간 \(t\)일 때 투자자의 포트폴리오의 가치가 \(X_{t}\)이고 위험 자산에 비율 \(u_{t}\)만큼 투자하고 시간 \(dt\)동안 \(c_{t}dt\)만큼 소비한다고 가정한다. 

이 포트폴리오는 자체 조달적(self-financing)이고, 외부로부터의 새로운 투자금의 유입은 없으며 처음부터 소비를 마음대로 해서 효용이 무한히 커지지만 총재산이 음이 되는 경우를 제외하기 위해 \(X_{t}\geq0\)이라는 조건을 부여한다. 따라서 투자된 위험 자산의 주식수는 \(\displaystyle\frac{u_{t}X_{t}}{S_{t}}\)이고, 주식에 투자하고 남아 무위험 자산에 투자된(은행 예금) 자금은 \((1-u_{t})X_{t}\)이다. 시간 \(dt\)후에 증가한 재산은$$\begin{align*}dX_{t}&=\frac{u_{t}X_{t}}{S_{t}}dS_{t}+r(1-u_{t})X_{t}dt-c_{t}dt\\&=(\alpha u_{t}X_{t}+r(1-u_{t})X_{t}-c_{t})dt+\sigma u_{t}X_{t}dW_{t}\end{align*}$$이다. 첫 번째 줄의 우변의 \(\displaystyle\frac{u_{t}X_{t}}{S_{t}}\)는 총 주식가격의 상승분, 두 번째 항인 \(r(1-u_{t})X_{t}dt\)는 은행 예금에 대한 이자이다. 소비를 나타내는 항 \(-c_{t}dt\)의 계수가 음인 이유는 소비를 해서 재산이 줄기 때문이다. 

효용이 최대가 되도록 하는 적당한 \(u_{t}\), \(c_{t}\geq0\)을 찾으면 된다. 적당한 상수 \(\rho>0\)에 대해 미래 가치를 현재 가치로 할인하기 위해 \(e^{-\rho t}U(c_{t})\)를 생각하자. 

최적 소비 전략. 기간 \(0\leq t\leq T\) 동안의 최대 효용을 다음과 같이 정의하자.$$\max_{u,\,c}E\left(\int_{0}^{T}{e^{-\rho u}U(c_{t})dt}\right)$$\(0<\gamma<1\)에 대해 \(U(c)=c^{\gamma}\)이면 최적의 전략은$$u_{t}=\frac{\alpha-r}{\sigma^{2}(1-\gamma)}=u^{*},\,c_{t}=\{h(t)\}^{\frac{1}{\gamma-1}}X_{t}$$이다. 여기서$$\begin{align*}h(t)&=\left(\frac{B}{A}\right)^{1-\gamma}\left(e^{\frac{1}{1-\gamma}A(T-t)}-1\right)^{1-\gamma}\\A&=r\gamma+\frac{\gamma}{2(1-\gamma)}\frac{(\alpha-r)^{2}}{\sigma^{2}}-\rho,\,B=1-\gamma\end{align*}$$이고 기간 \(0\leq t\leq T\)동안의 최대 효용은 \(\displaystyle\left(\frac{B}{A}\right)^{1-\gamma}\left(e^{\frac{1}{1-\gamma}AT}-1\right)X_{0}^{\gamma}\)이다. 

*

1. 투자자는 \(u^{*}\)라는 일정 비율로 재산을 위험 자산에 투자한다. 이 비율은 무위험 자산의 수익률 \(r\)을 초과하는 \(\alpha-r\)에 비례한다.

2. 주식의 가격이 평균적으로 더 많이 상승하는 경우일수록, 즉 \(\alpha\)가 커질수록, 주식에 더 많이 투자해야 한다는 것을 알 수 있다. 

3. 변동성 \(\sigma\)가 클 수록 주식에 덜 투자해야 한다.

4. 금리 \(r\)이 높을수록 주식에 덜 투자하면서 예금을 늘려야 한다.

5. 투자자는 현재 재산가치 \(X_{t}\)에 비례하여 소비한다. 

앞에서의 최적 소비 전략에서 \(U(c)=\ln c\)이면, 최적의 전략은 \(\displaystyle u_{t}=\frac{\alpha-r}{\sigma^{2}}\), \(c_{t}=\rho X_{t}\)이고, 기간 \(0\leq t<\infty\)동안의 최대 효용은 \(A\ln X_{0}+B\)이며, \(A\), \(B\)는 다음과 같다.$$\begin{align*}A&=\frac{1}{\rho}\\B&=\frac{1}{\rho}\left(\ln\rho+\frac{r}{\rho}+\frac{(\alpha-r)^{2}}{2\rho\sigma^{2}}-1\right)\end{align*}$$참고자료:

금융수학의 방법론, 최건호, 경문사