계량경제학 14 - IV(Instrument Variable) estimation

계량경제학 포스트 보러가기

0. Introduction

우리가 OLS estimator를 사용할 때 필요한 조건들이 있었다.
그 중에는 \(X_t\)와 \(\epsilon_t\)는 직교해야 한다는 조건이 있는데, 이 조건이 깨지게 된다면 우리가 얻은 OLS estimator는 치명적인 결함을 갖게 된다. 왜냐하면, 회귀분석 모델에서 \(Y\)에서 \(X\)에 의한 설명을 제외한 부분을 \(\epsilon\)으로 표현하는데 그 표현이 성립하지 않기 때문이다.
쉽게 말하자면 \(X\)의 설명력이 충분히 반영되지 못한 경우나 \(X\)의 설명력 일부가 \(\epsilon\)에 반영되어 \(X\)의 설명력이 과대평가 되는 경우가 있다.

그리고 실제 데이터분석에서, 우리는 설명변수들간 관계를 알지 못하며 이를 알기 위해서 하나씩 관계식을 세우다 보면 순환 논법에 빠져 정확한 관계를 얻어내기 어렵다.
이를 해결하고자 IV estimation이 만들어졌다.

1. IV estimation 정의

IV estimation(도구 변수 추정법)이란, 설명변수(\(X_t\))에 내생성이 존재할 때 발생하는 치명적인 결함을 치유하고자 오차항(\(\epsilon\))과 직교하고 설명변수와 상관관계가 있는 도구변수(\(W\))를 사용하여 \(Y\)를 설명하려는 방법을 말한다.

그림으로 설명해보자면, 원래 이론대로라면 위 그럼처럼 깔끔하게 \(X\)랑 \(\epsilon\)는 직교하며, 둘만으로 \(Y\)가 설명되어야 하나,

이 그림처럼 \(X\)와 \(\epsilon\)에 상관관계가 생겨 설명이 과소평가 혹은 과대평가 되는 문제가 발생하는 경우에 OLS estimator가 유효하지 않게 된다.
따라서 도구변수 \(W\)를 추가하여

\(\hat{X}\)를 얻어내어 OLS estimator의 유효성을 확보하는 방법이다.

1-1. Endogenous(내생성)

\(X\)가 내생성이 있다는 말은 \(Cov(X_t, \epsilon)\ne 0\)와 동치이다.
반대로 \(X\)가 외생성(Exogenous)이 있다는 말은 \(Cov(X_t, \epsilon)=0\)와 동치이다.

2. IV estimation

내생성이 존재한다고 가정하고 가정을 다시 세워보겠다.

1. \(X_t\)는 not random, \(\epsilon_t\)는 random이다.
2. \(E[\epsilon_t]\)=\(\mu^* \ne 0\)
3. \(Var[\epsilon_t]=\sigma^2\), homoskedasticity
4. \(Cov(\epsilon_t, \epsilon_s)=0, for \ \ t \ne s\), no serial correlation
5. \(\epsilon_t\sim N(0, \sigma^2)\).

이후부터는 위 가정을 기본으로 깔고 이야기 하겠다.

\(Y_t=X'_t\beta + \epsilon_t \quad \quad E[X_t\epsilon_t]\ne 0\)
와 같이 모형이 있을 때, 아래 조건을 만족하는 \(W_t\)를 도구변수라고 한다.

1. \(W_t : (l \times 1)\)의 첫 번째 원소가 1이다.
2. \(E[W_t\epsilon_t]=0\)
   
3. \(E[W_tX_t]\ne 0\) & invertible

\(k\)가 설명변수의 개수라고 하자.

2-1. \(l=k\)

\[\begin{align} &\mathrm{From}\ \ \ E[W_t\epsilon_t]=0 \notag \\ &\frac{1}{T} \sum _{t=1} ^{T} W_t(Y_t-X'_t\beta)=0 \notag \\ \Rightarrow &\frac{1}{T} \sum _{t=1} ^{T} W_tY_t=\frac{1}{T} \sum _{t=1} ^{T} W_tX'_t\beta \notag \\ \Rightarrow &\hat{\beta}_{IV}=(\sum _{t=1} ^{T} W_tX'_t)^{-1}\sum _{t=1} ^{T} W_tY_t \notag \\ \end{align}\]

여기서 추정량의 각 항의 일치성을 확인해보겠다.

\[\hat{\beta}_{IV}=\beta + (\frac{1}{T}\sum _{t=1} ^{T} W_tX'_t)^{-1}\frac{1}{T} \sum _{t=1} ^{T} W_t\epsilon_t \\\]

에서,

\[\begin{align} (\frac{1}{T}\sum _{t=1} ^{T} W_tX'_t)^{-1} &\overset{p}{\to} [E(W_tX'_t)]^{-1} \notag \\ \frac{1}{T} \sum _{t=1} ^{T} W_t\epsilon_t &\overset{p}{\to} 0 \notag \\ \end{align}\]

이니 \(\hat{\beta}_{IV}\)는 일치추정량이다.

우리가 세운 모델이 선형모델이고 \(k=l\)이라고 해서 정보가 보존된다고 생각할 수 있으나 \(X\)와 \(W\)의 관계식에도 오차항이 존재하고 그에 따라 \(\mathrm{span}(X)\ne \mathrm{span}(W)\)이다.
따라서 \(X\)에서 \(W\)로의 변환은 기저변환이 아닌 유한차원으로의 선형변환이라고 표현함이 옳다. (따라서 순서기저로 표현함이 적절히 않다.)

2-2. \(l>k\)

이런 경우, 우리는 보다 많은 정보를 가지고 있는 상태이다. 정보가 많으면 좋겠지 싶겠지만 사실 그렇지 않을 수 있다.

간단하게 하나의 예를 들어보자, 우리가 미지수가 \(k\)개인 방정식을 풀기 위해 얻은 서로 독립인 식의 개수가 \(l\)개라 해보자, \(k=l\)이면 유일한 해가 존재하지만, \(l>k\)이면 해가 존재하지 않는다. 선형계가 충돌을 일으킨다는 것이다.

이 문제를 Over identification problem이라고 하고 이를 해결하기 위해서 GMM(Generalized Method of Mements)나 2SLS(2 Stage Least Squares)

이번 포스트에서는 2SLS를 설명하겠다. (GMM방식은 2SLS방식의 일반화 기법인데 기회가 된다면 후에 다뤄보겠다.)

2-2-1. Projection

이전에 Gauss Markov Theorem을 다뤘을 때 projection 개념을 사용했던 것을 기억할 것이다.

\[\begin{align} \hat{Y}=X\hat{\beta}=X(X'X)^{-1}X'Y=P_XY \notag \end{align}\]

에서 \(P_X=X(X'X)^{-1}X'\)이다.
하지만, 내생성 문제 때문에 이 방식을 적용할 수 없다. 따라서 우리는 \(X\)를 \(W\)에 의해 생성된 벡터공간에 사영한 뒤 사용해야한다.

\[\begin{align} \hat{X}=W\hat{\gamma}=W(W'W)^{-1}W'X=P_WY \notag \end{align}\]

에서 \(P_W=W(W'W)^{-1}W'\)이다.
이렇게 얻어진 \(\hat{X}\)는 \(Y\)를 회귀분석하는데 사용할 수 있다.

2-2-2. 2SLS

1. \(Y_t=X'_t\beta + \epsilon_t \quad \quad E[X_t\epsilon_t]\ne 0\) 모델 설계
2. \(X_t=W'_t\alpha + \eta_t\) 보조 회귀분석 후 \(\hat{X}=W'_t\hat{\alpha}\) 계산
3. \(Y_t=\hat{X}'_t\beta + \epsilon_t \rightarrow \hat{Y}_t=\hat{X}'_t\beta\)
   

두 번의 회귀분석으로 \(\hat{Y}\)를 얻어내기 때문에 2-stage이다.

내생성 문제가 해결되었는지 확인해보자.

\(Cov(\hat{X_t}, \epsilon_t) = Cov(W_t\hat{\alpha}, \epsilon_t)=0\)이니 \(\hat{X}\)는 외생성을 갖는다. 따라서 Gauss-Markov Theorem을 사용할 수 있다.

\(\hat{\beta}_{2SLS} = (\hat{X}'\hat{X})^{-1}(\hat{X}'Y=(X'P_WX)^{-1}X'P_WY\)이 추정량을 2SLS추정량이라고 한다.

\(\hat{\beta}_{2SLS}=\hat{\beta}_{GMM}\)으로도 쓸 수 있지만 혼동의 여지가 있으니 2SLS로 썼다.

등분산성 가정으로부터,

\[Var(\hat{\beta}_{2SLS}) = Var(\beta + (X'P_WX)^{-1}X'P_W\epsilon)=\sigma_{\epsilon}^2(X'P_WX)^{-1}\]

등분산성 만족.

2-3. \(k>l\)

이 경우는 정보의 량이 준 것을 의미한다. \(k<l\)에서 들었던 연립방정식 예시를 동일하게 들어보면 이런 경우 해가 무수히 많기 때문에 답을 구할 수 없다.

후기) 바빠서 자주 업로드를 못했습니다. 이번 포스트에서는 도구 변수 추정법을 다뤘는데요, 우선 기본적인 계량경제학 내용은 다 다룬 것 같아서 고급 계량경제학 내용은 차차 추가하겠습니다. 계량경제학 포스트를 읽어주셔서 감사합니다.

오타 혹은 잘못된 정보가 있다면 댓글 이메일 등등으로 알려주시면 감사하겠습니다. (꾸벅)