계량경제학 6 - Test(검정)

OLS추정치가 유의한지에 대해 예시로부터 알아봅니다.

계량경제학 포스트 보러가기

0. Prerequisite

지난 포스트에서 나중에 기회가 있으면 검정에 대해서 다룬다고 했는데,
이렇게 빨리 다루게 될 줄은 몰랐습니다. 😅😅😅

기본적인 용어등은 지난 포스트의 검정 섹션를 참고하시기 바랍니다.

1. Classical Approach

우리는 검정을 할 때에 1형 오류의 수준을 적정 선에서 유지한 채 2형 오류를 최소화 하는 방식을 취한다.
이때 1형 오류의 수준은 작은 값을 취한다.(ex. 0.01, 0.05, 0.1, 0.15…)

수식으로 정리해보면, \(\min P(type\ II)\ \ s.t.\ \ P(type\ I)=\alpha\)가 된다.

2. Test

예를 들어, \(X_{it}\)가 \(Y_t\)를 설명하는데 설명력이 충분하다는 것을 검증하려고 한다.(이때, \(\sigma^2\)는 알고 있다고 가정한다.)
그렇다면 귀무가설과 대립가설은 아래와 같이 세울 수 있다.

\[\begin{align} &H_0 : \beta_i^*=0 \notag \\ &H_a : \beta_i^*\ne 0 \notag \\ \end{align}\]

\(\hat{\beta}\sim N(\beta^*, \sigma^2(X'X)^{-1})\)라는 것을 알고 있으니 \((X'X)^{-1}\)의 원소 \(s_{ii}^2\)에 대해 \(\hat{\beta_i}\sim N(\beta_i^*, \sigma^2s_{ii}^2)\)이다.

\(\hat{\beta}\)가 정규분포를 따른다는 것은 오차항 가정(A4)에 의한 것이다.
A4가정이 깨져도 정규분포 근사가 가능한데 이에 대해서는 나중에 다루겠다.

\(H_0\)가 true라고 한다면, 유의수준에 따라 아래 그래프와 같이 범위를 알 수 있다.

대립가설 그래프를 통해 2형 오류의 수준을 그래프로 나타내면 아래와 같다.

T가 크면 아래와 같다.

위와 같이 T가 크게 데이터를 조정하거나 귀무가설 혹은 대립가설을 조정하는 것만으로 오류를 조절할 수 있다.

3. 검정 통계량(Test Statistics)

유의수준 5%에서 검정한다고 가정하자.

\[\begin{align} &Z=\frac{\hat{\beta_i}-\beta^*}{\sigma s_{ii}}=\frac{\hat{\beta_i}}{\sigma s_{ii}}\sim N(0,1) 이니, \notag \\ &\left|\frac{\hat{\beta_i}}{\sigma s_{ii}}\right|>1.96\ \ \mathrm{이면\ 귀무가설을\ 기각한다.} \notag \end{align}\]

근데 실제 검정에서는 모수인 \(\sigma^2\)가 알려져 있지 않다. 따라서 위 방식으로 검정이 불가능하다.
그렇다면 어떻게 계수값을 검정할 수 있는지 고민해봐야 한다.

그 답은 바로 \(\sigma^2\)도 추정하면 된다.
만약 우리가 \(\epsilon_i\)를 관찰할 수 있다면, \(\frac{1}{T}\sum _{\ }^{\ }\epsilon _T^2=\tilde{\sigma ^2}\)이 방식으로 추정량을 사용하면 된다.

하지만, \(\epsilon_i\)은 관찰할 수 없다. 우리는 오로지 \(e\)만 관찰 가능하다. 따라서 \(\frac{1}{T}\sum _{\ }^{\ }e _T^2=\hat{\sigma ^2}\)로 갈음하여 사용한다.

3-1. 불편량?

우리는 \(\frac{1}{T}\sum _{\ }^{\ }e _t^2=\hat{\sigma ^2}\)이 식을 사용하여 \(\sigma^2\)를 추정하려고 한다. 그렇다면 이 추정량이 좋은지 알아보기 위해서 불편량인지 먼저 확인해보겠다.

\[\begin{align} E(\hat{\sigma ^2})=\frac{1}{T}E(e'e)=\frac{1}{T}E(\epsilon'M_XM_X\epsilon)&=\frac{1}{T}E(\epsilon'M_X\epsilon) \notag \\ &=\frac{1}{T}E(tr(\epsilon'M_X\epsilon)) \notag \\ &=\frac{1}{T}E(tr(\epsilon'\epsilon M_X)) \notag \\ &=\frac{1}{T}tr(E(\epsilon'\epsilon M_X)) \notag \\ &=\frac{1}{T}tr(\sigma^2 M_X) \notag \\ &=\frac{1}{T}tr(\sigma^2 I_T-\sigma^2X(X'X)^{-1}X') \notag \\ &=\frac{1}{T}(\sigma^2 T-tr(\sigma^2X'X(X'X)^{-1})) \notag \\ &=\frac{1}{T}(\sigma^2 T-\sigma^2tr(I_k)) \notag \\ \Rightarrow E(\hat{\sigma ^2})=\frac{T-k}{T}\sigma^2\ne \sigma^2 \notag \\ \end{align}\]

음… 계산해보니 불편추정량이 아니다. 따라서 적당한 값 조절이 필요해 보인다.
위 추정량에 \(\frac{T}{T-k}\)를 곱하면 불편추정량이 된다. 즉, \(\hat{\sigma ^2}=\frac{1}{T-k}\sum _{\ }^{\ }e _t^2\)를 사용하면 된다.

\(e=M_X\epsilon\)로부터 \(e\)는 \(\epsilon\)의 선형변환이니 Classical Assumption 4에 따라 Normal distribution을 따른다.
이것은 Chi-square분포의 정의에 따라 \(\frac{e'e}{\sigma^2}\sim \mathcal{X}^2(T-k)\)를 의미한다.

\[\begin{align} &\frac{\hat{\beta_i}}{\sigma s_{ii}}=Z \sim N(0,1),\ \ \frac{e'e}{\sigma^2}\sim \mathcal{X}^2(T-k)\ 이고, \notag \\ &P_X, M_X\mathrm{가\ 직교함에\ 따라\ }\frac{\hat{\beta_i}}{\sigma s_{ii}}\perp \frac{e'e}{\sigma^2}이니 \notag \\ &\frac{\frac{\hat{\beta_i}}{\sigma s_{ii}}}{\frac{e'e}{\sigma^2}}\sim t(T-k)이다. \notag \\ \end{align}\]

t분포를 이용하여 계수의 유의성을 검정하면 된다.

후기) 이부분의 경우 수리통계학 지식이 좀 필요한데… 아직까지는 직관적으로 와닿는 수준이라 생각해 간략히 설명하고 넘어가겠습니다. 후에 기회가 있으면 다루겠습니다.

오타 혹은 잘못된 정보가 있다면 댓글 이메일 등등으로 알려주시면 감사하겠습니다. (꾸벅)