계량경제학 3 - 연속 확률 분포

이번에는 지난 포스트에 이어 계량경제학에서 주로 사용되는 연속 확률 분포의 종류에 대해서 다룹니다.

이산확률분포 포스트와 마찬가지로 필요한 내용만 다루기 때문에 각 분포에 대해서 심오한 분석을 하지 않습니다.

계량경제학 포스트 보러가기

0. Prerequisite

확률 변수, 확률 분포에 대한 지식을 필요로 합니다.
연속 확률 변수란 확률 변수의 치역의 대상이 연속적인 구간인 확률 변수이다. 이산 확률 변수의 경우 치역의 원소의 개수가 가산 개라고 했는데 그 반대라고 생각하면 편하다.(엄밀하지 않음)
연속 확률 분포란 연속 확률 변수의 확률 분포를 의미한다.

이때 연속 확률 분포를 나타내는 함수를 확률 밀도 함수라고 말한다.

확률 변수, 확률 분포에서 확률 변수의 기댓값과 분산을 정의했는데 연속 확률 변수에 맞춰 표현하면,
기댓값은 \(E\left(X\right)=\int _{-\infty }^{\infty }xf\left(x\right)dx\)
분산은 \(V\left(X\right)=\int _{-\infty }^{\infty }\left(x-\mu \right)^2f\left(x\right)dx\)
로 표현할 수 있다. 이때 \(\mu=E(X)\)이다.

특이하게 \(P(x_i)\)를 쓰는 것이 아닌 \(f(x)\)를 사용하는데, 이는 연속 확률 변수에서 \(P(x_i)\)의 값은 의미가 없기 때문이다. 예를 들어 보면, 물을 따르는데 정확히 \(1L\)를 따를 수 있을 확률을 구하라고 하면 어떻게 되겠는가? 간단히 생각해도 \(0\)에 수렴한다는 사실을 알 수 있다. 즉, 연속 확률 변수 \(X\)에 대해서 \(P(X=k)=0\)이다.
그래서 연속 확률 변수의 확률은 구간으로 정의되며 \(P\left(a\le X\le b\right)=\int _{\ a}^{\ b}f\left(x\right)dx\)로 표현된다.

적분의 성질에 의해 다음이 만족된다. \(P\left(a\le X\le b\right)\\ =P\left(a<X\le b\right)\\ =P\left(a\le X<b\right)\\ =P\left(a<X<b\right)\)

Annotation. 연속 확률 변수 \(X\)가 어떤 분포를 따른다는 표기는 \(X\sim D(p_i)\)로 표기하며 \(D\)는 분포의 이름, \(p_i\)는 매개변수 목록이다.

1. 균등 분포(Uniform Distribution)

균등 분포는 적당한 구간 \([a, b]\)에서 정의된 연속 확률 변수 \(X\)에 대해서 확률 밀도 함수의 형태가 \(f(x)=\frac{1}{b-a}\)인 분포를 말한다.

기댓값과 분산을 계산해보면,

\[\begin{aligned} &E\left(X\right)=\int _a^bxf\left(x\right)dx=\int _a^bx\frac{1}{b-a}dx=\frac{1}{2}\left(a+b\right)=\mu \\ &V\left(X\right)=\int _a^b\left(x-\mu \right)^2f\left(x\right)dx=\frac{1}{12}\left(b-a\right)^2=\sigma ^2 \end{aligned}\]

이다.

\(\mu, \sigma\)로 \(a, b\)를 대체해서 확률 밀도 함수를 표현하면 \(f\left(x\right)=\frac{1}{2\sigma \sqrt{3}},\ where\ -\sigma \sqrt{3}\le x-\mu \le \sigma \sqrt{3}\)이다.

따라서, 균등 분포는 \(a, b\)가 분포를 결정할 수도 있지만 \(\mu, \sigma\)역시 분포를 결정하는 성질이 있다. \(X\sim U(a, b)\)

2. 정규 분포(Normal Distribution)

정규 분포는 \(\mathbb{R}\)에서 정의된 연속 확률 변수 \(X\)에 대해서 확률 밀도 함수의 형태가

\[f\left(x\right)=\frac{1}{\sigma \sqrt{2\pi }}e^{-\frac{1}{2}\left(\frac{x-\mu }{\sigma }\right)^2}\]

인 분포를 말한다.

기댓값과 분산을 계산해보려 했는데… 여기서 이상함을 눈치챈 당신… 관찰력이 뛰어나다고 칭찬 드리겠습니다.
정규 분포의 경우 확률 밀도 함수 자체에 기댓값과 표준편차(분산의 양의 제곱근)이 포함 되어 있어, 계산 자체가 무의미 하다.

\[\begin{aligned} &E(X)=\mu \\ &V(X)=\sigma^2 \\ \end{aligned}\]

라고 숙지하시면 되겠습니다.

따라서, 정규 분포는 \(\mu, \sigma\)가 분포를 결정하는 성질이 있다. \(X\sim N(\mu, \sigma^2)\)

2-1. 표준 정규 분포(Standard Normal Distribution)

표준 정규 분포는 정규 분포의 특수한 경우로 \(\mu=0, \sigma=1\)인 정규 분포를 말한다.

Annotation. 표준 졍규 분포의 확률 변수는 Z로 표현한다. 따라서 \(Z\sim N(0, 1)\)가 된다.
따라서 표준 정규 분포는 분포가 결정되어 있다.

2-2. 이항 분포와 정규 분포의 관계

이항 분포는 \(P({x})=\begin{pmatrix}n\\x\end{pmatrix}p^{x}(1-p)^{n-x}\)이고, \(E(X)=np,\\ V(X)=np(1-p)\)이다.

이때, \(n\)이 충분히 크고, \(np\)값도 적당히 크면 정규분포로 근사 가능하다.
근사 공식은 아래와 같다.

\[Z=\frac{\sum _{\ }^{\ }X_i-np}{\sqrt{np\left(1-p\right)}}=\frac{\hat{p}-p}{\sqrt{\frac{p\left(1-p\right)}{n}}}\xrightarrow {d}{\ }N\left(0,\ 1\right),\ where\ \hat{p}=\sum _{\ }^{\ }\frac{X_i}{n}\]

Thumb of rule.에 따르면 \(np\ge 5\)정도를 본다.
그리고 위 섹션을 이해하기 위해서는 Convergence in distribution개념을 알아야 하지만 나중에 필요하면 포스팅 할테니 일단 그러려니 하고 넘어가 주시면 됩니다.

3. 지수 분포(Exponential Distribution)

지수 분포는 \(\mathbb{R^+} \cup \{0\}\)에서 정의된 연속 확률 변수 \(X\)에 대해서 확률 밀도 함수의 형태가

\[f(x)=\lambda e^{-\lambda x}\]

인 분포를 말한다.

지수 분포는 기준 사건 시점으로부터 다음 사건이 발생하기까지 걸리는 시간 등을 분석할 때 사용된다.

기댓값과 분산은 아래와 같다.(계산 난이도는 낮다… 절대 수식 쓰기 귀찮아서 아님.)

\[\begin{aligned} &E(X)=\frac{1}{\lambda} \\ &V(X)=\frac{1}{\lambda^2} \\ \end{aligned}\]

따라서, 지수 분포는 \(\lambda\)가 분포를 결정하는 성질이 있다. \(X\sim Exp(\lambda)\)

3-1. Memoryless Property

위 지수 분포를 따르는 예시로 사건 이야기를 했는데 이로부터 얻을 수 있는 사실은 “기준 시점으로부터 \(t\)시점에 사건이 발생될 확률은 임의 시점으로부터 \(t\)시간만큼 지난 후에 사건이 발생할 확률과 같다.”는 것이다.

수식으로 증명하면 다음과 같다.

\[\forall s,\ t\ge 0,\ P\left(X>s+t\mid X>s\right)=\frac{P\left(X>s+t\cap X>s\right)}{P\left(X>s\right)}=\frac{e^{-\lambda \left(t+s\right)}}{e^{-\lambda s}}=e^{-\lambda t}=P\left(X>t\right)\]

4. 카이 제곱 분포(Chi-squared Distribution)

\(k\)개의 자유도를 가진 카이 제곱 분포의 정의는 \(k\)개의 독립적인 표준 정규 분포의 확률 변수 \(Z\)의 제곱의 합이다.

수식으로 표현하면 \(Q=\sum _{\ i=1}^{\ k}Z_i^2\)라고 할 수 있다.

따라서, 카이 제곱 분포는 \(k\)가 분포를 결정하는 성질이 있다. \(Q\sim \mathcal{X}^2(k)\)

확률 밀도 함수의 경우 형태가 매우 복잡하다… \(\Gamma(x)\)을 사용하여 수식으로 표현하면 아래와 같다.

\[f\left(x;k\right)=\frac{x^{\frac{k}{2}-1}e^{-\frac{x}{2}}}{2^{\frac{k}{2}}\Gamma \left(\frac{k}{2}\right)},\ for\ x>0\]

기댓값과 분산은 아래와 같다.(이놈은 계산 난이도가 높다… 귀찮음으로 생략…)

\[\begin{aligned} &E(X; k)=k \\ &V(X; k)=2k \\ \end{aligned}\]

5. F 분포(F Distribution)

F 분포의 확률 변수는 \(d_1, d_2\)의 자유도를 가진 카이 제곱 확률 변수 \(U_1, U_2\) 로 정의되며 \(X=\frac{U_1/ d_1}{U_2/d_2}\)

확률 밀도 함수의 형태는… 어지럽다… 못외웠다. (사실 외울 필요는없다.)

\[f\left(x;d_1,d_2\right)=\frac{1}{B\left(\frac{d_1}{2},\frac{d_2}{2}\right)}\left(\frac{d_1}{d_2}\right)^{\frac{d_1}{2}}x^{\frac{d_1}{2}-1}\left(1+\frac{d_1}{d_2}x\right)^{-\frac{d_1+d_2}{2}},\ \ where\ x>0\]

이때, \(B\)는 베타 함수이다.

따라서, F 분포는 \(d_1, d_2\)가 분포를 결정하는 성질이 있다. \(X\sim F(d_1, d_2)\)

감마 함수나 베타 함수를 알 필요는 없지만 궁금하다면 해석학을 공부하시면 됩니다.
경제학에서는 대학원 갈거 아니면… 우선은 ☆스킵☆

6. 베타 분포(Beta Distribution)

베타 분포는 구간 \((0, 1)\)에서 정의되는 함수이다.

확률 밀도 함수를 보면 딱 봐도 계량경제학에서는 잘 안쓸 것 같이 생겼다…

\[f\left(x;\alpha ,\beta \right)=\frac{x^{\alpha -1}\left(1-x\right)^{\beta -1}}{\int _0^1u^{\alpha -1}\left(1-u\right)^{\beta -1}du}=\frac{\Gamma \left(\alpha +\beta \right)}{\Gamma \left(\alpha \right)\Gamma \left(\beta \right)}x^{\alpha -1}\left(1-x\right)^{\beta -1}\]

위키에 따르면 Downlink Beamforming에서 사용한다는데 통신 채널의 용량 차이를 정리하는데 사용한다더라나…뭐라나…

아무튼 함수의 형태를 보면 \(\alpha, \beta\)를 사용한 것을 볼 수 있는데 이 값들은 양수이며 값에 따라 분포의 형태가 매우 다양하게 존재한다.

따라서, 베타 분포는 \(\alpha, \beta\)가 분포를 결정하는 성질이 있다. \(X\sim B(\alpha, \beta)\)

7. Student t-분포(Student’s t Distribution)

t 분포의 확률 변수는 표준 정규 분포 확률 변수 \(Z\)와 카이 제곱 분포의 확률 변수\(V\)와 그 자유도 \(v\)를 사용해서 \(T=\frac{Z}{V/v}\)로 정의된다.

확률 밀도 함수는 \(f\left(t\right)=\frac{\Gamma \left(\frac{v+1}{2}\right)}{\sqrt{\pi v}\Gamma \left(\frac{v}{2}\right)}\left(1+\frac{t^2}{v}\right)^{-\frac{v+1}{2}}\)이다.

따라서, t 분포는 \(v\)가 분포를 결정하는 성질이 있다. \(T\sim t(v)\)

후기) 그 밖에도 여러 분포가 있지만… 최소한으로 필수 적인 것들만 다뤘다. 근데 이렇게 길어질 줄은 상상도 못했다… 이만하면 통계 복습은 충분하다고 생각하기 때문에 다음 포스트 부터는 회귀분석을 다룰 것이다.

오타 혹은 잘못된 정보가 있다면 댓글 이메일 등등으로 알려주시면 감사하겠습니다. (꾸벅)