1번
모수 \(\theta\)에 대한 서로 독립인 비편향 추정량 \(\hat \theta_1\)과 \(\hat \theta_2\)이 존재하며 \(Var(\hat \theta_i)=\sigma_i^2, i=1,2\)이라고 한다. 이를 이용하여 새로운 추정량 \(\hat \theta_{a_1,a_2}=a_1\hat \theta_1+ a_2 \hat \theta_2\)를 정의할 때 다음에 답하시오.
(1)
\(\hat \theta_{a_1,a_2}\)이 비편향추정량이 될 \(a_1\)과 \(a_2\)의 조건을 구하시오
\(E(a_1\hat \theta_1 + a_2 \hat \theta_2) = a_1E(\hat \theta_1) + a_2 E(\hat \theta_2) = \theta(a_1+a_2)=\theta\)
\(\therefore a_1+a_2=1\)
(2)
비편향추정량인 \(\hat \theta_{a_1,a_2}\) 중에서 가장 작은 분산을 가지는 추정량을 구하시오.
\(Var(\hat \theta_{a_1,a_2})=Var(a_1\hat \theta_1 + a_2\hat \theta_2) = a_1^2 \sigma_1^2 + a_2^2 \sigma_2^2\)
(1)에서 \(a_1+a_2=1\)이므로 이를 이용하면
\(f(a_1) = a_1^2 \sigma_1^2 + (1-a_1)^2 \sigma^2_2 = a_1^2(\sigma_1^2+\sigma_2^2) -2\sigma_2^2 a_1 + \sigma_2^2\)
\(\dfrac{df(a_1)}{da_1} \rightarrow a_1=\dfrac{\sigma_2^2}{\sigma_1^2+\sigma_2^2}=\dfrac{\frac{1}{\sigma_1^2}}{\frac{\sigma_1^2+\sigma_2^2}{\sigma_1^2\sigma_2^2}} = \dfrac{\frac{1}{\sigma_1^2}}{\frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2}}\)
(1)에서 \(a_1+a_2=1\)이므로 이를 이용하면
\(f(a_2) = a_2^2 \sigma_1^2 + (1-a_2)^2 \sigma^2_2 = a_2^2(\sigma_1^2+\sigma_2^2) -2\sigma_1^2 a_2 + \sigma_1^2\)
\(\dfrac{df(a_2)}{da_2} \rightarrow a_2=\dfrac{\sigma_1^2}{\sigma_1^2+\sigma_2^2}=\dfrac{\frac{1}{\sigma_2^2}}{\frac{\sigma_1^2+\sigma_2^2}{\sigma_1^2\sigma_2^2}} = \dfrac{\frac{1}{\sigma_2^2}}{\frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2}}\)
즉 \(\hat \theta_{a_1,a_2}\)는 \(a_1=\dfrac{\sigma_2^2}{\sigma_1^2+\sigma_2^2}, a_2=\dfrac{\sigma_1^2}{\sigma_1^2+\sigma_2^2}\)일 때 가장 작은 분산을 가진다. 일반화 하면 \(a_i = \dfrac{\frac{1}{\sigma_1}}{\sum_{j=1}^2\frac{1}{\sigma_j^2}}\)
2번
\(X_1,X_2,\dots,X_n\)이 \(Ber(p)\)로부터의 랜덤표본이라고 하자. 모집단의 분포 \(Ber(p)\)의 분산인 \(p(1-p)\)을 추정하고자 한다.
(1)
\(p(1-p)\)에 대한 비편향추정량의 크래며-라오 하한값을 구하시오
\(f(x|p)=p^x(1-p)^{1-x}, g(p)=p(1-p)\)
\(I(p) = E\left(\left(\dfrac{d}{dp}log f(x|p)\right)^2 \right)=E\left(\left(\dfrac{d}{dp}[xlogp+(1-x)log(1-p)]\right)^2 \right)=E\left(\left(\dfrac{x}{p}-\dfrac{1-x}{1-p}\right)^2\right)=E\left(\left(\dfrac{x-p}{p(1-p)}\right)^2\right)=\dfrac{1}{p^2(1-p)^2}E((x-p)^2)\)
\(\because E((x-p)^2)=Var\)~\(p(1-p)\)
\(=\dfrac{p(1-p)}{p^2(1-p)^2}=\dfrac{1}{p(1-p)}\)
\(\therefore CRLB = \dfrac{g'(p))^2}{nI(p)}=\dfrac{p(1-p)(1-2p)^2}{n}\)
(2)
\(X_1(1-X_2)\)의 기댓값을 구하시오.
\(E(X_1-X_1X_2)=E(X_1)-E(X_1X_2)=E(X_1)-E(X_1)E(X_2)=p-p^2=p(1-p)\)
\(X_1,X_2\)는 서로 독립
(3)
\(p(1-p)\)에 대한 최소분산 비편향추정량을 구하시오.
책 226쪽 참고
\(f(x)=p^x(1-p)^{1-x}=(\frac{p}{1-p})^x(1-p)=e^{xln(\frac{p}{1-p})}(1-p)\)로 나타내면
\(f(x)\)는 지수족이고 책 226의 정리를 이용하면 완비충분 통게량이 보장된다.
note
지수족에 속하는 확률밀도함수 \(f(x;\theta)=a(\theta)b(x)exp[\sum_{i=1}^k c_i(\theta)t_i(x)]\)로부터의 랜덤표본을 얻으면, 통계량 \(S_1=\sum_{i=1}^n t_1(X_i), \dots, S_k=\sum_{i=1}^n t_k(X_i)\)는 모수 \(\theta_1,\dots,\theta_k\)에 대한 완비충분통계량이다.
위를 통해, \((S_1,\dots,S_k)\)의 함수로 만들어지는 \((\theta_1,\dots,\theta_k)\)의 비편향 추정량은 \((\theta_1,\dots,\theta_k)\)의 최소분산 비편향 추정량이다.
위 식에서 \(t(x)=x\)
\(E(\bar X_n(1- \bar(X_n))=E(\bar X_n)-E(\bar X_n^2)= p - (Var(\bar X_n)+E(\bar X_n)^2)=p-(\frac{p(1-p)}{n}+p^2)=p(1-p)(1-\frac{1}{n})=\frac{p(1-p)(n-1)}{n}\)
\(\dfrac{n\bar X_n(1- \bar X_n)}{n-1}\)이 최소분산 추정량이 된다.
(4)
\(p(1-p)\)에 대한 적률추정량을 구하시오.
\(M_1 = E(X) = p\)
\(M_2 = E(X^2) = Var(X) + E(X)^2 = p(1-p)+p^2 = p\)
모적률 \(m_k = M_2 - M_1^2 = p- p^2 = p(1-p)\)
(5)
\(p(1-p)\)에 대한 최대가능도추정량을 구하시오.
\(f(x;p)=p^x(1-p)^{1-x}\)
\(L(p)=p^{\sum_{i=1}^n x_i} (1-p)^{n-\sum_{i=1}^nx_i}\)
\(l(p) = \sum_{i=1}^n x_i log p + (n-\sum_{i=1}^n x_i) log (1-p)\)
\(\dfrac{dl(p)}{dp} = \dfrac{\sum_{i=1}^n x_i}{p} - \dfrac{n-\sum_{i=1}^n x_i}{1-p}=0\)
\(\hat p = \dfrac{\sum_{i=1}^n x_i}{n}= \bar X_n\)
\([\hat p (1- \hat p)]^{MLE} = \bar X_n(1-\bar X_n)\)
3번
\(X_1,\dots,X_n\)은 확률밀도함수 \(f(x;\theta)=\theta exp(-\theta x) I(x>0)\)를 따르는 모집단으로부터의 랜덤표본이라고 하자. 다음에 답하시오.
(1)
\(\theta\)에 대한 적절한 추축변량을 구하고, 해당 추축변량의 분포를 명시하시오.
\(X_1\) ~ \(Exp(\frac{1}{\theta})\)
\(2X_1 \theta\) ~ \(Exp(2)\) or \(2X_1\) ~ \(Gamma(1,2)\)
\(2 \sum_{i=1}^n X_i \theta\) ~ \(\chi^2(2n)\)
\(2n \bar X \theta\) ~ \(\chi^2(2n)\)
즉 추축변량은 \(2n\bar X \theta\)이고 해당 추축변량은 자유도가 2n인 카이제곱분포를 따른다.
(2)
\(\theta\)에 대한 95% 신뢰구간을 구하시오.
\(P(\chi^2_{0.975}(2n) \leq 2n\bar X \theta \leq \chi^2_{0.025}(2n)) = 0.95\)
\(\therefore \theta_{0.95} Ci: (\dfrac{\chi^2_{0.975}(2n)}{2n\bar X},\dfrac{\chi^2_{0.025}(2n)}{2n\bar X})\)
(3)
\(P(X>1)\)에 대한 95% 신뢰구간을 구하시오.
\(P(X>1) = \int_1^\infty \theta exp(-x \theta) dx = [e^{-x \theta}]_1^\infty = e^{-\theta}\)
\(\therefore P(X>1) CI: (e^{-\dfrac{\chi^2_{0.975}(2n)}{2n\bar X}},e^{-\dfrac{\chi^2_{0.025}(2n)}{2n\bar X}})\)