적합결여검정

두 변수 x와 y 사이의 함수관계가 단순회귀모형

$y = β_{0} + β_{1} x + ϵ, ϵ \sim N (0, σ^{2})$

으로 표현되는 것이 적합한가의 검정방법

- 가설

$H_{0} : E (Y | X = x) = β_{0} + β_{1} x$
$H_{1} : E (Y | X = x) \neq β_{0} + β_{1} x$

- 제곱합분해

$S S E = \sum_{i = 1}^{k} \sum_{j = 1}^{n_{i}} (y_{i j} - {\hat{y}}_{i})^{2}$
${\bar{y}}_{i} - \sum_{j = 1}^{n_{i}} y_{i j} / n_{i}$

- 검정

검정통계량

$F_{0} = \frac{M S L F}{M S P E} \sim H_{0} F (n - 2, n - k)$: $F_{0}$ 값이 작음 –> 모형적합이 잘 되었다.

순오차평균제곱: $M S P E = \frac{S S P E}{n - k}$ : 고정되어 있음. 회귀직선과 상관 없음
적합결여평균제곱: $M S L F = \frac{S S L F}{k - 2}$
$f_{0} = \frac{M S L F}{M S P E} > F_{α} (n - 2, n - k)$ 이면 귀무가설 기각

두 회귀모형의 검정

- 완전 모형(full model)

$y_{i j} = β_{0 i} + β_{1 i} x_{i j} + ϵ_{i j}$

$i = 1, 2, j = j, 2, \dots, n_{i}$

$ϵ_{i j} \sim N (0, σ^{2})$

모집단1: $E (y_{1 j} | x_{1 j}) = β_{01} + β_{11} x_{1 j}$
모집단2: $E (y_{2 j} | x_{j 2}) = β_{02} + β_{12} x_{2 j}$

혹시… $β_{01} = β_{02}$ 아니야? $β_{11} = β_{12}$ 아니야? 하고 가설 세움

- 가설

$H_{0} : β_{01} = β_{02} and β_{11} = β_{12}$

$H_{1} : β_{01} \neq β_{02} or β_{11} \neq β_{12}$

- 축소 모형(reduced model)

$y_{i j} = β_{0} + β_{1} x_{i j} + ϵ_{i j},$

$i = 1, 2, j = 1, 2, \dots, n_{i}$

$ϵ_{i j} \sim N (0, σ^{2})$

$β_{01} = β_{02} = β_{0}, β_{11} = β_{12} = β_{1}$

(Step1) 완전모형의 잔차제곱합 SSE(F)를 구한다.

$S S E (F) = S S E_{1} + S S E_{2}$

$S S E_{i} = \sum_{j = 1}^{n_{i}} (y_{i j} - {\hat{y}}_{i j})^{2} = \sum_{j = 1}^{n_{i}} (y_{i j} - {\hat{β}}_{0 i} - {\hat{β}}_{1 i} x_{i j})^{2}, i = 1, 2$

(Step2) 축소모형의 잔차제곱합 SSE(R)을 구한다.

$S S E (R) = \sum_{i = 1}^{2} \sum_{j = 1}^{n_{i}} (y_{i j} - {\hat{y}}_{i j})^{2} = \sum_{i = 1}^{2} \sum_{j = 1}^{n_{i}} (y_{i j} - {\hat{β}}_{0} - {\hat{β}}_{1} x_{i j})^{2}$

(Step3) 검정통계량

$F_{0} = \frac{S S E (R) - S S E (F)}{d f_{R} - d f_{F}} \div \frac{S S E (F)}{d f_{F}}$

$d f_{R} = (n_{1} - 1) + (n_{2} - 1), d f_{F} = (n_{1} - 2) + (n_{2} - 2)$
$F_{0} \sim F (d f_{r} - d f_{F}, d f_{F}) = F (2, n_{1} + n_{2} - 4)$

(Step4) 유의수준 $α$ 에서 $F_{0} > F_{α} (2, n_{1} + n_{2} - 4)$ 이면 $H_{0}$ 기각

두 기울기의 비교

- 기울기 비교에 대한 가설

$H_{0} : β_{11} = β_{12}$

$H_{1} : β_{11} \neq β_{12}$

- 검정통계량

$t_{0} = \frac{{\hat{β}}_{11} - {\hat{β}}_{12}}{\sqrt{\hat{V a r} ({\hat{β}}_{11} - {\hat{β}}_{12})}} \sim H_{0} t ((n_{1} - 2) + (n_{2} - 2))$

- 두 표본이 독립이라고 가정하면

$V a r ({\hat{β}}_{11} - {\hat{β}}_{12}) = V a r ({\hat{β}}_{11}) + V a r ({\hat{β}}_{12})$

$= \frac{σ^{2}}{\sum (x_{1 j} - {\bar{x}}_{1})^{2}} + \frac{σ^{2}}{\sum (x_{2 j} - {\bar{x}}_{2})^{2}} = \frac{σ^{2}}{S_{x x}} + \frac{σ^{2}}{S_{x x^{*}}}$

$\hat{V a r} ({\hat{β}}_{11} - {\hat{β}}_{12}) = M S E (F) [\frac{1}{\sum (x_{1 j} - {\bar{x}}_{1})^{2}} + \frac{1}{\sum (x_{2 j} - {\bar{x}}_{2})^{2}}]$

Weighted Regression

Quardratic form

- y의 이차형식(quadratic form)

$y^{T} A y = \sum_{i = 1}^{n} a_{i j} y_{i} y_{j} = \sum_{i = 1}^{n} a_{i i} y_{i}^{2} + 2 \sum_{i = 1}^{n - 1} \sum_{j = i + 1}^{n} a_{i i} y_{i} y_{j}$

$y^{T} = (y_{1}, y_{2}, \dots, y_{n}) : n \times 1$ vector
$A = (a_{i j})$ : 이차형식 $y^{T} A y$ 의 계수, $n \times n$ symmetric matrix