next up previous
: 残差二乗和を最小にするパラメーター推定値 : 最小二乗推定の基礎 : 最小二乗推定の基礎

観測方程式

観測値を \( Y_{1},Y_{2},...,Y_{n} \)\( n \)は観測値の数)とし、 列ベクトル\( Y \)


\begin{displaymath}
Y=\left( \begin{array}{c}
Y_{1}\\
.\\
.\\
.\\
.\\
Y_{n}
\end{array}\right) \end{displaymath}

で表す。また、推定すべきパラメーターを \( \beta _{1},\beta _{2},...,\beta _{m} \)\( m \)はパラメーターの数)とし、こちらも列ベクトル\( \beta \)

\begin{displaymath}
\beta =\left( \begin{array}{c}
\beta _{1}\\
.\\
.\\
.\\
\beta _{m}
\end{array}\right) \end{displaymath}

で表す。さらに、観測値の誤差を \( \epsilon _{1},\epsilon _{2},...,\epsilon _{n} \)とし、列ベクトル\( \epsilon \)

\begin{displaymath}
\epsilon =\left( \begin{array}{c}
\epsilon _{1}\\
.\\
.\\
.\\
\epsilon _{n}
\end{array}\right) \end{displaymath}

で表す。

観測値と推定すべきパラメーターが\( n \)\( m \)列の行列\( X \)を通じて

\begin{displaymath}
Y=X\beta +\epsilon \end{displaymath}

という線型方程式で結ばれているとき、これを「観測方程式」と言う。

ここでは、観測誤差が全て独立で等分散かつ期待値がゼロという簡単な場合を考える。すなわち

\begin{displaymath}
<\epsilon >=0\end{displaymath}


\begin{displaymath}
<\epsilon \epsilon ^{T}>=<(Y-X\beta )(Y-X\beta )^{T}>=\sigma ^{2}I\end{displaymath}

とする。ここで、\( <\, > \)は期待値を、\( (\, )^{T} \)は転値行列を、\( \sigma ^{2} \)は観測誤差の分散を、\( I \)\( n \)\( n \)列の単位行列を表す。

実際には、別々の日に行われた観測などのように、誤差は独立で期待値はゼロという仮定は良い近似で成り立つが、分散は \( \sigma _{1}^{2},\sigma ^{2}_{2},...,\sigma ^{2}_{n} \)と観測毎に異なる場合、すなわち

\begin{displaymath}
<\epsilon \epsilon ^{T}>=\Sigma \equiv \left( \begin{array}{...
...& & & \cdot & \\
0 & & & & \sigma ^{2}_{n}
\end{array}\right) \end{displaymath}

となる場合も多い。しかしそういうときでも、分散の平均値を\( \sigma ^{2} \)として

\begin{displaymath}
W=\sigma \left( \begin{array}{ccccc}
\frac{1}{\sigma _{1}} &...
...\cdot & \\
0 & & & & \frac{1}{\sigma _{n}}
\end{array}\right) \end{displaymath}

という重み行列\( W \)を考え、 \( WY\longrightarrow Y' \)かつ \( WX\longrightarrow X' \)と置換えてやれば置換え後の\( Y',X' \)については、

\begin{displaymath}
<(Y'-X'\beta )(Y'-X'\beta )^{T}>=<W(Y-X\beta )(Y-X\beta )^{T}W^{T})>=\end{displaymath}


\begin{displaymath}
=<W\Sigma W^{T}>=\sigma ^{2}I\end{displaymath}

が成り立つから、上と同様に扱うことができる。

いづれの場合も観測誤差の期待値はゼロと仮定しているから、観測値の期待値は

\begin{displaymath}
<Y>=X\beta \end{displaymath}

に等しい。



Tetsuo Sasao 2002年1月24日