共分散

共分散

共分散は、

• 2つの変数の関連性の強さ

を表す指標の1つです。
表記は、などが使われています。

定義は、
\begin{equation}
\mathrm{Cov}(X,Y) = E \Bigl( \bigl( X -E(X) \bigr) \bigl( Y - E(Y) \bigr) \Bigr) \tag{1}
\end{equation}です。
\begin{eqnarray}
E(X) &=& m_x \tag{2} \\
E(Y) &=& m_y \tag{3}
\end{eqnarray}と書くと、式(1)は
\begin{equation}
\mathrm{Cov}(X,Y) = E \bigl( (X - m_x)(Y - m_y) \bigr) \tag{4}
\end{equation}です。

分散は「平均との偏差の平方」の平均なので正の値です。*1
分散と標準偏差 - 数式で独楽する
共分散は、それぞれの変数の「平均との偏差」の積の平均なので、0にも負にもなります。
$X,Y$に全く相関がなければ、共分散は0になります。

例えば、
\begin{eqnarray}
X &=& \{ 1,2, \cdots, 9 \} \\
Y &=& \{ 1,2, \cdots, 9 \}
\end{eqnarray}から$(X,Y)&の全ての組合せを1個ずつ取り出して標本を作ります。
標本の共分散を定義に従って求めると、0になります。

さて、共分散は、
\begin{equation}
\mathrm{Cov}(X,Y) = E(XY) - E(X) E(Y) \tag{5}
\end{equation}とも書けます。

式(1), (4)から平均の性質を用いていけば導くことができます。
期待値、平均値の性質 その2 - 数式で独楽する
期待値、平均値の性質 その3 - 数式で独楽する
\begin{eqnarray}
\mathrm{Cov}(X,Y) &=& E \bigl( (X - m_x)(Y - m_y) \bigr) \tag{4} \\
&=& E(XY -m_y \, X -m_x \, Y + m_x m_y) \\
&=& E(XY) -m_y \, E(X) -m_x \, E(Y) + m_x m_y \\
&=& E(XY) - E(X) E(Y) \tag{5}
\end{eqnarray}

$X,Y$が無相関の場合、
\begin{equation}
\mathrm{Cov}(X,Y) =0
\end{equation}なので、
\begin{equation}
E(XY) = E(X) E(Y)
\end{equation}です。

*1:$X$の値が一定であれば分散は0です。