行列の対角化 - 数式で独楽する

行列 $A$ で記述される一次変換について、
\begin{equation}
A \boldsymbol{v} = \lambda \boldsymbol{v}
\end{equation}となるような定数 $\lambda$ とベクトル $\boldsymbol{v}$ が存在するとき、

$\lambda$ を「固有値」
$\boldsymbol{v}$ を「固有ベクトル」

といいます。
固有値・固有ベクトル - 数式で独楽する

固有値と固有ベクトルを用いると、正方行列に適当な操作をして固有値からなる対角行列を作ることができます。これを「対角化」といいます。
対角行列 - 数式で独楽する

$n \times n$ 行列 $A$ が $n$ 組の固有値と固有ベクトルを持つと仮定します。すなわち、
\begin{equation}
A \boldsymbol{v}_i = \lambda_i \boldsymbol{v}_i \quad (i=1,2, \cdots , n) \tag{1}
\end{equation}とします。
また、各 $\boldsymbol{v}_i \ (i=1,2, \cdots , n)$ は一次独立とします。
なお、各 $\lambda_i \ (i=1,2, \cdots , n)$ の値は重複することがあります。

ここで、固有ベクトルを並べて作った新たな行列
\begin{equation}
P = ( \boldsymbol{v}_1 \ \boldsymbol{v}_2 \ \cdots \ \boldsymbol{v}_n)
\end{equation}は正則であり、逆行列を持ちます。
逆行列 - 数式で独楽する

\begin{equation}
P^{-1} = \left( \begin{array}{c} \boldsymbol{u}_1 \\ \boldsymbol{u}_2 \\ \vdots \\ \boldsymbol{u}_n \end{array} \right)
\end{equation}とすると、 $P^{-1}P =I$ より、
\begin{equation}
\boldsymbol{u}_i \boldsymbol{v}_j = \delta_{ij} = \left \{ \begin{array}{cc}
1 & (i=j) \\
0 & (i \ne j)
\end{array} \right. \tag{2}
\end{equation}となります。
クロネッカーのデルタ - 数式で独楽する

式(1)を横に並べます。
\begin{eqnarray}
AP &=& A ( \boldsymbol{v}_1 \ \boldsymbol{v}_2 \ \cdots \ \boldsymbol{v}_n) \\
&=& ( \lambda_1 \boldsymbol{v}_1 \ \lambda_2 \boldsymbol{v}_2 \ \cdots \ \lambda_n \boldsymbol{v}_n)
\end{eqnarray}
さらに左から $P^{-1}$ を掛けます。式(2)を踏まえると、
\begin{eqnarray}
P^{-1}AP &=& \left( \begin{array}{c} \boldsymbol{u}_1 \\ \boldsymbol{u}_2 \\ \vdots \\ \boldsymbol{u}_n \end{array} \right) A ( \boldsymbol{v}_1 \ \boldsymbol{v}_2 \ \cdots \ \boldsymbol{v}_n) \\
&=& \left( \begin{array}{c} \boldsymbol{u}_1 \\ \boldsymbol{u}_2 \\ \vdots \\ \boldsymbol{u}_n \end{array} \right) ( \lambda_1 \boldsymbol{v}_1 \ \lambda_2 \boldsymbol{v}_2 \ \cdots \ \lambda_n \boldsymbol{v}_n) \\
&=& \left( \begin{array}{cccc}
\lambda_1 &&& \Large{0} \\
& \lambda_2 && \\
&& \ddots & \\
\Large{0} &&& \lambda_n
\end{array} \right)
\end{eqnarray}となります。