関数の「直交」とは、
\begin{equation}
\langle A(x), B(x) \rangle = \int_a^b A(x) B(x) \, dx = 0
\end{equation}となることをいいます。
つまり、内積が0となることをいいます。
関数の内積 - 数式で独楽する
ベクトルの直交との比較を見ていきます。
ベクトルの内積 - 数式で独楽する
次元のベクトルを
\begin{eqnarray}
\boldsymbol{A} &=& A_1 \boldsymbol{x}_1 + A_2 \boldsymbol{x}_2 +\cdots + A_n \boldsymbol{x}_n \\
\boldsymbol{B} &=& B_1 \boldsymbol{x}_1 + B_2 \boldsymbol{x}_2 +\cdots + B_n \boldsymbol{x}_n
\end{eqnarray}とします。ここでは次元の単位ベクトルで、互いに直交します。
このとき、ベクトルが直交するとき、内積は
\begin{equation}
\boldsymbol{A} \cdot \boldsymbol{B} = A_1 B_1 + A_2 B_2 + \cdots + A_n B_n = \sum_{i=1}^n A_i B_i =0
\end{equation}となります。*1
このように、関数の直交は、ベクトルの直交と類似の考え方となっていることが分かります。
ただ、関数の直交と言っても直交がイメージできるわけではなく、内積が0であることをもって「直交」しているのだと考えるのがよいでしょう。
*1:ベクトルを列で記述すると \begin{equation} \boldsymbol{A} \cdot \boldsymbol{B} = \boldsymbol{A}^t \boldsymbol{B} \end{equation}です。式中の「t」は転置(行と列の入れ替え)を表します。 転置行列と随伴行列 - 数式で独楽する