データ数学ストラテジスト上級対策

本記事では、データ数学ストラテジスト上級を対策していく中で、知らなかった知識やあやふやだった知識をまとめていたノートです。網羅的ではないですが、受験前の知識の確認などに役立てばと思います。

情報数学

選択情報量

単に情報量ともいう。単位にはbitが用いられる。

事象 E が起こる確率を P(E) としたとき、情報量 I(E) は下式で表される。
I(E)=-\log_2 {P(E)}

独立な事象 A と B に対して情報量の加法性が成り立つ。つまり、
I(A+B)=-\log_2 (P(A)\cdot P(B))=-(\log_2 P(A)+\log_2 P(B))=I(A)+I(B)
である。

線形代数

複素ベクトルの内積

複素ベクトル \boldsymbol{x, \, y} について、（エルミート）内積 \langle \cdot,\, \cdot \rangle を、
\langle \boldsymbol{x},\, \boldsymbol{y} \rangle=\boldsymbol{x}^\top \overline{\boldsymbol{y}}
で定義する。
（ \langle \boldsymbol{x},\, \boldsymbol{y} \rangle=\overline{\boldsymbol{x}^\top} \boldsymbol{y} で定義することもある。）

この定義では、以下の性質を満たす。
第一変数に関する線形性： \langle \lambda \boldsymbol{x}+\boldsymbol{z},\, \boldsymbol{y} \rangle=\lambda \langle \boldsymbol{x},\, \boldsymbol{y} \rangle+\langle \boldsymbol{z},\, \boldsymbol{y} \rangle
第二変数に関する共役線形性： \langle \boldsymbol{x,\, \lambda \boldsymbol{y} }+\boldsymbol{z}\rangle=\overline{\lambda} \langle \boldsymbol{x},\, \boldsymbol{y} \rangle+\langle \boldsymbol{x},\, \boldsymbol{z} \rangle
エルミート対称性： \langle \boldsymbol{x},\, \boldsymbol{y} \rangle=\overline{\langle \boldsymbol{y},\, \boldsymbol{x} \rangle}
非退化性： \langle \boldsymbol{x},\, \boldsymbol{x} \rangle=0 ならば {\boldsymbol{x}}= \boldsymbol{0}
半正定値性： \langle \boldsymbol{x},\, \boldsymbol{x} \rangle \geq 0

エルミート対称性より\langle \boldsymbol{x},\, \boldsymbol{x} \rangle= \overline{\langle \boldsymbol{x},\, \boldsymbol{x} \rangle} なので、 \langle \boldsymbol{x},\, \boldsymbol{x} \rangle は実数である。

転置行列

行列 A に対して、行と列を入れ替えたものを転置行列といい、 A^\top , \, {}^t\! A などで表す。

転置行列は以下のような性質を有する。
対合性： \left(A^\top \right)^\top = A
線形性： \left( sA+tB \right)^\top =sA^\top+tB^\top
積の転置： \left( AB \right)^\top=B^\top A^\top
行列式（正方行列の場合）： \mathrm{det} \, \left(A^\top \right) =\mathrm{det} \, A

実数列ベクトル \boldsymbol{x, \, y} と内積 \langle \cdot,\, \cdot \rangle について、実行列 A に関して \langle A \boldsymbol{x},\, \boldsymbol{y} \rangle = \langle \boldsymbol{x},\, A^\top \boldsymbol{y}\rangle が成り立つ。 なぜならば、
\langle A \boldsymbol{x},\, \boldsymbol{y} \rangle=(A \boldsymbol{x})^\top \boldsymbol{y}= \boldsymbol{x}^\top A^\top \boldsymbol{y}=\langle \boldsymbol{x},\, A^\top \boldsymbol{y}\rangle
であるからである。

対称行列

転置行列が元の行列と等しい、つまり A^\top=A である行列を対称行列という。

行列 A とその転置行列 A^\top の和 A+A^\top と積 AA^\top は対称行列になる。

実数列ベクトル \boldsymbol{x, \, y} と内積 \langle \cdot,\, \cdot \rangle について、 A が実対称行列ならば、 \langle A \boldsymbol{x},\, \boldsymbol{y} \rangle = \langle \boldsymbol{x},\, A \boldsymbol{y}\rangle である。上記の転置行列の性質と A^\top=A より導かれる。

実対称行列の固有値は実数である。
A\boldsymbol{x}=\lambda \boldsymbol{x} とすると、
\langle A \boldsymbol{x},\, \boldsymbol{x} \rangle =\langle \lambda \boldsymbol{x},\, \boldsymbol{x} \rangle =\lambda \langle \boldsymbol{x},\, \boldsymbol{x} \rangle
\langle \boldsymbol{x},\, A\boldsymbol{x} \rangle =\langle \boldsymbol{x},\, \lambda \boldsymbol{x} \rangle =\overline{\lambda} \langle \boldsymbol{x},\, \boldsymbol{x} \rangle
ここで、 \langle A \boldsymbol{x},\, \boldsymbol{x} \rangle = \langle \boldsymbol{x},\, A \boldsymbol{x}\rangle および固有ベクトルは零ベクトルでないことから、 \lambda=\overline{\lambda} つまり、固有値 \lambda は実数である。

実対称行列の異なる固有値に対応する固有ベクトルは直交する。
A\boldsymbol{x}=\lambda \boldsymbol{x} , \, A\boldsymbol{y}=\mu \boldsymbol{y} （ \lambda \neq \mu ）とすると、
\lambda \langle \boldsymbol{x},\, \boldsymbol{y} \rangle =\langle A \boldsymbol{x},\, \boldsymbol{y} \rangle = \langle \boldsymbol{x},\, \overline{A^\top} \boldsymbol{y} \rangle = \langle \boldsymbol{x},\, A\boldsymbol{y} \rangle =\langle \boldsymbol{x},\, \mu \boldsymbol{y} \rangle =\mu \langle \boldsymbol{x},\, \boldsymbol{y} \rangle より、 \boldsymbol{x}, \, \boldsymbol{y} は直交する。

交代行列

転置行列が元の行列の -1 倍である、つまり A^\top=-A である行列を交代行列（歪対称行列、反対称行列）という。

直交行列

転置行列が逆行列である、つまり A^\top A=A A^\top=Iである行列を直交行列という。

直交行列の逆行列と転置行列も直交行列である。
逆行列について、 A^{-1}=A^\top の両辺の転置行列をとって、 \left( A^{-1} \right)^\top= \left( A^\top \right)^\top=A=\left( A^{-1} \right)^{-1} となり、直交行列の定義を満たす。
転置行列について、 A^\top=A^{-1} の両辺の逆行列をとって、 \left( A^{\top} \right)^{-1}= \left( A^{-1} \right)^{-1}=A=\left( A^\top \right)^\top となり、直交行列の定義を満たす。

直交行列は内積を保つ線形変換である。つまり、\langle A \boldsymbol{x},\, A\boldsymbol{y} \rangle = \langle \boldsymbol{x},\, \boldsymbol{y}\rangle である。
\langle A \boldsymbol{x},\, A\boldsymbol{y} \rangle = \left( A \boldsymbol{x} \right) ^ \top A \boldsymbol{y}=\boldsymbol{x}^\top A^\top A \boldsymbol{y}=\boldsymbol{x}^\top \boldsymbol{y}= \langle \boldsymbol{x},\, \boldsymbol{y}\rangle
より示される。

直交行列の行列式は \pm 1 である。 A を直交行列とすると、 AA^\top =I より、
\mathrm{det}(A)\mathrm{det}(A)=\mathrm{det}(A)\mathrm{det}(A^\top)=\mathrm{det}(AA^\top)=\mathrm{det}(I)=1
よって、 \mathrm{det}(A)=\pm 1 。