トレーニングにまつわるあれこれを掲載しているブログではありますが，都合によりこのような記事を掲載いたします．
現在一般社団法人ディープラーニング協会のE資格を取得するため，ラビットチャレンジなるプログラムを受講しています．本プログラムにおいてレポート公開が必須になっていることから，こちらのブログにてレポートします．

線形代数

固有値・固有ベクトル

n次正方行列 $A$ に対して $Av=λv$ を満たすようなスカラー $λ$ を固有値，非ゼロベクトル $v$ を固有ベクトルと呼ぶ．
固有値 $λ$ は $det(λI-A)=0$ の解．

固有値分解

n次正方行列 $A$ において， $A = PDP^ T$ と変換することを固有値分解と呼ぶ
この時，

$\boldsymbol{D} = \begin{pmatrix} λ_{1} & 0 & \cdots & 0\\ 0 & λ_{2} & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots\\ 0 & 0 & \cdots & λ_{n} \end{pmatrix}$

$\boldsymbol{P} = \begin{pmatrix} v_{1} & v_{2} & \cdots & v_{n} \end{pmatrix}$

特異値・特異ベクトル

任意の零行列では無い $m \times n$ 行列 $A$ に対して， $Av=σu$ ， $A^ T u=σv$ を満たすような正の値 $σ$ を特異値， m次元ベクトル $u$ を左特異ベクトル， n次元ベクトル $v$ を右特異ベクトルと呼ぶ．

特異値分解

特異値を大きい順に $(i, i)$ 成分に並べた $m \times n$ 行列 $S$ と，左特異ベクトル $u$ をm個並べたm次正方行列 $U$ ，右特異ベクトル $v$ をn個並べたn次正方行列 $V$ を用いると，
$A V=U S$
$A = U S V^ T$
となる．同様にして，
$A^ T U = V S^ T$
$A^ T = V S^ T U^ T$
であることから，
$AA^ T = U S V^ T V S^ T U^ T$
$AA^ T = U S S^ T U^ T$

確率・統計

条件付き確率

ある事象X=xが与えられた下で，Y=yとなる確率は，
$\displaystyle{P(Y=y|X=x) = \frac{P(X=x, Y=y)} {P(X=x)}}$

ベイズ則

上記に加えて，
$\displaystyle{P(X=x|Y=y) = \frac{P(X=x, Y=y)} {P(Y=y)}}$
であることから，
$P(X=x|Y=y)P(Y=y) = P(Y=y|X=x)P(X=x)$

期待値・分散

離散確率分布の期待値は，
$\displaystyle{\sum_{k=1}^n P(X=x_k)f(X=x_k)}$

連続型確率分布の期待値は，
$\displaystyle{\int P(X=x)f(X=x)dx}$

分散は，
$\displaystyle{E(f^ 2 _{(X=x)}) - E(f)^ 2}$

様々な確率分布

以下をベルヌーイ分布と呼ぶ．
$f(x; p) = p^ x (1-p)^ {(1-x)}$
以下をマルチヌーイ分布と呼ぶ．
$\displaystyle{f(x; p) = \prod_{j=1}^{k} P_j ^ {x_j}}$

また，これらに関する期待値，分散，尤度関数について学習．

情報理論

自己情報量・シャノンエントロピー

事象Aの起こる確率がP(A)のとき，事象Aが起こることの情報量は
$I(X) = -log P(A)$
と定義される．
また，シャノンエントロピーは自己情報量の期待値であり，
$\displaystyle{E(I(X)) = - \sum P(A) log P(A)}$
と表すことができる．

KLダイバージェンス・交差エントロピー

KLダイバージェンスは同じ事象・確率変数における異なる確率分布P,Qの違いを表す．

$\displaystyle{ D_{KL} (P||Q) = E_{X \verb|~| P} \frac{log(P(x))} {log(Q(x))} }$ $\displaystyle{ = \sum_{x} P(x) \frac{log(P(x))} {log(Q(x))} }$

交差エントロピーはKLダイバージェンスの一部分を取り出したものとなっている．

$\displaystyle{ D_{KL} (P||Q) = \sum_{x} P(x) \frac{log(P(x))} {log(Q(x))} }$
$\displaystyle{ D_{KL} (P||Q) = \sum_{x} P(x)(- log(Q(x))) - \sum_{x} P(x) (-log(P(x))) }$
$\displaystyle{ D_{KL} (P||Q) = H(P, Q) - H(P) }$
$\displaystyle{ H(P, Q) = D_{KL} (P||Q) + H(P) }$

気づき・感想

・特異値分解を手計算で実施したことがなかった．いくつかの関連動画を視聴して，うまくイメージを掴むことができた．
・交差エントロピーは全く内容を知らずに深層学習にて使用していたので，良い勉強になった．
・式展開や計算順序については何度も復習して身につける必要があると感じた．

のんびり肉体改造ブログ

30代社会人のトレーニング記録と雑記

ラビットチャレンジレポート(応用数学)