project 1無事終了

簡単なNeural networkのアルゴリズムを作ってクライテリアをパスするハイパーパラメータを決めるというプロジェクト。

内容はだいたい既知なんだけど、初めてのプロジェクトだから、まぁ、なんとか出来てほっとした。
ハイパーパラメータの最適化は、プログラム組んで絨毯爆撃すれば簡単に出るんだろうけど、あえて手作業でやって、感覚を学んでみた。
得たインサイトとしては、
・試行回数に対して、誤差は線形には減少しなくて、あるポイントでぐっと下がり、後はなだらかに飽和する。
・ラーニングレートは、最適値があり、大きすぎても小さすぎてもだめ。ただし、他のパラメータに依存。
・Hiddenノードの数とoutputノードの数の比は最適値があって、やたらとhiddenノードを増やすとかえって結果が悪くなる。