今回はpytorchのパラメーターの初期化について簡単に説明したいと思います.

パラメーター(重み)はnn.Linear() のように作成することができ,その値は,weight メソッドを使うことで中身を見ることができます.

linear = nn.Linear(5, 2)
linear.weight

weight に対して,nn.init の中のメソッドを適用すれば初期化をすることができます.公式のドキュメントはこちら

正規分布 normal_(weight, mean, std)

linear = nn.Linear(5, 2)
nn.init.normal_(linear.weight, 0.0, 1.0)

一様分布 uniform_(weight, a, b)

linear = nn.Linear(5, 2)
nn.init.normal_(linear.weight, 0.0, 1.0)

定数 constant_(weight, c)

linear = nn.Linear(5, 2)
nn.init.constant_(linear.weight, 1.0)

Xavierの初期値 xavier_normal_(weight, gain=1)

linear = nn.Linear(5, 2)
nn.init.xavier_normal_(linear.weight)

Heの初期値

kaiming_normal_(weight, a=0, mode='fan_in', nonlinearity='leaky_relu')

linear = nn.Linear(5, 2)
nn.init.kaiming_normal_(linear.weight)

今日は短いですがこれくらいで.
最近は本格的に寒いですね.コートやヒートテックを忘れないようにしましょう.