ヌルヌルコンピューター

機械学習、ニューラルネットワーク、その他色々と書くつもりですが三日坊主なので続かないかもしれません。あとまだ学士も取ってないへなちょこなので書いてある情報は正確性に欠いているかもしれません。てか多分間違いがいっぱいあります。何かありましたらご指摘お願いいたします。https://github.com/hirokik0811

2017-12-01から1日間の記事一覧

Deep Gradient Compression (2)

前回の続き。 さて、Deep Gradient Compression を用いたDistributed Trainingの正確性を上げるために、論文中ではmomentum correction, local gradient clipping, momentum factor masking, そしてwarmup training という四つのテクニックを用いている。 ま…