前回の続き。 さて、Deep Gradient Compression を用いたDistributed Trainingの正確性を上げるために、論文中ではmomentum correction, local gradient clipping, momentum factor masking, そしてwarmup training という四つのテクニックを用いている。 ま…

今日大学で議論した論文について忘れないうちにまとめておこうと思う。Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training https://openreview.net/pdf?id=SkhQHMW0W11月の初めに匿名で発表されたものだ。現在doubl…

前の記事で書いたGANの発展がDCGANであるわけだが、より高精度な画像生成をするために、名前の通り複数の2D Convolutional Layers を持っている。 from http://gluon.mxnet.io/chapter14_generative-adversarial-networks/dcgan.html https://arxiv.org/pdf/…

前の記事でDCGANといったが、これはDeep Convolutional Generative Adversarial Network の略である。その大本であるGenerative Adversarial Network、GANというのが https://arxiv.org/pdf/1406.2661.pdf で2014年にGoodfellow et al.によって提唱され、こ…

当面の目標はDCGANモデルの性能向上。 https://arxiv.org/pdf/1511.06434.pdf で提示されたVanilla のDCGANだと、例えば http://web.mit.edu/emeyers/www/face_databases.htmlの一覧にあるデータセットの画像のように、ほぼ同じ特徴を持った物体が同じアング…