求pytorch大神解答，问题出在哪里-步行街主干道-虎扑社区

社区 » 步行街 » 步行街主干道 » 求pytorch大神...

求pytorch大神解答，问题出在哪里 44回复/ 14亮53133 浏览

到第页GO

全部回帖

收起

何时身高190楼主2020-05-12 17:38:33

点灭只看此人举报21楼

引用 @zxlllccc 发表的:

只看此人

opt_D.step()放倒数第二行

谢谢大佬，可以了，想问问原因是什么，求教

亮了(0)

查看评论(2)

何时身高190楼主2020-05-12 17:38:53

点灭只看此人举报22楼

引用 @lose_dark 发表的:

只看此人

你这个是gan吗

是的

亮了(1)

zxlllccc2020-05-12 17:43:23发布于福建

点灭只看此人举报23楼

引用 @何时身高190 发表的:

只看此人

谢谢大佬，可以了，想问问原因是什么，求教

因为算G的loss的计算图是包含D的，但是你在G的backward之前更新了D的值，这时候再去计算就不是和forward时候对应的梯度了

亮了(21)

查看评论(2)

何时身高190楼主2020-05-12 17:46:15

点灭只看此人举报24楼

引用 @zxlllccc 发表的:

只看此人

因为算G的loss的计算图是包含D的，但是你在G的backward之前更新了D的值，这时候再去计算就不是和forward时候对应的梯度了

真的豁然开朗，明白了，太感谢大佬了

亮了(1)

Man_UnDead2020-05-12 19:05:40发布于山东

点灭只看此人举报25楼

楼主你这是什么字体呀

亮了(1)

查看评论(1)

何时身高190楼主2020-05-12 20:38:58发布于山东

点灭只看此人举报26楼

引用 @Man_UnDead 发表的:

只看此人

楼主你这是什么字体呀

jetbrain mono

亮了(0)

徐贼烦2020-05-12 23:39:44发布于上海

点灭只看此人举报27楼

引用 @hupu历史理智第一人发表的:

只看此人

在虎扑你甚至可以学会一门语言

是框架

亮了(3)

都他么是人才2020-05-12 23:55:40发布于贵州

点灭只看此人举报28楼

引用 @何时身高190 发表的:

只看此人

求助大神了

老哥这是毕设吗

亮了(0)

查看评论(1)

拳头公司2020-05-13 06:45:40发布于山西

点灭只看此人举报29楼

我上次出现这个是版本问题

亮了(0)

查看评论(1)

何时身高190楼主2020-05-13 15:44:56

点灭只看此人举报30楼

引用 @拳头公司发表的:

只看此人

我上次出现这个是版本问题

老哥，哪个版本没有这个问题

亮了(0)

查看评论(1)

何时身高190楼主2020-05-13 15:45:23

点灭只看此人举报31楼

引用 @都他么是人才发表的:

只看此人

老哥这是毕设吗

不是，我方向的东西，在学习这个

亮了(0)

商务老总2020-05-13 18:48:17发布于江苏

点灭只看此人举报32楼

引用 @hupu历史理智第一人发表的:

只看此人

在虎扑你甚至可以学会一门语言

奔涌吧，后浪🐶

亮了(0)

拳头公司2020-05-13 18:50:45发布于山西

点灭只看此人举报33楼

引用 @何时身高190 发表的:

只看此人

老哥，哪个版本没有这个问题

我记得1.5有，后来我换1.3就好了

亮了(0)

查看评论(1)

何时身高190楼主2020-05-13 20:42:59发布于山东

点灭只看此人举报34楼

引用 @拳头公司发表的:

只看此人

我记得1.5有，后来我换1.3就好了

好嘞，感谢老哥

亮了(0)

酱豆要变强2020-05-13 20:48:44发布于浙江

点灭只看此人举报35楼

引用 @zxlllccc 发表的:

只看此人

因为算G的loss的计算图是包含D的，但是你在G的backward之前更新了D的值，这时候再去计算就不是和forward时候对应的梯度了

并不是，第一个鉴别器的loss反向传播的时候设置了retained_graph=True了，保留梯度图了，并不会影响生成器loss里的反向传播，他这个就是pytorch版本不对，我用他一模一样的代码在我地方就能跑

亮了(1)

查看评论(4)

zxlllccc2020-05-13 22:42:55发布于福建

点灭只看此人举报36楼

引用 @酱豆要变强发表的:

只看此人

我想是因为在旧版本中 forward 的时候 context 存了需要的用来在backward时候计算梯度的值引用，而optimizer 更新 D 的时候是一个 in-place操作，改变了这个引用的值，所以会报错。而后面的版本中，也许 context 里存的不是引用，而是一个 clone 的新的值，所以就不会报这个错误了。

亮了(0)

查看评论(1)

zxlllccc2020-05-13 22:47:25发布于福建

点灭只看此人举报37楼

另外，楼主你的原代码应该是对的。我之前那样修改对于 GAN 来说是错误的，会使得 generator 的 loss 回传时会累加到 discriminator 上。而且我看到官方 tutorial 也是你原来的写法，所以更新版本可能是一个更好的选择，抱歉。

亮了(0)

zxlllccc2020-05-13 22:59:33发布于福建

点灭只看此人举报38楼

引用 @zxlllccc 发表的:

只看此人

不对，应该是更新之后的 optimizer.step() 不再是 in-place 操作，这样就会分配一块新的内存，而原来的内存仍然保留着。

亮了(0)