<>(Pytorch:RuntimeError: Trying to backward through the graph a second time,
but the buffers have already been freed. Specify retain_graph=True when calling
backward the first time)

<>1. 具有多个loss值

retain_graph设置True,一般多用于两次backward
# 假如有两个Loss,先执行第一个的backward,再执行第二个backward loss1.backward(retain_graph=True) #
这样计算图就不会立即释放 loss2.backward() # 执行完这个后,所有中间变量都会被释放,以便下一次的循环 optimizer.step() #
更新参数
retain_graph设置True后一定要知道释放,否则显卡会占用越来越多,代码速度也会跑的越来越慢。

<>2. 但是,有的时候我明明仅有一个模型的也会出现这种错误

第一种是输入的原因。
// Example x = torch.randn((100,1), requires_grad = True) y = 1 + 2 * x + 0.3 *
torch.randn(100,1) x_train, y_train = x[:70], y[:70] x_val, y_val = x[70:], y[
70:] for epoch in range(n_epochs): ... prediction = model(x_train) loss.backward
() ...
在多次循环的过程中,input的梯度没有清除,而且我们也不需要计算输入的梯度,因此将x的require_grad设置为False就可以解决问题。

第二种是我在训练LSTM时候发现的。
class LSTMpred(nn.Module): def __init__(self, input_size, hidden_dim): self.
hidden= self.init_hidden() ... def init_hidden(self): #这里我们是需要个隐层参数的 return (
torch.zeros(1, 1, self.hidden_dim, requires_grad=True), torch.zeros(1, 1, self.
hidden_dim, requires_grad=True)) def forward(self, seq): ...
这里面的self.hidden我们在每一次训练的时候都要重新初始化隐层参数:
for epoch in range(Epoch): ... model.hidden = model.init_hidden() modout =
model(seq) ...
<>3. 总结

其实,想想这几种情况都是一回事,都是网络在反向传播中不允许多个backward(),也就是梯度下降反馈的时候,有多个循环过程中共用了同一个需要计算梯度的变量,在前一个循环清除梯度后,后面一个循环过程就会在这个变量上栽跟头(个人想法)。

技术
今日推荐
阅读数 155
下载桌面版
GitHub
百度网盘(提取码:draw)
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:766591547
关注微信