admin管理员组

文章数量:1516870

陷入局部最优?

  • sgd:调大学习率
  • 换用adam等优化方法
  • 递进学习->1000->10000->80000
  • 调小batch：（A.全部数据作为一个batch和 B.每个采样作为一个batch）一般用的时候，在非监督训练阶段，可以先用B方法创建初始模型，
    然后在监督训练阶段，选择小batch size进行初步训练，让模型跳出局部极值，之后用大的batch size让模型收敛，这样一般能达到比较好的效果
    来源： http://www.fx114/qa-10-166186.aspx

本文标签： 很高模型损失

版权声明：本文标题：损失还很高但是模型不收敛了怎么办？ 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.betaflare.com/biancheng/1743863887a2552229.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。