这里主要讲不同常见优化器代码的实现，以及在一个小数据集上做一个简单的比较。

其中，SGD和SGDM，还有Adam是pytorch自带的优化器，而RAdam是最近提出的一个说是Adam更强的优化器，但是一般情况下真正的大佬还在用SGDM来做优化器。

导入必要库：

主程序部分：

下图是优化器的对比：

可以看出来，Adam的效果可以说是非常好的。然后SGDM其次，SGDM是大佬们经常会使用的，所以在这里虽然看起来SGDM效果不如Adam，但是依然推荐在项目中，尝试一下SGDM的效果。

喜欢的话请关注我们的微信公众号~【机器学习炼丹术】。

• 公众号主要讲统计学，数据科学，机器学习，深度学习，以及一些参加Kaggle竞赛的经验。
• 公众号内容建议作为课后的一些相关知识的补充，饭后甜点。

微信搜索公众号：【机器学习炼丹术】。期待您的关注。