基本原理不同·这个优化器啊·SGD主要就是调整学习率有时候还有动量等其他参数要调

1. 基本原理不同

ADAM这个优化器啊，其实是个大杂烩，它把动量和RMSprop这两个优化器的优点都结合起来了。它就像是个记账员，一边记录着梯度的平均值，一边还记录着梯度的平方平均值，然后根据这些信息来自动调整学习率。

而SGD呢，就像是每次只看一个学生的成绩来决定怎么教，它每次更新权重都是基于随机选择的一个样本的梯度。

2. 速度与效率不同

ADAM这个家伙动作快，通常收敛得快，迭代次数也少。

相比之下，SGD可能要慢一些，有时候还会在一些角落里转圈圈，也就是可能陷入局部最优解。

3. 鲁棒性与稳定性的差异

ADAM适应性强，不管遇到什么问题都能应付，因为它会自动调整学习率。

SGD有时候就需要手动调整学习率，不然可能收敛得慢或者过拟合。

4. 超参数的敏感度

ADAM虽然自己会调整学习率，但还是有几个超参数需要你手动调整，比如β1、β2和ε。

SGD主要就是调整学习率，有时候还有动量等其他参数要调。

5. 适应性与广泛性的对比

ADAM是个万金油，各种深度学习任务和数据集都能应对自如。

SGD在某些任务上可能需要你多动动脑筋，做一些调整。

6. 收敛速度的对比

ADAM大部分情况下都能比SGD更快收敛。

SGD有时候可能需要很长时间，尤其是在网络结构复杂或者数据集大的情况下。

延伸阅读