步长：最优化问题中的叫法；

学习速率：神经网络中的叫法；

梯度更新的方式：

为步长（学习率）。

其中有必要说一点的是表示的是当前实际的输出，y表示的是其类标。

当输入为x时，目标函数表示为一个线性函数的形式为：。其中每一个x1,x2,...表示的是维度。

1. 梯度下降：对于的更新是所有样本都参与的，那么得到的梯度是一个比较标准的值，一次更新的幅度也会比较大，但是样本多的时候，并且样本的维度也是很大的，会降低运算的速度。此外，对电脑内存等也是一个巨大的考验。现在在实际中很少使用。当然，当样本比较少的时候，是可以用的。

2. 随机梯度下降：对是随机的选取一个样本，通过这个小的的梯度来更新整体的，当然是不太准确的，但是重在速度快，当训练的迭代次数比较多的时候，也会去的很好的效果。不过，注意陷入局部最优解。

3. 小批量梯度下降：对是随机的选取一个小的batch，这个方法在深度学习中使用的比较多。