梯度下降法及其Python实现

  • 时间:
  • 浏览:0
  • 来源:彩神欢乐生肖_神彩欢乐生肖官方

这里每另另一个多圈代表另另一个多函数梯度,最中心表示函数极值点,每次迭代根据当前位置求得的梯度(用于选用搜索方向以及与步长一并决定前进强度)和步长找到另另一个多新的位置,这样 不断迭代最终到达目标函数局部最优点(其他目标函数是凸函数,则到达全局最优点)。下面让当人们将通过公式来具体说明梯度下降法下面这种生活h(θ)是让当人们的拟合函数

其中,

其他根据每个参数的负梯度方向来更新每另另一个多

随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比

这里表示第i个样本点的第j分量,即h(θ)中的接下来其他让当人们要最小化风险函数,故按照每个参数的负梯度方向来更新每另另一个多

从上述图形可不还要看出,SGD其他每次全是用另另一个多样本点进行梯度搜索,其他其最优化路径看上去比较盲目(这也是随机梯度下降名字的由来)。对比其优劣点如下:批量梯度下降:优点:全局最优解;易于并行实现;总体迭代次数越多缺点:当样本数目越多 时,训练过程会更慢了 ,每次迭代还要耗费少许的时间。随机梯度下降:优点:训练强度快,每次迭代计算量不大缺点:准确度下降,并全是全局最优;不易于并行实现;总体迭代次数比较多。

参考文档:

与批量梯度下降相比,随机梯度下降每次迭代只用到了另另一个多样本,在样本量很大的请况下,常见的请况是只用到了其中一主次样本数据即可将θ迭代到最优解。其他随机梯度下降比批量梯度下降在计算量上会大大减少。SGD有另另一个多缺点是,其噪音较BGD要多,使得SGD并全是每次迭代都向着整体最优化方向。其他SGD其他每次全是使用另另一个多样本进行迭代,其他最终求得的最优解往往全是全局最优解,而我希望局部最优解。其他大的整体的方向是向全局最优解的,最终的结果往往是在全局最优解付进 。下面是这种生活土法子的图形展示:

梯度下降法(gradient descent),又名最速下降法(steepest descent)是求解无约束最优化大大问题最常用的土法子,它是这种生活迭代土法子,每一步主要的操作是求解目标函数的梯度向量,将当前位置的负梯度方向作为搜索方向(其他在该方向上目标函数下降最快,这也是最速下降法名称的由来)。

梯度下降法特点:越接近目标值,步长越小,下降强度越慢。直观上来看如下图所示:

上端的具体梯度求解全是围绕这种生活目标来进行。批量梯度下降BGD按照传统的思想,让当人们还要对上述风险函数中的每个求其偏导数,得到每个对应的梯度

称为样本点的损失函数接下来让当人们对每个样本的损失函数,对每个求其偏导数,得到每个对应的梯度

也可不还要用向量的形式进行表示:

结果(截取主次):

  1.  theta0 : 2.782632, theta1 : 3.2078100, theta2 : 7.998823, error1 : 7.1008687  
  2.  theta0 : 4.2541002, theta1 : 3.1009652, theta2 : 11.972218, error1 : 813.5100287  
  3.  theta0 : 5.154766, theta1 : 3.351648, theta2 : 14.188535, error1 : 1686.1007256  
  4.  theta0 : 5.100348, theta1 : 2.489862, theta2 : 15.617995, error1 : 2086.492788  
  5.  theta0 : 6.326710, theta1 : 1.100854, theta2 : 16.676947, error1 : 2204.562407  
  6.  theta0 : 6.792409, theta1 : 0.499552, theta2 : 17.545335, error1 : 2194.779569  
  7.  theta0 : 74.892395, theta1 : -13.494257, theta2 : 8.587471, error1 : 87.700881  
  8.  theta0 : 74.942294, theta1 : -13.493667, theta2 : 8.571632, error1 : 87.372640  
  9.  theta0 : 74.992087, theta1 : -13.4910079, theta2 : 8.555828, error1 : 87.045719  
  10.  theta0 : 75.041771, theta1 : -13.492491, theta2 : 8.510057, error1 : 86.720115  
  11.  theta0 : 75.091349, theta1 : -13.491905, theta2 : 8.524321, error1 : 86.395820  
  12.  theta0 : 75.140820, theta1 : -13.491320, theta2 : 8.1008618, error1 : 86.0728100  
  13.  theta0 : 75.190184, theta1 : -13.490736, theta2 : 8.4929100, error1 : 85.751139  
  14.  theta0 : 75.239442, theta1 : -13.490154, theta2 : 8.477315, error1 : 85.4100741  
  15.  theta0 : 97.986390, theta1 : -13.221172, theta2 : 1.257259, error1 : 1.553781  
  16.  theta0 : 97.9861005, theta1 : -13.221170, theta2 : 1.257223, error1 : 1.5536100  
  17.  theta0 : 97.986620, theta1 : -13.221169, theta2 : 1.257186, error1 : 1.553579  
  18.  theta0 : 97.986735, theta1 : -13.221167, theta2 : 1.257100, error1 : 1.553479  
  19.  theta0 : 97.986849, theta1 : -13.221166, theta2 : 1.257113, error1 : 1.553379  
  20.  theta0 : 97.986963, theta1 : -13.221165, theta2 : 1.257077, error1 : 1.553278  
  21. Done: theta0 : 97.987078, theta1 : -13.221163, theta2 : 1.257041  
  22. 迭代次数: 3443  

这里让当人们乘上1/2是为了方便上端求偏导数时结果更加简洁,这种生活能乘上1/2是其他乘上这种生活系数后对求解风险函数最优值这样影响。让当人们的目标我希望要最小化风险函数,使得让当人们的拟合函数才能最大程度的对目标函数y进行拟合,即:

下面函数是让当人们还要进行最优化的风险函数,其中的每一项都表示在已有的训练集上让当人们的拟合函数与y之间的残差,计算其平方损失函数作为让当人们构建的风险函数(参见最小二乘法及其Python实现)

这里的α表示每一步的步长从上端公式可不还要注意到,它得到的是另另一个多全局最优解,其他每迭代一步,全是用到训练集所有的数据,其他m很大,这样可想而知这种生活土法子的迭代强度!!越多 ,这就引入了另外这种生活土法子,随机梯度下降。随机梯度下降SGD其他批量梯度下降在训练集很大的请况下迭代强度非常之慢,越多 在这种生活请况下再使用批量梯度下降来求解风险函数的最优化大大问题是不具有可行性的,在此请况下,提出了——随机梯度下降让当人们将上述的风险函数改写成以下形式:

可不还要看到最后收敛到稳定的参数值。

注意:这里在选用alphaepsilon时还要谨慎选用,其他不适的值会因为最后无法收敛。



============ 分割分割 =============上端让当人们讲解了哪几个是梯度下降法,以及如何求解梯度下降,下面让当人们将通过python来实现梯度下降法。