功林, 马昕言, 邓蔚, 刘科俊
深度学习作为人工智能领域的新兴研究方向, 近年来受到广泛关注, 并在许多应用领域取得了显著的进展. 共轭梯度法作为一种有效的优化方法, 通过迭代逼近最优解, 在数值效果方面表现出色. 与其他方法相比, 这类方法无需计算Hessian矩阵, 从而大大减少了计算和存储空间的需求. 因此, 本文旨在研究共轭梯度法在深度学习中的应用, 并提出了一种新的共轭梯度法, 证明了该算法具有充分下降性和信赖域特征. 此外, 我们还介绍了随机子空间算法以及基于该算法改进的带有方差缩减技术的随机子空间算法, 并给出了新算法的详细步骤, 以便更直观地理解其目的和意义. 通过理论证明, 我们得出了新算法具有良好的收敛性和高效的迭代效率, 且复杂度为$O(\epsilon^{-\frac{1}{1-\beta}})$, 同时通过实验说明该方法有着良好的数值表现.