随机动态系统中Adam算法的分析

Xin Zheng, Yifei Jin, Lei Guo

摘要

本文针对时变非平稳系统，建立了Adam算法的通用理论，突破了传统独立同分布假设的限制。通过引入新方法分析Adam耦合的一阶和二阶矩递归产生的非平稳依赖随机矩阵乘积，为理解该算法在动态环境中的行为提供了理论基础。

Adam algorithmnonstationary systemsstochastic optimization

LEARNING

📊 8,465 引用

D. O. Hebb

2005

LEARNING

📊 7,678 引用

Benoît B. Mandelbrot, John W. Van Ness

1968

LEARNING

开放获取📊 7,484 引用

Laith Alzubaidi, Jinglan Zhang, Amjad J. Humaidi 等 10 位作者

2021

LEARNING

📊 4,608 引用

Andre Esteva, Alexandre Robicquet, Bharath Ramsundar 等 10 位作者

2018