在现代机器学习和深度学习领域，随机梯度下降（Stochastic Gradient Descent, SGD）算法几乎无处不在。从训练庞大的神经网络到处理海量数据集，SGD 及其变体是优化模型参数的核心引擎。然而，要真正理解 SGD 为何如此有效以及其收敛性的理论保障，我们不能仅仅将其视为一个简单的算法，而应追溯其深刻的数学根源——随机近似（Stochastic Approximation）理论。本文将从一个最基础的问题“增量式均值计算”出发，逐步揭示 Robbins-Monro 算法的精髓，并最终证明 SGD 正是该理论框架下的一个经典应用。
策略迭代是强化学习中的一个经典框架，它由两个核心步骤交替进行：
策略评估 (Policy Evaluation): 对当前的策略 $\pi_k$ 进行评估，计算出其状态价值函数 $v_{\pi_k}$。这需要求解贝尔曼期望方程： $v_{\pi_k} = r_{\pi_k} + \gamma P_{\pi_k} v_{\pi_k}$
在 Go 语言中，切片 (slice)、map 和 channel 都是引用类型，使用前必须初始化，否则直接使用会导致运行时错误（nil 引用）。本文系统讲解 make 的作用、使用场景、动态变化特性，并配合示例分析。
在基于模型的强化学习（特别是使用动态规划求解马尔可夫决策过程）中，价值迭代（Value Iteration）和策略迭代（Policy Iteration）是两大基石算法。它们从不同角度出发，最终都旨在找到最优策略 $\pi_*$。本文将深入剖析这两种算法的运作机制，并引出统一两者的泛化算法——截断策略迭代（Truncated Policy Iteration）。
在强化学习中，我们的最终目标是寻找一个最优策略（Optimal Policy），使得智能体（Agent）在与环境交互时能够获得最大的累积奖励。贝尔曼最优性方程是实现这一目标的基础工具，它为我们定义了最优价值函数，并指明了通向最优策略的道路。
在强化学习（Reinforcement Learning）中，我们的目标是让智能体（Agent）学会如何在一个环境中采取行动，以最大化累积奖励。为了评估一个策略（Policy）的好坏，我们需要一个标准来衡量在某个状态或采取某个动作后，未来可能获得的奖励总和。价值函数（Value Function）应运而生，而贝尔曼方程（Bellman Equation）则是连接价值函数的核心桥梁。
