#

PROCEED >

!

BLOG
AI APPS
PAPERS

Reading

Referenced

Reinforcement Learning

贝尔曼方程（Bellman Equation)

状态价值（State values）定义状态价值是强化学习中的核心概念，用于衡量Agent从某个状态出发、遵循特定策略后所能获得的期望回报。数学表达为： \[ v_\pi(s) = \mathbb{E}[G_t | S_t = s] \tag{1}\] 其中： \(v_\pi(s)\) ：状态 \(s\) 的状态价值函数（state-value function）或者简称为状态价值（state value）； \(\pi\) ：智能体遵循的策略； \(G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots\) ：从当前时间步 \(t\) 开始的折扣回报； \(\gamma \in (0, 1)\) ：折扣因子，用于平衡即时奖励和未来奖励。状态价值的特点依赖于状态 \(s\) ：状态价值是条件期望，条件是智能体从状态 \(s\) 开始。依赖于策略 \(\pi\) ：不同策略会生成不同的轨迹，从而影响状态价值。与时间步无关：状态价值是一个固定值，与当前时间步 \(t\) 无关。代表一个状态的价值。...

#Reinforcement Learning

Reinforcement Learning

价值迭代和策略迭代

引言强化学习中，找到最优策略是核心目标。本文详细介绍三种能够找到最优策略的基础算法：价值迭代、策略迭代和截断策略迭代。这些算法属于动态规划范畴，需要系统模型，是后续无模型强化学习算法的重要基础。在强化学习的发展路线中，这些算法处于"基础工具"到"算法/方法"的过渡阶段，是从"有模型"到"无模型"学习的重要桥梁。价值迭代（Value iteration）价值迭代算法基于收缩映射定理求解贝尔曼最优方程。其核心迭代公式为： \[\begin{equation}v_{k+1} = \max_{\pi \in \Pi} (r_\pi + \gamma P_\pi v_k), k = 0, 1, 2, ...\tag{1}\end{equation}\] 根据收缩映射定理，当 \(k \to \infty\) 时， \(v_k\) 和 \(\pi_k\) 分别收敛到最优状态值和最优策略。每次迭代包含两个步骤：策略更新步骤（policy update step）：找到能解决以下优化问题的策略 \[\pi_{k+1} = \arg\max_\pi (r_\pi +...

#Reinforcement Learning

Reinforcement Learning

贝尔曼最优方程(Bellman Optimality Equation)

最优策略（Optimal Policy ）之前在贝尔曼方程（Bellman Equation) 中说过，状态值可以用来评估一个策略是好是坏，这里给出正式的概念： \[v_{\pi_1}(s) \geq v_{\pi_2}(s) \quad \text { for all } s \in \mathcal{S}\] 那么此时 \(\pi_1\) 比 \(\pi_2\) ”更好“ 最优状态值（Optimal State Value）：对于任意状态 \(s\) ，最优状态值 \(v^*(s)\) 是所有可能策略中状态值的最大值： \[v^*(s) = \max_{\pi} v_{\pi}(s)\] 其中 \(v_{\pi}(s)\) 是策略 \(\pi\) 下的状态值。最优策略（Optimal Policy）：如果一个策略的状态值在所有状态中均大于或等于其他策略的状态值，则该策略为最优策略： \[\pi^* = \arg\max_{\pi} v_{\pi}(s), \forall s \in S\] 即最优策略总是选择使得状态值最大的动作。性质：存在性...

#Reinforcement Learning

Reinforcement Learning

DPO(Direct Preference Optimization)

背景 RLHF 通常包括三个阶段：有监督微调（SFT） RLHF首先通过在高质量数据上进行监督学习来微调预训练的语言模型，得到模型 \(\pi_{SFT}\) 。奖励建模阶段（Reward Model）在第二阶段，SFT模型根据提示 \(x\) 生成答案对 \((y_1, y_2) \sim \pi_{SFT}(y|x)\) 。这些答案对呈现给人类标注者，他们表达对一个答案的偏好，表示为 \(y_w \succ y_l|x\) ，其中 \(y_w\) 和 \(y_l\) 分别表示在 \((y_1, y_2)\) 中更受偏好和不受偏好的答案。这些偏好被假定由某个潜在的奖励模型 \(r^*(y, x)\) 生成，我们无法直接访问该模型。一种流行的建模偏好的方法是Bradley-Terry（BT）模型，该模型规定人类偏好分布 \(p^*\) 可以写为： \[p^*(y_1 \succ y_2|x) = \frac{\exp(r^*(x, y_1))}{\exp(r^*(x, y_1)) + \exp(r^*(x, y_2))} \] 假设我们有一个从 \(p^*\)...

#LLM #Reinforcement Learning

Reinforcement Learning

RL基础概念

基础概念 Grid-Word Example 环境描述：网格世界是一个直观的二维环境，包含：白色格子：可通行区域。橙色格子：禁止进入的区域（禁区）。目标格子：代理需要到达的目标位置。任务目标：找到一条“好的”策略，使代理从任意初始位置到达目标格子。策略应避免进入禁区、碰撞边界或走不必要的弯路。什么是强化学习：依据策略执行动作-感知状态-得到奖励所谓强化学习(Reinforcement Learning，简称RL)，是指基于智能体在复杂、不确定的环境中最大化它能获得的奖励，从而达到自主决策的目的。 a computational approach to learning whereby an agent tries to maximize the total amount of reward it receives while interacting with a complex and uncertain environment 经典的强化学习模型可以总结为下图的形式（你可以理解为任何强化学习都包含这几个基本部分：智能体、行为、环境、状态、奖励）：...

#Reinforcement Learning

Reinforcement Learning

强化学习Model-Free之蒙特卡洛

引言与背景蒙特卡洛方法是强化学习中的重要算法类别，它标志着从基于模型到无模型算法的转变。这类算法不依赖环境模型，而是通过与环境的直接交互获取经验数据来学习最优策略。蒙特卡洛方法在强化学习算法谱系中处于"无模型"方法的起始位置，是从基于模型的方法（如值迭代和策略迭代）向无模型方法过渡的第一步。无模型强化学习的核心理念可以简述为：如果没有模型，我们必须有数据；如果没有数据，我们必须有模型；如果两者都没有，我们就无法找到最优策略。在强化学习中，"数据"通常指智能体与环境交互的经验。均值估计问题在介绍蒙特卡洛强化学习算法之前，我们首先需要理解均值估计问题，这是理解从数据而非模型中学习的基础。考虑一个可以取有限实数集合 \(X\) 中值的随机变量 \(X\) ，我们的任务是计算 \(X\) 的均值或期望值： \(E[X]\) 有两种方法可以计算 \(E[X]\) ：基于模型的方法：当已知随机变量的概率分布时，可以直接根据期望值的定义计算： \[E[X] = \sum_{x \in X} p(x) \cdot x\] 其中 \(p(x)\) 是 \(X\) 取值为 \(x\)...

#Reinforcement Learning #Q-Learning

Reinforce Learning 概述

Feb 19, 2025

3092 views

Reinforcement Learning

#Reinforcement Learning

强化学习基础

RL基础概念
贝尔曼方程（Bellman Equation)
贝尔曼最优方程(Bellman Optimality Equation)
价值迭代和策略迭代
强化学习Model-Free之蒙特卡洛

改进算法

LLM中的RL

DPO(Direct Preference Optimization)

Read Next

Reinforcement Learning

强化学习Model-Free之蒙特卡洛

引言与背景蒙特卡洛方法是强化学习中的重要算法类别，它标志着从基于模型到无模型算法的转变。这类算法不依赖环境模型，而是通过与环境的直接交互获取经验数据来学习最优策略。蒙特卡洛方法在强化学习算法谱系中处于"无模型"方法的起始位置，是从基于模型的方法（如值迭代和策略迭代）向无模型方法过渡的第一步。无模型强化学习的核心理念可以简述为：如果没有模型，我们必须有数据；如果没有数据，我们必须有模型；如果两者都没有，我们就无法找到最优策略。在强化学习中，"数据"通常指智能体与环境交互的经验。均值估计问题在介绍蒙特卡洛强化学习算法之前，我们首先需要理解均值估计问题，这是理解从数据而非模型中学习的基础。考虑一个可以取有限实数集合 \(X\) 中值的随机变量 \(X\) ，我们的任务是计算 \(X\) 的均值或期望值： \(E[X]\) 有两种方法可以计算 \(E[X]\) ：基于模型的方法：当已知随机变量的概率分布时，可以直接根据期望值的定义计算： \[E[X] = \sum_{x \in X} p(x) \cdot x\] 其中 \(p(x)\) 是 \(X\) 取值为 \(x\)...

#Reinforcement Learning #Q-Learning

Reinforcement Learning

贝尔曼最优方程(Bellman Optimality Equation)

最优策略（Optimal Policy ）之前在贝尔曼方程（Bellman Equation) 中说过，状态值可以用来评估一个策略是好是坏，这里给出正式的概念： \[v_{\pi_1}(s) \geq v_{\pi_2}(s) \quad \text { for all } s \in \mathcal{S}\] 那么此时 \(\pi_1\) 比 \(\pi_2\) ”更好“ 最优状态值（Optimal State Value）：对于任意状态 \(s\) ，最优状态值 \(v^*(s)\) 是所有可能策略中状态值的最大值： \[v^*(s) = \max_{\pi} v_{\pi}(s)\] 其中 \(v_{\pi}(s)\) 是策略 \(\pi\) 下的状态值。最优策略（Optimal Policy）：如果一个策略的状态值在所有状态中均大于或等于其他策略的状态值，则该策略为最优策略： \[\pi^* = \arg\max_{\pi} v_{\pi}(s), \forall s \in S\] 即最优策略总是选择使得状态值最大的动作。性质：存在性...

#Reinforcement Learning

Reinforcement Learning

贝尔曼方程（Bellman Equation)

状态价值（State values）定义状态价值是强化学习中的核心概念，用于衡量Agent从某个状态出发、遵循特定策略后所能获得的期望回报。数学表达为： \[ v_\pi(s) = \mathbb{E}[G_t | S_t = s] \tag{1}\] 其中： \(v_\pi(s)\) ：状态 \(s\) 的状态价值函数（state-value function）或者简称为状态价值（state value）； \(\pi\) ：智能体遵循的策略； \(G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots\) ：从当前时间步 \(t\) 开始的折扣回报； \(\gamma \in (0, 1)\) ：折扣因子，用于平衡即时奖励和未来奖励。状态价值的特点依赖于状态 \(s\) ：状态价值是条件期望，条件是智能体从状态 \(s\) 开始。依赖于策略 \(\pi\) ：不同策略会生成不同的轨迹，从而影响状态价值。与时间步无关：状态价值是一个固定值，与当前时间步 \(t\) 无关。代表一个状态的价值。...

#Reinforcement Learning

Reinforcement Learning

价值迭代和策略迭代

引言强化学习中，找到最优策略是核心目标。本文详细介绍三种能够找到最优策略的基础算法：价值迭代、策略迭代和截断策略迭代。这些算法属于动态规划范畴，需要系统模型，是后续无模型强化学习算法的重要基础。在强化学习的发展路线中，这些算法处于"基础工具"到"算法/方法"的过渡阶段，是从"有模型"到"无模型"学习的重要桥梁。价值迭代（Value iteration）价值迭代算法基于收缩映射定理求解贝尔曼最优方程。其核心迭代公式为： \[\begin{equation}v_{k+1} = \max_{\pi \in \Pi} (r_\pi + \gamma P_\pi v_k), k = 0, 1, 2, ...\tag{1}\end{equation}\] 根据收缩映射定理，当 \(k \to \infty\) 时， \(v_k\) 和 \(\pi_k\) 分别收敛到最优状态值和最优策略。每次迭代包含两个步骤：策略更新步骤（policy update step）：找到能解决以下优化问题的策略 \[\pi_{k+1} = \arg\max_\pi (r_\pi +...

#Reinforcement Learning

Reinforcement Learning

基础概念 Grid-Word Example 环境描述：网格世界是一个直观的二维环境，包含：白色格子：可通行区域。橙色格子：禁止进入的区域（禁区）。目标格子：代理需要到达的目标位置。任务目标：找到一条“好的”策略，使代理从任意初始位置到达目标格子。策略应避免进入禁区、碰撞边界或走不必要的弯路。什么是强化学习：依据策略执行动作-感知状态-得到奖励所谓强化学习(Reinforcement Learning，简称RL)，是指基于智能体在复杂、不确定的环境中最大化它能获得的奖励，从而达到自主决策的目的。 a computational approach to learning whereby an agent tries to maximize the total amount of reward it receives while interacting with a complex and uncertain environment 经典的强化学习模型可以总结为下图的形式（你可以理解为任何强化学习都包含这几个基本部分：智能体、行为、环境、状态、奖励）：...

#Reinforcement Learning

Table of Contents

© 2025 ORANGE SYSTEM. ALL RIGHTS RESERVED.

v0.2.1

沪ICP备2025153054号