什么开源算法自称为 DeepSeek-R1（-Zero） 框架的第一个复现？顶级人体艺术

新强化学习框架 RAGEN，作家包括 DeepSeek 前职工 Zihan Wang、斯坦福李飞飞团队等，可测验 Agent 在行动中深度想考。

论文一作 Zihan Wang 在 DeepSeek 时间参与了 Deepseek-v2 和 Expert Specialized Fine-Tuning 等使命，当今在好意思国西北大学读博。

他在先容这项使命时上来等于一个灵魂发问：为什么你的强化学习测验老是崩溃？

而 RAGEN 恰是探求了使用多轮强化学习测验 Agent 时会出现哪些问题 ，以及怎么贬责这些问题。

通过大批履行，有计划团队发现了测验深度推理型 Agent 的三浩劫点 :

Echo Trap（回声罗网）：多轮强化学习中，模子过度依赖局部收益的推理，导致活动单一化、探索才智衰败，从而影响永久收益。

数据质地：Agent 生成的交互数据径直影响强化学习的后果。合理的数据应该具有千般性、限制的交互粒度和及时性。比如在单个任务上多试几次，每轮阁下 5-6 个行动，并保合手 rollout 的频繁更新。

困难推理动机：淌若莫得用心想象的奖励函数，Agent 很难学会多轮任务中合手续的推理才智。以致会出现名义看起来能完成任务 ， 内容上仅仅匹配了固定模式的假象。下一步的要害在于开采更细粒度、面向证明的奖励机制。

在交互式立地环境中测验推理 Agent

RAGEN 是一个模块化的 Agent 测验和评估系统，基于 StarPO（State-Thinking-Actions-Reward Policy Optimization）框架 ， 通过多轮强化学习来优化轨迹级别的交互流程，由两个要害部分构成：

MDP Formulation

将 Agent 与环境的交互表述为马尔可夫有打算流程   ( MDP ) ，其中情景和行动是 token 序列，从而允许在环境动态上推理。

StarPO：通过轨迹级优化强化推理

StarPO 是一个通用的强化学习框架，用于优化 Agent 的通盘多轮交互轨迹，在两个阶段之间瓜代进行，复古在线和离线学习。

Rollout 阶段：

给定启动情景，该模子会生成多条轨迹。在每一步中，模子齐会经受轨迹历史纪录并生成推理勾通的行动。

...reasoning process...  action  

环境经受行动并复返反馈（奖励和下一个情景）。

Update 阶段：多回合轨迹优化

生成轨迹后，测验优化预期奖励。StarPO 并非遴荐渐渐优化的口头，而是使用进犯性采样来优化通盘轨迹。这种设施能够在保合手计较服从的同期兑现长期推理。

StarPO 复古 PPO、GRPO 等多种优化计策。

除建议算法外，RAGEN 论文中还要点先容了通过有计划推理踏实性和强化学习动态得出的 6 点主要发现。

6 点主要发现

发现 1：多轮测验引入了新的不踏实模式

像 PPO 和 GRPO 这么的单轮强化学习设施的 adaptations 在 Agent 任务中有用，但同样会崩溃。PPO 中的"月旦者"大概不错 ** 降速不踏实性，但无法箝制推理才智的下跌，这突显了在 Agent 任务中对特意的踏实性进行转变的必要性。

发现 2：Agent 强化学习中的模子崩溃体现为测验流程中的"回声罗网"

早期智能体会以千般化的标记推理作念出响应，但测验后会堕入确信性、近似性的模板。模子会敛迹到固定的措辞，这标明强化学习可能会强假名义模式而非一般推理，并造成拒绝永久泛化的"回声罗网"。

发现 3：崩溃驯服类似的动态，不错通过打算算计

奖励的尺度差和熵等闲会在性能下跌之前发生波动，而梯度范数的峰值等闲标记着不行逆崩溃的临界点。这些打算提供了早期打算，并引发了对踏实计策的需求。

发现 4：基于不确信性的过滤提升了测验的踏实性和服从

基于奖励方差过滤测验数据不错有用顽抗"回声罗网"。仅保留高度不确信的测验实例不错延长或提防跨任务崩溃，并提升数据服从。

发现 5：任务千般性、行动预算和推出频率影响数据质地

千般化的任求实例能够兑现更好的计策对比和跨环境泛化。合适的行动预算能够提供豪阔的贪图空间，并幸免过长序列引入的噪声。Up-to-date rollouts 能够确保优化标的与刻下计策活动保合手一致。

发现 6：淌若莫得用心的奖励想象，推理活动就无法产生

固然标记推理在弱监督下的单轮任务中当然出现，但在多轮环境中，淌若莫得明确饱读舞可证明的中间推理风物的奖励想象，它就无法合手续存在。

团队不雅察到，即使有结构化的指示，淌若奖励信号仅温顺最终完毕，推理才智也会在测验流程中渐渐衰败。这标明淌若莫得密致的奖励塑造，智能体可能会倾向于走捷径，十足绕过推理。

One More Thing

同团队还有另一个神色 VAGEN，使用多轮强化学习测验多模态 Agent。

VAGEN 引入了回合感知推理交互链优化 ( TRICO ) 算法，通过两项要害创新扩张了传统的 RICO 设施：取舍性 token 屏蔽，跨轮 credit 分派。

与传统的 Agent 强化学习比较，VAGEN 不会对等对待轨迹中的通盘 token，而是要点优化最要害的有打算 token 并在交互流程中创建更密致的奖励结构，更得当多模态 Agent

RAGEN、VAGEN 代码均已开源，感好奇爱慕好奇爱慕的团队不错跑起来了。

论文：

https://github.com/RAGEN-AI/RAGEN/blob/main/RAGEN.pdf

代码

https://github.com/RAGEN-AI/RAGEN

https://github.com/RAGEN-AI/VAGEN

参考连合：

[ 1 ] https://ragen-ai.github.io

[ 2 ] https://x.com/wzihanw/status/1915052871474712858

一键三连「点赞」「转发」「留心心」

接待在评述区留住你的方针！

—  完  —

� � 点亮星标 � �

科技前沿阐述逐日见顶级人体艺术