发布日期：2026-09-22 08:36    点击次数：161

允中 发自 凹非寺世界杯体育

量子位 | 公众号QbitAI

Codex、Claude Code等数字全国智能体，仍是向咱们展示出了一种全新且高效的使命款式：大模子勾搭指标，拆罢黜务，调用合适的器具，并根据践诺终结抵制调整诡计，直到完成任务。

跟着GPT-6 Astra开动接受果真机器东说念主操作测试，这种“让大模子行为决策大脑”的智能体范式正渐渐走向物理全国。

同期，也让一个也曾远方的问题变得越来越具体：

通用大模子，能否成为机器东说念主的“大脑”，让机器东说念主真确完成本质全国中的复杂任务？

但机器东说念主面临的不是不错随时回滚的代码，在物理全国里，环境延续变化、景况无法填塞不雅测，动作一朝发生也很难松弛铲除，持取、安装、插拔等邃密操作更需要挑升的模子与截止材干。

物理全国中的智能体，不仅仅“想明白”，还必须“看得见、作念得到、反映快”，何况“铭记住”。

今天，由清华大学、无问芯穹、正行鼎新聚集发起的具身智能体基础纪律RPent崇拜开源。

RPent面向果真物理全国，将通用大模子的任务勾搭与诡计材干、VLA等大家模子的邃密操作材干，以及追到、器具和机器东说念主接口勾搭起来，形成从感知、决策、践诺到反馈纠错的齐全闭环，使智能体或者延续恰当环境变化，并将经过考证的教师千里淀为可复用的材干，在与物理环境的延续交互中抵制学习和进化。在LIBERO-PRO基准测试中达到92.6%的任务到手率，并将端到端任务完成速率优化7倍以上。

RPent由大范畴具身强化学习框架RLinf的核心团队打造，延续了该团队在具身智能基础纪律领域的技巧积攒。

开源代码衔接：https://github.com/RLinf/RPent

RPent真机效力展示：从“会动”到“会作念事”

在这一视频中，RPent展示了多个意旨的敞开式任务：机器东说念主将钢珠倒入碗中，双臂协同擦抹盘子，还会主动移开讳饰物，找到藏在碗下的勺子。

值得把稳的是，这些任务并不是为每一种场景单独磨砺一个专用政策。机器东说念主真确发生的变化，是开动从“践诺学过的动作”，走向“理罢黜务、调用材干，并根据环境变化调整步履”。

1、举例，当任务变化为“将干净餐具放入纸箱”时，面临归拢只蓝色盘子，冻结VLA只会沿用磨砺时学到的动作，将它失实地放入金属篮中；

而在RPent中，智能体会先不雅察当前环境，再根据新的指标遴荐甩掉位置。践诺过程中，如果视觉定位出现偏差，它还会查验终结、摈斥失实指标，并再行定位手中的盘子。任务变了，机器东说念主也能随之改变步履。

2、另一个任务中，机器东说念主需要读取瓶身和袋子上的品牌标签，将不同饮料放入对应的袋子。

持起瓶子后，它会先进行小幅试抬，阐述夹持踏实；

当原有畅通旅途不可行时，再调整腕部姿态络续践诺。

接着，面临被碗讳饰的勺子，机器东说念主也不会径直尝试持取，而是先移开两个碗，让指标再行变得可见、可达。

这里展示的仍是不再是一条事前写死的动作序列，而是一个齐全的“不雅察-判断-践诺-纠错”闭环。

3、临了两个任务则进一步展示了RPent对已有材干的复用。

机器东说念主不错将本来用于“提起并甩掉容器”的技巧再行组合，用于倾倒钢珠；又主理取动作与双臂协同、延续构兵组合起来，完成持盘、擦抹和收纳。

探索到手后，RPent会把经过考证的任务逻辑千里淀为任务卡（Task Card）；再次践诺时，RPent不错启用Flash Mode，通过任务卡径直复用这套历程，只根据当前视觉景况作念必要调整，幸免每一步皆再行调用大模子，有用裁减了具身智能体践诺的延时。

这一整套Demo想展示的，并不是“机器东说念主又学会了几个动作”，而是一个更贫瘠的问题：当机器东说念主走向敞开全国，新的任务、物体和扼制抵制出刻下，它能否像东说念主通常将已有技巧再行组织起来，完成磨砺溜达以外的任务？

RPent所探索的，恰是这么的具身智能体形态。

机器东说念主不再仅仅践诺一条固定指示，而是或者勾搭指标、调用材干、应付变化，并将一次到手千里淀为下一次不错复用的教师，这恰是具身智能体的雏形。

RPent核心假想念念路

当前具身智能的发展，正在渐渐呈现两种不同的技巧路子。

一条是纯VLA端到端。

用一个视觉-说话-动作模子径直吃下不雅测、吐转移作，邃密操作作念得很好，但一朝任务变长、说话变花、场景被扰动就飞速退化。

另一条是纯大模子Agent（如CAP-X这类使命）。

跟着GPT-6这一代通用模子对具身任务的隐敝率快速升迁，大模子径直输转移作仍是能跑通不少任务——但它在亚厘米级的精度、践诺时延与“越用越强”这几件事上仍有判辨短板。

两条路子之间并非简短的替代议论，而是对应了不同脉络的材干：

RPent并不是在两种路子之间进行折中，更不是让某一个模子变得无所不可，包办从任务勾搭到机械臂截止的通盘使命，而是将具身智能拆解为不同脉络的材干，让不同模子各自承担最擅长的事情：

通用大模子负责理罢黜务、制定诡计；VLA、WAM等大家模子负责高精度动作践诺；追到系统千里淀教师，推动智能体延续优化；框架负责勾搭模子、器具与果真环境，形成闭环。

由此，它们形成“不雅察-诡计-践诺-反馈-再诡计”的闭环，让智能体从一次性践诺任务，走向在果真全国中延续成长。

其背后算法，源于团队于7月份建议的Harness VLA使命（衔接：https://arxiv.org/abs/2607.08448）

01敞开的模块化架构，让模子、器具和硬件各司其职

RPent秉承敞开的模块化假想，将系统分裂为用户层、智能层、接口层和环境层四大层级。

在用户层，不错通过交互式号令行或Web Dashboard下达任务，并有观看视觉输入、推理过程和动作轨迹。

智能层中的诡计器结合基础模子、Memory与器具库拆罢黜务，动作原语则把VLA、WAM和法子化技巧封装成可调用器具。

在环境层和接口层，机器东说念主截止、模子劳动和仿真环境不错镇定部署，通过轻量级通讯勾搭。

表层任务逻辑无须绑定某一种机器东说念主或仿真器，新增成立只需已毕圭臬动作、景况与环境接口。当前RPent已隐敝LIBERO-PRO、RoboCasa、RoboTwin、RoboDojo等仿真环境，以及Franka、双臂Franka、YAM、SO101等果真成立。

用户层（User Layer）：智能体交互进口

用户层提供雷同Claude Code/Codex的交互式CLI，以及可选Web Dashboard。

用户不错下达任务指示，并及时有观看智能体推理过程、视觉输入和动作轨迹，已毕对智能决策过程的可不雅测及及时交互。

智能层（Intelligence Layer）：任务诡计与材干调整中心

智能层由Agentic Planner和Action Primitive构成。

Agentic Planner结合基础模子、Memory和Tool Library，已毕任务勾搭、诡计与器具调用，并通过Agentic Loop完成“诡计 → 践诺 → 反馈 → 追到更新”的延续优化。

Action Primitive将VLA、WAM等学习型操作模子，以及Code as Policy等法子化技巧息争封装为圭臬器具，使大模子负责复杂任务勾搭与诡计，大家模子负责高精度动作践诺，从而兼顾泛化材干涉操作精度。

接口层（Interface Layer）：息争勾搭模子与机器东说念主

接口层将智能体决策转移为机器东说念主可践诺指示，为不同成立提供息争调用接口，包括动作践诺、景况读取、环境渲染和成立复位等材干。

无论是果真机器东说念主照旧仿真平台，表层Agent、提醒词和器具均无需针对成立再行拓荒，已毕跨机器东说念主、跨环境迁徙。

环境层（Environment Layer）：勾搭果真与仿真全国

环境层负职守务践诺，现在已赈济LIBERO-PRO、RoboCasa、RoboTwin等仿真环境，以及Franka、双臂Franka、YAM等果真成立。

新增机器东说念主只需行为镇定模块接入robots/ 目次，即可被框架自动识别和调用。

此外，智能层与环境层秉承镇定程度架构，赈济模子劳动、机器东说念主截止和仿真环境的镇定部署、迁徙与重启，为延续研发和遥远运行提供工程保险。

通过模块化架构与息争接口假想，RPent不绑定单一模子或机器东说念主，而是构建了一个敞开、可推广的具身智能基础纪律，让不同模子、技巧与硬件或者天真组合、高效协同。

同期，每一次任务践诺产生的反馈皆不错千里淀到追到系统，为后续任务提供教师赈济，使智能体在果真环境中延续学习与优化，将智能体的材干从“一次性部署”推向了“延续演进”。

02息争接口假想，让智能体以圭臬款式勾搭物理全国

在数字全国中，Agent的材干畛域很大程度上取决于它能调用哪些器具。MCP的出现，让大模子不错通过息争的器具契约探问搜索、代码、数据库等数字资源。

但插手物理全国之后，问题变得复杂得多。

机器东说念主、相机、传感器、仿真器和多样物理成立皆有各自的接口。即使是完成归拢个任务，不同机器东说念主也可能使用填塞不同的截止款式。

如果每接入一种成立，皆需要再行拓荒一套Agent，那么智能体很难真确范畴化推广。

因此，RPent将“器具-机器东说念主-环境”进一步概括，通过分层接口把智能决策与物理践诺解耦。将“大模子决策”与“物理成立践诺”勾搭起来，已毕智能体、器具和硬件之间的息争合作。

RPent用三层接口把智能决策与成立践诺分开：

MCP息争描述可调用材干。无论底层是VLA、法子化技巧照旧其他器具，诡计器皆通过息争界说进行遴荐和调用。RPC勾搭器具、模子劳动与机器东说念主环境，使果真成立、仿真平台、土产货程度和良友劳动不错镇定部署。MHS面向更无为的物理成立提供息争读写与截止概括，使智能体改日或者从机器东说念主推广到实验仪器、家庭成立和工业系统。

（在着手的真机视频中展示的Franka和YAM的操控，皆来自于息争接口。）

通过MCP、RPC与MHS的分层假想，RPent正在构建一套勾搭模子、器具、机器东说念主与物理成立的息争接口体系，让智能体或者像调用数字器具通常调用物理材干，从“操作数字资源”进一步走向“操作果真全国”。

03 Memory机制驱动，让一次到手千里淀为遥远材干

能完成一次任务，并不料味着真确领有了这项材干。

在物理全国中，试错的老本远高于数字环境。一次失败的持取可能需要再行叮咛场景，一次失实操作以致可能变成成立损坏。

如果每次践诺收尾后教师无意隐没，智能体就只可反复从零开动。

RPent的Memory系统但愿改变的恰是这小数：让一次探索产生的教师，成为改日任务践诺的基础。

RPent将教师按复用范围组织为三层追到，并为追到记载适用范围、类型、实在度和扶持左证。新教师需要经过考证后才能提高实在度；互相冲破的记载会被保留和拦截，幸免偶然到手稠浊已有材干。

追到机制中包含Recipe，也即是可迁徙的任务决策，而不是某一次践诺中的固定坐标。

举例，系统不错记载“先根据任务描述和当前画面阐述指标，再调整夹爪位置，调用VLA完成持取，并查验持取终结”的操作过程。

当物体位置改变时，智能体再行不雅察环境，再复用筹议逻辑，而不是径直沿用原来的坐标。

探索模式允许更新追到；评测模式只读使用仍是冻结的教师，使演进过程愈加可控。

在LIBERO-Pro Goal实验中，引入追到机制后，RPent在职务扰动环境下阐扬出判辨升迁：在位置交换任务中，到手率从31.0%升迁至87.0%。

此外，RPent赈济追到财富分发。一次探索产生的教师不错同步至其他智能体，使单个智能体取得的材干或者成为整个系统延续进化的基础。

通过Memory系统，RPent将智能体从“一次性完成任务”鼓励到“延续学习和积攒教师”。

智能体的材干不再填塞依赖模子预磨砺，而是在果真全邦交互中抵制增长。

04开启Flash Mode，让智能体跟上物理全国节拍

将大模子引入机器东说念主截止回路，为智能体带来了更强的勾搭和诡计材干，但也带来了新的挑战。

大模子推理速率时时远慢于机器东说念主动作践诺速率。在物理环境中，恭候模子生成下一步决策可能成为整个系统的主要延长来源。

因此，RPent并不是单纯追求更快的大模子，而是通过架构优化减少无须要的调用，让智能体运行节拍愈加逼近果真全国。

在本色运用中，无数机器东说念主任务具有较强重叠性：任务指标和践诺逻辑基本踏实，变化的主若是物理位置、姿态和环境景况。关于这类任务，如果每次皆从新进行齐全诡计，无疑会产生无数重叠推理。

RPent通过Flash Mode来管制Agentic Planner运用于真机的这一加快问题，其核心技巧载体是任务卡（Task Card）。

在探索阶段，RPent允许诡计器调用大模子、VLA和法子化技巧，尝试不同动作组合，并将到手且经过考证的任务历程压缩为Task Card。Task Card保存任务阶段、动作原语、重要指标与查验条目，不保存只可在一次场景中使用的固定坐标。

插手Flash Mode后，系统优先按照Task Card践诺：视觉模块再行定位重要物体，践诺模块根据当前景况调整动作；惟一在查验失败、环境偏离或历程无法络续时，才再行调用诡计器处理。这么既保留了大模子应付变化的材干，也幸免在踏实历程中反复进行高老本推理。

在LIBERO Object的200次评测中，开启Flash Mode将平均践诺时刻从283.6秒裁减至40.9秒，在到手率仅下落3.5个百分点的情况下，已毕约7倍加快。这亦然着手真机视频中Flash Mode的技巧含义：把探索得到的到手决策更正为不错快速复用、同期保留环境恰当材干的践诺历程。

RPent将已教师证的任务逻辑千里淀下来，在环境发生变化时仅作念必要调整，让具身智能体从“每次再行诡计”走向“教师复用践诺”——不仅仅记取畴昔作念过什么，更能将已有教师更正为更高效的步履。

05 Leaderboard：展示模子与系统协同后的材干

社区当下关于Agentic Planner存在筹议的问题：到底进展到哪一步了？

为了回应这个问题，RPent推出了Leaderboard板块（https://rpent.readthedocs.io/zh-cn/latest/rst_source/leaderboard.html），秉承不同技巧路子、不同基座模子的决策在性能和延时的对比一目了然。

△性能Leaderboard：现在展示了LIBERO-Pro、LIBERO、RoboCasa365 Target50与RoboTwin

△延时Leaderboard：现在展示了LIBERO-Pro、RoboCasa365与RoboTwin

GPT-6 Astra在RPent中展现出凸起的长程任务与扰动恰当材干。在更强调指示变化、布局变化和长程践诺的LIBERO-Pro上，RPent/GPT-6 Astra达到92.63%，比较图中第二名RPent/Opus-4.7的82.4%卓越10.23个百分点；比较π_RLinf的50.0%卓越42.63个百分点。此外，开启了Flash Mode的RPent判辨裁减了延时。

在RoboCasa365 Target50的厨房长程任务中，RPent/GPT-6 Astra达到59.20%，位列图中第一，高于RPent/GPT-5.5的57.1%。这讲明更强的基础模子经过RPent的器具组织、追到与践诺闭环后，或者有用更正为物理任务材干。

其余榜单也久了了RPent对不同模子与践诺建立的兼容性：RPent/Opus-4.7在LIBERO达到96.0%；RPent/GPT-5.5在RoboTwin达到62.4%，均处于图中开首位置。

终结更值得诊疗的不是某一个模子单独完成了通盘截止，而是通用模子、大家模子、器具和追到系统不错在归拢框架内协同阐明作用。

为物理全国中延续进化的智能体，构筑敞开的基础纪律

从Codex、Claude Code到RPent，AI正在从“在数字全国完成任务”，走向“在物理全国完成任务”。

当智能体走向果真全国，变化的不仅仅模子材干的畛域，也包括扶持这种材干运行的基础纪律形态。

机器东说念主需要看见环境、理罢黜务、调用不同材干、完成邃密动作，还需要根据果真反馈抵制调整政策，并把已教师证过的教师保留住来。

是以，围绕这一齐全过程来组织智能体系统的RPent，并非仅仅一个开源的“让大模子截止机器东说念主”的框架，而是一套或者勾搭模子、器具、机器东说念主与环境，并赈济智能体在果真全国中延续运行、积攒教师和抵制递归演进的智能核心。

从一次任务，到一类任务；从一次践诺，到延续进化。

RPent所代表的，恰是大模子真确走进物理全国之后，需要再行构建的下一层基础纪律。

开源地址：https://github.com/RLinf/RPent

*本文系量子位获授权刊载世界杯体育，不雅点仅为原作家整个。