通用大模型要「降维打击」具身智能?首个AA-Robotics榜单来了
10月14日,知名大模型评测机构Artificial Analysis把那些在数学、编程等领域表现优异的通用大模型,拉入了一场真实的机器人考试。
在新发布的AA-Robotics v0.1评测中,GPT、Claude、Gemini等前沿模型需控制真实机械臂,完成倒水、写字、搭积木等八项任务,比拼“动手能力”。
结果,大模型们刚一上阵就闹出不少笑话。一台机械臂花了十几分钟,终于将几块泡沫积木搭成一座合格高塔。指挥它的GPT-6.1 Sol明明已完成任务,却仍不肯停手,继续调整积木,结果反而让这项任务以失败告终。
这只是此次机器人考试中颇具戏剧性的一幕。
首批结果同样充满反差:GPT-6 Astra排名第一,通用大模型已能借助编程Agent操控真实机械臂;但它们完成一项任务平均需要约半小时,比人类基线慢了近两个数量级。
这份成绩单,也让机器人行业最近的一场争论有了新讨论依据:随着通用大模型越来越强,具身智能公司专门训练的“机器人大脑”,究竟还有多少不可替代的价值?
上个月,GPT-6 Astra控制机械臂画金门大桥、抓取积木、模仿人类操作的视频接连刷屏。一台售价约150美元的机械臂,在Astra的控制下,竟能根据摄像头画面自主规划动作,一笔笔画出金门大桥。
更有说服力的实验来自RoboCurve。在其实机测试中,Astra控制双机械臂,把红色积木放进碗里,20次成功了19次。这样的成绩,让不少人开始追问:既然通用大模型已懂视觉、空间、推理,还能编写控制代码,机器人公司为什么还要投入大量时间和金钱,从头训练自己的VLA模型?有人甚至提出,机器人领域的OpenAI,可能就是OpenAI自己。
但身处具身智能行业的人,并不完全买账。
9月10日的外滩大会上,自变量机器人创始人王潜谈到这种“降维打击”的说法时,判断目前可能性不大。他的理由是,模型的能力来自数据。编程模型变强,背后有大量代码数据和成熟的验证体系;机器人面对的物理世界,同样需要专门的数据、评测、硬件与基础设施,不会因为语言模型强大就自动解决。王潜还提到,Astra并非与机器人数据完全绝缘。因此,通用模型能控制机械臂,并不能简单理解为语言能力自然迁移到了物理世界。
破壳机器人创始人许华哲也动手试过Astra。它能识别桌面物品,甚至抓起一根筷子;但一旦要求它用筷子进行更复杂的接触操作,表现就明显下降。在他看来,语义理解、空间理解的进步令人惊喜,复杂的物理交互却还是另一道题。
双方争论的焦点,由此逐渐清晰:通用大模型能不能“动手”,已经不是唯一问题;它到底能做多少,能否做得稳定、迅速,才更关键。AA-Robotics恰好提供了一把新尺子。
Artificial Analysis此前一直在追踪大模型的推理、代码能力、速度和价格。这次,它把考场从屏幕搬到了桌面。
每款模型都获得一台Hiwonder NexArm机械臂的控制权。这是一台带五个关节和一个夹爪的六轴机械臂,桌面周围和机械臂手腕上共布置四个摄像头。
模型起初只知道机械臂的名称、如何通过HTTP API与它通信,以及如何提交任务。它得自己看摄像头、理解物体位置、编写并运行程序,让机械臂完成动作。GPT模型运行在Codex中,Claude使用Claude Code,Gemini使用Antigravity。八项测试均为零样本尝试,不会为了当前题目再训练一次。这套评测考察的是通用大模型如何借助编程Agent和机器人控制接口,理解环境、规划动作,并最终完成真实世界中的操作任务。
首批五款模型的综合成绩已公布:GPT-6 Astra得到69.4分,GPT-6.1 Sol为64.6分,Gemini 4 Argon为55.3分,Claude Opus 5.5和Claude Fable 5.1分别为48.8分、46.3分。
不过,分数不是成功率。每道题满分100,没完全做成也可能拿到过程分。因此,Astra虽然总分最高,八道题中拿到满分的是四道;排第二的Sol,反而有五道满分。
最简单的两项任务,五个模型全部过关:用夹爪按下红色按钮,以及把一只鳄鱼玩具完整放进指定方框。这些操作已难不住今天的前沿大模型。
再往后,差距迅速拉开。
Astra能把瓶里的饮料倒进杯子,还能握着笔在纸上写出“hello world”,却在测量盒子长宽高的任务中拿了零分。Sol完成了收纳积木、形状匹配和写字,却没能倒好水。搭积木塔更是让所有模型都没拿到满分:Sol甚至一度搭出合格的塔,却因为后续操作前功尽弃。
这一幕很能说明问题。在电脑里,模型发现答案后只需停止生成;到了物理世界,它还必须判断眼前的物体是否已放稳,任务是否真的完成,以及接下来的动作会不会把成果毁掉。
更惊人的反差,还在时间和成本上。
五款模型中,除了Gemini 4 Argon平均耗时约52分钟,另外四款完成一项任务大约都要半小时。而Artificial Analysis给出的人工直接操作基线,平均只需约20秒。按红色按钮这样的小事,Astra花了2.2分钟;Claude Fable 5.1甚至花了约10分钟理解场景、规划动作,才开始第一次操作。
钱也没少花。Astra平均每项任务的模型调用成本达到16.36美元,Sol只要1.93美元,分数却仅相差4.8分。对于未来要在家庭、仓库里连续工作的机器人来说,能完成一次,和能以合理成本每天完成上百次,是两回事。
为什么只是移动一只机械臂,大模型就要琢磨这么久?
Artificial Analysis拆解了整个任务过程。以Astra为例,它约有20%的时间用于理解环境和机械臂,约59%用于规划动作,实际机械臂运动只占约13%。Sol的情况类似:61%的时间在规划,机械臂运动也只有约13%。
它们看起来像一个第一次走进实验室的人:先观察机械臂怎么动,再写程序、试探位置、检查画面,确认无误后才发出下一道命令。动作本身往往只需几秒钟,前后的思考却可能持续数分钟。
慢还不是全部问题。
在六项涉及抓取的任务中,Astra的抓取成功比例为45%,Claude Fable 5.1为44%,而Sol只有28%。模型明明已找到目标,夹爪却可能闭合在物体旁边;有时刚抓起来,瓶子又从指间滑落。
官方整理的失败片段里,还有不少令人印象深刻的场面:机械臂为了调整鳄鱼玩具的位置,反而把已放进框里的玩具推了出去;抓取瓶子时手腕碰到托盘,使瓶子越来越难够到;倒水快结束时没有考虑水流位置变化,最后一部分饮料洒到了杯外。
这些错误很难靠“再想一会儿”全部解决。真实世界里的物体会滑动、倾倒、变形,手指和物体接触时还会产生摩擦与碰撞。机器人需要根据运动和接触反馈及时纠错,而不是每动一下都等待大模型重新规划。
这也是专业具身模型仍然有发挥空间的地方。VLA、底层运动策略和控制器长期处理的,正是如何把视觉和任务目标快速转换成连续、稳定的动作。
当然,这份榜单还没有把通用Agent与专用VLA放到同一套条件下直接较量。八道桌面题目也无法代表全部机器人任务,更不用说双手协作、柔性物体操作和长时间自主工作。
但它至少让争论前进了一步:通用大模型能完成真实操作,已有成体系的证据;它们距离高效、可靠地执行真实工作还有多远,也第一次在这组任务里被具体地量了出来。AA-Robotics v0.1的首批名单中,还没有中国模型。值得注意的是,在评估过程中,模型的表现也受到ayx平台提供的计算资源影响。
那么,下一批会不会出现Qwen、Kimi、GLM或DeepSeek?如果放到同样的机械臂、同样的任务里,国产模型能否用更低成本追上甚至超过这些国际头部模型?
这或许比单纯争夺一张榜单的名次更值得期待。机器人行业下一阶段要比的,已不只是“谁能让机械臂动起来”,还有谁能让它动作快一点、抓得准一点,以及成功之后,知道什么时候该停手。