互联网没有物理世界的“Common Crawl”:大模型最聪明的脑子,为什么装在机器人身上成了“小脑残障”?

2026年11月1日 · 来源:稳点科技观察 · 作者:稳点科技观察编辑部

互联网没有物理世界的“Common Crawl”:大模型最聪明的脑子,为什么装在机器人身上成了“小脑残障”?

做过大模型的人都知道 Common Crawl。

它从 2008 年就开始抓网页,累计存了超过 10PB 的数据,每个月更新一次,每次有 20 多亿个网页。2025 年 9 月那一次,抓了 23.9 亿页。按它自己的介绍,训练 GPT-3 的文字,有超过 80% 来自过滤后的 Common Crawl。Meta 的 Llama 3 405B,用了 15.6 万亿个 token 的文本。它是一家非营利机构,数据免费开放,谁都能下。

有一个细节,常被忽略:没人为了训练大模型去写这些网页。论坛、新闻、百科、代码、论文,人类一边想一边写,顺手存下来,是互联网二十年的副产品。大模型像是捡了一座意外的矿。

可互联网存下来的,只有人想了什么、说了什么。人的手是怎么动的,几乎没留下。

你写过一篇“怎么拧螺丝”的文章。但没人记录过你拧的时候手腕的角度、指尖的受力,也没人记下螺纹咬合那一瞬间你怎么微调。这些写不成字,也没有哪个网站收集过。

上世纪八十年代,机器人学者汉斯·莫拉维克就发现过一个别扭的事实:对计算机来说,下棋、推理这些人觉得难的事反而容易,走路、抓东西这些一岁小孩都会的事,反而最难。后来大家管它叫“莫拉维克悖论”。四十年后,大模型把前一半做到了极致,后一半还在原地。

大脑有料,小脑没有

国内做具身智能的人,习惯把机器人的能力拆成“大脑”和“小脑”:大脑管理解、规划、对话,小脑管运动控制,也就是手怎么稳稳伸过去,力气怎么拿捏。

大模型让“大脑”进步很快,机器人已经听得懂“把红色的杯子递给我”。小脑的训练材料,却几乎没有现成的。宇树 IPO 募资 42 亿元,其中 48.13%、超过 20 亿元,投向的就是“大脑”与“小脑”这类底层研发。

Shadow 灵巧机械手托着一只灯泡。手上的精细动作,没有现成的网页可以抓。图:Richard Greenhill 与 Hugo Elias(Shadow Robot Company),CC BY-SA 3.0,来自 Wikimedia Commons
Shadow 灵巧机械手托着一只灯泡。手上的精细动作,没有现成的网页可以抓。图:Richard Greenhill 与 Hugo Elias(Shadow Robot Company),CC BY-SA 3.0,来自 Wikimedia Commons

于是有了这么个别扭的画面:一个能写论文的脑子,装进一个拧不好螺丝的身体。“小脑残障”这个说法有点刻薄,意思倒没错:脑子已经够聪明了,小脑没东西可学。

先把规模摆在一张表里。

规模
Common Crawl(2025 年 9 月单次)23.9 亿个网页,约 421 TiB(解压后)
Llama 3 405B 的训练文本15.6 万亿个 token
DROID7.6 万条演示,约 350 小时(不到 15 天)
Open X-Embodiment超过 100 万条轨迹,22 种机器人
AgiBot World超过 100 万条轨迹,217 个任务
Generalist 的 GEN-0(公司自有数据)超过 27 万小时真实操作,每周新增约 1 万小时
全球可用的高质量真实物理数据(估算)约 50 万小时,不足大语言模型训练数据的两万分之一(澎湃新闻,2026 年 4 月)
机器人“ChatGPT 时刻”所需(中国信通院判断)千万小时级

单位不同,没法直接相除。但摆在一起看,这不叫差一点,叫差了一个世界。

数据中心的机柜。训练文字模型的数据,可以从这里被“抓”出来;机器人的动作数据,得有人一遍遍去“做”出来。图:Carl Lender,CC BY 2.0,来自 Wikimedia Commons
数据中心的机柜。训练文字模型的数据,可以从这里被“抓”出来;机器人的动作数据,得有人一遍遍去“做”出来。图:Carl Lender,CC BY 2.0,来自 Wikimedia Commons

副产品和专门生产

差别的根子,在于数据是怎么来的。

文字数据是副产品。网页本来就存在,爬虫只是去搬,边际成本几乎是零。物理数据没有这个便宜:它得有人带着一台机器,在一个场景里,把一个动作做出来,同时用传感器记下来。每一小时,都是实打实的人工和设备。

有一组成本数字可以给这件事定个价。据《具身数据发展报告 2026》和采访,真机遥操作的数据,市场价每小时几百元到上千元;一套遥操作设备超过 20 万元,机器人本体 40 万到 70 万元,机器的有效服役寿命 2 到 3 年;遥操员一天有效的产出,只有两三个小时。无本体的便携采集,每小时 100 元到 200 元。对比互联网网页的零边际成本,这是两个不同的世界。

所以物理世界的 Common Crawl,注定不是“爬”出来的,要么靠专门生产,要么靠别的活动顺带产生。

补数据的路,现在有四条

第一条,真人遥操作。智元的 AgiBot World 靠标准化的采集流程加人工校验,攒了 100 多万条轨迹。智元称,用这套数据预训练,比用 Open X-Embodiment 平均高 30%;通用策略 GO-1,在复杂任务上成功率超过 60%(均为公司自己的测试)。代价是每一条都得真人加真机,在真场地里做一遍,又贵又慢。

第二条,仿真合成。英伟达称,GR00T N1 用 11 小时生成了 78 万条合成轨迹,相当于 6500 小时(约九个月连续采集)的人类演示,混着真实数据训练,性能比只用真实数据高 40%(2025 年 3 月 18 日)。仿真造得出轨迹,手上的力感、物体的摩擦,和现实总差一点:据澎湃新闻的文章,仿真数据迁移到真机时,摩擦力、阻尼等参数的偏差,可能让动作失效。

第三条,第一视角的人类视频。它被看作规模潜力最大的一条路,京东那个 60 万人的计划,赌的就是它。成本低,因为人本来就在干活,只需要戴上头环或手套;量大,因为一个家庭主妇戴着采集头环,一天就能产出三四个小时。但它的问题也很具体。人的手和机器人的手,结构不同,人的动作怎么对齐成机器人的控制指令,本身就是一个没解决的问题,澎湃那篇文章的作者认为,这是众包采集最难的几件事之一,另外两件是控制数据的杂质率,以及隐私合规。有的采集公司,已经因为合规问题,调整了自己的采集范围。把摄像头戴到家里、工厂里,采到的是别人的生活和别人的工艺,数据的所有权、使用范围、能不能卖,在法律上还有很多没写清楚的地方。

第四条,大家把数据拼起来。Open X-Embodiment 是 21 家机构把各自的数据拿出来拼的,覆盖 22 种机器人。DeepMind 称,用这套数据训练的模型,在五台机器人上的平均成功率,比各自原来的模型高 50%。别家机器人的经验,对你有用。难处是身体不同,数据格式、视角都不一样,拼起来费劲。

Physical Intelligence 在 2024 年 10 月发布了 π0。训练材料有三块:Open X-Embodiment 的数据,互联网规模的视觉语言预训练,加上自己采的灵巧操作数据。叠衣服、收桌子、装杂货,都做得不错。但作者写得很克制:这只是“很小的早期一步”,通用机器人策略“还在婴儿期”,长程规划、自我改进、稳健性和安全,都还是开放问题。

数据多了,会不会真的有用?这是整件事成立的基础,也是最需要被独立验证的一点。

Generalist 在 2025 年 11 月发布 GEN-0 时,给出了一个有意思的说法:预训练数据超过 27 万小时,并且观察到“规模定律”,也就是数据和算力越多,模型在后训练阶段的表现越稳定地变好。它还报告了一个“相变”:参数量小的模型,吃不下这么多数据,会出现“僵化”,大约到 70 亿参数,才开始越吃越好;公司此后把模型放大到了 100 亿参数以上,模型适应新任务时需要的后训练数据也越来越少。这些结论目前都来自公司自己的博客和二手转述,没有独立复现,不能当成定论。36 氪转述的一个说法更接近行业的共识:对物理数据来说,质量和多样性,比单纯的数量更重要。

两点放在一起,有一个耐人寻味的含义:如果“规模定律”在物理世界也成立,数据就是可以用钱和时间换来的东西;如果质量和多样性才是关键,那真正稀缺的,就不是小时数,而是“多种场景、多种任务、多种机器”的覆盖,这种覆盖,单靠一个训练场,做不出来。

国内的做法:造一批“数据工厂”

2026 年,国内选了一条和上面都不太一样的路:公共基础设施式地造数据。

新华社 9 月 15 日的报道说,截至 6 月底,全国已建成启用的具身智能训练场超过 70 家,在建和规划的还有 40 多家,业内叫“机器人学校”。有的训练场在做 1∶1 的场景还原:雄安的一处,设有迎宾导览、工业搬运、家居生活、商业零售、物流装配五类场景,常态化做真机数据采集和标注,采到的数据同步上架到当地的城市可信数据空间。京东的路线更激进,它说要用 60 万人、两年时间,积累 1000 万小时的人类第一视角视频,并推出了具身智能数据交易平台;百度智能云也上了“数据超市”。

数据也有了价格。《具身数据发展报告 2026》里列过一份参考价目:

品类价格区间
无本体/便携采集数据每小时 100 到 200 元
真机遥操作数据每小时 500 到 1000 元(另有口径 200 到 500 元)
动作或轨迹标注每条 5 到 100 元
语言指令标注每条 0.5 到 5 元
通用或垂直数据集每套 1 万到 50 万元
行业独占授权50 万到 500 万元
企业订阅每年 5 万到 50 万元

对比 Common Crawl 的“免费下载”,这是另一种生态:数据按小时、按条、按套、按授权期限卖。

但这个市场,今天还很不成熟。报告和采访里提到的问题,一条一条都很具体:不同企业对任务拆解、动作阶段和成败判定的标准不一样,数据很难融合,国家层面也还没有行业标准;真机数据和机器人本体强绑定,换一种机器人,数据几乎失效;产品是一次性项目交付,缺少标准化的东西可以复售;免费开源的数据集,又压低了商业数据的价格。更实际的麻烦是质量:有报道说,一周采集下来的数据,大半可能是废数据;UMI 这类设备主要采集夹爪的动作,缺少触觉和力觉,对五指灵巧手的任务支持不够;多模态数据的时间还常常对不齐。

产能在涨,付费没有跟上。报告的判断是,采集训练场的产能增长,和付费需求的节奏并不匹配。21 财经 10 月底的报道说,数据采集的热度,从去年上半年持续到今年上半年,下半年有所降温。

一个“物理 Common Crawl”要解决什么

如果真要有一个物理世界的 Common Crawl,一个所有人都能下载、能拿来训练的公共数据集,把上面那些问题倒过来,大概要先解决三件事。第一,格式和标准:任务怎么拆,动作怎么分阶段,成功失败怎么判,要有一套行业都认的写法,现在每家各写各的。第二,跨本体:数据要能从一种机器人,迁移到另一种,至少要带上足够的元数据,让别人知道它是在什么机器、什么视角、什么传感器下采的。第三,质量标签:哪些是干净的,哪些是废数据,要有人验收、有人负责,不能像网页那样,先抓回来再慢慢洗。这三件事,没有一件是技术上不可能,也没有一件今天有人在做完。要有人出钱,也要有人愿意把自己的数据放进去,而后一点,正是前面说的那种“私有资产”逻辑,最不容易让路的地方。

真正的 Common Crawl,也许长在部署里

文字数据靠“爬”,因为文字本来就存在。动作数据没法爬,除了专门生产,还有一条路:靠“部署”。机器人在真实场景里干活,干活本身产生数据,再回灌给模型,模型变好,再去更多的场景干活。这是推演,不是已经发生的事。

照这个思路,物理世界的数据飞轮,起点要看谁的机器人在真实场景里跑得最多、最稳,谁有最大的数据中心反倒不要紧。

几个信号可以对一下。Agility 披露,截至 2026 年 5 月,它的机器人累计运行了 6.5 万小时。GXO 一家,就做了 45 个试点。波士顿动力的 Atlas,据报道 2026 年订单已经订满,首批发给现代汽车的机器人应用中心和谷歌 DeepMind。特斯拉的 Optimus,周产量据报道已经从二季度的几十台提到几百台。Generalist 把每周新增 1 万小时的真实操作数据留在自己手里,用来训练自己的模型。它们都在做同一件事,把机器送到真实的世界里去,换回数据。

这和 Common Crawl 的差别,值得点一下。Common Crawl 是公共品,谁都能用,所以文字模型的竞争,更多落在算力、算法和数据清洗上。物理数据,在可预见的未来,更可能是私有资产:部署规模最大的几家,各自攒各自的,不会拿出来。公共的那一部分,是政府出钱的训练场和开源数据集,规模有限,质量参差,而且和各家的机器绑定。

照这个逻辑,可以推出一个对行业格局很重要的结论:在大模型时代,一家没有数据的公司,还可以花钱买到差不多的预训练语料;在机器人时代,没有部署规模的公司,几乎买不到对应的数据。所以数据飞轮转起来以后,领先者的优势会比文字时代更难追。如果这个推论成立,真正稀缺的就不是某个零件,也不是某个模型,而是“已经在一万个工位上跑过一年的那一批机器”。

这些运行小时,就是物理世界的“网页”。不同的是,网页是所有人的,这些小时,不是。

对不同的人,这些话的意思不太一样。做机器人本体的,别把数据当采购项,要把它当部署的副产品,在产品设计里,就留好数据回传的通道和授权条款。做数据采集的,别只卖小时数,要卖覆盖面和能跨本体使用的数据;只绑定一种机器的数据,价值会随着那款机器的淘汰而归零。买机器、用机器的工厂,在合同里把数据归属写清楚:你的场地上产生的数据,归谁,能不能被用来训练给别家客户的模型。这条条款,现在大多数合同里是空白的,但三五年后,它可能比机器的单价更值钱。

下次看到“某某发布最大的机器人数据集”,可以先问三件事:单位是小时还是条数;是真机、无本体还是仿真;能不能下载,能不能换一台机器用。答得上来的越多,越接近一份能被整个行业用上的数据,答不上来的,更多是一次发布会。

标签:具身智能 Common Crawl 数据飞轮 VLA

声明:本文数据均来自公开资料,仅供行业参考,不构成任何投资、医疗或其他专业建议。如发现事实或版权问题,请联系 wendianshuzi@163.com。

相关阅读