毫末智行发布全球首个自动驾驶生成式大模型

撰文| 张瑞辰

编辑| 潘 谈

4月11日一场沙尘，不光吹迷了眼，还吹得毫末智行跳了票。

这场发布毫末相当重视，做足了准备工作。管理层们介绍了高阶智能驾驶的成果与进展，并邀请各种大学教授发表对自动驾驶的看法。但我认为这场发布会有些冗长，可能只有少数小伙伴能够从始至终看完整场发布。

毫末智行是致力于打造AI自动驾驶行业潮头、由长城汽车孵化而出的自动驾驶的人工智能技术公司。

在本次AI DAY中，我们不仅仅展示了自动驾驶技术的智能体系，从数据采集、处理到生成模型，以及智算中心的发展，还介绍了最新的成果——全球首个自动驾驶生成式大模型DriveGPT，中文名为“雪湖·海若”，它于2月中旬发布了更新进展。这一成果展示了AI技术在自动驾驶领域的最新发展，并为我们提供了新的探索方向。

那我们一起来看看此次HAOMO AI DAY上的重点内容吧。

毫末智行交出了怎样的成绩单？

在发布会上，毫末智行董事长张凯表示：“2023年是自动驾驶的冲刺之年，同时也是大考之年。”据数据显示，2022年中国乘用车市场高级别辅助驾驶的前装搭载率已经跃升至29.4%，这意味着全年交付的585.99万辆L2级以上的乘用车中有超过172万辆车是搭载高级别辅助驾驶的。然而，搭载毫末智行的只有不到10%。

而毫末对行业的判断为到2025年实现70%以上的搭载率。

毫末智行公司的智驾产品迎来了全线爆发，城市导航辅助驾驶大规模上车，行泊一体前装市场迎来量产高峰，末端物流自动配送商业化形成闭环等。同时，在大模型成果落地车端方面，里程渗透率指数级提升，大模型驱动数据闭环，智算中心成“自动驾驶新基建”。

具体表现为：

自3月28日开始，毫末智行的末端物流自动配送车小魔驼2.0在北京亦庄经济开发区进行了公开道路行驶测试。这一事件证明了小魔驼2.0已经可以在北京市经开区进行常态化测试和运营了。目前，小魔驼已可以实现九大场景开始运营，场景覆盖多元化。

除了小魔驼末端物流自动配送车，毫末智行一直坚持6P开放合作原则，这也是其高阶智能驾驶能力的体现。目前，毫末智行已经与三家主机厂建立了定点合作关系，相关项目也已经在交付中。

毫末智行高阶智能驾驶能力的进展

毫末智行CEO顾维灏表示，传统的视觉自监督模型只能学到图片的纹理，而传统的占用网络只能学到空间的结构，如何让大模型同时学到三维空间结构和普遍纹理是感知的核心问题。

Mana的感知能力得到了升级，其中包括提升鱼眼相机的纯视觉测距技术，逐渐代替超声波雷达。此外，Mana还支持单趟纯视觉NeRF三维重建，以便完成自动标注。最后，Mana还加强了对障碍物的支持，可以生成全新场景。

毫末智行自动驾驶生成式大模型DriveGPT相关的更新进展：

DriveGPT 采用了和 ChatGPT 一样的 Transformer 模型，并引入了RLHF(Real-Time Human Input and feedback)人类反馈学习能力，通过对真实驾驶场景和人驾接管数据的深入分析，可对自动驾驶认知决策模型进行持续优化。

DriveGPT 可以同时生成多个“平行宇宙”，在预测自车未来轨迹能力上得到了提升，并能够输出决策推理链 Chain of Thought。

DriveGPT采用了重感知技术，可以在不需要高精度地图的情况下，对道路进行感知和识别，从而降低了对地图精度的依赖。同时，DriveGPT还采用了重感知技术，进一步提高了模型的性能和鲁棒性。目前，DriveGPT已经完成了模型搭建并通过第一阶段数据跑通，已经实现了超过4000万公里的量产车驾驶数据训练，参数规模达到了1200亿。这一成果为自动驾驶技术的发展做出了重要贡献。

展示智驾大数据用户使用总里程的时候，毫末PPT上用了一个动图来强行强调正在进行时，但这种做法未免太过于刻意了。不到四十秒的时间，总里程又多了30.6km，这种数据的增长似乎没有任何意义。这种刻意的强调，不仅让数据显得不自然，也让听众对数据的真实性产生怀疑。因此，在展示数据时，应该注重数据的本身，而不是通过一些手段来强调。

在算力方面，毫末智行的智算中心MANA OASIS配备了高达67亿亿次每秒的浮点高性能运算、2T每秒的存储带宽以及800G每秒的通信带宽，从而实现DriveGPT的训练稳定性优化。

GPT技术可以应用于高阶智能驾驶领域，但会上所展示的功能只是GPT模型的大模型冰山一角。即使不用GPT，也可以通过其他方式快速标记车辆、行人、信号灯等物体。大家对DriveGPT的期待还是更高层面的功能，例如实现情感识别、自主决策等。通过这次发布会的了解，目前能力表现还很局限，期待后续的技术升级。

顾维灏表示未来DriveGPT也将对行业开放，包括机器人行业、自动驾驶行业、汽车主机厂、芯片厂商以及科研机构。建议先做好接入DriveGPT的第一款本月即将上市的魏牌新摩卡，搭载毫末HPilot3.0的车机，再考虑其他行业。魅族与领克联手打造车机，也是值得借鉴的。

关键词：毫末智行、自动驾驶、GPT、场景覆盖、小魔驼、行泊一体、城市导航、算力、智算中心、重感知、轻地图、感知核心、场景生成、预测自车未来轨迹、驾驶决策模型、人类反馈学习能力、Transformer模型、RLHF人类反馈学习能力、重感知、鱼眼相机、纯视觉测距技术、NeRF三维重建、场景编辑、ManA视觉感知能力、障碍物编辑、智驾大数据用户使用总里程、算力优化、DriveGPT、行业开放、机器人行业、自动驾驶行业、汽车主机厂、芯片厂商、科研机构。