用视觉传感器代替触觉?华为天才少年稚晖君造出首个机器人登场!

传感器专家网   2023-08-19 02:03:40

8月18日上午10:10,“野生钢铁侠”、“华为天才少年”、“年薪百万离职创业”——头戴这些传奇光环的稚晖君,带来了其创业以来的产品首秀。

而这离稚晖君从华为“出走”仅6个月,造出人行机器人——智元具身智能机器人 “远征 A1”。

据介绍,智能机器人 “远征 A1”融合了各种先进的本体控制、感知、认知和决策智能技术,基于当前 AI 领域非常前沿的大语言模型,以及其自研的视觉控制模型等一系列创新技术,将拥有出色的智能交互和任务执行能力,未来甚至能帮我们搬砖、打螺丝、当保姆、搞科研……


(相关资料图)

从本次发布会上,我们也能窥视到天才少年稚晖君认为的未来智能,除了拥有AI人工智能的思维能力外,感知能力也是重要的一环——此前其设计的“自动”自行车、智能键盘、自平衡机器人等等均内置了大量的传感器,许多功能依赖于这些传感器进行开发。

值得一提的是,在智能机器人 “远征 A1”上,稚晖君创意地将视觉传感器应用于灵巧手(机器手)实现触觉的压力传感器效果——某方面上这显示了目前柔性传感器技术的滞后以及对柔性传感器的强烈需求。

下文,我们来看看稚晖君的第一个人形机器人有什么功能?搭载了什么传感器?怎么用视觉传感器代替触觉压力传感器?

作者:Sophia

物联网智库 整理发布(部分内容有删改)

远征A1能做什么?

首先,我们先来看看远征A1长得咋样?

远征A1是一台具有完整人类造型的人形双足机器人。从现场演示来看,远征A1走路的速度并不快,跟小米的“铁大”较为接近,其走路的状态还是比较稳的,不过步幅比较小。

根据现场视频,远征A1可以在汽车产线中从事地盘装配、外观检测。

还可以在工厂中进行3C产品的组装装配、物料搬运,在生化实验室中帮助研究员进行样本制备、样本增扩。

在家庭场景中,远征A1甚至可以在烹饪场景中磕鸡蛋。

还能照顾老人、帮助老人吃药,还能帮孩子辅导功课。

值得一提的是,虽然发布会上提到了各种炫酷能力,但在今天的发布会现场,稚晖君并没有对这些功能进行演示。

这场发布会,也是稚晖君创业公司——智元机器人(Agibot)品牌的首次对外露出。

为什么要用这个名字?因为“智”代表人工智能,“元”则是下方有两条腿的人的象形,其英文名Agibot是通用人工智能机器人的意思。

所以,智元机器人(Agibot)这家公司的初心&使命就是“创造出和人一样灵活以及智能的机器人,让智能机器创造无限生产力”,最终推动人类整个社会迈向一个更加智能、高效和可持续的未来。

“远征 A1”到底有多牛?指尖视觉传感器能识别压力?RGBD相机、激光雷达、IMU等传感器各显神通

网上有个经典的AI段子,如下图所示:

我们想让AI做饭、打扫房间、洗衣服晾衣服晒衣服、扔垃圾、铲屎等,但是AI实际在做的事却是聊天、绘画、写作、作曲和游戏等等……

要想让机器人真正去做图上左边的事情,必须实现AI和机器人技术更深层次的结合,这涉及到对环境的理解、上下文的推理、物体识别、运动规划等一系列复杂的技术挑战——这并不是一个硬件或者软件的问题,它是一个系统性的软硬件算法各方面综合的协同问题。

为此,智元团队在软件和硬件方面都取得了阶段性的进展。

人形机器人本体技术

首先来看硬件部分,也就是人形机器人本体技术。

为什么是人形?

答案其实很简单,因为人类生活的整个物理世界就是为人的形态而设计的,包括各种场景、任务、设备、工具都是为人类量身打造的,所以人形的身体结构和能力显然可以帮助机器人更好地融入人类生活的环境。

当然,稚晖君也承认——

人形并不是通用机器人唯一的解决方案,在一些特定的结构化场景中,可能其他平台的机器人会有更高的效率和可用性,所以他们也对机器人本体进行了各种模块化的设计。

但长远来看,从第一性原理出发,稚晖君的团队还是认为人形机器人是在人类环境中最为通用的一种形态,也是未来可以走进千家万户,有希望进入大家生活中的最终的终极形态。

为了实现机器人流畅的基础行走能力和上下协同能力,在本体硬件设计方面,智元团队在机器人全身搭载了包括谐波一体关节、直线推杆、无刷行星伺服、空心杯电机等在内一共49个自由度,各类的执行器。

一台行动非常精准灵敏的机器人,它的关节需要具备一系列特征:体积小、重量轻、功率密度足够高、能量利用效率足够高、高响应带宽、耐冲击等等…..

然后再结合机器人整机结构设计和控制系统的最优设计,才能保障其执行的高效。

所以这个核心关节它不仅是让人形机器人更加灵活,更加自由的关键,那也同时也是未来智元想要实现规模量产化,实现低成本制造的重要门槛之一。

为此,智元团队自研设计了名为PowerFlow的专用关节,重量仅为1.6kg,小小的体积下集成了液冷循环散热系统,峰值扭矩可达350Nm。

另外一个非常重要的核心零部件就是零巧手。

智元团队自研了高自由度的灵巧手,目前拥有12个主动自由度和5个被动自由度,而且所有驱动都是内置的,成本却可以低至1万元以内。

同时,因为A1机器人应用将瞄准一些非常精密的操作场景,所以该款灵巧手的指尖也集成了基于视觉的指尖传感器,可以分辨操作物的颜色、形状,甚至材质,而且可以基于各种算法的数据融合,去做到近似触觉压力传感器的感知效果。

除了这两个核心零部件之外,远征A1的AI算力达到了200TOPS,搭载了RGBD相机、激光雷达、IMU等传感器,在智能方面则支持多模态感知、少样本学习、任务闭环、强人机交互等能力和特性。

有了非常良好的硬件平台作为基础,运控算法也是非常核心的关键。据稚晖君介绍,在短短几个月的研发实践中,其团队已经快速迭代了三版运控算法,可以说其已经拥有目前业界一梯队的最核心的算法研发能力。

为了让远征AI具备真正落地的可能,智元团队希望未来将整个机器人硬件成本控制在20万元人民币以内,也不知手握擎天柱机器人的马斯克慌不慌。

具身智能技术

机器人要想低成本的量产并产生实际应用价值,硬件本体只是前置条件,更重要的则是机器人的AI大脑,也就是软件部分。

近年来,随着大语言模型技术的飞速发展,稚晖君认为让机器人自主去感知环境,理解任务动作编排,自主地去完成一整套流程已经成为了可能。

在智元团队看来,大模型在机器人领域运用最大的价值体现在两点:

第一点是“庞大的先验知识库&强大的通识理解能力”。

举例而言,当我们需要让机器人把桌子上的垃圾扔到旁边的垃圾桶里,我们不再需要去告诉他垃圾是啥,垃圾桶是啥。所有的这些数据,都是预训练的 GPT 模型从海量物联网数据中已经学到的概念,所以大模型的出现可以使得机器人把原有的能力更好地泛化到它没有见过的场景中。

第二点是“复杂语义多级推理能力,所谓的思维链”。

如下图所示,如果我们需要指令机器人将“蓝色的方块放在红色方块下面”,那么机器人就得理解重力是怎么回事,因为东西不会飘在空中,他要怎么进行一个多级的操作来完成这样一个复杂的任务?

所以在大模型时代到来之前,机器人都是专用设备,我们需要针对性地对每一个任务进行调试和部署,而如今利用大模型的各种通识能力和举一反三的推理能力,我们可以看到解决这些问题,最终走向通用机器人的一道曙光。

基于此,智元设置了“具身智脑”EI-Brain框架,把机器人的思维系统分为四个层级,分别是云端超脑、大脑、小脑和脑干。

讲完技术后,稚晖君也用一段视频展示了人形机器人在各个场景里面应用的无限潜力。

据悉,“远征A1”将首先用于新能源制造、3C制造,目前已经与头部企业进行对接。但具体品牌名,尚未透露。

“天才少年”离职创业史,自动平衡自行车火遍全网,搭载多种传感器模块

公开资料显示:稚晖君,真名彭志辉,2018年毕业于电子科技大学信通学院。

2018年毕业后,他曾就职于OPPO研究院AI实验室担任算法工程师,后受邀通过天才少年计划加入华为,从事昇腾AI芯片和AI算法相关研究工作,年薪百万。

能加入“华为天才少年计划”,就已经很能说明其实力之牛了。该计划对申请者具有极高的要求:国际顶刊论文发表数量及引用量丰富者;研究方向有出色及丰富的商业化成果;有知名赛事名次者优先。与之相对的招聘流程亦非常严格,一般需要经历7轮左右流程,最终还要通过华为总裁的面试。

与其他那些神秘天才不同,稚晖君是一位活跃于网络的大V,他所做的许多研究也都公布在了网上,相信不少科技爱好者都在B站上刷到过他的视频。

比如这辆硬核自行车,它不但能够自己稳稳站立,还能够自动行走、躲避障碍物,甚至还能自己拐弯……

据网传硬件清单中,这台自动自行车集成了陀螺仪加速度计模块、超声波模块、距离传感器、摄像头 Motion Sensor(红外传感器)等多种传感器模块,以实现各种自平衡等各种功能。

还有这台钢铁侠的机械臂,稚晖君远程操控其为一颗破口葡萄缝针,葡萄未被机械臂损坏。

在“葡萄包扎术”后,原本裂开小口的它,变成了这个样子:

以及稚晖君“鸽”到今年4月在B站分享自制的“轮足”机器人哪吒,简直就是“国风神话”和“赛博机械”的组合~

网友惊叹稚晖君的恐怖之处在于:一个人完成了所有细节,建模,算法,电路设计,驱动设计,APP开发,知识储备量和动手实践能力恐怖如斯!

完成了许多创举的稚晖君本身则比较谦虚,他自己在很多采访里都表达过“我觉得我既不是天才,也已经不是少年了”,自己只是个很爱折腾的极客而已。

去年12月,稚晖君正式确认离开华为,表示自己接下来会开启一段新的事业。虽然华为内部也曾挽留,但显然这种级别的天才是很难在大厂做一颗“螺丝钉”的。

今年2月,稚晖君的创业公司智元机器人(Agibot)正式成立。

据悉,智元机器人(Agibot)是一家专注于发展通用人形机器人和具身智能的公司,致力于以A1和机器人的深度融合,长期投入打造有竞争力的机器人产品和生态。

截至目前,智元机器人(Agibot)已经完成了第三轮融资,市场估值被曝在十几亿美元左右。

几个月前,稚晖君也在微博上发了招聘贴,表示人工智能正在迎来新一轮产业剧变,往AGI圣杯的方向加速迈进,LLM+Robotics的组合已是必然趋势,机器人将在不久的未来迎来应用场景爆发的拐点,希望更多人加入他们这个年轻的团队,一起拥抱AI世界的星辰大海。

具身人形机器人才是未来?

就今天发布的新品来看,稚晖君选择的方向是具身人形机器人。

所谓具身智能,就是Embodied Intelligence,简称EI,图灵于1950年在论文《Computing Machinery and Intelligence》中第一次提出这一概念。具身智能可以让机器像人一样能和环境交互感知,自主规划、决策、行动,并具备执行能力,也被认为是AI的终极形态。

知名美籍华裔人工智能学者李飞飞曾经直言,具身智能将会成为AI领域的下一个“北极星问题”之一。而英伟达首席执行官黄仁勋也表达过类似的观点,称“AI的下一个浪潮将是具身智能”。

就在今年7月,李飞飞带队的项目组,发布了一项最新的“具身智能”成果——VoxPoser。

其原理就是使用者给定执行具体需求的自然语言指令,以及环境信息(通过相机采集的RGB-D的图像),然后,LLM(Large Language Model,大语言模型)将根据以上信息生成与VLM(Visual Language Model,视觉-语言模型)交互的代码。

基于这一系列操作,系统会自动生成相应的供机器人进行空间感知的“3D Value Map”(3D值图)。它会“告诉”机器人自己在哪里、目标在哪里。

这一成果的最大亮点在于——整个机器人训练过程是不需要进行任何额外的数据投喂和预训练的。换而言之,目前机器人训练所需要进行的预定义训练、大规模数据缺失等问题,在这里统统不存在。

正是因为具备上述能力,机器人只要符合相关流程,也基本能够完成任何给定任务。

关于VoxPoser这项成果,可以说又是人工智能领域和机器人领域融合的一个新的里程碑!

而在机器人形态方面,智元团队也认可人形机器人才是终极目标。

我们熟悉的马斯克就是人形机器人的忠实拥趸。

在前不久的二季度业绩说明会上,特斯拉CEO埃隆·马斯克公布了备受关注的特斯拉人形机器人Optimus的最新进展。马斯克表示,特斯拉已经生产了10台人形机器人。预计在今年11月份进行行走测试,计划明年在特斯拉工厂进行实用性测试。

除了特斯拉,小米也研发了其首个全尺寸人形仿生机器人“CyberOne”,中文名“铁大”。整机高为1.77米,重量为52KG,跟正常的成人一般大小。

据雷军介绍,“铁大”拥有和人类一样的高智商,它能感知45种人类语义情绪,分辨85种环境语义。“铁大”采用了小米全自研全身控制算法,协调运动21个关节自由度,全身5种关节驱动,峰值扭矩可达300Nm;在视觉方面,通过Mi Sense视觉空间系统加持,“铁大”具备三维重建真实世界的能力。

不久前的WRC 2023上,知名机器人公司优必选则对外发布了人形机器人智能多模态交互系统,这是一个集人机交互、指令理解、自主规划、任务执行等技术于一体的智能系统。

优必选科技在展台上还展示了熊猫机器人优悠和Walker X,它们都是刚从成都大运会闭幕式赶赴北京的骑过平衡车的大型人形机器人。

总体来看,人形机器人已经站上了风口。未来,具身智能+人形将成为一个大杀器。

发布会的最后,稚晖君通过一段视频展示了智元这个富有活力的团队~

创业维艰,但是热爱的热情似乎可以克服一切阻力。

在谈到自己的梦想时,稚晖君说道:

“我的梦想之一,就是希望有一天能够让科幻电影里的智能机器人真正变为现实,这些机器人不再是简单的机械装置,而是拥有自主思考能力和学习能力的伙伴,能够感知和理解我们的世界,然后与我们进行深入的沟通和合作。”

致敬每一个追梦人

也期待未来远征AI的更多惊喜!