尊龙凯时人生就是博z6com|女拳下载|李飞飞团队再造黑科技！机器人自学家务样样

　　他们把任务动作拆解后标记出几个关键点ღ◈◈✿ღ，再给到具体规则让机器人知道这些点之间有什么联系ღ◈◈✿ღ，要怎么操作比较好ღ◈◈✿ღ。除此之外ღ◈◈✿ღ，机器人还能自主学习ღ◈◈✿ღ，越练习越厉害ღ◈◈✿ღ。

　　以倒茶这个动作为例ღ◈◈✿ღ，机器人会先用摄像头确定茶杯茶壶等的位置ღ◈◈✿ღ、形状等要素ღ◈◈✿ღ，再识别出关键点ღ◈◈✿ღ，比如茶杯的中心点和把手的中心点ღ◈◈✿ღ，ReKep 会给机器人编写出一系列规则ღ◈◈✿ღ，告诉它要用什么角度ღ◈◈✿ღ、怎么拿怎么倾倒ღ◈◈✿ღ、用多大力气等ღ◈◈✿ღ，机器人只要按照规则行动就能成功倒茶了ღ◈◈✿ღ。

　　不得不说ღ◈◈✿ღ，这么一个简单的动作想让机器人做好是真的是太难了尊龙凯时人生就是博ღ◈◈✿ღ，ღ◈◈✿ღ。要是没有 ReKep 技术ღ◈◈✿ღ，想看到机器人熟练地干各种家务活还不知道要等到猴年马月尊龙凯时人生就是博z6comღ◈◈✿ღ。

　　李飞飞团队旨在解决与机器人操作任务相关的挑战ღ◈◈✿ღ，这些任务涉及多个空间关系和时间依赖阶段ღ◈◈✿ღ，需要对复杂的空间和时间关系进行编码ღ◈◈✿ღ。

　　他们希望开发一个广泛适用的框架ღ◈◈✿ღ，能够适应需要多阶段ღ◈◈✿ღ、野外环境ღ◈◈✿ღ、双手操作和反应行为的任务ღ◈◈✿ღ，通过基础模型的进展在获取约束方面具有可扩展性ღ◈◈✿ღ，并能够实时优化以产生复杂的操作行为ღ◈◈✿ღ。

　　现有的使用刚体变换表示操作任务约束的方法缺乏几何细节ღ◈◈✿ღ，要求预定义的物体模型ღ◈◈✿ღ，并且无法处理可变形物体ღ◈◈✿ღ。

　　在视觉空间中直接学习约束的数据驱动方法也在收集训练数据时面临挑战ღ◈◈✿ღ，因为约束的数量在物体和任务方面呈组合增长ღ◈◈✿ღ。

　　ReKep 将操作任务编码为约束ღ◈◈✿ღ，连接机器人与其环境ღ◈◈✿ღ，而无需手动标注ღ◈◈✿ღ。该方法利用Python函数将一组语义上有意义的三维关键点映射为数值成本ღ◈◈✿ღ，从而能够表示复杂的空间和时间关系ღ◈◈✿ღ。

　　该框架旨在通过大型视觉模型和视觉-语言模型自动生成约束ღ◈◈✿ღ，实现从自然语言指令和RGB-D观测中高效地指定任务ღ◈◈✿ღ。

　　实验涉及多个任务女拳下载ღ◈◈✿ღ，包括倒茶女拳下载ღ◈◈✿ღ、回收罐ღ◈◈✿ღ、整理书籍女拳下载尊龙凯时人生就是博z6comღ◈◈✿ღ、打包盒子ღ◈◈✿ღ、折叠衣物ღ◈◈✿ღ、装鞋盒和协作折叠等ღ◈◈✿ღ。这些任务被设计来测试系统在不同方面的性能ღ◈◈✿ღ，如空间和时间依赖性ღ◈◈✿ღ、对环境的适应性ღ◈◈✿ღ、双手协调和与人类的互动ღ◈◈✿ღ。

　　实验结果显示ღ◈◈✿ღ，ReKep在多种任务上的成功率较高ღ◈◈✿ღ，证明了其在自动化操控任务中的潜力ღ◈◈✿ღ。成功率根据任务的不同而有所差异女拳下载ღ◈◈✿ღ，但总体上表现良好ღ◈◈✿ღ。

　　首先ღ◈◈✿ღ，他们定义了单个ReKep实例ღ◈◈✿ღ，并且假设已经指定了一组 ? 个关键点ღ◈◈✿ღ。每个关键点 ??∈ℝ3 指的是场景表面上的一个 3D 点ღ◈◈✿ღ，其坐标依赖于任务语义和环境（例如尊龙凯时人生就是博z6comღ◈◈✿ღ，手柄上的抓取点ღ◈◈✿ღ，壶嘴）ღ◈◈✿ღ。

　　本质上来说尊龙凯时人生就是搏·(中国)官网ღ◈◈✿ღ，ღ◈◈✿ღ，一个 ReKep 实例编码了关键点之间的一个期望的空间关系ღ◈◈✿ღ，这些关系可能属于机器人手臂ღ◈◈✿ღ、物体部分或其他代理ღ◈◈✿ღ。

　　然而ღ◈◈✿ღ，一个操作任务通常涉及多个空间关系尊龙凯时人生就是博z6comღ◈◈✿ღ，并且可能具有多个时间上依赖的阶段ღ◈◈✿ღ，每个阶段都涉及不同的空间关系ღ◈◈✿ღ。为此ღ◈◈✿ღ，他们将任务分解为 ? 个阶段ღ◈◈✿ღ，并为每个阶段 ?∈{1,…,?} 使用 ReKep 来指定两类约束ღ◈◈✿ღ：

　　其中 ?sub-goal (?) 编码阶段 ? 结束时需要达到的关键点关系ღ◈◈✿ღ，而 ?path (?) 编码阶段 ? 内部需要满足的关键点关系ღ◈◈✿ღ。

　　阶段 1 的子目标约束拉动末端执行器向茶壶手柄靠近ღ◈◈✿ღ。阶段 2 的子目标约束指定壶嘴需要位于杯口上方ღ◈◈✿ღ，阶段 2 的路径约束确保茶壶直立ღ◈◈✿ღ，以避免倾倒时溢出ღ◈◈✿ღ。最后ღ◈◈✿ღ，阶段 3 的子目标约束指定倾倒角度ღ◈◈✿ღ。

　　他们将末端执行器姿态表示为 e∈ SE（3）ღ◈◈✿ღ，将操控任务表述为一个优化问题ღ◈◈✿ღ，目标是找到一系列满足ReKep约束的末端执行器（end-effector）姿态自动化前景ღ◈◈✿ღ，ღ◈◈✿ღ，并将控制问题表述如下ღ◈◈✿ღ：

　　为了使系统能够在给定自由形式任务指令的情况下执行野外任务女拳下载ღ◈◈✿ღ，他们设计了一个使用大型视觉模型和视觉语言模型进行关键点提议和ReKep生成的管道ღ◈◈✿ღ，并分成了两个部分ღ◈◈✿ღ：

　　使用大型视觉模型（LVM）ღ◈◈✿ღ，如DINOv2ღ◈◈✿ღ，来提取场景中的特征ღ◈◈✿ღ，并利用这些特征来识别潜在的关键点ღ◈◈✿ღ。这些关键点通常是场景中具有语义意义的3D点ღ◈◈✿ღ，例如物体的边缘ღ◈◈✿ღ、角落或特定物体部分的中心ღ◈◈✿ღ。

　　结合关键点和任务指令ღ◈◈✿ღ，使用视觉-语言模型（VLM）来生成ReKepღ◈◈✿ღ，这些约束将用于指导机器人的动作规划和执行ღ◈◈✿ღ。这一步骤利用了视觉模型对场景的理解以及语言模型对指令的解释能力ღ◈◈✿ღ。

　　李飞飞博士是斯坦福大学计算机科学系首任红杉教授ღ◈◈✿ღ，也是斯坦福以人为本的人工智能研究所的联席主任ღ◈◈✿ღ，曾担任担任谷歌副总裁和首席科学家ღ◈◈✿ღ，在多家上市公司或私营公司担任董事会成员或顾问ღ◈◈✿ღ。

　　李飞飞主导的斯坦福AI实验室尊龙凯时人生ღ◈◈✿ღ，ღ◈◈✿ღ、斯坦福视觉与学习实验室(SVL)和斯坦福以人为本人工智能研究院涌现出大量优秀人才ღ◈◈✿ღ，包括 OpenAI 联合创始人 Andrej Karpathyღ◈◈✿ღ、国内内第一个坚探索具身智能的卢策吾ღ◈◈✿ღ、前Google AI中国中心总裁李佳ღ◈◈✿ღ、前阿里自动驾驶掌舵人王刚等ღ◈◈✿ღ。

　　她目前的研究兴趣包括认知启发式人工智能ღ◈◈✿ღ、机器学习ღ◈◈✿ღ、深度学习ღ◈◈✿ღ、计算机视觉ღ◈◈✿ღ、机器人学习和人工智能+医疗ღ◈◈✿ღ，尤其是用于医疗保健的环境智能系统ღ◈◈✿ღ。

　　Wenlong Huang 是斯坦福大学计算机科学专业的博士生ღ◈◈✿ღ，由李飞飞指导ღ◈◈✿ღ，也是斯坦福视觉与学习实验室 （SVL）的成员女拳下载ღ◈◈✿ღ。他于 2018 年获得加州大学伯克利分校计算机科学学士学位ღ◈◈✿ღ，指导老师是 Deepak Pathakღ◈◈✿ღ、Igor Mordatch 和 Pieter Abbeelღ◈◈✿ღ。

　　他的研究目标是赋予机器人广泛的泛化能力ღ◈◈✿ღ，使其能够执行开放世界操控任务ღ◈◈✿ღ，尤其是在家庭环境中ღ◈◈✿ღ。研究兴趣包括ღ◈◈✿ღ：

　　Chen Wang是斯坦福计算机科学学院的博士生ღ◈◈✿ღ，导师是李飞飞和 C. Karen Liuღ◈◈✿ღ。他本科就读于上海交通大学计算机科学专业尊龙凯时官方网站ღ◈◈✿ღ，ღ◈◈✿ღ，是第一批加入卢策吾团队研究机器人具身智能的学生之一ღ◈◈✿ღ。

　　他的研究目标是制造出具有与人类一样的灵活性和处理日常任务能力的机器人ღ◈◈✿ღ，因此专注于机器人学习ღ◈◈✿ღ，以实现灵巧操作ღ◈◈✿ღ、模仿人类动作以及长期规划和控制ღ◈◈✿ღ。

　　Yunzhu Li现在是哥伦比亚大学计算机科学助理教授ღ◈◈✿ღ，曾是斯坦福视觉与学习实验室 (SVL）的博士后ღ◈◈✿ღ，与李飞飞ღ◈◈✿ღ、Jiajun Wu 一起工作ღ◈◈✿ღ。北京大学本科毕业后ღ◈◈✿ღ，他在麻省理工学院计算机科学与人工智能实验室（CSAIL）获得博士学位ღ◈◈✿ღ，导师是 Antonio Torralba 和 Russ Tedrakeღ◈◈✿ღ。

　　目前他在机器人感知ღ◈◈✿ღ、交互和学习实验室（RoboPIL）进行机器人技术ღ◈◈✿ღ、计算机视觉和机器学习的交叉研究女拳下载ღ◈◈✿ღ，专注于机器人学习ღ◈◈✿ღ，特别是直观物理学ღ◈◈✿ღ、具身智能ღ◈◈✿ღ、多模式感知三个方向尊龙凯时人生就是博z6comღ◈◈✿ღ，旨在显著扩展机器人的感知和物理交互能力ღ◈◈✿ღ。

　　他的长期研究兴趣是以人为本的人工智能ღ◈◈✿ღ：理解人类智能以开发受生物启发的人工智能算法ღ◈◈✿ღ，以及使人工智能与人类更加兼容尊龙凯时人生就是博z6comღ◈◈✿ღ。最近专注于以人为本的机器人技术ღ◈◈✿ღ：通过数据驱动的方法开发可增强人类福祉的机器人解决方案（系统和算法）ღ◈◈✿ღ。雷峰网(公众号ღ◈◈✿ღ：雷峰网)雷峰网