您查看的活动已结束

主题：面向通用机器人的具身多模态大模型系统

摘要:

具身多模态大模型系统旨在通过大规模仿真和多模态数据融合，实现高度泛化和高效动作生成，解决通用机器人在现实环境中的应用难题。

本体层、技能层和大模型层构成的三层级具身多模态大模型系统是实现通用机器人的一种方案。本报告将讨论通过三维视觉打造多个泛化的移动和操作技能，包括抓取、铰接类物体操作、柔性物体操作和建图导航等等。而大模型层则负责大脑的能力，本报告将展示GPT-4V为代表的非具身多模态大模型进行视觉感知、任务规划和调用中层的三维视觉技能，实现从家用电器泛化操作到开放指令物体摆放的能力。最后，报告将展望端到端具身多模态大模型，讨论其中的机会和挑战。确保机器人在不同场景中具备高度的通用性和灵活性。

Short

嘉宾简介:

王鹤博士是北京大学前沿计算研究中心（CFCS）的助理教授和博士生导师。他创立并领导了北大具身感知与交互实验室（EPIC Lab），致力于通过发展具身技能及具身多模态大模型推进通用具身智能。他同时担任北大-银河通用具身智能联合实验室主任和北京智源人工智能研究院具身智能研究中心主任。王鹤博士在计算机视觉、机器人学和人工智能领域的顶级会议和期刊上发表了五十余篇论文，并获得多项荣誉。他曾担任CVPR2022和WACV2022的领域主席，现为Image and Vision Computing的副主编，同时担任多项顶会的审稿人和程序委员。他于2021年从斯坦福大学获得博士学位，师从美国三院院士Leonidas J. Guibas教授；于2014年从清华大学获得学士学位。