手也太巧了！腾讯首次展示自研灵巧手与机械臂，像人一样灵活操作
本帖最后由 twq19810302 于 2023-5-4 14:23 编辑近日，腾讯Robotics X实验室发布了灵巧操作研究成果，并推出自研机器人灵巧手 “TRX-Hand” 和机械臂 “TRX-Arm”。这款灵巧手能做很多细活，一个致力未来要成为服务大众生活的机器人。（现在还在努力学习完善中）初次见面，请大家吃葡萄。
https://p6.itc.cn/images01/20230428/ed9e26338e0346ecba57ad008f86c21c.gif（吃了我的葡萄，要继续往下看哦）为什么要致力服务生活？因为生活中有许多人需要帮助，如老人、残疾人等等。但生活环境太复杂了，除开这颗葡萄，还有无数种的物品，形态、功能、用法各不相同：机器人应该怎样去识别它们？又应该怎样去拿起？还应该发多大的力才能保证不拿坏？目前还没有一款机器人能全部做到。这款机器人出现就是为了去解决这个难点。
▍先看它的灵巧来源https://p1.itc.cn/images01/20230428/41cf422139be4dd6bcdc7a2501e8a8e0.jpeghttps://p2.itc.cn/images01/20230428/1dcce8b540744302a634edfb4f42be39.gif
大家看，拿起杯子的过程，都用了哪些感知能力？视觉——认识杯子：通过相机认识物体，了解布局。接近觉——找到杯子：通过微型激光雷达和接近传感器，接近物体，判断距离，精准辨位。（人体也有类似的功能，当你老板站在你身后的时候，你会不自觉地感到一股凉意）触觉——感知杯子：全手覆盖高灵敏度触觉皮肤，能判断接触，辅助视觉，感知物体状态。力觉——拿放杯子：通过腕部力传感使动作更轻柔，避免损伤物体。
https://p4.itc.cn/images01/20230428/ec8d47c2a5aa4f608e4251d128258702.gifhttps://p7.itc.cn/images01/20230428/a3d3ee75060f4230a6e9de1c0fb81685.gif它身上还有多传感器信息融合技术，就像人闭着眼睛也能拿到面前的物品一样，在行动中更精准执行任务。
https://p8.itc.cn/images01/20230428/a563c2d3c7f94ba49faac4fe31c021c4.png它拥有3根手指、8个可独立控制关节，最大持续指尖力可达15牛，最大关节速度一秒钟能够转动600度，又快又有力。柔性驱动的指尖设计也有效提升了手指的抗冲击能力，让“手”更加可靠。https://p9.itc.cn/images01/20230428/74f5c5a4fa374344a40d888087045246.gif可轻松拿捏不同形状尺寸物体和高动态的难度动作。https://p6.itc.cn/images01/20230428/dcff46eb3a334520ba811d33fa4eda01.gif
▍再看它的灵巧操作光说不练假把式，接下来看看它的操作！
https://p4.itc.cn/images01/20230428/ff601cdc06e04a6ba62991ac65cdc32a.jpeghttps://p9.itc.cn/images01/20230428/3ff1a182bb244250aafa99b100016e1d.gif
大家试试拿水瓶，从左手抛到右手抛接等高动态动作，实时性要求极高，执行或感知上的细微误差都会造成失败。在拿起物品的那一刻，便要根据传感器确定好物品在手内的位置与姿态，规划出高动态动作轨迹。再根据实时预测的物体飞行轨迹在数毫秒内计算出最优拦截时间、最优拦截位姿与最优拦截轨迹，保证抓抛物品被平稳拦接。
https://p6.itc.cn/images01/20230428/1250ff54b526428d9bbb628bf5e3ac9b.jpeghttps://p6.itc.cn/images01/20230428/58dad6c7c3b2475d9a1002410d932ea2.gif双手配合倒液体，确保两个物体不触碰https://p6.itc.cn/images01/20230428/050ba4b718cd4c13adc6c2fe7b9f76b4.gif双手配合摇液体，确保两个物体紧碰不分开双手协同稍有不慎就会产生过大冲击力，灵巧手会坏、物品也会坏。结合视觉和触觉，调整到最合适的握姿，基于机械臂末端力传感信号的力位混合控制，实现双手协同动作。
https://p5.itc.cn/images01/20230428/0790fe0d709f485b966f12821b11514f.jpeghttps://p4.itc.cn/images01/20230428/a3591277afdd4a7a8fb23af780d75e7d.gif可能之前几个操作，大家还没完全感受到它的灵巧。
接下来，它的操作有多细，请看数字。搅拌棒直径8mm，插孔9mm。仅仅依靠头部相机，通过对物体间相对位置的迭代估计，并融入微小的触觉感知，便能获得稳定的搅拌棒、孔的识别与定位。搅拌棒是无纹理、高反光的细长物体，尤其是在插搅拌棒的过程中，不仅搅拌棒会遮住孔，搅拌棒的反光还会倒映出孔，让视觉产生混淆。于是它学习了人类穿针线时的处理方式：在失败后，立马重试，逐渐接近真实孔位、确保完成插孔操作。在现实生活中误差不能完全避免，机器人需要处理因此造成的任务失败，并实时感知任务状态，识别失败并自主调整策略，最终成功完成任务，这就是它的容错机制。
https://p5.itc.cn/images01/20230428/0800109461564aacaa34030b9399ee90.jpeg大家搅拌液体的时候一般会怎么做？用手臂或者手腕搅动。这款灵巧手也可以，但它必须用极高的感知能力和控制精度，来展现它的“灵巧”。https://p4.itc.cn/images01/20230428/8983e6df0e074e3882c2a75ed521eb2f.gif手指搅拌
只用手指搅拌还真有点难，还好它会深度学习，还有可以无限试错的仿真环境。为了修炼手指搅拌，它在仿真世界里试了很久，收集了丰富的学习数据和优化策略，在回到现实世界前，还练习了仿真环境 (sim) 与真实环境 (real)迁移法，将学到的经验带到现实中。https://p1.itc.cn/images01/20230428/ad4cb8dd5629491588d8c8643c54ff7c.gif于是觉醒了捻物
这么多经验，让这款灵巧手在指尖接触到搅拌棒时，便能很快、很稳地生成三个手指的协同运动。并对搅拌棒施加合适的力，在保证搅拌棒不掉落的前提下，按期望轨迹搅拌杯子里的液体。https://p9.itc.cn/images01/20230428/c288c74e3ee24315a4b2698a33376b5c.gif
大家的想象更加地证明了生活中使用场景的复杂和多样，这对这款灵巧手的灵巧操作能力是巨大挑战。不过官方称，接下来这款灵巧手会学习更多技能，早日成为服务大家生活的机器人。今天就到这儿吧，期待这款灵巧手尽快与大家见面。
牛 这个比雷布斯的厉害 本帖最后由 m2006410 于 2023-5-5 06:32 编辑
厉害，拿筷子夹住花生米 转啤酒那个图片再来几圈就搅绳子了
不过看着确实不错，当初谷歌那个机器人跳舞也很棒 能抛接真的6 机加爱好者666 发表于 2023-5-5 14:30
能抛接真的6
展示了机械的灵巧性
两个臂还是用的ABB六轴，希望能有一天能换成国产的协作，配合第七轴视觉、力馈加算法，确实很厉害！ 厉害 牛逼