本文目录一览：

• 1、HB机器人是什么原理？为什么那么多人在做呢
• 2、请问，机器人视觉抓取关键技术有哪些，各有哪些实现方法Ψ ，有何优缺点
• 3、刚刚接触机器人导航，请问SLAM中的，pose graph优化具体指↘的是什么
• 4、ABB工业机器人
• 5、虚拟数字人和机器人的区别是什△么？
• 6、Abb机器人的POSE和POS变量的区别？

HB机器人是什么原理？为什么那么多人在做呢

HBEAT 模拟延伸人体智能，执行人工行为操作的智能系统

系统∏通过大数据的互联网应用,优化∏计算机程序丶模拟参数而演变的◥自动化流程。通过不同的数据进行分析丶挖掘,实现精准匹配丶实现数据的完美孝隐对接，达到完全自李吵动化巧扰厅模拟控制的一套系统

请问，机器人视觉抓取关键技术有哪些，各有哪些实现方法，有何优缺点

首先，我们要了解，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有一些↑不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的≡研究大概有这几块：

物体识别（Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有↘很大一部分交叉；

位姿估计（Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓〓取东西，不仅要知道这是⊙什么，也需要知道它具体在哪里；

相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿Ψ转换到机器人位姿。

当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。

由于视觉是▲机器人感知的一块很重要内容，所以研究▲也非常多了，我就我了解的一些，按照由简入繁的顺序介绍吧：

0. 相机标定

这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系①下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要老行对相机的位姿进▂行标定。??内参标定就不说了，参照张正友的论文▃，或者各种【标定工具箱；??外参标定的话，根↑据相机安装位置，有两种方式：

Eye to Hand：相↓机与机器人极坐标系固连，不随机械臂运动而运动

Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand）

只需在机械臂末端固定一个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出⌒　棋盘格相对于相机坐标系的位〓姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。??这样，我们就可以得到一个▓坐标系环

而对于↓眼在手上（Eye in Hand）的情况，也类似，在地上随便放一个棋盘∑格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成一个 的坐标环

平面物体检测

这是目前工业流水线上最常见的场景。目前来看，这一领域对视觉的要求是：快速、精确、稳定。所以，一般＠是采用最简单的边缘提取+边缘匹配/形状匹▼配的方法；而且，为了提高稳定性〖、一般会通过主要打光源、采用反差大的背景等手段，减少系统变量。

目前，很多智能相机（如 cognex）都直接内嵌了这些功㊣　能；而且，物体一侍知哗般都是放置在一个平面上，相机只需计算物体的 三自由◆度位姿即可。??另外，这种应用场景一般都是用于处理一种特◇定工件，相当于只有位姿估计，而没有物体识别。? ?当然，工业上追㊣求稳定性无可厚非，但是随着生产自动化的要求越来⌒　越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。

2. 有纹︼理的物体

机器人视︼觉领域是最早开始研究有纹理的物体的，如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。??当然，这些物体也⌒还是可以用类似边缘提取+模板匹配的方】法。但是，实际机⌒器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（猛档旋转、仿射）、甚至是被其他〓物体遮挡（遮挡）。

幸好有一位叫做 Lowe 的大神，提出了一个叫做 SIFT （Scale-invariant feature transform）的超强局部特征点：??Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.??具体原理可以看上面这篇被引用 4万+ 的论①文或各种博客，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。??因此，利用 SIFT 特征点，可以直接在相机图像中寻找到※与数据库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。

对于不会变形的▃物体，特征点在物体坐标系下的位置是固定的。所以，我们在获取若干点对▅之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。??如果我们用深度相机（如Kinect）或者♂双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。

↑ 这里就放一个实验室之前毕业ぷ师兄的成果??当然，实际操作过程中还是有很多细卐节工作才可以让它真正可用的，如：先利用点云分割和∞欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法∞加速匹配等。??而且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。

3. 无纹理的物体

好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理▓的：

我们最容易想到的就是：是否有一种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变◥性？??不幸的是，据我了解，目前没有这种特征点。??所以，之前一大类方法还是采用基于模板匹配◣的办法，但是，对匹配的特征进行了专门选择（不只是边缘》等简单特征）。

这里，我介绍一个我们实验室之前使用和重现过的算法 LineMod：??Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.

简单而言，这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征，与数据库中的Ψ 模板进行匹配。??由于数据库中的模板是从一个物体的多个视角拍摄后生成的，所以这样匹配得到的物体位ㄨ姿只能算是初」步估计，并不精确。??但是，只要有了这个初步估计的物体位姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机坐标系下的精确位姿。

当然，这个算法在具体★实施过程中还是有很多细节的：如何建立模板、颜色梯度的表↘示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过∏降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。??针对部分遮挡的△情况，我们实验室的张博士去年对 LineMod 进ζ行了改进，但由于论文尚未发表，所以就先不过多涉及了。

4. 深度学习

由于深度学习在计算机视觉领域得到了非常好的效果，我们〖做机器人的自然也会尝试把 DL 用到机器人的物体识别中。

首先，对于物体识别，这个就●可以照搬 DL 的研究成果¤了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马︻逊抓取大赛』中，很多队伍都采ζ　用了 DL 作为物体识别算法。? ?然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如??@周博磊??所说，一般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。

当然，直接用神经网络做位姿估计的工作也是有的，如这篇：??Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

它的方法大概是这样：对于一个物体，取很多小○块 RGB-D 数据（只关心一个patch，用局部特征可以应对遮挡）；每♀小块有一个坐标（相对于物体坐标系）；然后，首先用一个自编码器对◣数据进行降维；之后，用将降维后的特征用于训练Hough Forest。 ?

5. 与任务/运动规划结合

这部分也是比较有意思的研究内容，由于机器视觉的目的是给●机器人操作物体◤提供信息，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模块相结合。

我们让机器人从冰箱中拿一瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。??我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。??所以，对于机★器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的♀，而不是冰箱门之类固定不可拿开的物体。? ?当然，将视觉跟「机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。

机器人家上有※关于这个很详细的图文讲解，你■可以看下，希望对你有用

刚刚接触机器人导航，请问SLAM中的，pose graph优化具体指的是什么

视觉导航定位：图像处理量巨大，一般计算机无法完成运算，实时性较差▆；受光线条件限制较清绝大，无法在黑暗环境中工作。

GPS导航定位：室内环境下，存在定位精度低、可靠性不高的问题。

超声波导航定位：由于超声波传感器自身的缺陷，如镜》面反射、有限的波束角等，无法充分获取周边╲环境信息。

线圈导航定位：在机器人行走规划路径上布置感应线圈，通过在机器人身上安装感应装置来进行电磁感应①，但这样的机器人只能按♂照预定路径行走，谈不上真正的智能，

SLAM（simultaneouslocalization and mapping）技术：在室内」环境中，机器人不№能利用全局定位系统进行定位，而事先获取」机器人工作环境的地图很困难，甚至是不可能的。SLAM技术使得机器人在自身位置不确定的条件下，经过一系列的位置并且在每一个位置获得传感器对环境的芦清感知信息，在完全未知环境中№创建地图，同时利用地图进行自主定位和导航。一般SLAM可以分为三个步骤：基于外答㊣　哗姿部感知的环境特征提取，递推形式的预测和更新算法以⊙及相应的数∑　据相关技术。

ABB工业机器人

这个的主要研究对象是╱wobj，即工件坐㊣标系。pose代表坐◆标点的姿态，姿态可以激差册广义地认为是坐标系。posemulti是为了两个参与计算的pose找到共同的参考坐标系，进而可以让两个本不在同一坐标系里坐标点庆旁能以相同方明宏向，相同偏移量的移动。

虚拟数字人和机器人的区别是什么？

机器人是单纯的操作程△序；进行简单的情况判断，然后就会根据情况进行固定的操作。

我国由第一军医大学（现南方医科大学）和第三︾军医大学自2002年构建中国人々男、女首批数据集开始，已完成8套能代表中华民族特色的数①据集。

第208次“香山科学★会议”确定今后中国数字人研究的主①要重心由“数字可视人”向“数字物理人”和“数字生理人『没握码”转移。

数字↑人研究历史：

数字人研究发韧卐于1989年美国国立医学图书馆可视人计划，已由科罗拉多大学于1994-1995年间建立了两个数字化可视人数据集。

2001年美国科学家联盟（FAS）将人类枯哪基因组计♀划（Human Genome Project, HGP），可视人计划（皮辩Visible Human Project, VHP），虚拟人计划（Virtual Human Project, VHP），人类〓脑计划（Human Brain Project, HBP）概括为数字◣人计划（Digital Human Project, DHP）。

Abb机器人的POSE和POS变量的区别？

ABB机器人比一般国产和日系机器人要方便很多，比如用PERS前缀声明任意类型的变量，甚至自定义数据类型◤变量，就可以将仔野数据永久保存，保存的数量基本没有限制。

1、pos型表示空间位置（矢量）。

2、orient型表≡示在空间中的方位。

3、pose型表示坐核戚念标系（位置/方位组合）。

主要改困研究对象是wobj工件坐标系。pose代表〓坐标点的姿态，pos代表空间坐标位置的。