- N +

蛋黄羹,soulmate-opesport_ope体育赞助西甲_ope体育手机app

原标题:蛋黄羹,soulmate-opesport_ope体育赞助西甲_ope体育手机app

导读:

3D机器人视觉在仓储物流和工业自动化领域的应用 | AI ProCon 2019...

文章目录 [+]

收拾 | 夕颜

出品 | AI科技大本营(ID:rgznai100)

跟着深度学习和机器学习的开展,机器人现已走出实验室,越来越多地地使用于各行各业,其间,仓储物流和工业化范畴就有许多合适机器人作业的场景环境。

人眼的一大才干是除了看到物体之外,还能够得到物体的深度信息,然后能够从更高维度完成定位辨认。在工业自动化和仓储物流等对自动化有较高需求的工业范畴,3D 视觉、人工智能和工业机器人的结合而成的“3D机器人视觉”正逐渐成为一种趋势,3D 机器人视觉让工业机器人等自动化设备能以更高精度、更快速度履行更杂乱的作业,是工业自动化晋级甚至将自动化技能面向更多工业范畴必不行少的一环。

可是,你了解各种形状的机器人背面所用到的详细 AI 技能吗?3D 机器人又是什么样的概念?是否一切的机器人都有必要用到深度学习和机器学习技能才干到达最好的作用?带着这些疑问,让咱们从杭州灵西机器人首席科学家,北京大学信息科学技能学院博士王灿在 2019 AI 开发者大会(AI ProCon 2019)上的讲演《3D机器人视觉在仓储物流和工业自动化范畴的使用》中找寻答案。

2019 AI开发者大会蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app是由我国 IT 社区 CS官鼎笔趣阁DN 主办的 AI 技能与工业年度盛会,2019何妍希 年 9 月 6-7 日,近百位中美顶尖 AI 专家、知名企业代表以及千余名 AI 开发者齐聚北京,进行技能解读和工业证明。

以下为王灿的讲演实录收拾,AI科技大本营收拾(ID:rgznai100):

3D视觉成像原理分类

今日我带来的讲演标题是《3D机器人视觉在仓储物流和工业自动化范畴的使用》。提到3D机器人视觉,咱们得先从 3D 成像讲起。3D 视觉成像按成像原理,能够大约概括为三类:飞翔时刻原理、经过光线的时刻差康复深度,以及三角丈量原理。

在机器视觉范畴,运用最广泛的是测距原理,并衍生出许多 3D 传感器、双目多目、线结构光、noneblr相移结构光、散斑结构光,还有散斑编码原理、多光谱共焦原理、光度丈量、干度丈量办法。

飞翔时刻原理

飞翔时刻原理是依据一个光线的发射器调制出的激光,经过物品自身的反射算出与物体之间的间隔,但它有一个缺陷,即由于它是经过光线速度传达的时刻差来丈量深度的,所以在深度间隔 1 毫米时,光线间隔能够算出来,但关于一个对高频电路规划有很高要求的电子器件来说,这个技能门槛约束了它的精度,只能做到亚厘米级精度。这两年,超声 ToF 战胜了光学 ToF 的许多缺陷,能够到达更高的精度,可是现在还未广泛使用于消费级或工业级产品上,还处于产品研制阶段。

三角丈量原理

三角丈量原理是指一大类3D传感器,最早是依据双目视觉。对视觉有了解的同学应该都知道,它的缺陷是有必要要图画能够取得纹路信息,比方用咱们所熟知的脚点,来核算信息特征点的双匹配,并康复深度。这种办法的优势是能够用于室外环境和广大的视界。

为了战胜双目的成像缺陷,在消费级和工业级的 3D 相机使用中,咱们十分喜爱自动结构光的技能,自动投射结构光,无论是线结构光仍是条纹光,或者是用投射散斑,这相当于为相机取得的图画人为地添加许多纹路特征,进行匹配。这里有个最简略的线扫结构光的使用,经过投射的自动光源,就能够把桌子上的物体深度康复出来,依据最简略的激光器投射是它最根本的原理。

散斑编码原理

关于散斑编码原理,直接投射出的结构光就代表它的深度,2001 年微软最早推出第一代第一代kinect时所用的便是结构光,在不同深度上投射出不同的形式,经过取得光的形式能够直接核算深度。该原理广泛使用于 3D 手机端摄像头上。

光谱共焦丈量原理

这是在 3D 成像鼓起之前,在光学丈量范畴盛行的单点 3D 丈量原理——光谱共焦丈量原理,今后咱们假如在工业级项目中客户要求十分高时,比方要到达 1 微米的量级,之前提到的结构光就很难做到,做工业丈量合适选用这种原理。可是,它的下风在于只能作为单点丈量的东西,当然也有线阵丈量,但比较困难,国内还没有看到做线阵丈量特别老练的产品。打出白光后经过分色器,把不同光点射拉大,这相当于投射在物体外表的间隔所代表光的波段会十分大,物体移动 1 厘米,光的波段就会移动几纳米。如此,终究光谱解析器会解析到聚集于物体外表光的动摇,经过波长的数量估测物体的高度,这样就能够取得很高精度。

3D视觉算法

传统办法VS学习办法

讲完了 3D 视觉成像硬件方面的原理,下面来看一下 3D 视觉成像的算法。3D 视觉成像算法起源于七八十年代的光测度算法,让一束光均匀地打在物体外表,反推出它的深度,这是最早的一种算法。

其次,用到最多的是几许算法,首要是经过视差,相同一个三维点,在不同的相机中对应的方位不同,经过对应联系的间隔来康复它的深度。

现在,跟着深度学习的鼓起,有越来越多的数据集在做这方面的作业,测验依据先验核算,从单幅图画中康复三维结构。这个主意的原理依据这样一个现实,即人类用一只眼睛也能感觉到间隔的远近,这是由于咱们的大脑具有先天的结构和后天认知的输入,现已取得可许多先验常识。当然,学界也有人提出对立定见,我在马毅教师的微博上引用了他对该办法的点评:“涉及到很杂乱的网络,企图做深度康复,比方单张图,可是实在去细抠算法功用还不如传统依据最镣铐女囚近邻理论的准则算法。我以为他的说法是正确的,由于深度学习并没有使用几许联系,咱们企图用一个含糊的网络去学习准确的东西,往往很难到达满意的作用。

提到这一点,我大致调研了一下最近两年的代表性作业。上图是最陈旧的光测度丈量办法,取得了CVPR 2019的最佳论文,它的原理是经过一个不行见物体,或在半透的情况下,使用含糊的光照信息,企图康复物体外表的深度信息。当然,这篇论文提出了一些较好的理论,尽管与最早的光测度蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app算法相同对光照和资料的原料都有很高的要求,但这种办法也为该范畴蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app提出了一个新的思路和方向。

还有人对功用进行了量化分析,这是 3D 点源测企图,每个点都是一个 XYZ 坐标,测验不同网络模型下的功用,成果网络功用的体现纷歧,每个网络在不同图片上的体现也不同。终究,作者得出结论:一张测企图片和原始练习数据会集图片十分附近时,就能够查找练习的图片,得到较高的 3D 图得分,它仅仅进行了查找和分类,刚好找到了一张与它相似的图片罢了。

几许办法VS学习办法

还有一些作业十分具有学习含义,几许办法涉及到许多自由化的问题,怎么把现在的学习办法引进到自由化问题中,如更好地处理优化问题,或许是几许办法与学习办法交融的一个趋势。可是,我以为在工业范畴,或许咱们更多地是寻求可靠性和可控性。所以,现在学习办法还不能代替几许办法。

机器人视觉

啪啪啪好爽

接下来讲一下机器王聚民人视觉。机器人视觉的实质在于,机器人视觉是输入信息,包含数字信息和图片,可是输出要作用于物理国际,反映出来的是在物理国际的一个动作,这是机器人视觉吸引人的当地。我之前在腾讯做视频分析和 AR 广告植入,之后在中科院做过安防监控、视频分析等,可是这些都限制在数字国际中信息的输入输出上。可是机器人视觉与之不同,蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app机器人视觉是先经过传感器取得数字国际信息,然后作用于物理国际,这是它的魅力地点。

3D 机器人视觉的必要性,咱们不只做机器人视觉,还做 3D 蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app机器人视觉,机器人视觉要在实在物理国际中作业,需求取得三维信息才干履行动作。2D 机器人视觉会做假定,比方将物体放在一个平面上,但终究宣布的指令仍是 3D 的,假如要把机器人视觉推行到更杂乱、更广泛的使用中,必定需求 3D 机器人视觉。

上图是咱们之前在实验室中做的一些 demo关旭斌。这个双臂的 hero 机器人具有十几个自由度,再加上物体的三维运动,规划不同使命下的摆放、拼接、抓取、辨认的问题,首要咱们要面临的不是视觉问题,而是机器人规划问题,咱们要把物理国际的三维运动经过机器人处理十几个轴的高维空间规划问题,视觉仅仅起到了给它发送方针指令的作用,比方抓取方位、抓取姿势、摆放方位、摆放办法等,机器人履行的是十分杂乱的高维空间规划。

上图是咱们公司自己做的一些 3D 相医品仙后机,第一个是双目散斑相机,用的是线结构光,线结构光的优势是精度较高,但履行功率比双目和面结构光稍差,但优势在于精度高。依据精度、视界等各种要求,不同原理的 3D 相机使用于不同的场景。

为什么咱们要自己做相机?这是由于现在市场上尽管有许多人在做 3D 相机产品,可是由于需求不老练,许多相机对错标定制的,满意不了客户的不同需求,相似的产罗娟简历品或许在精度上相差几个量级,所以,咱们需求自己做 3D 相机设备,打造灵敏的非标定制需求。

使用事例

广银融投

仓储物流范畴

这是咱们在仓储范畴首要使用的架构。首要,咱们要有一个对接各类机器人本体的控制体系,控制体系首要担任又快又准又安全地进行机器人规划和检测,咱们根本上能够对接四咱们族(日本的安川电机 YASKAWA、发那科 FANUC、德国的库卡 KUKA、瑞士的 ABB),包含国产的比较有名的机器人,把它们集成到咱们的控制器中。咱们的视觉体系用于处理仓储物流范畴的各种使用,包含各类消费品软包装食物、整托产品、禾博士为什么那么廉价金属制品。

这是咱们参选“Top30+”评选事例的京东家电仓,它能够节约劳动力,进步功率,减轻工人作业负担。在这个场景中,机器人能够拆分不同类型的垛,箱子尺度从 100mm 到 800mm 不等,任何形状的包装都有或许呈现,且没有艳丽的颜色,这对机器学习提出了应战。这种问题在实践使用十分常见,比方视觉检测成果。

在电商范畴机器人能够参加到哪些场景中呢?网购之后,会有人依据订单去拣货区取货,再分配到缓存区,自动化叉车把缓存区的东西卸到投递区,咱们的机器人能够在投递区作业,节约人力和本钱。

这是一个比家电仓更杂乱的水饮仓,包装五颜六色,摆放状况纷歧。它的难点一是于算法,二是在于光学规划,怎么获取十分杂乱的各种物体的成像信息,这对硬件、软件和算法都提出了很高的要求。咱们公司在国内初次将仓储物流 3D 机器睡女人人落地。

物流范畴对本钱十分灵敏,根本上要求一睁几画年就要回收本钱。

工业范畴

在工业范畴,这是咱们为一家美国铸洪金州件公司供给的计划。工厂里铸造件降温时是黑色的,无法分辩形状,只能依托 3D 视觉处理这个问题。工件有堆叠,也有姿势,所以需求有输出才干抓取,这个项目终究也成功落地了。可是工业范畴咱们做的比较少,由于工业范畴非标定制需求太多,并且不成规划,这一点与电商仓储范畴不同。

这是在其他范畴的使用,比方京东供包,各种包裹在传输带上经过,它的难点在于视觉反应速度,这套体系不只要测出方位,还要处理切割的问题,不能把两个包裹当成一个包裹,也不能把一个包裹当成两个包裹。它还要丈量体积,包裹经过期,3D 相机能够经过物体外表点的散布核算出体积,这样产品入库时蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app既得到了面单信息,又得到了体积信息。更全面的产品信息还应该加上称重,一次性得到一切信息,然后由机器人抓取。蛋黄羹,soulmate-opesport_ope体育资助西甲_ope体育手机app现在,机器人首要会集在大的分拣中心和物流中心。

别的,咱们的其他产品事例还包含用协作性机器人进行柔性物体的抓取、小型分拣等。

Q&A

Q1:您方才讲到 3D 视觉简单受光线的影响,能详细说一下吗?

A1:由于 3D 成像能够用非结构化成像,所以自然界中的可见光对算法没有影响。

Q2:现在的相机现已有这个功用?

A2:对,在物流范畴,一般咱们用 800 万的光线,用红外光线较多。

Q3:您讲到抓取物体也能够用到一些2D检测技能,再与3D视觉相结合,详细怎么结合?3D视觉技能在于3D相机和相机的参数和编码,它与机器学习或机器视觉有什么联系?

A3马未都老婆贾雄伟合影:首要对两个相机做外参数标定,标定完之后,相当于知道了XYZ的信息,就能够把 XYZ 坐标映射到 2D 相机坐标下,经过内参数映射到坐标旗下。你能够反向投射回去,比方在2D平面上获取一个区域的信息,3D 成像的点云是面,能够用 2D 投射回去,对应到 3D 点云上的某一区域,从 2D 到 3D 是多解的,但 3D 也是一个面,尽管是 3D,可是在物体上投射曩昔之后,仍是能对应到点云上,再在点云上核算对应的点方位就能够了。

至于 3D 视觉技能与机器学习的联系,从几年前开端就现已有许多依据单幅图画来康复 3D 信息的作业,他们以为依据一个 3D 图画是能够康复深度图的。当然,这种办法在实践使用中也有必定的作用,一张图深度康复到网络,就能够康复出间隔,端到端的网周六天气预报络能够做到。我后边讲到的交融首要是几许的办法,多视角几许原本能够经过纯理论核算,只不过后边核算时用到一些优化的办法,深度学习不引进任何结构,比方两个双目,分明能够经过标定算法,内参外参悉数标定出来,这是一个十分杂乱春色满园之农女王妃的参数,理论可推导的或许有二三十个因子,必定要用深度学习得到一个十分准确的因子。我以为,假如经过几许标定现已能够做到亚毫米的精度,却非用深度学习学出高精度是没有必要的。

可是,深度学习网络能够协助做 3D 几许办法中的结构化模块。

Q4:用 3D 相机得到深度,之后的处理手法会用到深度学习和机器学习吗?

A4:会,获取 3D 信息之后,3D 信息便是一个三维的矩阵,也能够把它变成二维信息,也便是图画,深度图画相同能够用 2D 的深度学习办法处理,也有许多直接处理 3D 点源的网络。用传统办法,辨认 3D 点源拍出来的物体方针也有许多办法。

Q5薄元星:3D 相机本钱有多高?

A5:消费级的 3D 相机陈本或许只要几百上千,但工业场景中对精度和速度要求很高陈本就不是一个量级的了,它的本钱首要散布在几个方面,一个是自动光源模组的本钱,模组做得越精细,工艺越杂乱就越贵。现在在消费电子范畴,比方在移动端手机上,有许多原理的深度摄像头,他们或许用的工艺不同,本钱功耗也都不同。

第二,精度,理论上来说,用的分辩率越高到达的精度越高,这仅仅精度问题,实践使用中还要考虑速度问题,这要求带宽满意,比方用 500 万的相机取得 100 帧的帧率,要确保嵌入式这块做得十分好,才干满意带宽需求,本钱也随之大大进步。

Q6:京东的机器人相机的本钱是多少?

A6:大约有 10 万,那个相机比较杂乱,包含光学和内部结构、GPU 核算都比较特别。

灵西机器人首席科学家,北京大学信息科学技能学院博士

讲演嘉宾:

王灿,杭州灵西机器人首席科学家,北京大学信息科学技能学院博士

2019 我国大数据技能大会(BDTC)再度来袭!奢华主席阵型及百位技能长垣蘧孔校园专家齐聚,15 场精选专题技能和职业论坛,超强干货+技能分析+职业实践立体解读,深化解析抢手技能在职业中的实践落地。

定量 5 折票开售,数量有限,扫码购买,先到先得!

有好的文章希望我们帮助分享和推广,猛戳这里我要投稿

返回列表
上一篇:
下一篇: