使用深度学习的三维点云分类的介绍

  • 时间:
  • 浏览:0
  • 来源:彩神欢乐生肖_神彩欢乐生肖官方

PointNet(CVPR2017)

在点云数据方面的挑战:

1.卷积神经网络。

Princeton’s Modelnet40 dataset。 它蕴藏约40个对象类别(如飞机,表格,植物等),用三角形网格表示的1231另另另2个CAD模型。 数据分为984四个培训模式和2468个测试模式,如下图

引用: Charles R. Qi, Hao Su, Kaichun Mo, and Leonidas J. Guibas. Pointnet: Deep learning on point sets for 3d classi

作者调查了三种最近发表的文章,主要针对对点云进行宽度学习的论文。 正如下图所示,展示了3D点云分类准确性出版(准确性,年份和数据类型),它总结了数据集上的最新准确性结果。 以及部分最好的办法正在防止的数据的类型。 能可以看得人,在2015年,大多数最好的办法都用于多视图数据(这是三种简短的说法 - 你会们 拍摄3D模型的几张照片并使用2D最好的办法防止它们),2016年更多的最好的办法使用了体素表示的点云学习和2017年的基于点的最好的办法有了大幅度的增长。

 

   在过去的什么年里,对二维图像可能性有了几滴 深入的研究,否则有着长足的发展。它在分类任务上取得了极好的结果主要得益于一下另另另2个关键因素:

3D点云应用宽度学习面临的挑战。首先在神经网络中间临的挑战:

在点云上应用宽度学习的直接最好的办法是将数据转换为体积表示。 例如 体素网格。 前一天 我门 就能可以用这麼神经网络现象的3D滤波器来训练另另另2个CNN(网格提供了结构,网格的转换防止了排列现象,体素的数量也是不变的)。 否则,这有例如 不利因素。 体积数据可能性变得非常大,非常快。 你会们 考虑256×256 = 65536像素的典型图像大小,现在你会们 打上去另另另2个维度256x256x256 = 16777216体素。 这是很大的数据量(尽管GPU另2个劲在发展)。 这也意味非常缓慢的防止时间。 否则,通常我门 时要妥协并采取较低的分辨率(例如 最好的办法使用64x64x64),否则它带来了量化误差的代价。什么都有,所需的防止方案是另另另2个直接的宽度学习的最好的办法,将是3D点云应用宽度学习的重点。

(1)缺少数据:扫描的模型通常被遮挡,部分数据丢失。

(2)噪音:所有传感器还会嘈杂的。 有几种类型的噪声,包括点云扰动和异常值。 这意味另另另2个点有一定的概率居于它被采样的地方(扰动)互近的某一半径范围内,可能性它可能性另2个劲出显在空间的任意位置(异常值)。(3)旋转:个油车向左转,同个油车向右转,会有不同的点云代表同个油车

2.数据 - 几滴 图像数据可用。

 

(1)非结构化数据(无网格):点云是分布在空间中的XYZ点。 这麼结构化的网格来帮助CNN滤波器。

(2)不变性排列:点云本质上是一长串点(nx3矩阵,其中n是点数)。 在几何上,点的顺序不影响它在底层矩阵结构中的表示最好的办法,例如 , 相同的点云能可以由另另另2个完正不同的矩阵表示。 如下图所示:

                                 

(3)点云数量上的变化:在图像中,像素的数量是另另另2个给定的常数,取决于相机。 然而,点云的数量可能性会有很大的变化,这取决于各种传感器。

   否则对于3D点云,数据正在更慢增长。大有从2D向3D发展的趋势,比如在opencv中就可能性慢慢蕴藏了3D点云的防止的相关模块,在数据方面点云的获取也是有多种渠道, 无论是源于CAD模型还是来自LiDAR传感器或RGBD相机的扫描点云,无处沒有。 另外,大多数系统直接获取3D点云而还会拍摄图像并进行防止。否则,在宽度学习大火的年代,应该要怎样应用什么令人惊叹的宽度学习工具,在3D点云上的防止上达到对二维图像那样起到很好的作用呢?

开拓者! 来自斯坦福大学,我门 的工作引起了什么都有关注。我门 做了例如 令人惊讶的简单的事情,并证明了为社 它运作良好,我门 分别在每个点上训练了另另另2个MLP(在点之间分享权重)。每个点被“投影”到另另另2个1024维空间。否则,我门 用点对称函数(max-pool)防止了点云顺序现象。这为每个点云提供了另另另2个1 x 1024的全局结构,什么结构点被送入非线性分类器。利用我门 称为T-net的“迷你网络”防止了旋转现象。它学习了点(3 x 3)和珍级结构(64 x 64)上的变换矩阵。称之为“迷你”不为社 你会误解,可能性它实际上与主网络的大小有关。另外,可能性参数数量的几滴 增加,引入了另另另2个损失项来约束64×64矩阵接近正交。也使用例如 的网络进行零件分割。也做了场景语义分割。做得好!我强烈推荐阅读(可能性您可以可以观看演示视频)。本文对ModelNet40数据集的准确率高达89.2%。下图是pointNet点云分类的框架