自动摘要: ShenY,FengC,YangY,etal.Miningpointcloudlocalstructuresbykernelcorrelationandgraphp ……..

Shen Y, Feng C, Yang Y, et al. Mining point cloud local structures by kernelcorrelation and graph pooling[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. 2018 4548-4557.

原始论文https://github.com/ftdlyc/KCNet_Pytorch[Mining point cloud local structures by kernel correlation and graph pooling.pdf](https://www.yuque.com/attachments/yuque/0/2023/pdf/22210919/1702273509546-10a792e4-6cd2-47fe-9a22-ebdca2142bac.pdf)

摘要

与图像不同，在深度网络上实现三维点云的语义学习具有挑战性。在现有的工作中，PointNet通过直接的点集学习取得了很好的效果。然而，它并没有充分利用一个点的局部邻域，由于在这个邻域中包含了细粒度结构信息，从而有助于实现更好的语义学习。在这方面，我们提出了两种新的操作来改进PointNet，以更有效地利用点的局部结构。

侧重于局部的三维几何结构。类似于图像的卷积核，我们定义了“点集核”为一组可以学习的三维点。这些三维点根据核相关性度量了几何的仿射性质，从而共同地响应一组相邻的数据点，这个方法参考了点云配准中的类似技术。
利用局部高维特征结构。这个特征结构是在最近邻图上通过特征的递归聚合得到的，而最近邻图是在三维坐标上计算出的。实验表明，该网络能够在主要数据集上有效地捕获局部信息，并稳健地获得更好的性能。

简介

随着各种三维传感器的快速发展，三维数据变得无处不在，由于[^3,20,29,32,41]在机器人技术、自动驾驶、逆向工程和民用基础设施监测方面的广泛应用，利用深度网络对这类数据的语义理解和分析正受到人们的关注。特别是，三维点云作为最原始的3D数据格式之一和3D传感器最常见的原始输出，它不能像卷积网络的2D图像那样被深度网络简单地使用。这主要是由于点的不规则组织造成的，这是此类原始数据格式所固有的一个基本挑战：相比行列索引的图像，点云是一组点坐标（可能具有强度和表面法线等属性），在点之间没有明显的顺序，从深度图中计算出来的点云除外。然而，受图像卷积网络成功的影响，许多工作都集中在3D体素上，即在学习过程之前从点云转换成的规则的3D栅格。只有这样，3D卷积网络才能学会从体素[^2,7,23,25,30,42]中提取特征。然而，为了避免棘手的计算时间复杂度和内存消耗，以及体素方法导致的量化伪影，于是这类方法仅应用在小型的空间分辨率上。除了最近使用八叉树（Octree ）[^32,41]的一些改进外，体素方法还难以学习几何结构的细节。与卷积网络不同，一个简单并且有效的架构PointNet [^29]可以直接学习点集。首先，PointNet计算每个点的多层感知器（MLP）的单个点特征，然后聚合所有特征作为点云的全局表示。尽管PointNet在不同的三维语义学习任务上获得了最先进的结果，但是它直接将每个点特征聚合到全局特征的方式表明，其在实际操作中并没有充分利用点的局部结构来捕获细粒度模式：每个点的多层感知器（MLP）的输出仅粗糙地编码了该三维点的存在性，表明这个三维点是在三维空间中的一个确定的非线性划分中。如果MLP不仅可以编码点的存在性，还可以编码在三维空间的非线性划分中存在的该点的特征（例如：角与平面、凸性与凹性等等），则可以获得一个更有判别性的表示。本文的动机就是从三维物体表面上的点的局部邻域中学习这种特征信息。为了解决上述问题，PointNet++ [^31]曾提出将一个点集（set）分割成更小的点簇（cluster），并且将这个小的点簇输入到小的PointNet，并对高维特征点集迭代地重复这样的过程，这导致了复杂的架构，并且降低了网络的速度。因此，我们试图从另一个的方向来探索：是否存在其他有效的、可学习的局部算子，并且还具备清晰的几何解释，为增强和改进原始的PointNet带来直接的帮助，同时仍然保持其简单的体系结构？为了解决上面提出的问题，我们在三维点云上，基于两个经典的、有监督的特征表示学习任务，通过两种新的操作来利用局部几何信息和特征结构，从而改善了PointNet，详见图 2 。贡献如下：

我们提出了一个核相关层来利用局部几何结构，并具有清晰的几何解释（见图1 和图 3 ）。
我们提出了一种基于图的池化层来利用局部特征结构来增强网络的稳健性。
我们的KCNet利用这两种新操作有效地提高了点云语义学习性能。

图 1 ：可视化学习到的核的相关性。为了表示点p周围的复杂的局部几何结构，我们提出了核相关性来度量两个点集之间的匹配度：p的相邻点和核点。此图显示了核点的位置和宽度作为球体的中心和半径（顶部行），以及在 4 个对象上的 5 个核的对应过滤器响应（其他行）。颜色表示每个物体的亲合力（红色：最强，白色：最弱）。注意由不同的内核捕获的各种结构（平面、边、角、凹面和凸面）。

图 2 ：我们的KCNet架构。通过前端核相关层探索局部几何结构，相关层计算了每个数据点的个最近邻点和个点集核之间的个不同的匹配度，每个前端核包含了个可以学习的三维点。所得到的响应与原始的三维坐标拼接起来。局部特征结构被后续的图池化层利用，从每个点的三维欧氏邻域中离线地构建的每个三维对象实例共享一个相同的图池化层。每层都使用ReLU，但是没有层归一化（BatchNormalization），DropOut用于最后一层MLP。其他操作和基础网络架构在形状分类和零件分割方面都类似于PointNet [29]。实心箭头表示带有反向传播的正向操作，而虚线箭头表示没有反向传播。绿框是输入数据，灰色是中间变量，蓝色是网络预测。我们的网络简称为KCNet。

图 3 ：人工核（线性、平面、曲面）和响应的可视化，与图 1 类似。

方法

我们现在通过①核相关性（度量点集的几何匹配性）和②K-NNG（在相邻点之间传播的局部特征）来解释在点的邻域上学习得到局部结构的细节，详见图 2 。

3.1. 局部几何结构上的学习

如前所述，我们从基于核相关的点云配准中获得了灵感。在网络前端，我们将一个点的局部邻域作为源，以及一组可学习的点（即：核）作为参考，刻画某些类型的局部几何结构/形状。

我们修改了原始的核相关计算方法，允许参考通过反向传播自由地调整其形状（即：核中点的坐标）。请注意，与点集配准相比，这里的视角发生了变化：我们希望通过单点的自由转换来学习模板/参考的形状，而不是使用固定的模板来寻找源点集和参考点集之间的最优转换。通过这种方式，一组可学习的核点类似于卷积核，它只激活其共同的相邻区域的点，并捕获这个以核函数及其核宽度为特征的感受野内的局部几何结构。在这种情况下，学习过程可以看作是寻找一组参考点/模板点，从而将最有效和最有用的局部几何结构进行，从而与网络中的其他参数共同获得最佳的学习性能。

具体地说，我们采用了[^38]中的留一法核相关算法（Leave-one-out KernelCorrelation, LOO-KC）^1 和多重链接配准代价函数的思想来捕获点云的局部几何结构。让我们将点集
核（有
个可以学习的点）和点云（由
个点构成）中的当前锚点
用于定义核相关函数（KC）：

其中
是核中的第
个可学习点，
是锚点
的邻域索引集，
的邻域点之一。
是任何有效的核函数（ D=2或3用于2D或3D点云）。为了有效地存储点的局部邻域，我们将每个点视为一个顶点，从而预先计算出一个K-NNG，而边的连接性只与附近的顶点相关。根据[^38]，在不失一般性的前提下，本文选择了高斯核：

其中，
是两个点之间的欧氏距离；
是核宽度，用于控制两个点之间的的距离的影响力。高斯核的一个很好的性质是，它作为两点之间距离的函数呈指数衰减，提供了从每个核点到锚点相邻点的软分配，放松了传统ICP中的不可执行微分的硬分配。我们的KC对核点和相邻数据点之间的成对点的距离进行编码，并随着两个点集的形状相似而增加编码的信息，因此它可以清楚地解释为几何相似度度量，并且在平移下保持不变。请注意在这里选择内核宽度的重要性，因为
太大或太小会导致性能下降（见表 6 ），与核密度估计存在的问题相同。幸运的是，对于例子中的二维或三维空间，这个参数可以通过经验选择作为所有训练点云的邻域图中的平均邻近距离。

为了完成对所提出的新的可学习层的描述，给定①
的反向传播方程：

其中，点
的归一化常量
；局部差分向量
。

虽然我们的KC来源于[38]中的LOO-KC，但是操作不同：

不同于LOO-KC作为点集与其元素点之间的紧致度量，我们的KC计算数据点邻域和可学习点核之间的相似性；
不同于多链代价函数，因为多链代价函数包含了用于固定模板变换的参数，而我们的KC允许核中的所有点自由地移动和调整（即k 没有权重衰减），从而将模板和转换参数替换为点集核。为了更好地理解KC是如何捕获各种局部几何结构的，我们在图 3 中可视化了在不同对象上的手工制作了几个内核和对应的KC响应。类似地，我们在图 1 中可视化了从分割网络中学习到的几个内核。请注意，我们可以在KCNet中学习 L个不同的内核，其中是一个超参数，类似于卷积网络中的输出通道的数量。

3.2. 局部特征结构上的学习

我们的KCNet只在网络前端执行KC来提取局部几何结构，如图 2 所示。为了有效地存储点的局部邻域用于计算KC，我们将每个点视为一个顶点，其边只连接附近的点，建立一个K-NNG。输出的K-NNG对于开发更深层次中的局部特征结构也很有用。因为卷积网络能够局部聚合特征，并且通过多个池化层渐近地增加感受野。因此受其启发我们为了KC，使用递归的方式沿着相同的三维邻域图的边对特征传播和聚合，从而在网络的顶层利用局部特征结构。

我们的关键认知是，邻居点趋向于相似的几何结构，因此通过邻域图传播特征有助于学习更稳健的局部模式。请注意，我们特意避免了在顶层中改变这种邻域图结构，这也类似于图像上的卷积：即使输入图像的特征通道在顶层的卷积层中得到极大地扩展，每个像素的空间排序和邻域也保持不变。

具体来说，定义
表示图池化层的输入；
表示K-NNG拥有的邻接矩阵，其中顶点
与
之间存在边时
，否则为零。直觉上观察，形成局部曲面的邻居点通常共享相似的特征模式。因此，我们通过一个图池化操作来聚合其邻域内的每个点的特征：

这个池化操作可以是平均池化，也可以是最大池化。

图平均池化层通过使用等式(4)中的
作为归一化邻接矩阵对一个点的邻域特征进行平均，邻接矩阵的定义如下：

其中，
表示度矩阵，其第
项的定义如下：

其中，
的度（即与
相连的顶点个数）。

图最大池化层在每个顶点的邻域上取得最大特征，并且在
维的每个维度上独立操作。于是对等式(4)的矩阵乘法中的“ +”算子替换为“ max ”算子即可。输出
的第
个项定义为：

其中，
表示从
中计算得到的点
的邻域索引集合。

然后，通过图的池化操作（最大池化或平均池化）得到一个点的局部特征码。该特征码可以表示局部曲面聚合后的特征信息。注意这个操作与PointNet的关系：每个点的局部邻域类似于PointNet中的簇/段，因此这种图操作允许在原始的PointNet体系结构上进行局部特征聚合。

实验

现在我们讨论三维形状分类（4.1节）、部件分割（4.2节），并进行消融研究（4.3节）。

形状分类

数据集

我们在二维和三维点云上评估了提出的网络。对于二维形状分类，我们将MNIST数据集[^21]转换为二维点云。MNIST包含的是手写数字图像，其中有 6万张训练图像和 1万张测试图像。我们将每幅图像中的非零像素转换为二维点，保持坐标作为输入特征，并在[-0.5,0.5]内进行归一化。对于三维形状分类，我们在基准测试ModelNet10（ 10 个类别， 4899 个CAD模型）和ModelNet40（ 40 个类别， 12311个CAD模型）[^42]上评估了KCNet。ModelNet10被分为训练（ 3991 个CAD模型）和测试（ 908 个CAD模型）。ModelNet40被分为训练（ 9843 个CAD模型）和测试（ 2468 个CAD模型）。与PointNet一样，为了获得三维点云，我们使用MeshLab [^6]的泊松圆盘采样，从网格中均匀采样到每个对象的 1024 个点，并将其归一化为一个单位球。

网络配置

如图2a所示，我们的KCNet总共有 9 个参数层。第一层是核相关性，它以点坐标作为输入和输出的局部几何特征，并与点坐标相拼接。然后将特征传递到前 2 层MLP中进行每个点的特征学习。然后，图池化层将每个点的输出特征聚合为更健壮的局部结构特征，这些特征与来自第二个 2 层MLP的输出拼接起来。其他配置类似于原始的PointNet，除了①在每个没有批归一化的全连接层之后使用ReLU，因为我们发现批归一化在KCNet和PointNet中没用；②对于最终的全连接层使用比例为0.5的Dropout层。我们使用16-NN图进行核计算和图最大池化。使用L=32组内核，其中每个核拥有M=16 个点，这些点在[-0.2,0.2] 内均匀初始化，内核宽度为
。我们在NVIDIA GTX 1080 GPU上使用改进过的Caffe[16]网络训练了 400 个周期，其中优化器为ADAM，初始化学习率为lr=0.001，批大小为64 ，矩为momentum=0.9 ，矩 2 为momentum2=0.999，权重延迟为weight_delay=1e-5 ，无数据增强。

实验结果

表 1 和表 2 将我们的结果与最近的一些工作进行了比较。在MNIST数字分类中，KCNet得到了用ConvNets得到的可比性结果。在ModelNet40形状分类中，我们的方法分别比PointNet-普通版（无T-Nets）和PointNet高3.8%和1.8% ，比PointNet++[31]略优0.3% 。表 3 总结了不同网络所需的参数数量和推理时间。注意，KCNet比[20,31]使用更少的参数获得了更好或类似的精度，计算效率更高。
表 1 ：MNIST数字分类
表 2 ：本文提出的方法与当今最优网络在ModelNet形状分类问题上的精度比较。我们的KCNet在ModelNet10和ModelNet40上都获得了有竞争力的性能。请注意，MVCNN[36]和VRN聚合[2]使用图像和体积作为输入，而其他模型均使用点云作为输入。
表 3 ：模型大小和推理时间。“M”表示百万。网络是在拥有单个NVIDIA GTX 1080GPU和Intel i7-9700@3.2 GHz 12 cores CPU的PC上测试的。其他配置同 [^31]。

部件分割

部件分割是一项重要的任务，需要精确分割具有精细结构的复杂形状。我们使用图2b所示的网络来预测3D点云对象中每个点的部件标签。

数据集

我们在ShapeNet的部件数据集[^44]上评估了KCNet的部件分割。来自 16 个形状类别的3D点云对象有16881 个形状，一个对象中的每个点对应一个部件标签（总共50 个部件，并且在形状类别之间不重叠）。平均每个对象包含不到6个部分，而高度不平衡的数据使这项任务相当具有挑战性。我们使用了与第4.1节中相同的策略，对每个CAD对象统一采样 2048 个点。我们使用了与[^31]相同的官方训练测试分割。

网络配置

分割网络有 10 个参数层。不同层捕获的局部特征与复制后的全局特征，以及形状信息拼接起来，如[^29]中所述，详见图2b。同样，ReLU在没有批归一化的每一层中使用。全连接层中使用
的Dropout层。我们使用18-NNG进行核计算和图最大池化。使用
组内核，其中每个内核有
个点，这些点在中均匀
初始化，内核宽度为
。其他的超参数与形状分类中的相同。没有进行数据扩充。

实验结果

我们的方法与PointNet[29]、PointNet++[31]和Kd-Net [^20]进行了比较。使用每个类别的交并比（IoU）作为评价度量[^20]：每个形状实例的IoU是这个形状类别中每个部件出现的平均IoU（属于其他形状类别部件的IoU被忽略）。每个类别的平均IoU（mIoU）是通过将该类别中所有形状的IoU进行平均得到的。实例的总体平均IoU(Ins. mIoU)是通过平均所有形状实例的IoU来计算的。此外，我们还报告了类别的总体平均IoU (Cat. mIoU），是直接对 16 个类别平均。表 4 列出了这些结果。与使用表面法线作为额外输入的PointNet++相比，我们的KCNet只将原始点云作为输入，并在表 3 中的计算和参数方面获得了更高的性能和更高的效率。图 4 显示了在ShapeNet部件测试数据集上的一些预测结果的示例。

表 4 ：ShapeNet部件分割结果。基于实例的（Ins.）和基于类别的（Cat.）的平均mIoU的汇报。
图 4 ：在ShapeNet部件测试数据集上部件分割结果样例。IoU(%)被列在每个结果下面用于参数。红色箭头代表KCNet的改进；红色圆圈代表基准数据的一些误差。使用颜色方便阅读。

消融研究

在本节中，我们进一步进行了几次消融实验，研究了各种设计变化，并展示了KCNet的优势。

核相关的有效性

表 5 列出了核相关性与正态性的比较。在这个实验中，我们使用法线作为局部几何特征，将它们与坐标连接起来，并将其传递到图2a中提出的架构中。通过对协方差矩阵进行主成分分析，计算各点的正态值，得到最小方差的方向。结果表明，核相关性优于法线。

表 5 ：在ModelNet40测试集上的消融研究

对称函数

对称函数能够使网络对输入排列[^29]保持不变。在本实验中，我们研究了图最大池化和图平均池化的性能。如表 5 所示，图最大池比图平均池有一个微小的提升，并且计算速度更快，因此被采用。

局部结构的有效性

在表 5 中，我们还分别展示了通过核相关性和图最大池化学习得到的局部几何结构和局部特征结构的影响。请注意，我们的核相关层和图最大池化层已经获得了与PointNet相当甚至更好的性能。

选择超参数

KCNet有几个独特的超参数：
，如第3.1节所述。我们在表 6 中报告了它们的独立影响。
表 6 ：超参数的选择。每列仅改变对应的超参数（基准测试为黑体）。

稳健性测试

我们比较了提出的网络与PointNet在对抗输入点云中的随机噪声时的稳健性。这两个网络都在相同的训练和测试数据集上进行训练，每个对象拥有 1024 个点。PointNet使用与[^29]的作者相同的数据增强代码。

我们的网络是没有数据增强的训练。在测试过程中，随机选择一定数量的输入点替换为均匀分布（范围）的噪声。如图 5 所示，我们的网络对随机噪声更加鲁棒。当用随机噪声替换 10 个点后，PointNet的准确率下降了58.6%（从89.2%下降到30.6%），而我们的方法（KC+GM）仅下降了23.8%（从91.0%下降到67.2%）。此外，在实验组中，图最大池在随机噪声下最稳健。我们推测这种稳健性是由局部最大池化-邻域点在每个维数上共享最大特征而得到的，因此邻域内的随机噪声不易影响预测。这也可以解释为什么KC+GM比仅使用KC更强大。该测试显示了局部结构相对于每个点的特征所具有的优势——我们的网络学习利用相邻区域内的局部几何结构和特征结构，因此对随机噪声具有鲁棒性。
图 5 ：在随机噪声上，KCNet v.s. PointNet。每个对象中不同数量的点被之间的均匀噪声所取代。度量值是ModelNet40测试集上的总体分类精度，结果显示KCNet对随机噪声具有更强的稳健性。GM：仅有图最大池化。KC：仅有内核相关性。KC+GM：两者都有。

结论

我们提出了核相关性和图池化来改进类点网络的方法。实验表明，该方法能够有效地捕获局部模式，并有效地提高了三维点云语义学习的性能。在未来，我们将把核相关推广到更高的维度，并且拥有可学习的核宽度。

留一法（Leave-one-out）：一种交叉验证方法，即留一个数据不参加训练，而用于测试。

落叶无痕

KCNet-通过核相关和图池化来挖掘点云的局部结构

摘要

简介

相关工作

2.1. 几何的局部性质

表面法线

协方差矩阵

核相关性

2.2 点云上的深度学习

方法

3.1. 局部几何结构上的学习

3.2. 局部特征结构上的学习

实验

形状分类

数据集

网络配置

实验结果

部件分割

数据集

网络配置

实验结果

消融研究

核相关的有效性

对称函数

局部结构的有效性

选择超参数

稳健性测试

结论