PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space

杂志: NIPS2017
IF: None
分区: None
github

作者提供的源码是tensorflow的，包括它的实现，为了提高速度，使用了一些C++代码。这里提供的代码是纯正pytorch的，更加利于学习，但可以效率低一些。

Introduction

之前PointNet算是在DL领域对point sets的一个探索，其基本思想是先学习每个点的encoding，然后将所有点的信息进行融合得到global point cloud signature。

但这样的设计使得模型无法捕捉到点云的局部结构，而在CNN的实践中我们知道这是非常重要的，低级别的特征有较小的感受野，高级别的特征有较大的感受野。
所以本研究介绍一个分层的NN框架——PointNet++，

思想是：
- 先将点集分割成可重叠的local regions，通过某些距离度量；
- 类似CNN，从这些local regions中提取特征；
- 将这些特征组合成新的点集，然后继续学习更高级别的特征。
这样，PointNet++的实现面临两个问题：
- 怎样进行分割？
  
  在欧式空间中，使用最远点采样（FPS）选择centroids，然后使用centroids为中心的球形邻域作为一个local regions。
- 如何提取点集或local regions的特征？
  
  使用PointNet。
实验显示PointNet++能够有效地、稳健地学习点集的特征，结构也显著优于state-of-the-art。

Methods

\((M, d)\)是一个metric space，其中\(M\in \mathbb{R}^n\)是n维欧式空间的一个子集，\(d\)是其上的一个metric。使用\(\mathcal{X}\)来表示将\(M\)的位置信息、点特征组合在一起的特征点集，则我们的任务是学习一个\(f\)能够得到\(\mathcal{X}\)的富含语义的表示，用于分类或分割。

1. PointNet Review

详见

2. 分层点集特征提取

如图所示，整个网络有多个set abstraction layer组成，其将输入的点集（\(N\)个点，每个点的坐标数量\(d\)、特征数量\(C\)）进行一系列操作，生成一个有着更少的点、每个点特征更新了的新的点集（\(N'\)个点，每个点坐标数量\(d\)、特征数量\(C'\)），其包含以下3个部分：

Sampling layer

从输入点集中选择一部分点，作为centroids。

方法：使用FPS采集指定数量的centroids，FPS使用到了数据的坐标信息来进行采样，这使得其相比于完全随机采样有更好的覆盖率。
Grouping layer

以centroids为中心，选择其neighborhoods构成local region sets。

方法：使用ball query的方法，即找到在以centroid为中心、一定距离为半径的ball中的所有点作为local region sets，这样每个region sets中的点的数量可能不一样。

相对应的还有一种方案，即kNN，即寻找距离centroid最近的k个点。ball query的方法相对于它，产生的local region features在空间上更加有意义，这对于分割任务可能是有益的。
PointNet layer

使用一个mini-PointNet将local region sets编码成feature vectors。

方法：对于每个local region set，先以centoid为原点转换点集的点的坐标，然后使用PointNet进行学习，在一个PointNet layer中，所有的local region sets使用的PointNet是权值共享的。

3. 非均匀的点云密度

现在有一个问题：很多时候点云并不是均匀分布在空间中的，这种非均匀的分布会导致我们的feature leanring不稳定，在稀疏点集上学习到的特征并不能推广到密集的点集，反之亦然。

为了解决这个问题，本研究提出了一个density adaptive PointNet layer来提到上面的PointNet，此时组合成的整个网络称为PointNet++。

其基本思想是，在每个set abstraction layer中，会进行多个尺度的grouping和PointNet特征提取，然后将这多个尺度的特征根据其points density进行组合，有以下2种方式：

Multi-scale Groupiing（MSG）

如上图a所示，最简单的，即进行多个尺度的grouping和PointNet，然后将特征concat在一起即可。

random input dropout：为每一个样本（点云）随机一个\(\theta\sim \mathcal{U}(0, p)\)，然后\(\theta\)为丢弃率将输入的点丢掉。这样，网络会接收到不同程度的输入稀疏性，从而面对非均匀点集也是稳健的。

使用\(p=0.95\)而不是\(1\)是为了防止出现空集合的现象。
以上的操作是面对local region sets做的。
Multi-resolution Grouping（MRG）

MSG运行起来效率非常低，因为其需要为每个local sets都执行，而local sets的数量在底层时通常非常大。

MRG的思想是将提取两个层次的特征，然后将其concat到一起。如果点的密度较大，则右边的特征提供了更加细粒度的描述；如果点的密度较小，则左边的特征提取的信息较比较少，主要由右边来负责。