Abstract

• PointNet은 local feature를 잡아내지 못하는 단점이 있음

• CNN처럼 Local feature를 잡을 수 있는 PointNet++ 고안

  • scale을 점차 키우면서 local features를 학습하도록 함

  • 균일하지 않은 density → 모델의 일반화 성능을 떨어트리는 요인

    ⇒ 다양한 scale로부터의 feature를 점진적으로 결합하는 방식 제안

• 기존의 모델들보다 좋은 성능으로 SOTA 달성

Introduction

• Euclidean space에서의 point의 집합 (x,y,z)를 기하학적으로 분석하는 것에 관심
  • invariant to permutations
  • 거리 측정 방법에 따라서 인접한 이웃 포인트들이 다른 특성을 가질 수 있습니다. 예를 들어, 일반적인 유클리드 거리 측정 방법은 모든 차원의 크기가 동일하게 고려되므로, 데이터의 분포가 비대칭적인 경우에는 이웃 포인트들의 특성이 다양할 수 있습니다.
    • 불균일
• PointNet은 point set을 바로 사용

  • 각 point에 대해 shared MLP를 통해 spatial encoding을 거치고

    max pool을 통해 정보를 합침

  • 이 때, 거리에 따른 local feature를 잘 잡아내지 못함

• 반면, CNN에서는 local feature를 이용하는 것이 중요함
• 본 논문은 PointNet++ 모델을 제시
  1. metric space 고려 sampling
  2. hierarchical fashion → local feature 잡아냄

1. point set을 나누는 법 ⇒ ball query 이용

   → Farthest point sampling(FPS)로 centroid 선정

   → radius 다양하게 적용

2. local feature를 추출하는 법 ⇒ local feature learner로 PointNet 사용

⇒ 서로 연관이 있음. CNN처럼 weights가 shared되기 위함

• 적절한 scale을 고르는 것은 어려움

  ⇒ point cloud의 불균일한 특징 떄문 + 서로 다른 scale의 특징이 복잡하게 얽힘

  ⇒ 다양한 scale을 적절하게 사용하여 detail한 정보와 강인함을 모두 잡음

• 추가적으로, random input dropout training 사용

Problem Statement

• point set M(불균일) 과 Euclidean space에서의 distance metric인 d가 있을 때, 이로부터 관심있는 정보를 얻어야 함.

Method

• PointNet++은 PointNet에 hierarchical structure이 추가된 일종의 확장판

Review of PointNet : A Universal Continuous Set Function Approximator

• PointNet의 목적

  1. symmetric function 만들기 : invariant to permutation
  2. critical point set이 보존된 상태라면, noise에도 강인한 모델 : Continuous Set function

  ⇒ 서로 다른 scale에서의 local context에 대한 정보가 부족