Abstract

• point cloud는 형태가 균일하지 않은 문제점

  ⇒ 3D voxel grid, mesh 형태로 변환해서 해결

  ⇒ 이렇게 했을 경우 데이터의 부피가 불필요하게 커지는 문제점이 있음

• 본 논문에서는 새로운 방법의 neural network를 통해 해당 문제를 해결

  추가적으로 point clouds의 특징인 permutation invariance에 대해서도 해결

• PointNet의 경우 point clouds를 이용하여 classification, segmentation 수행

  ⇒ 기존의 SOTA 모델보다 성능 우수 + permutation에 대해 강인함

Introduction

• 3d data에 대해 deep learning으로 추론이 가능한지 탐색해봄

• 일반적으로 convolution 구조는 균일한 fomat 사용

  ⇒ 따라서 point clouds 혹은 mesh data를 convolution에 사용하기 위해서는

  3D voxel과 같은 형태로 변환할 필요가 있음

• 위와 같은 변환과정

  • 불필요하게 부피가 커지는 문제점
  • quantization → data natural invariance 해칠 수 있음

• 따라서 해당 문제점들을 해결하기 위해

  PointNet 모델을 통해 input으로는 point cloud를 사용하는 방법 집중

  ⇒ permutation 문제 해결 + mesh의 복잡함 해결

  ⇒ 학습 쉬워짐

• 구성은 다음과 같음

  • Input : point clouds $(x,y,z)$
  • Output1 : class labels (classification)
  • Output2 : per point segment / part labels (segmentation)

• 각 포인트가 동일하고 독립적으로 처리되는 초기 단계들

• Max Pooling : 의미있는 정보들을 선택하여 최적화 학습

• 마지막 Fully Connected Layer 통해 최적 학습 값들을 통합, 결과 도출

• Input 이 point clouds이고, 각 point가 독립적으로 변환하는 점

  ⇒ 강체 or 유사한 변환에도 적용 쉬움

  ⇒ PointNet 전체 data에 의존적인 공간 변환 network를 추가하여 성능 향상할 수 있음

• 이론적 분석 + 실험적 평가

• sparse 형태의 중요 지점들을 학습함

• 이론적 분석은 강인함에 대한 이해 도움 (어떻게 이루어지는거지?)

• 핵심 기여

  1. 정렬되지 않은 point set으로 학습이 가능한 새로운 모델 디자인

  2. 어떻게 분류, segmentation이 가능한지 보여줌

  3. 경험적 실험적 분석을 통해 안전성 효율성 보여줌

  4. 모델에서 선택된 뉴런이 계산한 3D features를 묘사하고,

     성능에 지관적인 설명을 붙임

Related Work

• Point Cloud Features

  • 대부분의 point cloud features는 특정 용도에 맞게 수작업

  • 특정 변환에 불변성을 위해 통계적 특징으로 encode

    ⇒ 내재적 / 외재적 분류

    ⇒ local feature / global feature 분류

  • 특정 업무에서는 최적 feature 조합을 찾는 것이 중요함