[논문 리뷰] GaussianPro (arXiv2024) : surface 퀄리티 향상

GaussianPro: 3D Gaussian Splatting with Progressive Propagation, Kai Cheng, arXiv2024

 

Overview

인접 pixel 에 Depth값과 normal값을 propagation하여, surface를 깔끔하게 하고 artifact를 제거하는 기법

 

 

Problems & Approachs

문제) SfM을 Large scene에 수행하면, surface에서 충분한 point cloud를 획득하지 못함

접근법) MVS을 사용해서 progressive propagation 기법을 3D Gaussian densification 가이드하는데 사용

 

문제) 같은 gaussian이 clone 되거나 랜덤 position과 orientation으로 초기화되면 optimization 속도가 늦어짐

접근법) Classical patch matching기법으로 정확한 position과 orientation을 가진 gaussian을 생성

 

 

Algorithm

30K iteration 을 수행하며, 50 iteration 마다 아래 과정을 수행

1) 3D Gaussian들로 depth map 과 normal 을 랜더링

2) Patch matching 기법을 사용해서 이웃 픽셀을 찾은 후, 주변 pixel 로 depth 와 normal 을 propagation 함

3) Geometric consistency 를 사용해서 부정확한 depth와 normal 을 filter함 (=제거함)

4) Filter 된 depth 와 normal 영역 중에 3dgs rendered depth와 차이가 큰 영역을 선별
    (=표면인데, 3DGS에서 캐치 못한 영역이라 간주)

5) 2D를 3D 로 unprojection 한 후 새로운 guassian 값으로 initialization

6) Planar loss 로 gaussian 의  geometry 를 regularize 수행

 

 

실험결과

link에서 영상으로된 결과들 확인

 

Quantitative comparisons

RTX 3090사용, Waymo, MipNeRF360 데이터셋으로 평가. 정략적인 지표는 큰 개선이 없어보임

기존 3DGS에 50iter마다 추가적인 연산을 했기 때문에, 학습 속도는 더 느려짐. MVS Points로 초기화 했을 때 퀄리티는 높아지지만 학습속도는 4배 이상 느려짐

 

 

Qualititative comparisions

normal값이 깔끔하게 추출 된 것을 볼 수 있음

 

 

 

Closing..

이상 짧은 리뷰였습니다.