[논문 리뷰] MVSGaussian (arXiv 2024) : Generalizable 모델

MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo, Tianqi Liu, arXiv2024

 

Overview

MVS기법을 사용해서 Generalizable Gaussian Splatting을 구성하는 방법론에 관함

- 학습 속도를 향상시키기 위해, 1by1 Pixel-aligned gaussian representation함

- GS parameter 출력하는 CNN network를 설계함 (3D Gaussian을 explicit하게 update하지 않고 densification도 없음)

- NeRF Rendering 이미지와 GS Rendering 이미지의 평균값으로 Rendering

 

 

 

알고리즘

0) 여러장 이미지를 COLMAP사용해 이미지별 camera parameter, point cloud 획득함. 그 중 2~3장 or 16장 이미지로 학습

1) MVSNet을 사용해서, depth를 estimation

2) Warping한 이미지 feature 과 depth map으로, pixel마다 3DGS parameter 를 estimation

3) Volume rendering 과 Gaussian rendering 의 평균값으로 rendering

4) Loss는 RGB Loss로만 구성

5) 그 후 noise를 제거하기 위해, Consistent aggregation 사용 : 다른 view의 depth map으로 mask를 만들어서 reprojection error계산

 

 

 

실험 결과

link 에서 확인

 

Generalizable model 학습  : DTU 88개 scene, 학습시간 언급 없음

Generalization test  : 2-3개 view로 training

 

Per-scene Optimization : 16개 view로 training, 4개 view로 testing

입력수가 작다보니, 3D-GS속도도 상당히 빠름

 

 

 

Closing..

이상 짧은 리뷰였습니다.