[논문 리뷰] Style Gaussian (arXiv 2024) : 3DGS 스타일 변경

StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting, Kunhao Liu, arXiv 2024 

 

이번 리뷰는 개인적으로 여러 논문들을 보기 위해, 짧은 시간에 논문 파악하고 정리하는 연습을 목적으로 했습니다. 짧게 논문을 파악하고 싶은 독자들을 위한 글입니다.

 

 

요약

VGG output feature 로 3D Gaussian color를 표현하도록 모델링 후에, Style Image의 VGG Feature로 Switching 함으로써 Style Transfer수행. 3DGS parameter 모두 고정하고 color만 변형함

크게 Gaussian embedding, Style Transfer, RGB Decoding 3단계로 구성됨

 

 

 

Gaussian Embedding

VGG feature로 color를 표현

Vanila 3DGS Alpha Blending (α는 opacity) $$ C = \sum_{i \in N} c_i \alpha_i \prod_{j=1}^{i-1} (1 - \alpha_j) $$ StyleGaussian Alpha Blending : color대신 feature $f_i$ $$ F = \sum_{i \in N} f_i w_i, \quad w_i = \alpha_i \prod_{j=1}^{i-1} (1 - \alpha_j) $$  Loss function : Image의 VGG output Feature F_gt로 학습 $$\{f_p\}_{p}^{P} = \arg\min_{\{f_p\}_{p}^{P}} \sum |F - F_{gt}|$$ Feature Dimension Reduction : 256(=F) -> 32(=F’) ; A,b는 learnable variables $$ F = \mathcal{T}(F') = A F' + \sum_{i \in N} b w_i $$

 

 

Style Transfer

AdaIn으로 style feature transfer수행

Style을 VGG feature기반으로 transfer함

$μ , σ$ : channel-wise 평균, 분산

$F^s$ : style image의 VGG output

$𝑓_𝑝^𝑇$ : transformed feature $$f_p^{t} = \sigma(F^{s}) \left( \frac{f_p - \mu(\{f_p\}_{p}^{P})}{\sigma(\{f_p\}_{p}^{P})} \right) + \mu(F^{s})$$

 

 

 

RGB Decoding 

Style Feature를 Rendering

Feature들을 CNN에 통과 시켜 Color를 획득하게 됨

이 때, KNN으로 K개의 인접한 gaussian들의 feature로 convolution함

Loss함수 : style image의 feature와 유사해지도록 update ; RGB GT없음

$L_c$ : feature map의 MSE,  $L_s$ : channel-wise feature 평균 표준편차의 MSE $$\mathcal{L} = \mathcal{L}_c + \lambda \mathcal{L}_s$$ Feature-to-color는 어떻게 학습? 디코더가 출력한 이미지를 VGG통과시킨 feature로 decoder를 학습하는 것이 아닐까 추측

 

 

 

실험 결과

link에서 영상으로 확인