본문 바로가기
AI Trends

[논문 정리] NeRF 개선 방향 및 기술 동향

by xoft 2022. 10. 10.

 

NeRF(Neural Radiance Fields) 최초 논문에서는 확장 가능한 여러 가능성을 남긴체로 간단하게 핵심 개념을 소개하였었습니다. 

NeRF 최초 논문(ECCV2020)에 대한 설명은 이전 포스트 참조 바랍니다.

본 글에서는 NeRF가 발전할 수 있는 방향성과 기술 동향에 대해 설명하고자 합니다.

본 포스트는 가능한 지속 업데이트 예정입니다. <최종 수정일 2024-06-17>

 


1. Training, rendering 속도 개선

문제점 : NeRF는 V100 GPU 에서 학습에 1일 이상 소요되고, Rendering 1장에 30초정도 소요됩니다. 실시간 Application서비스를 할 수 없습니다. (아래와 중복되는 것이 많습니다.)

 

개선 연구

 

 

2. 입력 이미지수를 축소

문제점 : NeRF는 50장 이상의 입력 이미지에 대해 optimization하여 Model을 생성합니다. 실용적인 서비스를 만들기에는 너무 많은 입력 이미지가 요구됩니다. 적은 수의 입력값으로 Model을 생성하는 모델을 생각 해 볼 수 있습니다. (아래와 중복되는 것이 많습니다.)

 

개선 연구

2-1. one shot

 

 

 

 

3. Memory 축소

 

 

4. Pose Estimation

문제점 : NeRF는 image와 함께, image를 촬영한 카메라 parameter, view direction이 필요로 합니다. 일반적으로 COLMAP을 사용하여 pose를 추정한 후에 NeRF모델을 실행니다. 아래 논문들은 Radiance field를 만들면서 pose estimation도 같이 할 수 있습니다.

 

개선 연구

 

 

5. Scene Editing

문제점 : Static Scene만 Rendering할 수 있는 문제와 유사하게 NeRF는 Scene수정을 할 수 없습니다.

 

개선연구 

 

 

6. Relighting

문제점 : Static Scene만 Rendering할 수 있는 문제와 유사하게 NeRF는 lighting을 변화 시킬 수 없습니다. 

 

개선 연구

 

 

7. 3D Geometry Estimation + 3D Reconstruction

문제점 : 최초 NeRF를 통해 대략적인 SDF(Signed Distance Function)를 계산 할 수 있습니다.

이를 개선한 연구들은 높은 퀄리티로 3D Geometry를 생성합니다. 추가로 Texture도 생성합니다.

 

 

8. Multi-Scale

문제점 : NeRF는 카메라가 물체와 동일 거리에 있는 Single Scale에 대해서만 다룹니다. 다양한 Scale의 Resolution으로 변경 할 경우 생성되는 이미지 퀄리티가 감소합니다.

 

개선 연구

 

 

 

 

9. Dynamic Scene Rendering

문제점 : NeRF는 광원이 일정하고 움직이지 않는 경우에만 Optimization이 가능합니다. 움직이는 사람일 경우, 반사율이 높은 물체를 촬영시 카메라 위치에 따라 광원이 바뀔 경우, 바람에 휘날리는 물체가 있을 경우 등에는 적용 할 수가 없습니다.

 

개선 연구

 

 

연구가 점점 진행되면서, 최초 NeRF의 문제를 개선하기보다 다른 도메인의 문제를 NeRF를 사용해서 풀게됩니다.

 

10. Map Generation

pose tracking을 하면서 Map을 행성하는 SLAM 분야에서도 NeRF pipeline을 사용해서 문제를 해결하고 있습니다. 

 

 

11. Large Scale Scene Rendering

작은 Object가 아닌 도시나 건물과 같은 Scale이 큰 Scene을 합성 할 수 있습니다.

 

12. Unconstrained Photo input

 

 

13. Text to 3D

Diffusion Model을 이용하여, 3D Object를 생성/편집 할 수 있습니다.

Text로 생성

Text로 편집

 

14. Image to 3D mesh

 

15. Image to 3D

  • CAT3D (16.Mar.arXiv2024)

 

16. Rendering Quality 개선 & High Resolution

(개인적으로 랜더링 퀄리티가 낮다고 생각하지 않지만,) NeRF 초기 논문에서 랜더링 퀄리티를 더 높일 수 있습니다. 대부분 논문이 퀄리티에만 초점을 맞추지 않고 다른 요소를 같이 개선한 것이라 분류하기 어렵네요.

 

 

17. 다양한 노출도 아래에서 Scene생성

 

 

18. Inpainting

 

19. Segmentation

  • GARField (arXiv2024)
  • SA3D (arXiv 2023) : segment anything in 3D with NeRF
  • jacobinerf (CVPR 2023) : scene내 pixel간의 semantic correlation 계산 -> segmentation

 

 

19. Reflection

  • NeRF-Casting (23.May.arXiv2024)
  • NeRFReN (CVPR 2022) : Reflection(반사)를 가진 물체 Rendering

 

그 외 그룹화 하지 못한 연구 분야를 기타로 분류해보겠습니다.

 

 

기타

  • FruitNeRF (arXiv2024 / code) : NeRF로 과일 갯수 카운팅 
  • video2game (CVPR2024 / code) : NeRF로 랜더링한 공간에서 미니게임
  • CARFF (arXiv2024) : Next scene 예측 연구
  • Noise-NeRF (arXiv2024) : NeRF결과물에 hidden 정보를 주입하고 추출하는 연구
  • Shinobi (arXiv2024, google) : 다양한 조명에서의 scene입력에 대해 조명 분리
  • Dynamic Mesh aware Radiance Fields (ICCV2023) : 학습된 Scene에 임의의 mesh를 삽입하는 연구
  • Bayesrays (arXiv 2023) : 학습된 NeRF 모델의 uncertainty를 평가하는 연구
  • TransientNeRF (NeurlPS 2023) : Lidar 센서 입력값으로 랜더링
  • copyrnerf (ICCV 2023) : NeRF 결과물에 copyright를 주입하는 연구
  • Mirror-NeRF (ACM Multimedia 2023) : 가상의 거울을 배치
  • NeuralHaircut (ICCV 2023) : face reconstruction
  • NeRFTexture (SIGGRAPH 2023) : 여러장 이미지 -> Teture
  • TEXTurePaper (SIGGRAPH 2023) : 3D모델 + Text -> Texture
  • Hyperreel (arXiv 2023) : 6DoF video 생성
  • Seeing the World Through Your Eyes (arXiv2023) : 동공에 맺힌 상을 3D Reconstruction
  • pointersect (CVPR 2023) : point cloud rendering
  • nerfbusters (arXiv 2023) : 모델 평가, artifacts 제거
  • nerf2nerf (arXiv 2022) : 2개Scene 정합
  • VQRF (CVPR 2023) : 모델 사이즈 개선
  • DMTet (NeurIPS 2021, Nvidia) : point cloud to mesh
  • Neo360 (ICCV2023) : 차도로 360도 데이터셋
  • Free-Metahuman-Identity : high quality face 데이터셋

 

 

Reference

https://github.com/yenchenlin/awesome-NeRF

https://arxiv.org/pdf/2101.05204.pdf

https://lgresearch.ai/blog/view?seq=228&page=2&pageSize=12 

https://markboss.me/post/nerf_at_eccv22/

https://chanrankim.notion.site/CVPR-2023-0f633dd8708b48028136d8347b005bda

저작자표시 비영리 변경금지

'AI Trends' 카테고리의 다른 글

[정리] Generative AI 발전 : GPT와 Diffusion 중심으로  (0) 2024.01.01
[공유] NeRF 기술 트렌드 세미나  (0) 2023.12.19
[논문 정리] 3D Gaussian Splatting (3D-GS) 동향  (0) 2023.11.24

관련글

댓글

티스토리툴바