[논문 발표] NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis

 

이번에 NeRF 논문을 읽었는데요, 

간략하게 NeRF에 대해서 설명한 다음에 

구체적으로 NeRF의 아키텍처와 구현 방법에 대해서 발표해보겠습니다. 

 

 

NeRF는 Neural Radiance Field의 약자입니다. 

제목에서는 View Synthesis를 하기 위해서 NeRF를 사용하고자 한다는데요, 

 

여기서 view synthesis라는 것은 

여러 view에서 찍은 어떤 객체의 사진을 학습 시켰을 때 

객체를 새로운 view에서 바라보았을 때의 모습을 알아내는 작업입니다. 

 

앞서 연구에서는 이 view synthesis 작업이 성능이 좋지 않게 나오거나

많은 데이터셋을 요구해 너무 많은 메모리를 요하는 어려움이 있었습니다.

그래서 이 논문에서는 이러한 문제를 해결할 수 있는 새로운 방안인 "NeRF"를 제시한건데요.

 

그래서 여기 드럼세트의 예시를 한번 보시면요,  

input에 서로 다른 view에서 본 드럼세트의 모습을 넣어주는 것을 볼 수 있습니다.

그리고 이 input값을 NeRF 모델에 학습시키면

새로운 view에서 바라본 드럼세트의 모습이 출력되는 것을 확인할 수 있는데요,

 

이렇게 객체의 3D 모델을 직접 생성하지 않고도 

2D의 불연속적인 이미지들을 입력을 받아서 NeRF를 학습시키면

새로운 view에서의 객체의 모습이 예측되고 생성 됩니다. 

그리고 이런 출력 이미지들을 모두 합치면 객체를 모든 방면에서 연속적으로 볼 수 있어 

결국 마치 3D로 보는 것 같은 효과를 줄 수 있는 것입니다. 

그래서 NeRF는 컴퓨터 비전, 그래픽스 분야에서 굉장히 활발하게 연구가 되고 있는 분야라고 합니다. 

 

 

앞서 NeRF는 2D의 이미지를 3D로 변환해주는데, 이를 view synthesis 기술을 통해서 한다고 말씀드렸는데요, 

이제 조금 더 구체적으로 어떻게 NeRF를 사용하여 3D 이미지를 렌더링하는지를 살펴보겠습니다. 

 

먼저 input값을 보면, 카메라 ray를 따라 나타나지는 continuous한 5차원의 좌표를 입력 받는다고 합니다. 

앞서 드럼세트 예시를 봤을 때, 100장의 이미지를 input한다고 말씀을 드렸는데요,

NeRF를 학습시킬 때 100장의 이미지를 학습시키는 것이 아니고 

각 이미지들의 픽셀 값을 기준으로 camera ray를 쐈을 때 그 위의 좌표들을 sampling하여 학습시킵니다. 

 

이번엔 노란 불도저 사진을 보면

카메라와 input 받은 사진, 그리고 물체가 있는 것을 확인할 수 있습니다. 

input 받은 사진의 한 픽셀을 기준으로

카메라 ray를 쏘았을 때 물체에 닫는 부분들, 즉 물체의 위치 정보를 나타내주는 좌표들과

카메라가 물체를 바라보는 방향에 대한 좌표값을 얻을 수 있습니다. 

 

그렇게 얻어낸 continuous한 5차원의 좌표들을 input하여 

fully-connected한 MLP 네트워크에 학습시키면 

그 ray 위에 sampling된 좌표값들에 각각 대응하는 RGB값과 volume density값을 출력합니다. 

여기서 RGB값은 물체의 color를 나타내는 것이고요, 

volume density는 투명도의 역수를 의미하는 불투명도를 의미합니다. 

 

이렇게 얻어낸 출력값들은 volume rendering할 때 사용할 것인데

이를 통해서 하나의 픽셀값을 합성하게 됩니다. 

 

얻어낸 픽셀값과 ground truth의 픽셀값을 비교해 loss값을 구하고 backpropagation하게 되는데, 

이때 volume rendering이라는 기법은 미분 가능하기 때문에

backpropagation을 통해서 네트워크를 학습시키는 구조가

NeRF의 학습시키는 아키텍처입니다. 

(backpropagation, 미분 가능 등에 관해서 물어볼 수 있으니 공부하기!) 

 

그래서 제가 설명한 NeRF 모델이  

이 사진에 예쁘게 표현되어 있는 것을 확인할 수 있습니다. 

이 사진에서 저자들은 (a)와 (b)를 새롭게 제시한 것이고, 

volume rendering 부분은 이미 image rendering 분야에서 사용되는 방법을 통해서 구현했다고 합니다.

 

(NEXT Page)

제가 앞서 MLP에 대해서는 간략하게 fully-connected한 네트워크이다~ 라고만 하고 넘어가서

MLP를 조금 더 자세히 보고자 하는데요.

그래서 MLP 네트워크의 구조를 도식화한 사진을 가져와봤습니다. 

 

제가 처음에 5차원의 데이터를 MLP의 input값으로 사용한다라고 말씀드렸습니다.

근데 실제로 5차원의 데이터가 한꺼번에 MLP에 들어가는 것은 아니라는 것을 확인할 수가 있는데요,

 

먼저 물체의 위치를 나타내주는 3차원의 좌표를 input값으로 넣어줍니다.

그리고 이 값들은 8개의 fully-connected한 layer을 통과하게 되고 

output으로는 volume density와 256차원의 feature vector를 출력하게 됩니다. 

그렇게 해서 앞서 말씀드린 volume density 값을 먼저 구하게 되고,

 

이 값과 방향을 나타내주는 좌표를 이때 입력해주고 

또 하나의 additional한 fully connected layer을 통과했을 때 

RGB값인 물체의 색깔을 출력하게 됩니다. 

 

이렇게 색깔을 구할 때는 방향 좌표를 같이 입력 받는 이유는 Non-Lambertian Effect 때문이라고 하는데요, 

이 Non-Lambertian Effect는 물체를 바라보는 각도에 따럿 색이나 반사율이 달라지는 현상을 말합니다. 

따라서 물체의 밀도를 구할 때는 물체를 바라보는 각도와는 상관이 없기 때문에 처음 8개의 FC에서는 위치 정보만 학습하도록 하였지만, RGB 값을 구할 때는 물체를 바라보는 방향 값까지 추가적으로 학습시켜 마지막 FC에 입력으로 넣어준 것입니다. 

 

(PREVIOUS Page)

그래서 MLP의 출력값 부분에는 RGB값은 위치 좌표와 방향 좌표를 같이 입력 받아 예측했다고 되어있고, 

밀도값은 오로지 위치 좌표 값만으로 예측했다고 되어 있는 이유입니다. 

 

그래서 밑에 사진을 보시면 ground truth값과 비교했을 때

view dependency를 고려하지 않았을 때는 바퀴에 빛이 반사되어 하얗게 보이는 부분은 반영이 되지 않은 것을 확인할 수 있습니다.

또한 위에 사진을 보면, 하나의 view를 잡고 물체를 움직였을 때, 즉 물체를 바라보는 방향을 바뀌줬을 때,

색깔이 연속적으로 잘 출력이 되는 것을 확인할 수 있는 것입니다. 

 

 

 

다음으로는 Volume Rendering 부분에 대한 설명이 나오는데요, 

이 부분은 NeRF 저자들이 직접 만들어낸 방법은 아니고

이미 Image Rendering 분야에서 사용되고 있는 기법이여서 

논문에서도 classic volume rendering technique를 사용한다라고 표현합니다. 

 

그래서 volume rendering을 간략하게 설명하자면 

volume density와 rgb값을 합쳐서 하나의 픽셀로 변환하는 작업을 의미합니다. 

 

이 개념에 대한 수식은 (1) 수식에서 볼 수 있습니다. 

 

(1) 수식을 보기 전에, r(t)값을 먼저 보면, 

이것은 카메라 ray를 의미합니다. 

o는 원점 즉, 카메라의 위치를 의미하고, 

d는 카메라 ray의 방향, 그리고 t는 ray 위의 점의 위치가 되겠습니다. 

 

그래서 식을 크게 봤을 때, 카메라 ray에 대한 밀도와 RGB값을 서로 곱해서 

tn~tf까지 만큼 전부 적분한 것을 확인할 수가 있습니다. 

그렇기 때문에 density 값이 클수록 픽셀값에 RGB값이 더 많이 반영되게 되는 것입니다. 

근데 여기에 추가적으로 T(t)라는 값이 보이는데요, 이는 transmittance를 나타냅니다.

Transmittance는 t보다 앞에 있는 점들의 밀도의 합을 의미하는데요, (적분 식 보여주면서 말하기)

이 값은 - 부호를 가지므로 transmittance값이 클수록 보고 싶은 물체가 가려졌음을 의미합니다. 

 

이 transmittance값까지 곱해줌으로써 ray의 구간 안의 모든 점에 대한 정보를 반영을 하여 

밀도와 RGB값에 따라서 하나의 이미지 픽셀값 C(t)를 계산함을 확인할 수가 있습니다.

 

근데 여기서 이러한 생각을 하실 수 있을 것 같습니다. 

카메라 ray는 직선이고 이 위에는 무수히 많은 점들이 있을텐데, 

이 무수하게 많은 점들을 전부 sampling하는 것은 말이 되지 않다고 생각하실 것 같아요. 

 

그래서 논문에서도 ray 위에서 몇 개의 점들을 샘플링하여 뽑아내는데, 

ray 위에서 무작위로 뽑아내면 정보가 쏠리거나 부족할 수 있으니깐 

논문에서는 ray를 N등분하였고, 각각의 등분한 곳을 bin이라고 표현하였습니다.

그리고 이 bin들은 모든 확률이 균일한 분포를 이루도록 점을 뽑습니다. 

이렇게 되면 학습할 때마다 sampling되는 점이 달라지므로 연속적인 값에 대해서 학습할 수 있습니다. 

 

이러한 방법을 stratified sampling approach라고 하고, 

수식 (2)에서 보이시는 것처럼

tn부터 tf까지의 구간을 N등분하여 각 등분 구간에서 i번째 난수 ti를 생성하는데

이때 각 구간마다 Uniform Distribution (균일 분포)를 따르도록함을 수식화 한 것입니다. 

 

(NEXT Page) 

이렇게 NeRF의 기본적인 implementation 방법에 대해서 설명드렸는데요,

아쉽게도 high-frequency와 high-resolution의 complex한 scene들을 표현하기에는 기본적인 구현 방식이 성능에 있어서 부족함을 보였다고 합니다. 

그래서 논문에서는 이를 해결하기 위해 Positional encoding 방법과 Hierarchical volume sampling 방법, 2가지를 소개합니다.

 

먼저 Positional Encoding에 대해서 말씀드리자면, NLP에서의 개념과는 다른 개념입니다. 

NeRF에서 Positional Encoding을 하는 이유는 high-frequency 영역까지 학습을 하고 싶은데, 

정작 입력값이 5차원밖에 되지 않아, 학습할 때 정보가 많이 부족하여 성능이 크게 떨어지는 문제가 발생한다고 합니다. 

 

그래서 (4)번 식을 통해서 high-frequency 정보까지 잘 표현할 수 있도록 해줬는데요,

이 수식에서 L은 차원 수를 의미합니다. 

논문에서는 처음 위치 좌표값에 대해서는 L을 10으로, 

방향 좌표값에 대해서는 L을 4로 해줬다고 하는데요, 

 

그래서 MLP 네트워크를 다시 확인하면 왜 γ(x)와 γ(d)의 차원이 각각 60차원과 24차원으로 표현됐는지 알 수 있습니다. 

왜냐하면, γ(x)의 경우, 원래 3차원의 위치 좌표값 각각이 10차원이 되고, sin과 cos값이 번갈아 표현되기 때문에 3x10x2해서 60차원이 됨을 볼 수 있습니다. 

γ(d) 값도 마찬가지로 방향 좌표를 입력할 때는 3D의 Cartesian 좌표를 입력값으로 넣기 때문에 3x4x2해서 24차원이 되는 것입니다. 

이렇게 입력 데이터를 고차원 데이터로 만들어줌으로써 high-frequency의 함수로 학습이 되는 것을 확인할 수 있었습니다. 

 

다음으로는 Hierarchical Volume sampling 기법을 사용했습니다. 

 

이 기법을 사용하게 된 이유는, 앞서 volume rendering을 하기 위해서 stratified sampling을 진행한다고 말씀드렸습니다.

근데 이때 ray 위의 점들 중에서 물체가 존재하지 않는

free space나 occluded region을 뽑아 학습시켰을 때의 비효율성을 깨닿게 되어,

물체가 존재하는 유의미한 점들을 다시 sampling하여 추가학습을 진행하는 방법을 제안한 것입니다. 

 

그래서 Coarse 네트워크와 Fine 네트워크, 두 개의 네트워크를 학습시키는 것인데요, 

처음엔 ray 전체에 대해 stratified sampling하여 학습을 시킵니다. 이것을 Coarse 네트워크라고 합니다.

그리고 앞에서 학습됐을 때 밀도 값이 크게 나온 부분을 다시 골라서 sampling해서 추가적으로 학습 시킬 것인데, 이 네트워크에서는 Nc개와 Nf개의 데이터를 입력값으로 넣어서 학습시키는 것입니다. (전체 부분도 고려할 수 있게끔 설정함) 이것을 Fine 네트워크라고 하고, 이것을 통해서 최종 픽셀값을 얻어낼 수 있는 것입니다. 

 

(NEXT Page)

마지막으로 Implementation detail을 보면

iteration을 돌 때마다, camera ray를 random하게 sampling하고 

여기에서 sampling할 점들을 hierarchical sampling을 통해서 정하고 

volume rendering을 통해서 얻은 픽셀값으로 

ground truth 값과 비교하여 loss를 계산하는 구조인 것입니다. 

 

이때 loss는 아래 수식처럼 coarse network의 loss값과 fine network의 loss값을 합하는 것을 확인할 수 있습니다.

 

이 실험에서는 4096개의 ray들을 가지고 실험했다고 하고, 

Nc는 64, Nf는 128로 sampling을 진행했다고 합니다. 

 

NeRF는 NVIDIA V100 GPU를 사용했을 때, 하나의 scene을 만드는데 1-2일이 걸린다고 합니다.