[논문정리]3. GS-IR: 3D Gaussian Splatting for Inverse Rendering

 

4. Method (방법)

주어진 정적이지만 미지의 조명 조건 하에서 여러 뷰에서 캘리브레이션된 RGB 이미지 집합을 기반으로, 역렌더링(inverse rendering)은 장면의 내재적인 속성(법선, 재질, 조명 포함)을 분해하는 것을 목표로 합니다. 이러한 분해는 대상 장면의 복원 및 후속 편집을 가능하게 합니다.

 

3DGS [24]의 뛰어난 품질과 속도의 성능에 영감을 받아, 우리는 세 가지로 잘 설계된 단계 전략으로 구성된 새로운 프레임워크 GS-IR을 제안합니다.

 

 

첫 번째 단계에서는, 우리는 differentiable splatting을 활용하여 3D 가우시안을 최적화합니다. 동시에, 렌더링된 깊이 맵에서 파생된 그래디언트를 이용해 3D 가우시안에 저장된 법선을 감독합니다

 

두 번째 단계에서는, 학습된 기하학적 정보(깊이 및 법선)를 기반으로 occlusion를 미리 계산하고, 이를 효율적인 구면 고조파 기반 아키텍처( Spherical Harmonics-Based Architecture )에 저장하여 간접 조명(indirect illumination)을 모델링합니다

 

마지막 단계에서는, 차별 가능한 스플래팅과 물리 기반 렌더링(PBR, Physical-Based Rendering) 파이프라인을 결합하여 조명 및 재질 정보를 인식하는 3D 가우시안을 최적화합니다(Sec. 4.3 참조).

 

다중 뷰로 촬영된 이미지에서 장면의 기하학, 재질, 알려지지 않은 자연 조명을 재구성하기 위해 GS 기반 역렌더링 프레임워크(GS-IR)를 제안합니다. GS-IR은 3D 가우시안과 differentiable forward mapping splatting을 사용하여 물리 기반 렌더링(Physical-Based Rendering)을 달성하는 세 가지로 잘 설계된 단계 전략으로 구성됩니다.

 

이 접근 방식에서, 가우시안은 기본적인 3DGS 정보뿐만 아니라 법선(Normal)과 재질(Material) 속성도 저장하여 역렌더링 작업의 역량을 강화합니다.

 

4.1. Normal Reconstruction

초기 단계에서는 관측된 이미지에서 기하학적 재구성을 위해 3D 가우시안 G를 최적화합니다. 최적화된 GGG는 표면 점과 그에 대응하는 법선 n의 기하학적 프록시(대리체) 역할을 하며, 이는 성공적인 역렌더링을 위해 필수적입니다. Sec. 1에서 강조한 것처럼, 3DGS 기반 프레임워크에서 합리적인 법선을 생성하는 것은 상당히 어려운 문제입니다.

 

이 문제를 해결하기 위해, 우리는 깊이 D^를 개선하고 깊이 그래디언트를 활용하여 의사 법선(pseudo normals) n^D^=∇uvD^을 도출하는 직관적인 전략을 도입합니다. 이렇게 생성된 의사 법선은 3D 가우시안 내 법선 최적화를 안내합니다.

 

사전에 학습된 3D 가우시안 GGG와 렌더링을 위한 특정 뷰가 주어졌을 때, 해당 뷰에서 픽셀의 음영 결과는 Eq. (3)을 사용하여 얻을 수 있습니다. 따라서 동일한 부피 누적(volumetric accumulation)을 사용하여 깊이를 계산하는 것은 합리적.

 

여기서 di​는 해당 3D 가우시안으로부터 이미지 평면까지의 거리를 나타냅니다.

그러나, 우리는 NeRF에서 사용되는 역방향 매핑 볼륨 렌더링(backward mapping volume rendering)과 달리, 부피 누적 동안 떠다니는(floating) 문제가 발생한다는 것을 관찰했습니다. 3DGS 최적화 과정에서 가우시안 밀도의 적응적 조정은 깊이가 3D 가우시안보다 앞에 나타나게 하여, 정확한 깊이 예측에 어려움을 초래할 수 있습니다

.

1. Depth Prediction

구체적으로, 역방향 매핑 방식은 최대 샘플(peak samples)만 고려함으로써 정확한 깊이를 얻을 수 있습니다.

 

3D 가우시안과 이미지 평면 간의 거리

3D Gaussians와 이미지 평면 사이의 거리를 선형 보간(Linear Interpolation)하여 깊이를 계산하고, 이 값이 최소 거리와 최대 거리 사이에 있도록 보장함으로써, 우리의 방법은 정확한 깊이를 생성할 수 있습니다.

 

하지만 3DGS와 같은 일반적인 순방향 매핑(forward mapping) 방법에서는, 피크 선택(Peak Selection)이 3DGS 내에서 디스크 앨리어싱(Disc Aliasing)을 초래합니다.
이 한계를 극복하기 위해, 우리는 깊이 D^가 3D Gaussian과 이미지 평면 사이의 최소 거리와 최대 거리 사이에 있어야 한다고 고려하며, 이는 그림 3에서 설명된 것처럼 표현됩니다.
이후, 깊이를 3D Gaussian과 이미지 평면 사이의 거리들을 선형 보간(Linear Interpolation)으로 처리합니다.

 

선형 보간(Linear Interpolation) Ti 는 가중치(Transmittance), αi​ 는 불투명도(Opacity).

*디스크 앨리어싱 3D Gaussians를 2D 화면에 투영하는 과정에서 디스크 형태로 나타나는 왜곡 또는 부정확성

GSIR은 선형 보간과 Gaussian 전체 기여도 반영을 통해 이를 해결하여, 깊이와 법선 복원의 정확도를 높였습니다.

 

2. Normal Derivation (법선 유도)
Gaussian 내부에서 깊이를 정확하게 예측하면 법선 복원에 더 나은 지침을 제공할 수 있지만, 깊이 그래디언트를 직접 사용하여 법선을 생성하는 데에는 두 가지 한계가 있으며, 이는 효과적인 역렌더링의 요구 사항을 충족하지 못합니다.

첫째, 깊이 그래디언트 추정은 노이즈에 매우 민감하여 예측된 법선이 종종 매우 노이즈가 많은 상태가 됩니다.
둘째, 각 뷰의 깊이 맵에서 개별적으로 유도된 법선은 다중 뷰 일관성을 만족하지 못합니다.

 

이 문제를 해결하기 위해, 우리는 깊이 그래디언트에서 직접 법선을 유도하는 대신 Gaussian G를 법선 추정을 위한 프록시(Proxy)로 사용합니다. 3DGS의 효율성을 활용하여, 단일 렌더링 패스 이후 관찰된 뷰에서 깊이 D^와 법선 n^을 얻습니다.
그런 다음, 예측된 의사 법선을 기본 깊이 그래디언트 법선 n^D^에 간단한 페널티를 사용하여 연결합니다.

 

 

• 단일 렌더링 패스를 통해 관측된 뷰에서 깊이 D^와 법선 n^을 동시에 예측.
• 법선 손실 함수를 도입하여 의사 법선(Pseudo Normal, n^)과 깊이 그래디언트에서 계산된 법선(D^​) 간의 차이를 최소화:

3. Smoothness Regularization (부드러움 정규화)

Gaussian G에서 예측된 법선은 다소 거칠기 때문에 부드러운 법선을 얻기 위한 정규화가 필요.

TV(Total Variation) 항을 추가하여 법선의 부드러움을 보장

 

4. 최적화 과정

최적화는 두 가지 손실 함수를 결합해 수행:

1. 색상 복원 손실 Lc​ (3DGS와 동일).
2. 법선 손실 Ln​ (새롭게 제안된 항).

<정리>

 

• 깊이 예측:
  • 선형 보간을 통해 정확한 깊이를 계산하고, 디스크 앨리어싱 문제를 해결.
• 법선 복원:
  • Gaussian을 프록시로 사용하여 노이즈를 줄이고, 다중 뷰 간의 일관성을 유지.
• 부드러움 보장:
  • Total Variation 항을 추가해 법선을 부드럽게 정규화.
• 최적화:
  • 색상 복원과 법선 복원 손실을 결합하여 초기 단계에서 3D Gaussian을 최적화.

 

우리는 간접 조명(Indirect Illumination)을 모델링하기 위해 구면 고조파(Spherical Harmonics, SH) 아키텍처를 활용하여 차폐 볼륨(Occlusion Volumes)을 베이킹합니다. 각 차폐 볼륨 그리드에 대해, 먼저 3D Gaussian을 사용하여 6번의 순방향 매핑 스플래팅(Forward Mapping Splatting) 패스를 수행하여 **깊이 큐브맵(Depth Cubemap)**을 계산합니다.그 후, 깊이 큐브맵을 거리 임계값(Distance Threshold)에 따라 **이진 차폐 큐브맵(Binary Occlusion Cubemap)**으로 변환합니다.마지막으로, 차폐 큐브맵을 SH 계수(SH Coefficients)로 베이킹하여, 장면 내의 어느 지점에서든 차폐 큐브맵을 효율적으로 보간(Interpolation)할 수 있게 합니다