[논문정리]4. GS-IR: 3D Gaussian Splatting for Inverse Rendering

 

5. Experiments

• •  

효율적인 3D Gaussian 표현과 강력한 타일 기반 래스터라이저(Tile-Based Rasterizer)를 활용하여, GS-IR은 빠른 수렴 속도를 달성하고 실시간 렌더링을 지원합니다. 이러한 성능 우위는 복잡한 역렌더링(Inverse Rendering) 작업을 처리하는 데 있어 우리의 방법이 얼마나 효과적인지를 보여주며, 기존 최첨단(State-of-the-Art) 접근 방식을 능가함을 강조합니다.

Table 1. TensoIR Synthetic 데이터셋에서의 정량적 비교(Quantitative Comparison):우리 방법은 **새로운 시점 생성(Novel View Synthesis)**과 알베도(Albedo) 품질 측면에서 기존 방법들보다 뛰어난 성능을 보여주며, 재질 분해(Material Decomposition)와 물리 기반 렌더링(PBR)의 효과를 입증합니다.특히, 우리 방법의 법선 복원(Normal Reconstruction) 성능이 TensoIR보다 약간 떨어짐에도 불구하고, 이러한 결과는 주목할 만합니다.재조명(Relighting) 성능에서는 TensoIR에 이어 2위를 기록했지만,우리 GS-IR의 평균 학습 시간은 5배 이상 단축되었습니다. 이는 복잡한 역렌더링 작업을 처리하는 데 있어 우리 방법의 성능이 효율적임을 추가로 입증합니다

 

 

Figure 6. Mip-NeRF 360에서의 새로운 시점 생성 결과(Novel View Synthesis Results):GS-IR은 장면의 세부 사항을 복원할 수 있습니다. 여기에는 **기하학적 법선(Geometric Normals)**과 **고주파수 외관(High-Frequency Appearance)**이 포함됩니다.이를 통해 고품질의 외관을 렌더링하고, 나뭇잎이나 자전거 축과 같은 세밀한 기하학적 디테일도 복원할 수 있습니다.※ 확대하여 화면에서 보면 더 잘 확인할 수 있습니다

Table 2. Mip-NeRF 360에서의 정량적 비교(Quantitative Comparison):
결과에 따르면, 우리의 역렌더링 방법은 새로운 시점 생성(Novel View Synthesis)에 특화된 일부 NeRF 변형 방법들조차 능가합니다.

 

 

 

 

Table 3. 서로 다른 깊이 생성 전략이 법선에 미치는 영향 분석:

• † 표시가 없는 방법: 깊이 맵에서 추정된 법선을 직접 사용.
• † 표시가 있는 방법: 깊이 도함수(Depth Derivation)를 활용해 3D Gaussian에 저장된 법선을 최적화.

 

 

Figure 7. 다양한 전략에 의해 생성된 깊이의 시각적 비교:

• Volumetric Accumulation (볼륨 누적): 기존 방식.
• Peak Selection (최대값 선택): 디스크 앨리어싱(Disc Aliasing) 문제 발생.
• Linear Interpolation (선형 보간): GS-IR에서 채택한 방법으로, 떠다니는 문제(Floating Problem)와 디스크 앨리어싱 문제를 해결.

 

Table 4. 차폐(Occlusion)와 간접 조명(Indirect Illumination)에 대한 분석:
물리 기반 간접 조명 모델링은 물체와 장면의 역렌더링 성능을 향상시킴.

• 차폐 정보가 없을 때와 있는 경우의 성능을 비교한 결과, 차폐와 간접 조명을 포함한 방법이 PSNR, SSIM, LPIPS 지표 모두에서 더 높은 성능을 기록.