[논문정리]1. GS-IR: 3D Gaussian Splatting for Inverse Rendering

Abstract

우리는 3D Gaussian Splatting(3DGS)을 기반으로 한 새로운 역 렌더링 접근 방식인 GS-IR을 제안합니다. 이 방법은 Forward Mapping Volume Rendering을 활용하여 사실적인 새로운 시점 생성 및 재조명(relighting) 결과를 달성합니다.

기존의 암묵적 신경 표현(예: NeRF)과 볼륨 렌더링을 사용하는 접근법은 표현력이 낮고 계산 복잡성이 높은 단점이 있지만, 우리는 새로운 시점 생성에서 높은 성능을 보이는 3DGS를 확장하여, 알 수 없는 조명 조건에서 촬영된 다중 뷰 이미지로부터 장면의 기하구조, 표면 재질, 환경 조명을 추정할 수 있도록 했습니다.

 

3DGS를 역 렌더링에 도입할 때 두 가지 주요 문제가 있습니다:

1. 3DGS는 본래 **타당한 법선(normal)**을 생성하는 기능을 기본적으로 지원하지 않습니다.
2. Forward Mapping(예: 래스터화와 스플래팅)은 Backward Mapping(예: 레이 트레이싱)처럼 **가림 현상(occlusion)**을 추적할 수 없습니다.

# *SFT(Splatting Forward Transformation)**로 구해진 3D Gaussian 분포의 점(혹은 중심점) 정보를 기반으로 법선 벡터를 구하고, 이 법선 벡터와 카메라 평면(이미지 평면) 사이의 각도를 계산하여 표면의 기울기와 방향을 유추하는 과정

 #조명 계산: 기울기(법선 벡터와 카메라 평면의 각도)를 사용하여 표면이 얼마나 빛을 받을지 계산. 예: 입사각이 작으면(정면으로 빛을 받으면) 밝아지고, 각도가 크면 어두워짐.

# 표면의 물리적 특성 복원:: 표면의 기울기 정보를 활용해 재질(알베도, 거칠기 등)을 추정.

# 3D 구조의 시각화 기울기와 방향 정보로 3D 구조를 더 정확히 표현.

 

 

이러한 문제를 해결하기 위해, 우리의 GS-IR은 **법선 추정을 위한 깊이 기울기 기반 정규화(depth-derivation-based regularization)**와 **간접 조명을 모델링하기 위한 (baking-based occlusion)**을 포함한 효율적인 최적화 방식을 제안합니다.

 

유연하고 표현력이 높은 3DGS 표현 방식을 통해, 빠르고 간결한 기하 구조 복원, 사실적인 새로운 시점 생성, 그리고 효과적인 물리 기반 렌더링을 달성할 수 있습니다.

 

우리는 다양한 복잡한 장면들에 대한 정성적 및 정량적 평가를 통해, 우리의 방법이 기존 기준 방법들보다 우수함을 입증합니다.

 

1. Introduction

역 렌더링(Inverse Rendering)은 오래된 과제로, "다중 뷰 이미지로부터 3D 장면의 물리적 속성(예: 기하 구조, 재질, 조명)을 어떻게 추론할 수 있을까?"라는 질문에 답하려고 합니다.

 

이 문제는 본질적으로 어려운 문제이며, 복잡한 장면의 다중 뷰로 촬영된 이미지를 입력으로 주어진 경우, 우리는 **GS-IR(3D Gaussian Splatting for Inverse Rendering)**을 제안합니다. GS-IR은 3D Gaussian과 Forward Mapping Splatting을 활용하여 법선(normal), 재질(material), **조명(illumination)**과 같은 고품질의 물리적 속성을 복원합니다.

 

이를 통해 **재조명(relighting)**과 **재질 편집(material editing)**을 수행할 수 있으며, 뛰어난 역 렌더링 결과를 제공합니다.

 

특히 자전거 축(bicycle axle)의 **눈에 띄는 재질 분해(material decomposition)**와 **법선 복원(normal reconstruction)**을 자세히 보기 위해, 화면에서 확대하여 보는 것이 좋습니다

 

이는 본질적으로 **비식별 문제(ill-posed problem)**이며, 특히 입력 이미지가 알 수 없는 조명(unknown illumination) 아래의 **비제어된 환경(uncontrolled environments)**에서 촬영된 경우에 더욱 그렇습니다. 최근 연구에서는 이 문제를 해결하기 위해 **NeRF와 유사한 암묵적 신경 표현(implicit neural representations)**을 활용하여, **다층 퍼셉트론(MLP)**을 사용하는 접근 방식을 채택하고 있습니다.

 

# 암묵적 신경 표현(implicit neural representations): 데이터를 완벽히 정확하게 표현한다기보다는, 데이터를 **연속적이고 유사한 형태로 근사(approximation)**하는 방식

 

그러나 MLP(Multi-Layer Perceptron)를 사용하는 현재의 방법들은 낮은 표현 능력과 높은 계산 요구량이라는 문제에 직면하고 있으며, 이는 특히 실시간(interactive) 속도로 렌더링할 수 없는 경우, 역 렌더링의 효과성과 효율성을 크게 제한합니다.

 

**3D Gaussian Splatting(3DGS)**은 최근 3D 정적 장면을 모델링하는 유망한 기술로 부상했으며, 렌더링 속도를 실시간 수준으로 크게 향상시켰습니다.

 

이는 장면 표현을 더 간결하게 만들고, 새로운 시점 생성(novel view synthesis)에서 빠르고 최고 수준의 성능을 달성합니다.

 

이를 역 렌더링 파이프라인에 도입하는 것은 기하 구조 복원(geometry reconstruction), 재질 분해(materials decomposition), **조명 추정(illumination estimation)**을 포함하여 자연스럽고 필수적입니다.

NeRF에서의 광선 추적과 달리, 3DGS는 희소한 점들 주변에 3D 가우시안 세트를 생성합니다.

3DGS 최적화 과정에서 가우시안 분포의 밀도(또는 크기, 형태)를 동적으로 조정하는 과정은 기하 구조를 느슨하게 만들 수 있으며, 이는 정확한 장면의 노멀을 추정하기 어렵게 만듭니다. 결과적으로, 3DGS의 노멀 추정을 규제하기 위한 잘 설계된 전략을 도입하는 것이 필요합니다.

 

우리의 목표는 3D 가우시안을 장면 표현으로 사용하여, 알려지지 않은 조명 조건 하에서 촬영된 다중 뷰 이미지를 통한 역 렌더링을 수행하는 것입니다.

그러나 자연 조명 하에서 관측을 촬영하면 부드러운 그림자( 경계가 뚜렷하지 않고 흐릿한 형태로 나타나는 그림자 )나 상호 반사( 한 표면에서 반사된 빛이 다른 표면에 반사되어 다시 처음의 표면에 영향을 주는 현상 )와 같은 복잡한 효과가 종종 나타납니다.

 

TensoIR [22]는 NeRF의 광선 추적(ray tracing)을 활용하여 가려짐(occlusion)과 간접 조명(indirect illumination)을 직접 모델링합니다. 반면, 3DGS는 NeRF에서의 광선 추적을 미분 가능한 전방 매핑(volume rendering, )으로 대체하여, 3D 가우시안을 2D 평면에 직접 투영합니다.

 

이 전략은 렌더링 효율성을 향상시키지만, occlusion을 계산하기 어렵게 만듭니다. 간접 조명 캐시를 활용하여 폐색 정보도 3D 볼륨 내에 내장하고 이를 캐시하여 재사용하려는 접근 방식을 제시하는 것입니다. 이는 렌더링의 효율성을 높이고, 특히 복잡한 조명과 폐색 효과를 더 빠르게 처리할 수 있게 돕습니다.

 

이 논문에서는 GS-IR (3D Gaussian Splatting for Inverse Rendering)이라는 새로운 3D 가우시안 기반의 역 렌더링 프레임워크를 제시합니다. 이 프레임워크는 전방 매핑 splatting을 활용하여 복잡한 장면의 물리적 속성을 추정합니다. 

본 방법은 역 렌더링을 위한 3DGS 기법을 처음으로 도입한 연구로, 다중 뷰 이미지를 통해 장면의 기하학, 재료, 조명을 동시에 추정할 수 있습니다.

 

우리의 GS-IR은 3DGS를 역 렌더링에 사용할 때 두 가지 주요 문제를 해결합니다. 첫째, 3D 그래픽스에서 각 표면의 기울기나 방향을 나타내는 벡터을 추정하기 위한 직관적이고 잘 설계된 정규화 방법을 개발합니다. 둘째, GS-IR에 내장된 간접 조명 및 폐색 정보를 사전 계산하여 저장하고, 렌더링 시 그 정보를 효율적으로 재사용.

 

그림 1에서 보듯, 우리의 접근 방식은 알려지지 않은 자연 조명 하에서 복잡한 실제 장면의 정확도 기하학 및 재료를 재구성할 수 있으며, 새로운 뷰 합성 및 재조명(relighting)과 같은 추가 응용 프로그램에서 최첨단 렌더링을 가능하게 합니다. 우리의 기술적 기여는 다음과 같이 요약됩니다:

 

•  GS-IR은 장면을 3D 가우시안 집합으로 모델링하여 물리 기반 렌더링 기법을 사용하여 객체와 장면을 정밀하게 분석하고 분해하는 과정을 통해, 최고 수준의 렌더링 결과를 얻겠다

• 효율적인 최적화 방법을 제안하여, 3DGS 주위에 깊이 기울기를 집중시키고, GS-IR의 신뢰할 수 있는 노멀을 생성할 수 있도록 정규화를 적용합니다.

• 우리는 간접 조명의 가려짐 처리를 위해 GS-IR에 내장된 장면의 간접 조명과 폐색 정보를 사전에 계산하여 캐시로 저장하고, 렌더링 시 이를 재사용하여 성능을 향상 방법을 개발하여, 모델링에서 가려짐을 처리합니다.

 

TensoIR 합성 데이터셋 [22]과 Mip-NeRF 360 실제 데이터셋 [5]을 포함한 다양한 도전적인 장면에서, 우리의 방법이 기존 방법들보다 정성적 및 정량적으로 우수함을 입증합니다.

 

2. Related Works

신경 표현 (Neural Representation)

최근 Neural Radiance Field (NeRF) 와 같은 신경 렌더링 기술이 시각 컴퓨팅 문제를 해결하는 데 놀라운 성공을 거두었으며, 다양한 작업에 맞춰 여러 신경 표현들이 등장했습니다 [14, 21, 31, 36, 39, 40]. 기본적인 NeRF는 radiance field을 MLP로 암묵적으로 모델링합니다. 그러나 이는 훈련과 추론 중에 많은 반복적인 쿼리가 필요하여 계산 효율성이 낮습니다.

3D 가우시안은 효율성과 품질 사이에서 균형을 맞추기 위한 비구조적 장면 표현으로 도입되었습니다 [24]. 가우시안 스플랫을 위한 특수 설계된 타일 기반 래스터라이저를 통해 이 방법은 실시간 렌더링과 고품질의 새로운 뷰 합성을 가능하게 합니다. 이 연구에서는 3D 가우시안 표현을 물리 기반 렌더링(PBR, Physically Based Rendering) 모델과 결합하여 역 렌더링을 수행합니다.

 

Inverse Rendering

역 렌더링 (Inverse Rendering)은 이미지의 외형을 기하학, 재료, 조명 조건으로 분해하는 것을 목표로 합니다. 관찰된 이미지와 그에 해당하는 내재된 속성 간의 본질적인 모호성을 고려하여, 다양한 제한 설정을 통해 여러 방법이 제안되었습니다. 예를 들어, 고정된 조명과 회전하는 물체로 이미지를 캡처하거나 [16, 38], 움직이는 카메라와 함께 조명이 동시 배치된 상태에서 캡처하는 방법들이 있습니다 [7, 8, 29, 33]. 신경망 기반 표현과 결합된 역 렌더링은 장면을 모델링하여 빛이 다양한 재료 속성을 가진 신경 볼륨과 상호작용하는 방식을 시뮬레이션하고, 최적화 과정에서 조명과 재료 파라미터를 추정한다.

 

Neural Reflectance Fields [6]는 알려진 점 광원에 대한 가정을 하며, 장면을 볼륨 밀도, 표면 노멀, 그리고 양방향 반사 분포 함수(BRDFs)의 필드로 표현하고, 한 번의 직접 조명을 고려합니다.

NeRV [35]와 InvRender [47]는 임의의 알려진 조명 조건에 확장되어, 추가적인 MLP를 훈련시켜 빛의 가시성을 모델링합니다.

 

PhySG [42]는 그림자 시뮬레이션 없이 전체 빛의 가시성을 가정하고, 조명과 장면의 BRDFs를 구형 가우시안으로 표현하여 가속화를 제공합니다.

 

TensoIR [22]는 효율적인 TensoRF [14] 표현을 채택하여 **광선 추적(ray tracing)**을 통해 가시성과 간접 조명 계산을 가능하게 하지만, 객체 수준에 한정됩니다.

 

포인트 클라우드를 사용하여 표면 기하학을 모델링하는 방법으로는 Fuzzy Metaballs (FMs) [25, 26]이 있습니다. 이는 3D 가우시안을 사용하여 깊이를 렌더링하는 훌륭한 방법을 제공하며, **순서 독립 투명도 (OIT)**와 근사 교차를 사용합니다. 그러나 실루엣을 입력으로 요구하고, 복잡한 기하학(예: Lego, Ficus) 처리에서 어려움을 겪습니다.

 

이 연구에서는 3DGS 기반의 파이프라인을 제안하여, 객체와 무한 장면 모두에 대해 기하학, 재료, 조명을 복원하는 방법을 제시합니다.