[논문정리]2. GS-IR: 3D Gaussian Splatting for Inverse Rendering

 

 

3. Preliminary

이 섹션에서는 이후 제안된 방법을 설명하기 위해 필요한 기술적 배경과 수학적 기호를 제공합니다.

3D 가우시안 스플래팅 (3DGS) [24]은 점 구름 형태의 명시적인 3D 장면 표현입니다. 각 점은 벨 곡선의 형태를 근사하는 가우시안 함수 g로 표현되며, 이는 다음과 같이 정의됩니다.

가우시안 분포(정규분포) 확률 밀도 함수

3D 점 구름의 각 점을 가우시안 형태로 표현하는 데 사용.

x가 해당 분포에서 얼마나 높은 확률 밀도를 가지는지를 계산

 

• μ: 3D 가우시안의 평균 벡터(mean vector)로, 3D 공간에서 가우시안의 중심을 나타냅니다. μ=(μx,μy,μz)
• Σ: 공분산 행렬(covariance matrix)로, 가우시안의 형태와 방향(크기 및 회전)을 정의합니다.

 

 

공분산 행렬을

 

• S=diag(sx​,sy​,sz​): 대각 행렬로, 가우시안의 축별 스케일(크기)을 나타냅니다.
• RRR: 단위 쿼터니언(unit quaternion)으로부터 구성된 회전 행렬.

Σ: 공분산 행렬

• 3D 가우시안의 형태(분포 폭)와 방향(회전)을 정의하는 3×3대칭 행렬입니다.
• 이 행렬은 가우시안이 특정 방향으로 더 퍼지거나 좁아지는 것을 나타냅니다.

 

• R: 회전을 적용.
• SS⊤: 각 축 방향으로 크기를 조정.
• R⊤: 원래 축 기준으로 회전을 조정하여 최종 공분산 행렬을 생성.

평균 벡터 변환 ( μ′ )

3D 공간에서 정의된 평균 벡터 μ\muμ를 카메라와 투영 모델을 이용해 2D 화면의 픽셀 좌표로 변환.

 

• [μ,1]⊤: 3D 평균 벡터에 동차 좌표를 추가하여 [μx,μy,μz,1]로 표현.
• T: 외적 행렬(Extrinsic Matrix). 세계 좌표계에서 카메라 좌표계로 변환.
• K: 내적 행렬(Intrinsic Matrix). 카메라 내부 파라미터를 사용하여 3D 좌표를 2D 화면으로 투영.
• μ′: 2D 이미지의 픽셀 좌표에서 3D 가우시안의 중심이 위치하게 됩니다.

공분산 행렬 변환

 

 

3D 가우시안의 공분산 행렬 Σ를 2D 이미지 공간에서 가우시안의 형태와 방향으로 변환.

 

• T: 외적 행렬(Extrinsic Matrix). 3D 좌표에서 카메라 좌표계로 변환.
• J: 야코비안 행렬(Jacobian Matrix). 투영 변환의 선형 근사를 표현.
• T⊤: 각각 T와 J의 전치 행렬로, 변환된 공분산의 역방향 조정을 수행.

 

 

최종 색상 계산

 

• αi​: i-번째 가우시안의 불투명도(opacity). 픽셀에 기여하는 정도를 나타냄.
• ci​: i-번째 가우시안의 뷰 종속 색상(view-dependent color).
• Ti​: 누적 투명도(accumulated transmittance).
  • i-번째 가우시안이 픽셀 u에 도달할 확률을 계산하는 데 사용.

 

 

누적 투명도 ( Ti​ )

 

• gj​(u∣μ′,Σ′): j-번째 가우시안의 확률 밀도 함수(PDF).
• αj​: j-번째 가우시안의 불투명도(opacity).

렌더링 방정식

1. Lo(x,v): 출사 방사율(Outgoing Radiance).
   • 표면의 점 x에서 관찰 방향 v로 방출되는 빛의 총량.
   • 관찰자(카메라)가 표면 점 x에서 보는 빛의 밝기.
2. Li(x,l):
   • 입사 방사율(Incoming Radiance).
   • 점 x에서 입사 방향 l로 들어오는 빛의 양.
   • 빛은 환경 광원이나 다른 표면에서 반사되어 x에 도달할 수 있습니다.
3. fr(l,v):
   • 양방향 반사 분포 함수(BRDF, Bidirectional Reflectance Distribution Function).
   • 입사 방향 l에서 온 빛이 x에서 반사되어 방출 방향 v로 가는 비율.
   • 표면의 재질 특성(예: 금속성, 확산성 등)을 나타냅니다.
4. (l⋅n):
   • 입사 방향 l과 표면 법선 벡터 n의 내적(dot product).
   • l⋅n은 입사광의 세기를 결정하며, l이 n에 수직일 때 값이 0이 됩니다.
   • 이는 조명 효과를 나타내며, 표면의 각도에 따라 달라집다

 

BRDF

 

 

• fr(l,v):
  • 양방향 반사 분포 함수(BRDF).
  • 입사 방향 lll에서 들어오는 빛이 방출 방향 vvv로 반사되는 비율을 나타냅니다.
  • 표면 재질과 조명 각도에 따라 반사 특성이 달라집니다.
• 두 부분으로 나뉨: Diffuse (확산 반사), Specular (정반사) 

<확산반사>

• 입사광이 표면에서 모든 방향으로 고르게 반사되는 경우를 나타냅니다.
• 확산 반사는 매트한 표면(예: 벽, 천 등)에서 주로 관찰됩니다.
• (1−m): 금속성(Metallic) 비율.
  • m=0: 금속성이 없는 물질(예: 플라스틱, 나무).
  • m=1: 금속성 물질(예: 금, 은).

<정반사>

 

• 입사광이 특정한 방향으로 집중되어 반사되는 경우를 나타냅니다.
• 정반사는 반짝이는 표면(예: 금속, 거울)에서 주로 관찰됩니다.

 

 

• D: 마이크로면 분포 함수(Microfacet Distribution Function).
  • 표면의 거칠기(roughness)를 기반으로 반사되는 빛의 분포를 정의.
• F: 프레넬 반사(Fresnel Reflection).
  • 빛이 입사각에 따라 반사율이 어떻게 변하는지를 나타냄.
  • F는 입사각이 작을수록 반사가 약하고, 클수록 강해짐.
• G: 기하학적 차폐(Geometric Shadowing).
  • 입사광과 방출광이 마이크로면 사이에서 차단되거나 그림자가 지는 정도를 나타냄.