1️⃣ 기존 문제 (DUSt3R & MASt3R의 한계)✅ 카메라 캘리브레이션이나 포즈 추정 없이 재구성하는 방식은 이미 DUSt3R, MASt3R에서 했음.✅ 그런데 한 번에 딱 두 개의 뷰(pair)만 처리하는 구조라, 뷰가 많아지면 문제가 심각해짐.뷰가 많아질수록 쌍(pair) 조합 수가 기하급수적으로 증가.뷰 쌍끼리 정렬할 때 생긴 오류들이 누적됨.그래서 나중에 Global Optimization (GO)라는 비싼 정합 과정이 필요.근데 이 GO가 에러를 완벽하게 잡아내지 못함.(뷰 쌍끼리 붙이는 거라, 전체적으로 일관된 정렬 유지가 어려움)2️⃣ 이 논문에서 제안하는 해결책✅ MV-DUSt3R:한 번에 여러 뷰를 동시에 처리할 수 있는 Single-Stage Feed-Forward 네트워크.핵심..

5. Experiments   Table 2. Mip-NeRF 360에서의 정량적 비교(Quantitative Comparison):결과에 따르면, 우리의 역렌더링 방법은 새로운 시점 생성(Novel View Synthesis)에 특화된 일부 NeRF 변형 방법들조차 능가합니다.    Table 3. 서로 다른 깊이 생성 전략이 법선에 미치는 영향 분석:† 표시가 없는 방법: 깊이 맵에서 추정된 법선을 직접 사용.† 표시가 있는 방법: 깊이 도함수(Depth Derivation)를 활용해 3D Gaussian에 저장된 법선을 최적화.  Figure 7. 다양한 전략에 의해 생성된 깊이의 시각적 비교:Volumetric Accumulation (볼륨 누적): 기존 방식.Peak Selection (최대값 ..

4. Method (방법)주어진 정적이지만 미지의 조명 조건 하에서 여러 뷰에서 캘리브레이션된 RGB 이미지 집합을 기반으로, 역렌더링(inverse rendering)은 장면의 내재적인 속성(법선, 재질, 조명 포함)을 분해하는 것을 목표로 합니다. 이러한 분해는 대상 장면의 복원 및 후속 편집을 가능하게 합니다. 3DGS [24]의 뛰어난 품질과 속도의 성능에 영감을 받아, 우리는 세 가지로 잘 설계된 단계 전략으로 구성된 새로운 프레임워크 GS-IR을 제안합니다.  첫 번째 단계에서는, 우리는 differentiable splatting을 활용하여 3D 가우시안을 최적화합니다. 동시에, 렌더링된 깊이 맵에서 파생된 그래디언트를 이용해 3D 가우시안에 저장된 법선을 감독합니다 두 번째 단계에서는, 학..

3. Preliminary이 섹션에서는 이후 제안된 방법을 설명하기 위해 필요한 기술적 배경과 수학적 기호를 제공합니다.3D 가우시안 스플래팅 (3DGS) [24]은 점 구름 형태의 명시적인 3D 장면 표현입니다. 각 점은 벨 곡선의 형태를 근사하는 가우시안 함수 g로 표현되며, 이는 다음과 같이 정의됩니다.3D 점 구름의 각 점을 가우시안 형태로 표현하는 데 사용.x가 해당 분포에서 얼마나 높은 확률 밀도를 가지는지를 계산 μ: 3D 가우시안의 평균 벡터(mean vector)로, 3D 공간에서 가우시안의 중심을 나타냅니다. μ=(μx,μy,μz)Σ: 공분산 행렬(covariance matrix)로, 가우시안의 형태와 방향(크기 및 회전)을 정의합니다.   S=diag(sx​,sy​,sz​): 대각 행..

Abstract 우리는 3D Gaussian Splatting(3DGS)을 기반으로 한 새로운 역 렌더링 접근 방식인 GS-IR을 제안합니다. 이 방법은 Forward Mapping Volume Rendering을 활용하여 사실적인 새로운 시점 생성 및 재조명(relighting) 결과를 달성합니다.기존의 암묵적 신경 표현(예: NeRF)과 볼륨 렌더링을 사용하는 접근법은 표현력이 낮고 계산 복잡성이 높은 단점이 있지만, 우리는 새로운 시점 생성에서 높은 성능을 보이는 3DGS를 확장하여, 알 수 없는 조명 조건에서 촬영된 다중 뷰 이미지로부터 장면의 기하구조, 표면 재질, 환경 조명을 추정할 수 있도록 했습니다. 3DGS를 역 렌더링에 도입할 때 두 가지 주요 문제가 있습니다:3DGS는 본래 **타당한..

3DGS 사용 이유1. 효율적인 장면 표현: MLP(다층 퍼셉트론) 네트워크를 필요로 하지 않음.: 스파스 포인트 클라우드를 기반으로 초기화되며, SfM(Structure-from-Motion) 데이터를 통해 쉽게 시작# SfM은 여러 사진에서 장면의 3D 윤곽(스파스 포인트 클라우드)과 카메라의 위치/방향을 추출해 3D Gaussian을 설정하는 초기 데이터를 제공 -> 시간, 비용 절약 2. 최적화 속도와 품질의 균형: 학습 중 3D Gaussian의 밀도를 동적으로 조절하여 중요하지 않은 영역을 제거하고 필요한 영역을 세밀히 표현. 3. 실시간 렌더링 지원: 3D Gaussian은 2D 화면으로 쉽게 투영할 수 있어 GPU 기반의 빠른 래스터화(rasterization) 적합.: Anisotropi..