[Text, Texturing, and Stylization] InstanceTex: Instance-level Controllable Texture Synthesis for 3D Scenes via Diffusion Priors

https://dl.acm.org/doi/10.1145/3680528.3687633

InstanceTex: Instance-level Controllable Texture Synthesis for 3D Scenes via Diffusion Priors | SIGGRAPH Asia 2024 Conference Pa

 

InstanceTex: 텍스처 생성의 새로운 패러다임

InstanceTex는 복잡한 3D 장면에서 객체별 텍스처 제어를 가능하게 하는 새로운 접근법을 제안합니다. 이 연구는 Instance Layout Representation을 도입하여 3D 씬의 텍스처를 생성할 때 개별 객체의 스타일과 장면 전체의 일관성을 동시에 유지할 수 있도록 설계되었습니다.

 

---

주요 내용

1. 핵심 개념: Instance Layout Representation
   • 3D 장면 내 각각의 객체에 대해 텍스트 프롬프트와 위치 정보를 정의한 Instance Layout을 사용합니다.
   • 이 레이아웃을 바탕으로 객체별 텍스처를 생성하며, 장면의 전체 스타일 일관성을 유지합니다.
2. 텍스처 생성 파이프라인
   • 단일 뷰 기반 디퓨전: Depth, Line Art, Position Map을 활용하여 객체별 텍스처 생성.
   • 다중 뷰 일관성 강화: 로컬 다중 뷰 디퓨전을 통해 여러 시점의 텍스처를 조정하여 일관성을 개선.
   • Neural MipTexture: 멀티스케일 UV 맵핑을 도입해 앨리어싱 문제를 해결하고 고해상도의 텍스처 맵 생성.
3. 주요 결과
   • 텍스처의 품질과 일관성 면에서 기존 방법들(Text2Tex, SyncMVD 등)을 능가.
   • 복잡한 장면에서도 높은 텍스처 품질과 정확한 스타일 구현 가능.

---

느낀 점

1. 활용도에 대한 의문
   • InstanceTex의 결과는 놀라웠지만, 실제 응용에서의 유용성은 의문으로 남습니다. 특히, 생성 과정에서 소요되는 시간(약 30분)과 필요한 GPU 자원은 상용화를 위한 추가적인 개선이 필요해 보입니다.
   • 또한, Neural MipTexture와 로컬 다중 뷰 디퓨전이 실제 프로젝트에서 얼마나 잘 적용될지는 추가 검토가 필요합니다.
2. 기술적 잠재력
   • InstanceTex는 게임, 영화, AR/VR과 같은 다양한 3D 콘텐츠 제작에 새로운 가능성을 열어줄 수 있는 잠재력을 가지고 있습니다.
   • 특히, 객체별 텍스처 제어와 장면 스타일 일관성을 동시에 해결했다는 점에서 큰 의미가 있습니다.
3. 한계와 개선 방향
   • 복잡한 장면에서의 효율성 문제와 특정 텍스처에서의 섀도우/하이라이트 통합 문제는 여전히 해결해야 할 과제입니다.
   • 자동화된 뷰 플래닝이나 더 높은 해상도의 텍스처 생성을 지원하는 추가적인 발전이 기대됩니다.

---

결론

InstanceTex는 3D 텍스처 생성에서 객체별 제어와 전체 스타일 일관성을 동시에 달성하며, 기존 방법의 한계를 넘어서는 혁신적인 접근법을 제안합니다. 하지만 응용 가능성과 효율성 문제를 해결하기 위해 추가 연구가 필요합니다.