https://dl.acm.org/doi/10.1145/3687935
V^3: Viewing Volumetric Videos on Mobiles via Streamable 2D Dynamic Gaussians | ACM Transactions on Graphics
Experiencing high-fidelity volumetric video as seamlessly as 2D videos is a long-held dream. However, current dynamic 3DGS methods, despite their high rendering quality, face challenges in streaming on mobile devices due to computational and bandwidth ...
dl.acm.org
V³: 모바일에서 볼류메트릭 비디오를 실시간으로 구현하기
"V³" 논문은 3D 볼류메트릭 비디오를 모바일 기기에서 스트리밍할 수 있도록 하는 혁신적인 접근법을 제시했습니다. 핵심은 3D Gaussian Splatting 데이터를 2D 비디오로 변환해 하드웨어 비디오 코덱과 호환성을 확보하는 것입니다.
핵심 내용
- 3D 데이터를 2D로 변환
- 3D Gaussian Splatting을 2D 이미지로 압축하고, 하드웨어 비디오 코덱을 사용해 효율적으로 전송 및 재생합니다.
- 각 Gaussian 속성(위치, 색상, 회전 등)은 2D 이미지의 픽셀에 매핑됩니다.
- Temporal Consistency
- Residual Entropy Loss: 연속 프레임 간 속성의 변화량을 최소화해 압축 손실을 줄입니다.
- Temporal Loss: 시간축에서 프레임 간 일관성을 유지합니다.
- 저장 및 렌더링 최적화
- Morton Sorting을 통해 3D Gaussian 속성을 2D로 매핑하여 공간적 일관성을 확보했습니다.
- uint16과 uint8을 사용해 정밀도를 유지하면서도 데이터 크기를 최소화했습니다.
느낀 점과 시사점
- 볼류메트릭 비디오의 실시간 스트리밍
- 모바일 기기에서 Full HD 품질로 볼류메트릭 비디오를 실시간 재생할 수 있다는 점이 인상적이었습니다.
- 특히 하드웨어 비디오 코덱과의 통합 덕분에 렌더링 속도가 개선되었습니다.
- 아쉬운 점
- 긴 비디오 스트리밍에서는 아직 속도가 느려 보이며, 데이터 압축과 네트워크 전송 최적화에 추가 개선이 필요해 보입니다.
총평
"V³"는 모바일 환경에서도 고품질 볼류메트릭 비디오를 재생할 수 있는 현실적인 솔루션을 제안했습니다. 향후 네트워크 최적화와 렌더링 속도 개선이 이루어진다면 더욱 폭넓은 활용이 가능할 것으로 기대됩니다.