https://dl.acm.org/doi/10.1145/3687995
Perspective-Aligned AR Mirror with Under-Display Camera | ACM Transactions on Graphics
Augmented reality (AR) mirrors are novel displays that have great potential for commercial applications such as virtual apparel try-on. Typically the camera is placed beside the display, leading to distorted perspectives during user interaction. In this ..
dl.acm.org
Perspective-Aligned AR Mirror: 투명 디스플레이와 카메라의 혁신적 결합
이번에 다뤄볼 논문은 **"Perspective-Aligned AR Mirror with Under-Display Camera"**입니다. 기존 AR 미러 시스템의 시점 왜곡 문제를 해결하기 위해 투명 디스플레이와 카메라를 결합한 혁신적인 접근법을 제안했습니다.
핵심 아이디어
- 투명 디스플레이와 카메라 배치
- 기존 AR 미러는 카메라가 화면 옆이나 위에 있어 시점이 왜곡되는 단점이 있습니다.
- 이 논문은 투명 디스플레이 뒤에 카메라를 배치해 정확한 시점에서 사용자 이미지를 획득합니다.
- 이미지 복원
- 투명 디스플레이를 통해 카메라가 이미지를 캡처하면 빛의 손실, 블러, 노이즈와 같은 저하된 품질의 이미지가 발생합니다.
- 이를 해결하기 위해 물리 기반 시뮬레이션과 딥러닝 기반의 이미지 복원 알고리즘을 설계했습니다.
- 실시간 처리
- 최적화된 파이프라인을 통해 Full HD 해상도에서 30fps의 실시간 성능을 달성했습니다.
- 이를 통해 미팅이나 AR 애플리케이션에서 레이턴시 이슈를 최소화했습니다.
기술적 접근
- 이미지 저하 모델
- 투명 디스플레이와 카메라 간의 물리적 왜곡(PSF), 백스캐터(Backscatter), 와이어 패턴 등의 문제를 모델링했습니다.
- 이미지 복원 과정
- 와이어 패턴 제거: 물리적 캘리브레이션을 통해 선명한 이미지를 얻습니다.
- 딥러닝 기반 백스캐터 제거: 물리 기반 시뮬레이션 데이터를 학습한 네트워크가 백스캐터 아티팩트를 제거합니다.
- 시스템 디자인
- 투명 OLED 디스플레이와 기계적 구조 설계를 통해 정밀한 배치를 유지하면서도 사용자가 자연스러운 경험을 할 수 있도록 했습니다.
사용 사례와 평가
- 미팅 및 화상 회의
- 카메라 시점이 화면 중앙에 정확히 위치해 있어 자연스러운 아이 컨택이 가능해집니다.
- 사용자 연구를 통해 기존 시스템 대비 더 편안하고 몰입감 있는 경험을 제공한다는 평가를 받았습니다.
- 증강현실 (AR)
- 복원된 이미지를 기반으로 AR 렌즈를 적용해 가상 객체를 자연스럽게 결합합니다.
- 다양한 상업적 적용 사례(리테일, 화상회의, 패션)에서 유용하게 활용될 수 있습니다.
느낀 점
이 논문은 하드웨어 설계와 딥러닝 복원 모델을 결합해 실용적인 AR 미러 시스템을 완성했습니다. 특히 시점 왜곡 문제를 해결하면서도 고품질 이미지를 제공하는 점이 인상적이었고, 실시간 처리를 통해 상업적 가능성을 입증한 점이 돋보였습니다.
다만 시스템 비용과 하드웨어 최적화가 개선된다면 더 널리 보급될 수 있을 것 같습니다.
결론
Perspective-Aligned AR Mirror는 언더 디스플레이 카메라와 이미지 복원 모델을 결합해 정확한 시점에서 고품질 이미지를 제공하는 시스템입니다. 특히 화상 회의나 AR 애플리케이션에서 실시간 성능을 보이는 점은 상업적 잠재력을 높였습니다.
하지만 제품화 단계까지는 하드웨어 최적화와 확장성 개선이 필요해 보입니다. 그럼에도 불구하고 시점 문제를 해결한 점에서 실용적인 기술로 평가할 수 있습니다.