https://dl.acm.org/doi/10.1145/3676165
Identity-Preserving Face Swapping via Dual Surrogate Generative Models | ACM Transactions on Graphics
In this study, we revisit the fundamental setting of face-swapping models and reveal that only using implicit supervision for training leads to the difficulty of advanced methods to preserve the source identity. We propose a novel reverse pseudo-input ...
dl.acm.org
Identity-Preserving Face Swapping: Dual Surrogate Generative Models
이번 시그라프 아시아 2024에서 들은 세션 중 하나는 **"Identity-Preserving Face Swapping via Dual Surrogate Generative Models"**였습니다.
이해한 내용: Dual Surrogate와 IP-Adapter
발표 내용은 상당히 흥미로웠지만, Loss 구조에 대한 설명은 복잡해서 아쉽게도 완벽히 이해하지는 못했습니다. 다만 발표에서 강조된 IP-Adapter의 역할은 명확하게 파악했습니다.
- IP-Adapter는 Face Swapping 과정에서 Identity Preservation(신원 보존)을 효과적으로 수행하는 데 중요한 역할을 합니다.
특히 이 논문은 Dual Surrogate Generative Models라는 구조를 도입해 얼굴의 Identity를 유지하면서도 다른 얼굴과 자연스럽게 합성하는 점이 돋보였습니다.
발표 후 대화 시도
발표만으로 이해가 부족했던 부분들을 채우기 위해 발표자들과의 대화를 시도했습니다. 세션에서 미처 다루지 못한 디테일을 물어보는 것도 컨퍼런스 현장에서만 가능한 귀중한 기회니까요.
다음 세션: Design it All
이후 바로 이어진 세션은 **"Design it All: Font, Paint, and Colors"**였습니다. 이 세션은 텍스트 기반 디자인과 시각적 요소 간의 조화를 탐구하는 흥미로운 주제였습니다.
논문이 엑세스되지 않아 아쉽지만, 추가 자료는 여기서 확인할 수 있습니다:
🔗 https://bone-11.github.io/cs-cs/
개인적인 평가
이번 세션에서는 Face Swapping 기술이 단순한 얼굴 교체를 넘어 Identity Preservation을 얼마나 정교하게 수행할 수 있는지 확인할 수 있었습니다. 이해하지 못한 부분은 아쉽지만, 발표자와의 직접 대화에서 얻은 단서들이 다음 연구를 위한 좋은 출발점이 될 것 같습니다.
다음 세션인 Design it all: font, paint, and colors 에 대한 후기를 통해 더 흥미로운 이야기를 이어가 보겠습니다!