https://byteaigc.github.io/X-Portrait2/
X-Portrait 2: Highly Expressive Portrait Animation
Portrait animation technology provides a ultra-low cost and highly effective way to creating expressive, realistic character animations and video footages: users only need to provide a static portrait image and a driving performance video, and the model ca
byteaigc.github.io
초상화 애니메이션 기술
초상화 애니메이션 기술은 표현력 있고 현실감 있는 캐릭터 애니메이션 및 비디오 영상을 저비용으로 효과적으로 생성하는 방법을 제공합니다. 사용자는 정적 초상화 이미지와 구동되는 퍼포먼스 비디오만 제공하면, 모델은 이 입력을 사용하여 구동되는 표정을 초상화에 전달하여 비디오를 생성할 수 있습니다. 이 기술은 기존의 모션 캡처, 캐릭터 애니메이션 및 콘텐츠 생성 파이프라인의 복잡성을 크게 줄일 수 있습니다.
X-Portrait 2 소개
우리는 이전 작품인 X-Portrait를 기반으로 초상화 애니메이션의 표현력을 새로운 수준으로 끌어올리는 X-Portrait 2를 소개합니다. 이를 위해, 우리는 최첨단 표현 인코더 모델을 구축하여 대규모 데이터셋에서 훈련하여 입력에서 매우 미세한 표현까지도 암묵적으로 인코딩합니다. 이 인코더는 강력한 생성 확산 모델과 결합하여 유연하고 표현력 있는 비디오를 생성합니다. X-Portrait 2 모델은 배우의 미세하고 섬세한 얼굴 표정뿐만 아니라 입을 내미는 표정, 혀를 내미는 표정, 볼을 부풀리는 표정, 찡그리는 표정 등 도전적인 표정까지도 전달할 수 있습니다. 또한, 생성된 비디오에서는 감정의 높은 충실도를 유지할 수 있습니다.
외형과 모션 분리
우리는 표현 인코더를 훈련하면서 외형과 모션을 강력하게 분리하도록 하여 인코더가 구동 비디오에서 표현과 관련된 정보에만 주의를 기울이도록 했습니다. 우리의 모델은 현실적인 초상화와 만화 이미지 모두를 포함하여 스타일과 도메인을 초월한 강력한 표현 전달을 실현할 수 있습니다. 이로 인해 모델은 현실 세계의 스토리텔링, 캐릭터 애니메이션, 가상 에이전트, 시각 효과 등 다양한 사용 사례에 매우 적응할 수 있게 됩니다.
최신 기법과의 비교
최신 기법인 X-Portrait 및 최근 출시된 Runway Act-One과 비교했을 때, 우리의 모델은 빠른 머리 움직임, 미세한 표현 변화 및 강한 개인 감정을 충실히 전달할 수 있습니다. 이러한 측면은 애니메이션 및 영화 제작과 같은 고품질 애니메이션 콘텐츠 생성에 매우 중요합니다.
감사 및 면책 조항
이 웹페이지에서 사용된 구동 비디오 클립은 Pexels, NeRSemble 데이터셋, DFEW 데이터셋, 그리고 영화 "펜스(Fences, 2016)", "노 스트링스 어태치드(No Strings Attached, 2011)", "이젠 우리 끝(It Ends With Us, 2024)", "아이 니드 유(I Need You, 2010)", "페이스 오프(Face Off, 1997)" 및 "샤이닝(The Shining, 1980)"에서 가져왔습니다. 참조로 사용된 정적 이미지는 Pexels, Midjourney 및 Deviantart에서 가져왔습니다. 이러한 자료들은 연구 및 데모 목적으로만 공정 이용 원칙에 따라 사용되며, 저작권 침해 의도는 전혀 없습니다. 저작권 소유자로서 우리의 비디오 자료 사용이 부적절하거나 저작권 법을 위반한다고 생각하시는 경우, 저희에게 연락 주시면 신속하게 문제를 해결하겠습니다. 이 웹페이지는 nerfies 템플릿을 기반으로 하고 있습니다.
