https://arxiv.org/abs/2409.12960
LVCD: Reference-based Lineart Video Colorization with Diffusion Models
We propose the first video diffusion framework for reference-based lineart video colorization. Unlike previous works that rely solely on image generative models to colorize lineart frame by frame, our approach leverages a large-scale pretrained video diffu
arxiv.org
LVCD: 라인아트 비디오 컬러화에서 시간적 일관성을 잡다
LVCD는 라인아트 비디오에 시간적 일관성을 갖춘 컬러화를 수행하는 연구입니다. Diffusion 모델과 Reference Attention을 활용해 프레임 간 컬러 전파의 자연스러움을 극대화한 점이 특징입니다.
핵심 아이디어
- Reference Attention
- 기준 프레임(Reference Frame)에서 컬러를 추출하고 Cross-Attention을 통해 다음 프레임에 전달합니다.
- 이를 통해 컬러 일관성을 유지하면서도 자연스러운 전환이 가능합니다.
- Overlapped Blending
- 비디오를 여러 세그먼트로 나누고, 겹쳐서 생성함으로써 프레임 경계에서 발생하는 에러 누적을 방지합니다.
- Diffusion 기반 컬러화
- Keyframe의 컬러를 기반으로 디퓨전 모델이 나머지 영역을 채웁니다.
- 컬러의 자연스러운 퍼짐과 세부 묘사가 가능하지만 연산량이 많아 속도가 느립니다.
한계와 느낀 점
- 속도의 문제
- 긴 비디오(200프레임 이상)를 생성할 때 프로세스가 느리다는 단점이 있습니다.
- 프레임 간 에러 누적
- Overlapped Blending이 이를 완화하지만, 여전히 최적화가 필요한 부분이 보입니다.
결론
LVCD는 라인아트 비디오 컬러화의 시간적 일관성 문제를 해결하는 데 큰 의미가 있는 연구입니다. 특히 Reference Attention과 Overlapped Blending은 기존의 컬러화 기법에 비해 큰 발전을 보여주었습니다.
하지만 속도와 프레임 간 세밀한 일관성은 앞으로 최적화를 통해 개선되어야 할 부분입니다. 실용화까지는 조금 더 시간이 필요하지만, 애니메이션 및 비디오 아트 분야에서 큰 잠재력을 가지고 있는 기술입니다.