[Design it all: font, paint, and colors] Inverse Painting: Reconstructing The Painting Process

https://dl.acm.org/doi/10.1145/3680528.3687574

Inverse Painting: Reconstructing The Painting Process | SIGGRAPH Asia 2024 Conference Papers

 

Inverse Painting: 사람처럼 그리는 AI의 혁신적 접근

이번 시그라프 아시아 2024에서 흥미로웠던 논문 중 하나는 **"Inverse Painting: Reconstructing the Painting Process"**입니다. 이 논문은 기존의 정적 이미지 생성이 아닌, 그림의 생성 과정을 시퀀스로 재구성하여 사람의 화풍을 모방하는 접근법을 제시했습니다.

---

핵심 아이디어

1. 단계적 그림 생성 (Step-by-Step)
   • 빈 캔버스에서 시작해 한 단계씩 업데이트하며 사람처럼 그리는 과정을 재현합니다.
   • Diffusion 모델을 기반으로 하며, 각 단계에서 그림의 일부 영역을 그려나가는 방식을 사용합니다.
2. 텍스트와 마스크를 활용한 두 단계 접근
   • 텍스트 명령: 다음에 무엇을 그릴지 예측 (예: "하늘", "산").
   • 마스크 명령: 그림의 어느 영역에 그릴지를 지정.
   • 이 두 명령을 기반으로 Diffusion Renderer가 캔버스를 업데이트합니다.
3. 시간 정보(Time Interval)
   • 프레임 간의 시간 간격을 설정해 그림의 순차적 진행을 제어합니다.
   • 이는 사람이 그림을 그릴 때 배경부터 그리는 Layering 기법과 비슷한 결과를 만듭니다.

---

한계와 느낀 점

1. 비교군의 아쉬움
   • 논문에서 기존 방법론과의 비교가 충분하지 않은 부분이 있었지만, 새로운 접근법 자체는 인상적이었습니다.
2. 속도와 효율성
   • 각 단계의 그림 생성은 세밀하지만 시간이 오래 걸리는 한계가 있습니다.
3. 응용 가능성
   • 사람이 실제로 그림을 그리는 방식을 AI가 재현한다는 점에서 예술 교육이나 디지털 아트 제작에 유용하게 활용될 수 있을 것으로 보입니다.

---

결론

이 논문은 그림의 생성 과정을 사람처럼 재현하는 AI 모델로, 순차적이고 세밀한 업데이트를 통해 고품질의 타임랩스 비디오를 생성합니다. 특히 텍스트와 마스크를 활용한 제어와 시간 정보를 결합한 방식이 흥미로웠으며, 향후 더 빠르고 효율적인 모델로 개선될 여지가 많아 보입니다.