[Design it all: font, paint, and colors] ProcessPainter: Learning to draw from sequence data

https://dl.acm.org/doi/10.1145/3680528.3687596

ProcessPainter: Learning to draw from sequence data | SIGGRAPH Asia 2024 Conference Papers

 

ProcessPainter: 그림을 그리는 AI의 새로운 접근

시그라프 아시아 2024에서 흥미로웠던 논문 중 하나는 ProcessPainter: Learning to Draw from Sequence Data입니다. 이 논문은 단순히 이미지를 한 번에 생성하는 것이 아니라, AI가 사람처럼 점진적으로 그림을 완성하는 과정을 학습한 연구입니다.

---

핵심 아이디어: 단계적 그림 생성

1. Sequential Learning
   • AI는 시퀀스 데이터를 통해 그림을 그리는 과정을 학습합니다.
   • 각 단계는 텍스트 프롬프트와 Mask 데이터를 조건으로 사용해 어떤 부분을 그릴지 결정합니다.
   • 이를 통해 마치 실제 화가처럼 단계적으로 새로운 부분을 추가하거나 세부를 채워 나갑니다.
2. Inverse Painting
   • Inverse Painting은 그림을 완성하기까지의 순서를 학습하는 방식입니다.
   • 기존 Diffusion 모델처럼 한 번에 결과물을 생성하는 대신, AI는 학습된 순서에 따라 단계적 예측을 수행합니다.
3. Artwork Replication
   • AI는 기존의 그림을 입력으로 받아들여, 사람이 그렸던 것과 유사한 순서로 그림을 다시 그리는 능력을 갖춥니다.
   • 이 과정은 Stroke-Based Rendering과 다르게 시퀀스 기반으로 이루어집니다.

---

속도의 한계

ProcessPainter는 매우 정교한 순서 학습을 수행하지만, 그만큼 속도가 느리다는 단점이 있습니다. 각 단계마다 조건화된 학습과 예측이 필요하기 때문에 실시간 생성에는 아직 한계가 있습니다.

---

느낀 점

이 논문은 AI가 그림을 생성하는 과정 자체를 학습한다는 점에서 참신했습니다. 단순히 결과만을 목표로 하는 것이 아니라, 어떻게 그리는지에 초점을 맞춘 점이 특히 인상적이었습니다.

특히 텍스트와 마스크 조건을 통해 "무엇을 그릴지"를 학습하는 과정은 실제 화가의 창작 방식과도 유사하다고 느꼈습니다. 다만 속도 개선과 더 정교한 조건화가 이루어진다면, 교육용 도구나 디지털 예술 분야에 큰 혁신을 가져올 수 있을 것입니다.

---

총평

ProcessPainter는 AI가 사람처럼 그림을 그리는 과정을 학습한 연구입니다. 강화학습(RL)과는 다르게 시퀀스 데이터 기반의 조건화 학습을 통해 단계적 생성을 구현했다는 점에서 의미가 있습니다.

속도의 한계는 있지만, 예술 과정 학습이나 디지털 페인팅 도구로의 확장 가능성이 기대되는 연구였습니다.