Ikhtisar ToonCrafter: Interpolasi Kartun Konsisten Seperti yang Belum Pernah Dilihat Sebelumnya!

Membuat animasi menggunakan Generative AI menjadi lebih mudah dengan ToonCrafter, teknik baru untuk menciptakan video konsisten dari frame input.

Fitur inti dari ToonCrafter adalah kemampuannya untuk secara konsisten mengisi 'celah' antara dua atau lebih frame input, menghasilkan animasi kartun yang alami dan halus. Dengan kata lain, Anda memberikan gambar awal dan gambar akhir; ToonCrafter akan menciptakan konten di antara keduanya.

Ini adalah area di mana banyak alat AI generatif saat ini mengalami kesulitan (seperti Stable Video Diffusion, yang kurang kontrol dan menghasilkan artefak) atau memerlukan beberapa trik (seperti AnimateDiff dengan ControlNet) untuk mendapatkan hasil yang baik.

Anda masih perlu menyediakan frame input yang konsisten saat menggunakan ToonCrafter, karena alat ini dirancang untuk interpolasi (menggabungkan gambar diam). Namun, jauh lebih mudah membuat atau menggambar dua gambar konsisten daripada setiap frame yang diperlukan untuk animasi penuh.

ToonCrafter bukanlah yang pertama dari jenisnya; ada alat lain seperti AnimeInterp, SEINE, dan EISAI. Namun, kekuatan ToonCrafter terletak pada kemampuannya untuk menghasilkan animasi yang halus dan konsisten dengan sedikit artefak atau distorsi. Alat ini benar-benar tahu cara mengisi apa yang hilang!

Alat ini dapat digunakan untuk menginterpolasi sketsa kartun hitam-putih, serta untuk mewarnai animasi menggunakan referensi input, atau menginterpolasi antara dua gambar input berwarna untuk menjadi awal dan akhir animasi.

Secara umum, ToonCrafter dapat mendukung pembuatan video hingga 16 frame dengan resolusi 512x320. Waktu inferensi dapat dikurangi dengan menggunakan lebih sedikit langkah DDIM; namun, kebutuhan memori GPU cukup tinggi. Tetapi, optimasi selalu ada di depan mata!

Ingin bereksperimen dengan ToonCrafter? Pilih gambar input Anda dan coba di halaman ini. Model asli juga dapat diunduh dari Doubiiu/tooncrafter, tetapi ini belum dioptimalkan dan datang dalam format .ckpt.

Seperti yang kita tahu, komunitas bergerak cepat, dan pembungkus ComfyUI sudah tersedia dengan nama DynamiCrafter. Node kustom yang dioptimalkan ini dapat menghasilkan animasi 256x256 dengan hanya 8GB RAM. Namun, untuk resolusi penuh ToonCrafter 512x320, Anda memerlukan 15GB untuk sampling, dengan puncak sekitar 17GB selama decoding.

Untuk mendapatkan semua manfaat dari pembungkus ini, unduh juga model yang dioptimalkan dalam format safetensor dari Kijai/DynamiCrafter_pruned.

ToonCrafter tampaknya menjadi salah satu alat paling menjanjikan untuk animasi generatif yang dapat kita unduh dan gunakan secara lokal. SORA dari OpenAI mengesankan, tetapi belum ada yang bisa mencobanya. Solusi tertutup lainnya seperti Pikalabs dan RunwayML belum mencapai tingkat konsistensi ini, meskipun mereka mungkin akan mengintegrasikan fungsionalitas ini segera.

Saya sangat menantikan untuk bereksperimen dengan ToonCrafter dan melihat perbaikan yang akan datang dari sekarang!