MagicAnimate
- Bu yeni açık kaynak projesi, tek görüntü ve hareket videolarından animasyonlu video oluşturma imkanı sunuyor. DALLE3 gibi modellerle entegre edilerek metin tabanlı isteklerle görüntüleri canlandırıyor.
- Show Lab, National University of Singapore ve Bytedance tarafından geliştirilmiştir.
- En yüksek tutarlılığı sağlamasının yanı sıra bazı dezavantajları da var. Yüz ve ellerde bozulmalar, stil değişiklikleri ve vücut oranlarındaki değişikliklere neden olabilir.
- Başlangıç için StableDiffusion V1.5 ve MSE-finetuned VAE'nin önceden eğitilmiş temel modelleri ile MagicAnimate kontrol noktaları indirilmeli. Kurulum için python>=3.8, CUDA>=11.3 ve ffmpeg gerekiyor.
- Online Demolar Huggingface, Replicate, Colab üzerinde denenebilir ve Replicate API ile animasyonlu video oluşturulabilir.
- Motion Video oluşturma veya video'yu Motion Video'ya dönüştürmek için OpenPose kullanılıyor. Daha fazla bilgi için çeşitli kaynaklar sunuluyor.
