תמונה אחת שווה סרט שלם
אם עד היום חשבתם שתמונה היא רק קפיאה של רגע בזמן, DreamActor-M1 מוכיח שהיא יכולה להפוך להתחלה של סיפור קולנועי שלם. הפלטפורמה החדשנית מבית ByteDance, החברה שמאחורי טיקטוק, מצליחה להחיות דמויות מתמונות בודדות ולייצר סרטונים באיכות כמעט הוליוודית. כל זאת תוך שמירה על הזהות החזותית, רמת דיוק מרשימה של תנועות גוף והבעות פנים, וסנכרון שפתיים מושלם גם בשפות שונות.
זה קצת מזכיר לי את הסיפור של סירנו דה ברז׳רק שכתב מכתבים עבור אחר, או את הסרט ״Singing in the rain״ בו הזמרת האמיתית מאחורי הוילון והכוכבת עושה ליפסינק בקידמת הבמה. בשניהם ההמוכשרים מוסתרים מאחורי הקלעים ומלפנים מופיעים בעלי היופי והכריזמה נטולי היכולת לכתוב או לשיר. אני מעריך שלא ירחק היום בו יהיו כפילי ריקוד ותנועה ואפילו משחק ברקע, ועליהם יולבשו ה״כוכבים״ אשר ייהנו מתהילת עולם מבלי שעשו הרבה. אגב, הכוכבים הללו יוכלו להיות כל אחד ואחת מאיתנו. בהמשך כמובן הטכנולוגיה תתפתח באופן כזה שמספיק יהיה לתת פקודות ריקוד והבינה תהיה הכוריאוגף.
איך זה עובד באמת?
DreamActor-M1 מבוסס על טכנולוגיית DiT (דיפיוז'ן טרנספורמר) ומיישם שיטת הדרכה היברידית שמאפשרת שליטה מדויקת בתנועות הפנים והגוף של הדמות. השיטה משלבת מידע תלת-ממדי של שלדי גוף, כדורי ראש והבעות פנים לא מפורשות – תמהיל שמבטיח תוצאה ריאליסטית ומרשימה להפליא.
המערכת עובדת בשלבים: מזהה שלד ותווי פנים מתמונת הרפרנס והווידאו "המוביל", מקודדת את הפוזה והבעות הפנים, משלבת את המידע עם וידאו דיפיוז'ן מוצפן, מעבדת את התוצאה בעזרת מודל DiT הכולל כמה שכבות של קשב, ומבצעת תהליך פיקוח ועידון כדי להגיע לתוצאה סופית מדויקת.
שליטה מרמת הדיוק ועד גודל הדמות
אחד החידושים המרשימים של DreamActor-M1 הוא היכולת לעבוד בכל קנה מידה – מתמונות פורטרט ועד תנועות גוף מלאות. בעזרת אימון פרוגרסיבי שמסתמך על נתוני רזולוציה משתנים, המודל מצליח לייצר תנועות חלקות ומתואמות גם כאשר חלקים מהגוף כלל לא נראים בתמונה המקורית.
תוסיפו לכך גם התאמה לצורת גוף (למשל התאמת תנועות לאורך העצמות), סנכרון שפתיים מבוסס שמע במגוון שפות, ושליטה חלקית על אלמנטים מסוימים בלבד – לדוגמה, תנועות ראש בלבד או רק הבעות פנים – ותקבלו מנוע שמאפשר יצירה ברזולוציה אנושית.
מול המתחרים – דיוק, ריאליזם ועקביות
בהשוואה למתחרים בתחום האנימציה מבוססת בינה, DreamActor-M1 בולט במיוחד בשל שלוש תכונות קריטיות: שמירה על זהות חזותית לאורך זמן, עקביות בין פריימים לאורך הסרטון, ואיכות תנועה גבוהה גם בפעולות מורכבות. השילוב הזה מאפשר ליצרני תוכן, יוצרים עצמאיים ואפילו סטודיואים להפיק אנימציות אמינות, שמצליחות לרגש ולהפתיע.
אז לאן זה הולך מכאן?
השלכות הטכנולוגיה הזו חורגות הרבה מעבר לעולמות הקולנוע והאנימציה. החל מיצירת דמויות דיגיטליות למטאברס, דרך דוברים וירטואליים שמבינים ומבטאים רגשות בשפות שונות, ועד יצירת תוכן פרסונלי באיכות גבוהה ללא צורך בצילומים פיזיים – DreamActor-M1 מציע מציאות חדשה שבה ההבדל בין מצולם למונפש כמעט מתבטל.
נכון לעכשיו, הפלטפורמה מדגימה ביצועים מרשימים במיוחד, עם יכולת התאמה למגוון רחב של סגנונות תנועה ודמויות, מה שהופך אותה לאחד הפיתוחים המסקרנים ביותר בתחום האנימציה האנושית. ייתכן שאנחנו עדים לתחילתו של עידן חדש, שבו כל אחד יכול להפוך שחקן – וכל תמונה, תחילתה של תנועה.
אחרי שאני מעלה תמונה ואחרי שאני מעלה וידאו, כאשר אני לוחץ על Animate קופצת לי הודעת Error:
״You have exceeded your GPU quota (120s requested vs. 60s left). Create a free accountto get more usage quota.״
איך נרשמים לאתר הזה?