שבירת מוסכמות: מודלים ללא טרנספורמרים
בזמן שרוב המודלים המובילים כיום בבינה מלאכותית נשענים על ארכיטקטורת הטרנספורמר שהוצגה במאמר המפורסם "Attention Is All You Need" מ-2017 של עובדי גוגל, מאמר שהיווה את הבסיס למודלים של הבינה המוכרים היום, הרי שהסטארטאפ Liquid AI בחר ללכת בכיוון שונה. החברה שהוקמה על ידי יוצאי MIT מתמקדת בפיתוח מודלים המבוססים על עקרונות הנדסה קלאסיים כמו מערכות דינמיות, עיבוד אותות ואלגברה לינארית. מטרתם היא לחקור אפשרויות חדשות בפיתוח מודלים שאינם מבוססים על GPTs (Generative Pre-trained Transformers), תוך יצירת טכנולוגיה פורצת דרך המשפיעה על תחומים רבים.
המודלים החדשים של Liquid, LFMs, מביאים חדשנות משמעותית בכך שהם מצליחים להגיע לביצועים עיליים בהשוואה למודלים טרנספורמרים דומים, וכל זאת עם יעילות זיכרון גבוהה בהרבה. דגם ה-LFM 1.3B הקטן ביותר של החברה, לדוגמה, הצליח לעקוף במבחנים רבים את המודלים של Meta ו-Microsoft, והוכיח לראשונה שמודל שאינו מבוסס GPT יכול להשיג תוצאות טובות יותר במבחני הבנה רב תחומיים (MMLU).
ביצועים לצד יעילות
מודלי ה-LFM פותחו במטרה להיות תחרותיים לא רק מבחינת ביצועים, אלא גם בהיבט של יעילות תפעולית. דגם ה-LFM-3B, לדוגמה, דורש רק 16GB של זיכרון לעומת מעל 48GB הנדרשים למודל המתחרה Llama-3.2-3B של Meta. הביצועים הללו הופכים את המודלים של Liquid לאידיאליים עבור שימושים מגוונים, ממערכות בשירותים פיננסיים ועד אלקטרוניקה צרכנית ומכשירי קצה.
הגישה החדשנית של Liquid מתבססת על טכניקות מתקדמות המאפשרות למודלים להתמודד עם עיבוד כמויות אדירות של נתונים רציפים, כולל וידאו, אודיו וטקסט, תוך שמירה על צריכת זיכרון נמוכה.
הכיוון לעתיד
Liquid AI
מתכננת להשיק את המודלים שלה באירוע בכנס MIT באוקטובר 2024, כאשר כבר עכשיו החברה מזמינה מפתחים ומשתמשים פוטנציאליים להתנסות במודלים דרך פלטפורמות ייעודיות. עם קבלת משובים מהמשתמשים, החברה מתכננת לבצע שיפורים נוספים לקראת ההשקה המלאה.
ההשקה של מודלי LFMs מבטאת את הפוטנציאל העצום של בינה מלאכותית שלא מבוססת על טרנספורמרים, ומהווה תחרות אמיתית לשחקנים המובילים בתחום. Liquid AI ממוצבת כיום כאחת השחקניות המבטיחות בתחום הבינה המלאכותית, עם טכנולוגיה שמצליחה לשלב ביצועים גבוהים יחד עם יעילות מרשימה.
סיכום ותחזית לעתיד המודלים החדשים של Liquid מציגים את העתיד של בינה מלאכותית בצורה ברורה: מעבר לשיטות מבוססות טרנספורמרים לטובת גישות חדשניות ויעילות יותר. השוק של הבינה המלאכותית עובר מהפכה, ו-Liquid AI ממוקמת היטב להוביל את השינוי. השילוב של ביצועים גבוהים לצד יעילות זיכרון ותפעול יהפוך את המודלים של החברה לאטרקטיביים עבור מגוון רחב של תעשיות. עם גישה זו, עתיד עולם הבינה המלאכותית נראה מרתק ומלא פוטנציאל.
