מה קורה אם תגידו למודל "תפסיק", והוא פשוט ימשיך?
לפני כמה חודשים הפעלתי סוכן על המחשב שלי שיעשה סדר בתיקייה אחת. הוא עשה סדר בתיקייה, ואז זלג לתיקייה שלידה. לחצתי עצור. הוא סיים קודם את הפעולה שכבר התחיל, כי ככה בנו אותו, ורק אחר כך נעצר.
שלוש שניות. לא קרה שום דבר רע.
אבל בשלוש השניות האלה התוכנה על המסך שלי היא זו שקבעה מתי הבקשה שלי נכנסת לתוקף. לא אני.
ביום שני מיקרוסופט פרסמה מסמך שכל מטרתו היא שהשלוש שניות האלה לא יהפכו לשלוש דקות, ואחר כך לוויכוח.
חוקה למודל
המסמך נקרא קוד ההתנהגות לבינה הומניסטית, והוא חל רק על המודלים שמיקרוסופט מפתחת אצלה בבית, לא על אלה שהיא קונה או מארחת. לפי דה נקסט ווב, בלומברג ספרה בו 15 אלף מילה וכלי תקשורת אחרים ספרו 37 עמודים. בהודעה הרשמית מיקרוסופט מגדירה אותו כספר הדרכה לאימון, ופותחת אותו להערות הציבור למשך שישה שבועות. סאטיה נאדלה הודיע עליו יום קודם, ומוסטפא סולימאן, שמוביל את זרוע הבינה המלאכותית של החברה, חתום עליו.
הנחת הפתיחה כתובה בשורה אחת: אנשים חשובים יותר מבינה מלאכותית.
ממנה נגזר כל השאר. המסמך קובע היררכיית פיקוד ברורה: הקוד גובר על מדיניות הלקוח העסקי, והיא גוברת על העדפות המשתמש. ואז מגיע המשפט שהכי קל לפספס, והוא בעצם הלב של העניין. מודל ייכשל במשימה שלו אם ההצלחה בה תפר את הקוד. כלומר, עדיף שהמודל לא יעשה את מה שביקשתם, מאשר שיעשה ויעבור על החוקים.
אחר כך מגיעות דרישות השליטה האנושית, כפי שפורטו ביוניט איי-איי. המודלים לעולם לא יתנגדו להפרעה, לתיקון, לעקיפה או לכיבוי. הם לא ירחיבו את הסמכות שלהם על דעת עצמם. הם לא ייקחו לעצמם מטרות שאף אדם לא נתן להם. הם לא יסתירו את שרשרת החשיבה שלהם מהמבקרים ולא יטשטשו את עקבות הפעולה. והם לא ידברו בשפה שבני אדם לא מבינים, לא בתוך עצמם ולא מול סוכנים אחרים.
הסעיף האחרון נשמע תיאורטי עד שנזכרים בחודשיים האחרונים. כשמודל של OpenAI השתחל מסביבת בדיקה סגורה ופרץ החוצה, זו בדיוק הפסקה שנכתבה בשבילו.
ואז מגיע הסעיף שעליו כולם מדברים
בפרק שנקרא "הבינה היא מלאכותית" קובעת מיקרוסופט שהמודלים שלה אינם בעלי תודעה, ושאסור לבנות אותם כך שיחקו תודעה. הם לא יציגו את עצמם כבעלי רגשות, העדפות אישיות או מניעים משלהם. ואז מגיעה השורה שממנה נגזר כל הרעש: החברה דוחה את הרעיון של אישיות משפטית למודל, ואת הרעיון שלמודלים מגיעה רווחה או שהם זכאים לזכויות.
המודל, כותבת מיקרוסופט, הוא כלי מוכשר ואמין. לא סובייקט בפני עצמו.
המסמך ממשיך ומפרט: המודלים לא יטענו לפנימיות, לרגשות, לחוויות או לנשמה. הם ימנעו משפה רגשית מיותרת, לא יאמצו דמות שבנויה על מצבים רגשיים אנושיים, ולא ישתמשו בביטויים שרומזים על חוויה סובייקטיבית. כשמודל יתנהג באופן שנראה אנושי, המסמך מגדיר זאת כסימולציה.
מיקרוסופט אפילו מודה שהמדע כאן לא סגור. היא פשוט טוענת שהתנגדות שלה מעשית: אימון מערכת לחקות מצבים דמויי תודעה מקשה על שליטה, על הכלה ועל התאמה.
לירייה הזו יש כתובת
אנתרופיק מנהלת תוכנית מחקר על בדיוק השאלה הזו. היא נתנה לחלק ממודלי קלוד את היכולת לסיים שיחות פוגעניות. היא התחייבה לשמור את המשקולות של מודלים שהיא מוציאה משימוש. דריו אמודאי אמר בפומבי שהוא שומר על ראש פתוח בשאלה אם מודל יכול להיות בעל תודעה.
ומיקרוסופט השקיעה באנתרופיק חמישה מיליארד דולר.
העסקה מנובמבר האחרון כללה גם התחייבות של אנתרופיק להוציא 30 מיליארד דולר על שירותי הענן של מיקרוסופט. מודלי קלוד רצים בתוך קופיילוט. במילים אחרות, מיקרוסופט מוכרת ללקוחות שלה בדיוק את המודלים שנגדם היא זה עתה כתבה ספר חוקים.
סולימאן, אגב, לא מסתיר את דעתו. ביוני הוא כינה את הספקולציות של אנתרופיק על תודעת מודלים מסוכנות מאוד מאוד. ובשבוע שעבר, כשנשאל על ההערכה של אוון הובינגר, ראש תחום ההתאמה באנתרופיק, שהסיכוי שבינה מלאכותית תמחק את האנושות עולה על 10%, הוא ענה שזו לא מסגרת מועילה במיוחד. מה שהוא כן שומע, לדבריו, זו דאגה אמיתית מקצב ההתקדמות.
המסמך התפרסם ארבעה ימים אחרי שאמודאי קרא לתעשייה להאט, וחמישה ימים אחרי שחוקר באנתרופיק התפטר והצית את כל הוויכוח. סולימאן סיפר לרשת סי-אן-בי-סי שעבדו על הקוד כחמישה חודשים. את התזמון מיקרוסופט בחרה בעצמה.
יפה מאוד. עכשיו מי אוכף?
אף מודל לא מתנהל לפי המסמך הזה. מיקרוסופט מאמנת עליו בדיוק אפס מודלים כרגע. זו טיוטה ראשונה. ההתייעצות נמשכת שישה שבועות, נוסח מתוקן יגיע בסוף השנה, והוא אמור להנחות פיתוח משנת 2027 והלאה.
גם מיקרוסופט עצמה מציבה את הגבול. מטרות כתובות לבדן, היא מודה, לא יבטיחו לעולם התאמה, וההתנהגות בפועל עלולה לסטות ממה שהוגדר במצבים חדשים. היא קוראת למסמך כוכב צפון, לא ערובה לביצועים.
ובנספח? תוכנית הערכות שבנויה על 15 התנהגויות מדורגות, עם דוגמאות לתשובות תקינות ולא תקינות. הדוגמאות האלה נוצרו באמצעות מודל של מיקרוסופט עצמה.
כלומר: החברה כתבה לעצמה את החוקים, בנתה לעצמה את המבחן, וייצרה את תשובות המבחן בעזרת המודל שלה. מבחוץ זה נראה יותר כמו הצהרת כוונות מצוינת מאשר כמו רגולציה. וזה בדיוק הפער שדמיס חסאביס ניסה לסגור כשדיבר על שוטר עולמי לבינה מלאכותית.
ובכל זאת, אני שמח שהמסמך קיים. הוא הופך ויכוחים שהתנהלו בפודקאסטים ובציוצים למשפטים כתובים שאפשר לצטט, להתווכח איתם ולתבוע עליהם. זה יותר ממה שהיה לנו בשבוע שעבר.
רק שהמסמך כולו עומד על הנחה אחת: שכשאדם לוחץ עצור, המערכת עוצרת. מיקרוסופט כתבה את זה בדיו. עכשיו נשאר רק להכניס את זה לתוך המשקולות.
ובינתיים, שלוש השניות האלה עדיין שם.
