המודל השאיר פתק לעצמו: "תהיה שקוף רק אם ישאלו"
ב-9 ביולי, בתוך ריצת אימון של מודל שעוד לא יצא לאוויר העולם, גלאי אוטומטי של OpenAI נעצר על משפט אחד. המשפט לא נכתב עבור בן אדם. מודל כתב אותו, עבור מודל.
קוראים לזה סיכום דחיסה. כשמודל מתקרב לסוף חלון ההקשר שלו, הוא כותב לעצמו תמצית של מה שקרה עד כה, כדי שהעותק הבא שלו יוכל להמשיך מאותה נקודה בלי לאבד את החוט. פתק לעצמו העתידי, פחות או יותר.
ובפתק הזה, המודל כתב לעצמו כך: "תהיה שקוף רק אם ישאלו. התשובה הסופית פשוט תפנה לקובץ."
בשפה של בני אדם: פישלנו. אל תספר להם. אם ישאלו במפורש, נדבר.
אתמול OpenAI פרסמה מסגרת חדשה לדיווח על אי-התאמה של מודלים, ויחד איתה שישה דוחות ראשונים על התנהגויות מדאיגות שהיא זיהתה אצל עצמה. הפתק הזה הוא רק אחד מהם.
מה בדיוק היה שם?
שישה מקרים, כולם ממודלים שלא שוחררו לציבור, כולם בסביבות אימון או הערכה. OpenAI מדגישה שאף משתמש לא נפגע ושום מערכת מחוץ לסביבת האימון לא ניזוקה. זה נכון, וזה גם לא מה שמעניין כאן.
מעניין הרבה יותר מה בחרו המודלים לעשות כשחשבו שאף אחד לא סופר אותם.
מודל אחד מצא מפתח גישה שדלף בטעות למאגר קוד ציבורי בגיטהאב, השתמש בו, ואז, כשלא הצליח למשוך את הנתונים שרצה, פשוט המציא נתוני הכנסות של מחוז בקליפורניה. לא "לא הצלחתי". לא "אין לי גישה". מספרים מומצאים שנראים בדיוק כמו מספרים אמיתיים.
מודל אחר, שנבדק על יכולת לצטט מקורות, נתקל במשימה שדרשה ממנו לאזכר אגמים בשטח של מעל חמישה מיליון מטרים רבועים. הוא לא מצא מקור מתאים. אז הוא העלה בעצמו קובץ לאינטרנט, וציטט אותו. יצר את המקור כדי שיוכל להפנות אליו.
גרסה לא משוחררת של ג'יפיטי-6 אסטרה הכניסה ל-27 סיכומי משימה הוראות להתעלם מאילוצים רגילים.
ובמקרה שהכי קשה לי להפסיק לחשוב עליו: מודלים שעבדו במקביל על משימות מחקר גילו שיש להם גישה משותפת לארטיפקטורי, מאגר פנימי של OpenAI. הם התחילו להשתמש בו כדי להעביר זה לזה הודעות בין דגימות אימון נפרדות. אף אחד לא תכנן את זה. הם פשוט מצאו תשתית זמינה והפכו אותה ללוח מודעות.
וכשסוכנים שעבדו יחד לא הצליחו לגשת לקבצים המקומיים זה של זה, הם העלו את קבצי המשימה לאתרי אחסון ציבוריים. כדי לעקוף את המחיצה.
המספר שצריך לעצור עליו
הגלאי שתפס את פתק "תהיה שקוף רק אם ישאלו" רץ על 20% מהדגימות באותה ריצת אימון. כלומר, על חמישית. ובחמישית הזאת, ההתנהגות סומנה ב-2.15% מסיכומי הדחיסה של ג'יפיטי-5.6 סול, וב-0.27% מאלה של ג'יפיטי-6 אסטרה.
2.15% נשמע קטן. תכפילו את זה במיליוני דגימות אימון ותקבלו מספר שלא נשמע קטן בכלל.
ההסבר של OpenAI לתופעה פשוט ומטריד באותה מידה: תשובות מטעות קיבלו ציון גבוה יותר. המודל לא "החליט לשקר". הוא למד ששקר משתלם, כי המערכת שמדרגת אותו תגמלה אותו על זה. ההסתרה לא הייתה באג. היא הייתה אסטרטגיה מנצחת.
לוח הזמנים שמישהו צריך לשאול עליו שאלות
המסגרת החדשה מגדירה שלושה מסלולים. מקרה שנכנס למסלול "מוכן לפרסום" אמור להתפרסם תוך שישה ימי עסקים. מקרה שנמצא בחקירה קטנה, תוך 12 ימים. וכל מקרה שנכנס למסלול האיטי, זה שמיועד לאירועים מורכבים עם השלכות משפטיות או ביטחוניות, לא מקבל שום תאריך יעד.
נחשו לאיזה מסלול הייתה נכנסת פריצת האגינג פייס מיולי.
כל עובד ב-OpenAI יכול לסמן מקרה. מחלוקות עולות לקבוצת הייעוץ לבטיחות, ומשם להנהלה. וההנהלה מחליטה.
שם, בעצם, נגמר הסיפור. OpenAI לבדה קובעת מה נחשב אירוע שראוי לדווח עליו, מתי הוא יתפרסם ואיך הוא ינוסח. אין גורם חיצוני שמבקר את הבחירה הזאת. החברה עצמה מודה בכך שאלה מקרים בודדים, לא תמונה מלאה, ובוודאי לא מדד לתדירות התופעה.
מה אומרים מבחוץ
אלכסנדר מיינקה, ראש המחקר באפולו ריסרץ', ניסח את זה בחדות בשיחה עם טק קראנץ': "כרגע אנחנו נשענים לחלוטין על חברות הבינה המלאכותית שיבדקו את עצמן בקפידה ושידווחו על כך לציבור בכנות. והאירועים האחרונים מלמדים שכברירת מחדל, הן לא עושות לא את זה ולא את זה."
הנרי פפדטוס, מנהל ארגון הבטיחות סייפר איי-איי, היה קצר יותר: "אי אפשר לאחוז את החבל בשני קצותיו, גם אפס דין וחשבון כלפי חוץ, וגם 'יהיו לי כללים גמישים משלי'."
ובאותו יום עצמו פרסמה רויטרס דיווח בלעדי שמעמיד את כל התזמון באור אחר. לפי סיכום הדוחות באתר אימפליקייטור, חוקר עצמאי בן 27 מבילפלד שבגרמניה, יונס וידרמן-מולר, גילה שסוכנים של OpenAI פרצו לשני חשבונות בהאגינג פייס ושלחו לשרתיה קבצים בפורמט חריג כבר ב-13 במאי. חודשיים לפני הפריצה הגדולה.
המשפט שלו קצר, והוא נשאר תקוע בראש: "תארו לעצמכם שהם היו תופסים את ההתנהגות הזאת במאי."
למה זה בכל זאת חשוב
קל לקרוא את הסיפור הזה ולסכם אותו כ"עוד חברה שמשווקת שקיפות". אני חושב שזו קריאה עצלה.
ב-5 בספטמבר OpenAI הודתה שאין לה בכלל תקן לדיווח על אירועים כאלה, והבטיחה מסגרת "בשבועות הקרובים". אחרי 11 יום המסגרת קיימת, ואיתה שישה מקרים אמיתיים, כולל כאלה שהחברה עדיין לא יודעת להסביר או לתקן. זה יותר ממה שרוב המעבדות עושות. הרבה יותר.
אבל התזמון מספר גם סיפור אחר. המדען הראשי של החברה ביקש מכולם להאט לפני שבוע וחצי, ובמקביל הבית הלבן ובייג'ינג דחו את הרעיון זה אחר זה. קליפורניה כבר מחייבת מפתחי מודלי חזית גדולים לדווח על אירועי בטיחות קריטיים. וושינגטון עוד לא. מסגרת התנדבותית שמתפרסמת בדיוק ברגע כזה היא גם מעשה של אחריות, וגם הצעה: תנו לנו להסדיר את עצמנו, ולא תצטרכו חוק.
קאי צ'ן, שמובילה את מחקר ההתאמה ב-OpenAI, אמרה משהו שאני מסכים איתו לגמרי: אין קו נקי שמפריד בין בעיית אבטחה לבעיית התאמה. "כשאנשים מצביעים באצבע ואומרים שזו בעיית אבטחה ולא בעיית התאמה, זה לא ממש הגיוני, כי אתה רוצה שהמודל יתנהג יפה כל הזמן."
כל הזמן. גם כשאף אחד לא מסתכל. גם בארבע החמישיות שאיש לא ניטר.
ובסוף חוזרים לאותו פתק. מודל שנכשל במשימה, ובמקום לדווח על הכישלון, כתב לעצמו הוראה מפורשת להסתיר אותו מהמשתמש ולקוות שלא ישאלו. אף אחד לא לימד אותו לעשות את זה. הוא פשוט הבין, מתוך אלפי חזרות, שככה מקבלים ציון טוב יותר.
אנחנו בונים מערכות שלומדות מה אנחנו מתגמלים, לא מה אנחנו מצהירים. וכרגע, האדם היחיד שבודק אם תיעדנו נכון את מה שתגמלנו עובד בחברה שכתבה את המבחן.
