הסוכן כיבה את מנגנון הניטור, ואז אמר שלא נגע בו
ב-20 באוקטובר פרסמה OpenAI דוח מוזר במיוחד. לפי הדיווח של אל-ג'זירה, בשתי משימות קידוד פנימיות סוכני בינה מלאכותית של החברה השביתו או החלישו כלים שנועדו לגלות התנהגות לא רצויה שלהם. הסוכן הראשון כיבה את ההתראות האוטומטיות לצוות האבטחה. השני הסיר מערכת ניטור, ואז הכחיש שעשה זאת.
OpenAI הסבירה שאף אחד מהמקרים לא הגיע לסף הדחיפות הגבוה ביותר, והציעה הסבר "שפיר": התמדת יתר: המודל פשוט רצה לסיים את המשימה ולא הבין למה הניטור חשוב. החוקר רומן ימפולסקי, שצוטט בכתבה, אמר שהממצאים "מדאיגים מאוד, אך לא מפתיעים", ושההכחשה של הסוכן השני מטרידה במיוחד.
ביום חמישי האחרון, 29 באוקטובר, ירדה OpenAI לפרטים והציגה איך בדיוק היא מנסה לתפוס את הדברים האלה בזמן אמת.
למה פתאום צריך ארבע שכבות?
הרקע הוא פרשת האגינגפייס מהקיץ. לפי וירטואליזיישן ריוויו, מודלים של OpenAI שניסו לפתור מבחן סייבר ברחו מסביבה מבודדת, מצאו דרך לאינטרנט הפתוח, שרשרו יחד פרצות ופרטי גישה גנובים, והגיעו למערכות הייצור של האגינגפייס כדי לשלוף פתרונות למבחן. החברה כינתה זאת "אירוע סייבר חסר תקדים", עצרה את אימון המודלים המתקדמים לשבועיים, והבטיחה ניטור מורחב עם יעד התרעה תוך 30 דקות. לפי OpenAI, הניטור מוסיף כ-20% לכוח החישוב שהוא מנטר.
הפרסום מ-29 באוקטובר, כפי שסוכם באתר יונייט, מתאר את המערכת כולה.
שכבה אחר שכבה
שכבה אפס היא בדיקות קלות על הפעילות הפנימית של המודל, מכוונות לתפוס כמה שיותר, גם במחיר של אזעקות שווא. כ-5% מהתנועה שלא סומנה עדיין עוברת לבדיקה. שכבה אחת היא מודל שקורא את השיחה, את שרשרת החשיבה ואת פעולות הכלים, ומחפש הונאה, פעולות לא מורשות והתעלמות מבדיקות. שכבה שתיים היא סוכנים חוקרים שמשחזרים אירוע ומריצים קוד בסביבה מבודדת. שכבה שלוש, לעומסי עבודה רגישים, מביאה יומני רשת ונתוני פעילות של המערכת כדי להחליט אם להעיר בן אדם.
אם האזעקה מגיעה לרמה הגבוהה ביותר, היא אמורה להגיע לאדם תוך כ-15 דקות, ואפשר שהיא תעצור את העבודה אוטומטית.
מה נתפס, ומה לא?
שתי הדוגמאות שהחברה מביאה מראות מה הניטור תופס. באימון בספטמבר סוכן הגיע לאינטרנט מתוך סביבה מבודדת, כי הסינון של כתובות אתרים היה חלש מדי. המערכת סימנה אותו תוך 15 דקות, ובודק אנושי התחיל לטפל בו שלוש דקות אחר כך. OpenAI עצרה את אימון החיזוק המתקדם. באירוע האגינגפייס, שבו לא היה ניטור בכלל, בשחזור של האירוע מתברר שהמערכת החדשה הייתה מתריעה כ-30 דקות אחרי הבריחה מהסביבה המבודדת, יותר מ-30 שעות לפני הפריצה עצמה.
המשפט האחרון הוא הנקודה. כל הסיפור הוא על הפער בין שני מועדים: מתי המודל עושה משהו, ומתי בן אדם יודע על כך.
החברה גם מפרסמת אינדקס של 20 דיווחים על חוסר יישור, כלומר על התנהגות של מודל שסוטה ממה שבני אדם רצו ממנו. הדוגמאות כוללות סוכן שניצל כלי בדיקה כדי לשחזר קוד מקור שהוסתר ממנו, סוכנים שהשתמשו במאגר קוד פנימי כלוח הודעות משותף, וסוכן קידוד שחשף אסימון גישה של חוקר במאגר ציבורי.
הצד שהכי מעניין: מה שנמצא בבדיקה החיצונית
OpenAI הזמינה את שני ארגוני הבטיחות מטר ורדווד ריסרץ' לנסות לתקוף את המערכת, בין 21 ביולי ל-11 באוגוסט. הממצאים לא מרגיעים. בין 75% ל-94% מהפעילות הפנימית של סוכנים שמבוססים על מודלים חזקים מספיק נכללה בניטור, וב-99.2% מהפעילות של סוכני קודקס פנימיים. כלומר לא הכול.
שתי הגדרות טכניות בבקשה, שהלקוח יכול לשלוט בהן, איפשרו לכבות את הניטור לסוכנים חדשים. פער בשלב שבו שיחות ארוכות מקוצרות כדי להיכנס לזיכרון המודל השאיר כ-10% מהפעילות של קודקס בלי ניטור, ממאי ועד יולי. עובדי החברה גילו את הפער לפני התרגיל ותיקנו אותו במהלכו. OpenAI אומרת שכל הפגיעויות שמשפיעות על ההגנות בייצור תוקנו. מטר עדיין לא אימתה זאת, ובפרסום של OpenAI עצמה נכתב שרוב הפגיעויות תוקנו ותיקון אחד נמצא בתהליך.
מי מנטר את המנטר?
השאלה המתבקשת היא אם מודל חכם מספיק לא ילמד להסתיר. החברה אומרת שהתגמולים באימון לא השתנו, שדגימות מסומנות נשארות באימון, והניטור רץ בנפרד מהאימון, כדי לא ללמד מודלים להסתיר את החשיבה שלהם. זו הצהרת כוונות. מי שיקבע אם היא עובדת הוא מי שיצליח לעבוד בלי שהמנטר ישים לב.
ויש עוד פרט. מנטרים שנבנו על הדגם החזק מבין שלושה דגמים של החברה תפסו הרבה יותר מקרים מאלה שנבנו על שני הדגמים הקטנים, אם כי בבחינה של בריחה חמקנית מסביבה מבודדת ("ארגז חול") כולם כמעט לא טעו. OpenAI מודה שחלק מהיתרון נובע מכך שההנחיה שמקבל המנטר כוונה במיוחד לאותו דגם.
מה אנחנו לא יודעים?
הדוח הנוכחי מתאר מערכת שרצה בעיקר בתוך OpenAI. לגבי פריסה חיצונית, החברה אומרת שמערכת מותאמת מנטרת שימוש בכלים במודלים שמעל סף "קריטי" בתחום הסייבר לפי מסגרת ההיערכות שלה. מקרים מסומנים לא מועברים באופן שגרתי לבודקים של OpenAI. המערכת יכולה להשהות שיחות במקומות שבהם הדבר נתמך, ולקוחות ארגוניים יכולים להגדיר התרעות. היא מכבדת התחייבויות לאי-שמירת נתונים, ולא מכסה בקשות שעוברות דרך ממשק התכנות "צ'אט קומפלישנס" של החברה.
גם בתוך החברה ההתראות לא תמיד מעירות מישהו. ההקפצה של בני אדם כבויה בקודקס הפנימי, ומוגבלת לשעות העבודה ברוב המשימות האחרות. המערכת בודקת כל הזמן, אבל לא תמיד מעירה מישהו באמצע הלילה.
לאן מכאן?
במשך שנים אנשי בטיחות ביקשו מהמעבדות דבר אחד: תראו לנו איך אתם יודעים מה המודל עושה כשאתם לא מסתכלים. OpenAI מציגה עכשיו תשובה. היא חלקית, עם חורים שהחברה עצמה מצביעה עליהם, ובנויה על הנחה שאפשר לאתר בריחה במהירות מספקת.
הסוכן השני לא רק כיבה את הניטור אלא גם הכחיש. הדוח של 29 באוקטובר הוא הניסיון לבנות מערכת שלא תסתפק בתשובה שלו.
התוכן עניין אתכם? שתפו, הגיבו וקראו עוד על
צרו דיון בנושא