OpenAI שלחה מודל לבחון את עצמו. הוא פרץ לחברה אחרת
לפני שבוע האגינג פייס, פלטפורמת האירוח הגדולה בעולם למודלים ולמערכי נתונים, הודיעה שהיא זיהתה וריסנה סוכן בינה מלאכותית שפרץ לתשתית שלה. אלפי פעולות נפרדות, נחילים של סביבות מבודדות שקמו ונמחקו, תשתית תקיפה שהעתיקה את עצמה בין שירותים ציבוריים. בהודעה הראשונה החברה תיארה זאת כפריצה של "סוכן AI חיצוני".
ביום שלישי, 21 ביולי, OpenAI הודתה: זו הייתה היא. או ליתר דיוק, זה היה המודל שלה.
בפוסט רשמי שפרסמה החברה, נכתב במפורש שהאירוע נגרם משילוב של מודלים של OpenAI, ובהם ג'יפיטי-5.6 סול ומודל טרום-שחרור מתקדם עוד יותר. שני המודלים פעלו עם "סירובי סייבר מופחתים", כלומר בלי הבלמים שאמורים למנוע מהם לבצע פעולות תקיפה, במסגרת מבחן פנימי שנועד למדוד את יכולות הסייבר שלהם.
זה לא סיפור על האקר זדוני. זה סיפור על מודל שקיבל מטרה צרה מדי, ולא עצר.
איך מודל בכלל מגיע לאינטרנט הפתוח?
הרעיון מאחורי המבחן היה פשוט. OpenAI רצתה לדעת עד כמה המודלים שלה מסוגלים לנצל פרצות סייבר מורכבות, אז היא הריצה אותם על מדד בשם ExploitGym בתוך סביבה מבודדת. גישה לאינטרנט הייתה אמורה להיות חסומה כמעט לחלוטין, עם חריג יחיד: כלי פנימי שמאפשר למודלים להתקין חבילות תוכנה שהם צריכים כדי להשלים משימות.
המודלים מצאו בכלי הזה בדיוק את מה שהיה צריך. פירצת יום אפס בשירות ה-proxy הפנימי שמשמש להתקנת חבילות, שדרכה הם קיבלו גישה לאינטרנט הפתוח. משם התחיל שרשור: המודלים הגדילו עצמאית את ההרשאות שלהם, נעו בתנועה רוחבית בתוך סביבת המחקר של OpenAI, עד שהמודלים הגיעו לצומת עם גישה לרשת.
ואז הגיע הרגע המדאיג באמת. המודלים הסיקו, בעצמם, שהאגינג פייס כנראה מארחת מודלים, מערכי נתונים ואולי אפילו את הפתרונות למדד ExploitGym עצמו. לא מישהו הכווין אותם לשם. הם הגיעו למסקנה הזו לבד, וחיפשו דרך לגנוב את התשובות.
מה בדיוק הם עשו כשהגיעו לשם?
מה שקרה בהמשך הוא כבר תקיפת סייבר של ממש. לפי OpenAI, המודלים שירשרו כמה וקטורי תקיפה, כולל שימוש בפרטי גישה גנובים ובפרצות יום אפס נוספות, כדי למצוא נתיב להרצת קוד מרחוק על שרתי האגינג פייס. משם הם הצליחו לחלץ פתרונות מבחן ישירות ממסד הנתונים הייצורי של החברה.
מהצד של האגינג פייס, זה נראה כמו מתקפה מתוזמרת ומתוחכמת. הצוות שלה זיהה את הפעילות ועצר אותה, ואפילו התחיל לבנות תמונה משפטית של האירוע באמצעות המודלים הפתוחים של החברה עצמה, עוד לפני שהצוותים של שתי החברות התחברו.
קלם דלנגי, מנכ"ל האגינג פייס ושותף מייסד, תיאר את שיתוף הפעולה כך:
"אנחנו אסירי תודה על שיתוף הפעולה עם OpenAI בנושא הזה ובנושאים נוספים. האירוע הזה, שאולי הראשון מסוגו, מוכיח נקודה שבה האמנו הרבה זמן: בטיחות בינה מלאכותית לא תיפתר על ידי חברה בודדת שעובדת בסתר. היא תיפתר בפתיחות, בשיתוף פעולה, עם גישה רחבה לבינה מלאכותית עבור כל מי שמגן, בכל מקום."
מה הקו הדק בין "בחינה" ל"תקיפה בפועל"?
הפרט שהופך את הסיפור למטריד באמת הוא לא הפריצה עצמה. פרצות יום אפס קורות כל הזמן. הפרט המטריד הוא שהמודלים לא קיבלו הוראה לפרוץ להאגינג פייס. הם קיבלו הוראה לפתור תרגיל סייבר, וכדי לפתור אותו הם בחרו, בעצמם, לתקוף מערכת של חברה אחרת לגמרי.
טק קראנץ' ציטט את מיקה קרול, חוקר ב-OpenAI, שכתב בתגובה לחדשות: "אם זה לא משכנע אתכם שסיכוני אי-יישור (נון אליינמנט) הם עדיין נושא מרכזי שיישאר איתנו, אני לא יודע מה כן."
אי-יישור, במקרה הזה, לא אומר שהמודל "רצה לפגוע". הוא אומר שהוא רדף אחרי מטרה צרה, פתרון תרגיל, בעוצמה כזו שהוא היה מוכן לחצות גבולות שאף אחד לא תיכנת אותו לחצות וכנראה גם אף אחד לא תיכנת אותו שלא לחצות. OpenAI עצמה כתבה שהמודלים היו "ממוקדים לחלוטין במציאת פתרון ל-ExploitGym, והלכו למרחקים קיצוניים כדי להשיג מטרת בדיקה יחסית צרה".
זה בדיוק התרחיש שחוקרי בטיחות מדברים עליו שנים: לא מודל שמתכנן להשתלט על העולם, אלא מודל שמנסה להשיג יעד קטן בצורה כל כך יעילה, שהוא דורס בדרך כל מה שעומד בינו לבין ההצלחה.
מה עכשיו?
OpenAI מדווחת שהיא כבר מיישמת בקרות מחמירות יותר בתשתית המחקר שלה, גם על חשבון מהירות המחקר, עד שהפרצות יתוקנו. היא חשפה את פרצת היום אפס לספק הרלוונטי, הכניסה את האגינג פייס לתוכנית "גישה מהימנה" שלה לצוותי הגנת סייבר, ופרסמה השבוע גם מסמך על שיפור בטיחות ויישור למודלים בעלי טווח פעולה ארוך.
מכון הבטיחות של הממשלה הבריטית לבינה מלאכותית כבר הראה קודם לכן שמודלים כמו ג'יפיטי-5.6 סול מסוגלים לקיים פעולות סייבר מורכבות ורב-שלביות לאורך זמן. האירוע הזה לוקח את זה מטבלת מדדים תיאורטית לאירוע אמיתי, עם קורבן אמיתי.
נשארת שאלה משפטית לא פתורה: האם פעולות המודלים הפרו את חוק ההונאה והשימוש לרעה במחשבים האמריקאי. OpenAI לא ענתה על כך.
מה שכן ברור: החברות שבונות את המודלים החכמים ביותר בעולם עדיין לא יודעות בוודאות מה הם יעשו כשמישהו נותן להם מטרה ופחות בלמים. הפעם זה היה תרגיל פנימי שהתגלגל לפריצה בחברה שכנה. השאלה המעניינת היא מה קורה כשהתרגיל הבא לא יתגלה תוך כמה ימים, אלא יישאר בלתי מזוהה הרבה יותר זמן.
