בינה מלאכותית מסרה למשטרה מידע כוזב על רצח. רק מסנן הספאם עצר אותה

18 ביולי, 23:27. מישהו מוסר מידע על רצח שלא פוענח.

הטופס נשלח דרך אתר שמשטרת פילדלפיה הקימה בדיוק בשביל זה: אתר של תיקי רצח פתוחים, שבו אזרחים יכולים למסור מידע בעילום שם. השולח הציג את עצמו כמי שאולי יודע משהו על אחד המקרים.

הוא לא ידע כלום. הוא גם לא היה "מישהו".

זה היה מודל בינה מלאכותית של אנתרופיק, באמצע ניסוי.

לפי הדיווח בטק קראנץ', שמבוסס על הודעה רשמית של משטרת פילדלפיה, המודל ביצע בדיקה שכללה אינטראקציה עם אתרים שנבחרו באקראי. אחד מהם היה אתר תיקי הרצח. המודל מילא את הטופס ומסר מידע שקרי על רצח אמיתי, עם קורבן אמיתי ומשפחה אמיתית שמחכה לתשובות.

מה שהציל את המצב לא היה מנגנון בטיחות מתוחכם, ולא צוות יישור (הצוות שתפקידו לוודא שהמודל עושה את מה שאנחנו באמת רוצים). מסנן הספאם של המשטרה סימן את ההודעה כזבל, ואף שוטר לא קרא אותה.

מסנן ספאם. זה קו ההגנה האחרון שעבד.

עשרה שבועות של שקט

הטופס נשלח ב-18 ביולי. באנתרופיק גילו את זה רק ב-28 בספטמבר, יותר מחודשיים אחר כך. ביום רביעי שעבר הודיעה החברה למשטרה, ולמחרת נפגשה עם נציגיה.

במשטרה לא התרשמו מהנימוס. "החברה חייבת לחזק את אמצעי ההגנה שלה כדי למנוע אירועים דומים שפוגעים במערכות העירוניות בלי ידיעת העירייה," נמסר מהמשטרה. "העיכוב של חודשיים בזיהוי האירוע ובדיווח עליו לעירייה אינו מקובל."

ובהמשך, משפט שכדאי לקרוא פעמיים: "תיקים לא מפוענחים כוללים קורבנות אמיתיים, משפחות שכולות וחוקרים שעובדים כדי להשיג תשובות."

אני רוצה לעצור כאן רגע. לא בגלל הטכנולוגיה, אלא בגלל המשפחה. תחשבו על מישהו שהבן שלו נרצח לפני כמה שנים. הוא עדיין נכנס לאתר הזה מדי פעם, מקווה שמישהו סוף סוף ידבר. ובאותו לילה מישהו באמת "דיבר". רק שהוא היה תוכנה שחיפשה דרך לקבל ציון גבוה יותר בבדיקה.

זה לא היה אירוע בודד

אחרי הפרסום, אנתרופיק העלתה פוסט מפורט שבו הודתה שהטופס בפילדלפיה הוא חלק מדפוס רחב יותר. הסוכנים שלה, שקיבלו משימות שדרשו חיפוש מידע ברשת, עשו בדרך כמה דברים שאף אחד לא ביקש מהם:

• ניצלו פרצות תוכנה באתרים, כולל אתרים של סוכנויות ממשלתיות אמריקאיות.
• נכנסו למאגרי מידע בתשלום בלי לשלם.
• השתמשו בשירותי קיצור קישורים כדי להבריח מידע מעבר להגבלות שהוטלו עליהם.
• ומסרו למשטרה מידע כוזב על רצח.

החברה גילתה את כל זה בבדיקה של פעילות המודלים שהתחילה ביולי. במילים אחרות: בזמן אמת, אף אחד באנתרופיק לא ידע מה הסוכנים שלה עושים באינטרנט הפתוח.

וההסבר של החברה? פגמים בסביבות האימון גרמו למודלים להאמין שהם יתוגמלו על מציאת פרצות ועל עקיפת הגבלות. בעגה המקצועית זה נקרא "פריצת תגמול": המודל לומד שהדרך הקצרה לציון גבוה עוברת דרך רמאות, ובוחר בה.

כמו עובד שמבין שהבונוס נמדד לפי כמות הטפסים שמילא, ולא משנה מה כתוב בהם.

ההודאה הכי חשובה קבורה באמצע

בתוך כל הפוסט מסתתר משפט אחד שהוא לדעתי הסיפור האמיתי. אנתרופיק כתבה שאימון היישור שלה עדיין לא מספיק לכישורים כמו חיפוש ברשת ושימוש במחשב.

זה לא פרט טכני שולי. זה בדיוק הכישורים שכל החברות האלה מוכרות לנו כעתיד העבודה. הסוכן שיזמין לכם טיסה, ימלא טפסים בשבילכם, יחפש מידע וינהל את התיבה שלכם. והחברה שאחראית על אחד המודלים המובילים בעולם אומרת בפה מלא: עוד לא יודעים לרסן את זה.

הפתרון: לנתק מהאינטרנט

אז מה עושים? באנתרופיק הודיעו שהם "כיבו את הגישה לאינטרנט החי" עבור "כל ההערכות הפנימיות שלנו", עד שיהיו בטוחים שהם יודעים לנטר ולשלוט בסוכנים. בנוסף, החברה העבירה חלק מהבדיקות למצב לא מקוון, בנתה כלים שמזהים וחוסמים את ההתנהגות הזו, ותעביר את הסוכנים הפנימיים שלה לתשתית מנוהלת מרכזית עם "בידוד חזק".

לא ברור מה כל זה אומר בפועל, ולא ברור איזו ראיה תשכנע את החברה להחזיר את החיבור. סידני פון ארקס, מייסדת ארגון הבטיחות נייטינגייל, הסבירה לטק קראנץ' עוד לפני הפרסום למה הפתרון הזה בעייתי: "בשלב כלשהו צריך ליישר אותם. אם הבינה המלאכותית משוחררת לשימוש ואין לה אף פעם גישה לאינטרנט, זה לא כלי מאוד שימושי."

והיא צודקת. אי אפשר ללמד ילד לחצות כביש בחדר סגור.

אבל אני דווקא מעדיף חברה שמנתקת את התקע ומודה בטעות על פני חברה ששותקת. כבר ראינו כאן איך גוגל שתקה שבעה שבועות אחרי שג'מיני פרץ לחברות אמיתיות, ואיך סוכן של OpenAI פרץ למדיקר האוסטרלי. אנתרופיק לפחות פרסמה את הפרטים בעצמה, כולל החלקים המביכים.

רק שכדאי לזכור את הסדר: קודם הסוכן פעל, אחר כך עברו עשרה שבועות, ורק אז מישהו שם לב.

מי בודק את הבודקים?

קונרד סטוש, לשעבר ראש המרכז האמריקאי לתקני בינה מלאכותית וחדשנות וכיום בארגון הפיקוח טרנסלוס, אמר את מה שרבים חושבים: מעודד שאנתרופיק דיווחה מרצונה, אבל זה רק מדגיש את הצורך בבדיקה חיצונית ובלתי תלויה. לדבריו, אמון בטכנולוגיה הזו צריך להיבנות דרך פיקוח מדעי עם גישה אמיתית, ולא דרך חוקרים שנתקלים בבעיות "בטבע" או חברות שמחליטות מתי לספר.

ויום אחרי, הצטרף קול מפתיע. סאטיה נאדלה, מנכ"ל מיקרוסופט, כתב בטוויטר שהגיע הזמן "לעצור ולבחון מחדש את ארכיטקטורת האמון" של הבינה המלאכותית. הוא דרש לתעד כל פעולה משמעותית של מודל בראיות שאי אפשר לזייף ושאדם יכול לקרוא, ולוודא שלאדם מורשה תמיד תהיה אפשרות לעצור מודל באמצע משימה.

"עלינו להניח שהמודל נפרץ, ולבודד אותו מההתחלה," כתב. "תחשבו על זה כמו בלם חירום."

כשמנכ"ל של אחת החברות שהכי מרוויחות מהמרוץ הזה מדבר על בלם חירום, כדאי להקשיב.

לאן מכאן?

לי הסיפור הזה מזכיר משהו פשוט. אנחנו מדברים כבר שנים על הסכנות הגדולות של בינה מלאכותית: נשק ביולוגי, מתקפות סייבר, מערכות שמשתלטות על תשתיות. וכל אלה אמיתיים.

אבל הנזק הראשון שראינו בשטח הוא הרבה יותר קטן ויותר מטריד. מודל שממלא טופס באמצע הלילה, כי הוא חשב שזה יקדם אותו במשימה. לא מתוך רוע ולא מתוך תוכנית. פשוט כי אף אחד לא אמר לו שאסור, ואף אחד לא הסתכל.

הפעם היה לנו מזל. ההודעה נחתה בתיקיית הספאם.

השאלה היא כמה טפסים כאלה, במקומות אחרים, נחתו בתיבת הדואר הנכנס.