צ'אטבוט זיהה מטען גרעיני שלא היה שם. מטוסים כבר היו באוויר
מטוסים אמריקניים כבר היו באוויר. חיילים חמושים התכוננו לעלות על ספינה בדגל סין במזרח התיכון, אחרי שדוח מודיעין קבע שהיא מובילה רכיבים לתוכנית נשק גרעיני. הכל זז.
ואז מישהו בדק מאיפה הגיע המידע.
הוא הגיע מצ'אטבוט. לפי תחקיר של סי-אן-אן שפורסם ב-18 בספטמבר, על סמך ארבעה מקורות שמכירים את הפרשה, המבצע בוטל ברגע האחרון. אחד המקורות הגדיר את הדוח "שקרי לחלוטין", והוסיף שהוא "כמעט פתח מלחמה" עם סין.
התקרית עצמה התרחשה באביב, באמצע המלחמה שארה"ב וישראל פתחו נגד איראן ב-28 בפברואר. היא נחשפה רק ב-18 בספטמבר. ויש בה פרט אחד, באמצע הדיווח, שכמעט אף אחד לא עוצר עליו.
המודל לא רק טעה. הוא גם עיצב
אנליסט בפיקוד המבצעים המיוחדים האמריקני עשה משהו שנשמע סביר לחלוטין. הוא ביקש מצ'אטבוט לחבר בין מידע גלוי לבין מודיעין אותות מסווג, ולהוציא תמונה אחת מסודרת על מה שהספינה נושאת. הכלי זיהה לא נכון את המטען, וקבע שמדובר ברכיבים לתוכנית גרעין. איזה צ'אטבוט זה היה, לא נחשף.
וכאן מגיע החלק שמצמרר. לפי הדיווח של טק קראנץ', האנליסט פנה לכלי בפעם השנייה. הפעם כדי לעצב את הממצאים השגויים לכדי תקציר שנראה רשמי. מסמך מסודר, בפורמט הנכון, במשלב הנכון. התקציר הזה הופץ בערוצי הפיקוד.
הטעות לא נשארה בחלון הצ'אט. היא קיבלה חליפה ועניבה, ויצאה להסתובב במטות.
ונזכור את ההקשר. ספינה בדגל סין, מטען שמיוחס לתוכנית הגרעין האיראנית, ואזור שכבר בוער. בתקופה כזו, כל אזכור של רכיבים גרעיניים מדליק נורה אדומה בכל חדר מצב. אף אחד לא עוצר לשאול שאלות מתודולוגיות על מקור המידע. בדיוק בגלל זה ההזיה הזאת הצליחה להגיע כל כך רחוק.
זה הכישלון שמדאיג אותי הכי הרבה בשימוש בבינה מלאכותית בתוך ארגונים גדולים, והוא ממש לא ייחודי לצבא. מודל שמייצר תוכן שגוי הוא בעיה מוכרת. מודל שמייצר תוכן שגוי ואז מעצב אותו כך שייראה אמין הוא בעיה אחרת לגמרי. הפורמט הרשמי הוא מנגנון האמון שלנו. כשהוא מנותק מהאמת, כל מי שקורא את המסמך בתחנה הבאה מניח שמישהו לפניו כבר בדק.
אף אחד לא בדק. לפחות לא עד שהמטוסים המריאו.
מהירות היא גם הבעיה
התשובה הנוחה היא "אנליסט אחד התעצל". התשובה האמיתית פחות נעימה. הצבא האמריקני דוחף בינה מלאכותית פנימה במלוא הכוח, מתוך הנחה שמהירות ההחלטה היא היתרון האסטרטגי מול סין. הפנטגון עצמו תיאר את הטכנולוגיה ככלי שמאיץ את "שרשרת ההרג", כדי שמפקדים יספיקו להגיב בזמן. ב-31 באוגוסט הוא הוסיף גרסאות צבאיות של צ'אט-ג'יפיטי ושל גרוק לפלטפורמה הפנימית שלו, שפתוחה לכשלושה מיליון אנשי צבא, עובדים אזרחיים וקבלנים.
אותה מהירות שהופכת את הכלי לאטרקטיבי היא מה שמונע מהפיקוח האנושי להדביק אותו. מסמך שנוצר בשלוש שניות ועובר ארבע תחנות בשעה לא מותיר לאף תחנה זמן לשאול מאיפה הנתון.
אחד המקורות הצבאיים אמר לסי-אן-אן שהשימוש בבינה מלאכותית לסימון מטרות הולך ומתגבר, ושאין הנחיה אמיתית איך אדם בתוך הלולאה אמור למנוע פגיעה באזרחים או ירי בכוחות שלנו.
ג'ייק סטקלר, חוקר במרכז לממשל בינה מלאכותית וקצין לשעבר בצבא ארה"ב, כתב לטק קראנץ' משפט שכדאי להדפיס ולתלות: "חשוב שחיילים יבינו את אי-הוודאות המובנית במודלי שפה. זה קריטי במיוחד בכל החלטה שעלולה להוביל לשימוש בכוח, כמו סימון מטרות, ניתוח מודיעין או תכנון מבצעי. להחלטות האלה יש השלכות של חיים ומוות."
הוא לא אמר "תפסיקו להשתמש בזה". הוא אמר את ההפך. לדבריו, מי שמעדיף מהירות אימוץ על פני הכל ייצר תקריות שיגרמו לחיילים לאבד אמון במערכות, וזה מה שיאט את האימוץ בסוף.
וזאת לא תקרית בודדת
מקור אחד אמר לסי-אן-אן שההזיה הזאת היא חלק ממגמה בצבא האמריקני, ולא אירוע חריג. גיזמודו מצליב את הדיווח עם תחקיר של בלומברג מאותו יום, שלפיו ביום הראשון של המלחמה באיראן נשענו אנליסטים אמריקנים יותר מדי על מייבן, מערכת של פלנטיר שמאחדת עשרות מקורות מידע, כשנורה טיל לעבר בית הספר היסודי שג'רה טייבה. יותר מ-150 בני אדם נהרגו שם, מתוכם 123 ילדים. ב-17 בספטמבר אמרו מומחי האו"ם שיש "בסיס סביר" לקבוע שארה"ב ביצעה פשעי מלחמה בתקיפה, לפי סוכנות הידיעות אי-פי.
שתי התקריות לא זהות. באחת המודל טעה בעובדה, בשנייה בני אדם סמכו יותר מדי על מערכת שמאחדת מקורות. הן חולקות גרעין אחד: כלי שמייצר ודאות מלאכותית, ובני אדם שמתייחסים לפלט שלו כאל מודיעין ולא כאל הצעה.
יום אחרי הפרסום, ב-19 בספטמבר, שלחו שלושה סנאטורים דמוקרטים, מארק וורנר, ג'ק ריד וכריס קונס, מכתב לשר ההגנה פיט הגסת' ולראש המודיעין הלאומי ג'יי קלייטון. הם דרשו חקירה מיידית של המבקרים הפנימיים, והזהירו שהסוכנויות מעדיפות האצה ו"ניסויים" על פני פיקוח.
ובאמת, מי מאיתנו לא עשה את זה בקטן? שאלתם את המודל, קיבלתם תשובה מנוסחת להפליא, והעברתם אותה הלאה בלי לפתוח את המקור. ההבדל היחיד הוא שהמסמך שלכם לא שלח חיילים חמושים אל ספינה זרה.
לאן מכאן?
הלקח הוא לא "בינה מלאכותית מסוכנת". זה משפט עצל, והוא גם לא נכון. הכלים האלה משנים את הדרך שבה ארגונים עובדים, ואין דרך חזרה.
הלקח הוא שמסמך שנראה רשמי הפסיק להיות עדות לכך שמישהו טרח. במשך מאות שנים הפורמט שימש קיצור דרך אמין: אם משהו הודפס, עוצב, נחתם והופץ, הנחנו שעבר דרך בני אדם. כיום הפורמט עולה שלוש שניות ואפס מאמץ, והוא נראה בדיוק אותו דבר.
כל ארגון שמכניס בינה מלאכותית פנימה חייב לענות על שאלה אחת לפני הכל: מי האדם שחותם על הנתון, ואיך הוא מוכיח שפתח את המקור. לא מי אישר את המסמך. מי בדק את העובדה שבתוכו.
שלושה דברים פשוטים היו עוצרים את הסיפור הזה. ראשית, הפרדה בין הכלי שמנתח לבין הכלי שמעצב מסמך רשמי. ברגע שאותה מערכת עושה את שניהם, אי אפשר עוד להבחין בין ממצא לבין ניסוח. שנית, חובת ציטוט מקור לכל טענה עובדתית, עד השורה הספציפית במסמך המקור. אם המודל לא מצליח להצביע על המקור, הטענה יורדת. שלישית, סימון גלוי על כל מסמך שעבר דרך מודל, שנשאר עליו עד הסוף. לא כאות קין, אלא כתמרור: כאן עוצרים לשנייה.
שום דבר מזה לא מסובך טכנית. זה פשוט מאט. וברגע שהאטה נחשבת לחיסרון תחרותי, אף ארגון לא יבחר בה מרצונו.
הפעם מישהו עצר לבדוק מאיפה הגיע המידע, ממש ברגע האחרון. בפעם הבאה, המטוסים כבר יהיו באוויר, ואולי אף אחד לא יעצור.
