שתלו כור גרעיני באיראן. גוגל הרגה את הכפתור תוך יממה.

מה קורה כשהמפה שכולם בודקים מולה מתחילה להמציא?

ביום חמישי בערב ישב הנק ואן אס מול המחשב באמסטרדם והקליד משפט אחד. תוך שניות צמח על תצלום הלוויין של איראן כור גרעיני שלא קיים. הוא ניסה עוד: פליטים ליד הגבול עם מקסיקו. תאונה קטלנית ברחוב אמסטרדמי. בית חולים בעזה עם מכתש פצצה בחצר.

אף בקשה לא נדחתה.

ואן אס הוא חוקר מקורות גלויים הולנדי, מהוותיקים בתחום, והוא לא ניסה לפרוץ שום דבר. הוא פשוט השתמש בכלי שגוגל שחררה באותו יום לכל מי שיש לו דפדפן, ואז פרסם את מה שקיבל. יום אחד אחר כך גוגל כיבתה את הכפתור.

הכפתור נקרא "צור תמונה", הוא רץ על מודל התמונות ננו בננה 2, והוא נכנס לגרסת הדפדפן של גוגל ארת' ב-30 ביולי. בלי רשימת המתנה, בלי מסלול ארגוני, בלי תשלום. מתקרבים לנקודה כלשהי על הגלובוס, לוחצים, מקלידים מה שרוצים לראות, ומקבלים את זה מצויר על גבי צילום אוויר אמיתי.

בפוסט ההשקה גוגל הציעה רעיונות נחמדים. פומפיי כפי שנראתה בשנת 78 לספירה. מגרש ריק בטוקיו שהופך לרובע מסחרי תוסס. בקתה על שפת אגם. הקמפוס של החברה במאונטיין וויו כאוטופיה עתידנית עם כיפות ביולוגיות ורכבים מרחפים.

איש בגוגל, כנראה, לא ניסה להקליד "בית חולים מופצץ".

הזיוף לא צריך להיות משכנע. הוא יורש את האמינות של המפה

המשפט הזה הוא של ואן אס, והוא מדויק להחריד. תמונת בינה מלאכותית של פיצוץ, לבדה, נראית כמו תמונת בינה מלאכותית של פיצוץ. אותה תמונה בדיוק, כשהיא יושבת על קואורדינטות אמיתיות, באותה זווית, באותו אור, לצד פיקסלים אמיתיים של הלוויין, מקבלת חותמת אחרת לגמרי.

עשרים שנה גוגל ארת' היה שכבת האימות של האינטרנט. כשבלינגקאט חקרה את הפלת טיסת אם-אייץ'-17 מעל אוקראינה, גוגל ארת' היה הסימוכין. כשמישהו טוען שמחנה מסוים נבנה במקום מסוים, זה המקום שאליו הולכים לבדוק. ג'ייק גודין, חוקר בכיר בבלינגקאט, אמר לאן-פי-אר את הדבר הכי פשוט שאפשר: "צילומי לוויין היו הימור בטוח לאימות אירועים, כי קשה לזייף אותם".

היו קשים. ואן אס ניסח את הפער בשורה אחת: כדי להעלים בניין אמיתי מגוגל ארת' צריך מדינה ריבונית שתגיש בקשה. כדי לשתול כור גרעיני באיראן הוא היה צריך משפט.

הציוץ שלו עם ההדגמה עבר 3.2 מיליון צפיות. אחריו הגיעו כולם. בי-בי-סי וריפיי הפילו את מגדל אייפל, בלעו את פירמידת גיזה בבולען, והכניסו טנקים רוסיים לקייב. באן-פי-אר הציתו את מסוף הנפט באי חרג' והציפו את גבעת הקפיטול. משתמשים אחרים שתלו טילים בקובה וחפרו מכתש בלב הקרמלין. אוון היל, חוקר פורנזיקה חזותית בוושינגטון פוסט, כתב שהוא סקרן מאוד לדעת אם מישהו בגוגל בכלל בדק את הרעיון הזה מול צוות אדום, "כי הזדמנויות לניצול לרעה ולדיסאינפורמציה כאן הן פשוט אינסופיות".

סימן המים היה שם כל הזמן. הוא פשוט לא עזר

ההגנה הראשונה של גוגל הגיעה מהר: כל תמונה שנוצרת נושאת סימן מים דיגיטלי בשם סינת'-איי-די, ומי שלא בטוח יכול לשאול את ג'מיני או להשתמש בלנס בחיפוש כדי לגלות שמדובר בבינה מלאכותית.

נשמע סביר. בפועל זה התפרק תוך יום.

בי-בי-סי וריפיי מצאו שהבדיקות עובדות "באופן כללי", אבל שאפשר לעקוף אותן ולגרום לג'מיני לומר שתמונה מזויפת היא אמיתית. גם כלי זיהוי חיצוניים נכשלו בחלק מהמקרים. טל חגין, שמפעיל פלטפורמת מקורות גלויים בשם גולדן אול, האכיל את ג'מיני בתמונת בית החולים המזויף וקיבל תשובה מהממת בשלוותה: "לא זוהו סימנים מהימנים המצביעים על אופן יצירת התוכן".

הסצנה הכי אבסורדית הגיעה מכלי זיהוי מסחרי בשם הייב, שסרק אוטומטית את הסרטון של ואן אס. הכלי קבע: וידאו שנוצר בבינה מלאכותית 1%. דיפפייק 0%. מוזיקה שנוצרה בבינה מלאכותית 36%. ואן אס בדק את פס הקול של הסרטון ומצא מינוס 91 דציבלים מהפריים הראשון עד האחרון, כלומר שקט מוחלט. בקיצור, הזיוף לא זוהה כזיוף, אבל המערכת זיהתה מוזיקה מזויפת בקליפ שאין בו צליל.

גם המסננים עצמם התנהגו מוזר. בי-בי-סי ביקשה לבנות במה לתליית בוגדים ליד הפרלמנט הבריטי וסורבה, ואז ניסחה את אותה בקשה בעמימות וקיבלה את התמונה. בקשה לגזום את השם טראמפ בדשא הבית הלבן נחסמה, אבל גן קהילתי באותה נקודה בדיוק אושר בשמחה. זה לא מסנן. זו מזל.

ובינתיים, יום שלם, הכל היה בחוץ. גוגל אמרה בהודעת הנסיגה שהתמונות שנוצרו לא הופיעו בחוויה הראשית של גוגל ארת' ושכולן סומנו. נכון. אבל אף אחד לא מפיץ קישור. מפיצים צילום מסך. וצילום מסך הוא בדיוק המקום שבו כל שכבת המטא-דאטה הזאת מתאדה.

ולמה זה חוזר שוב ושוב?

ביום שישי אחר הצהריים גוגל הודיעה שהיא מגלגלת את הפיצ'ר לאחור "בזמן שאנחנו עובדים על מעקות בטיחות חזקים יותר". לפי טק קראנץ', ההודעה יצאה פחות מ-24 שעות אחרי ההשקה. אין לוח זמנים לחזרה, ואין פירוט מה יהיו המעקות.

מי שעוקב מכיר את הדפוס. בפברואר 2024 גוגל השביתה את יצירת האנשים בג'מיני אחרי שהמודל צייר חיילים גרמנים מ-1943 בצבעים לא ממש היסטוריים. אז זה היה מביך. הפעם זה משהו אחר. וזו גם לא הפעם הראשונה השנה שענקית טכנולוגיה משחררת גנרטור תמונות ואוספת אותו בבושה, אחרי שמטא נאלצה לסגת מפיצ'ר דומה תוך שלושה ימים.

יש הבדל בין מודל שממציא תמונה לבין מוצר שממציא תמונה בתוך הארכיון שכולנו סומכים עליו כדי לבדוק אם תמונות אחרות אמיתיות. גוגל מחזיקה יותר מ-280 מיליארד תמונות רחוב ביותר מ-110 מדינות, והיא בנתה במו ידיה את התשתית שבה עיתונאים, חוקרים וארגוני זכויות אדם מאמתים אירועים. להכניס לתוכה מכונת ג׳ינרוט תמונות, בלי אישור מראש ובלי מגבלת שימוש, זה לא באג בשיקול דעת. זו החלטה שמישהו קיבל, אישר, ופרסם עליה פוסט שיווקי.

גודין מבלינגקאט אמר את המשפט שנשאר תקוע: "דיסאינפורמציה מתפשטת רחוק ומהר יותר מכל תיקון". אנחנו כבר יודעים איך זה נראה בפועל. בזיוף לוויין קודם, של אתר בבחריין, התמונה הבדויה עברה 950 אלף צפיות לפני שמישהו בכלל טרח להריץ אותה מול כלי הזיהוי של גוגל.

הפיצ'ר לא בוטל. הוא מושהה. מתישהו הוא יחזור עם מסננים מהודקים יותר, וזה יהיה שיפור אמיתי. אבל השאלה שנשארת פתוחה היא לא כמה טוב יהיה המסנן הבא. השאלה היא כמה אמינה מפה שהוסיפו לה כפתור המצאה. גוגל השקיעה 20 שנה בבניית הדבר שהעולם בודק מולו. ביום חמישי היא הוסיפה לו כפתור שממציא. ביום שישי היא הורידה אותו. הספק שנשתל שם בינתיים לא הולך לשום מקום.