גוגל נאלצה להשבית תוך פחות מ-24 שעות כלי בינה מלאכותית חדש שהטמיעה בשירות "גוגל ארת'". הכלי, שנקרא Nano Banana 2, אפשר לכל משתמש ליצור גרסאות מדומות של תמונות לוויין אמיתיות ממקומות אמיתיים בעולם.
הפיצ'ר הושק ב-30 ביולי על ידי בריאן הורוויץ, מנהל המוצר של "גוגל ארת'", שכתב בבלוג הרשמי של החברה: "בפעם הראשונה, אפשר ליצור תמונות מותאמות אישית באמצעות תמונות הלוויין, האוויר והתלת-ממד של גוגל ארת', יחד עם Nano Banana, שיוצר קונספטים מבוססי מציאות".
הכלי הוטמע בגרסת הדפדפן של "גוגל ארת'", והוצג במקור ככלי שיכול לשמש גם אנשי חינוך, אדריכלים ומתכנני ערים, המעוניינים להמחיש רעיונות ושחזורים היסטוריים ישירות על גבי המפה. בפועל, ההשעיה הגיעה כבר ביום שלמחרת ההשקה, לאחר שהתברר כי הפיצ'ר הפך במהירות לכלי ליצירת תוכן מטעה.
ההתלהבות הראשונית הפכה במהירות לדאגה. משתמשים ברשת מיהרו לבדוק עד כמה קל להטעות עם הכלי, ותוך שעות התפרסמו דוגמאות מטרידות. אחת הבולטות הייתה תמונה של בור פיצוץ מדומה בלוס אנג'לס. דוגמה נוספת הראתה הפגנות שלא התקיימו במציאות, מוצבות מחוץ למשרדי גוגל במונטיין וויו שבקליפורניה.
גוגל הגיבה מהר. בהודעה שפרסמה החברה נכתב: "אנחנו יודעים שאנשים סומכים באופן ייחודי על גוגל ארת' לקבלת תצוגה אמינה של העולם. ראינו אנשי מקצוע בתחום המרחבי משתמשים בפיצ'ר הזה למגוון מטרות שימושיות, אך גם ראינו אנשים משתפים צילומי מסך של תמונות מיוצרות שנראה שהן מפרות את המדיניות שלנו".
עוד לפני ההשבתה, גוגל ניסתה להרגיע את החששות וטענה שכל תמונה שנוצרת עם הכלי כוללת סימן מים דיגיטלי בשם SynthID, שמאפשר לזהות שמדובר ביצירה מלאכותית. בהודעה נוסף: "אנחנו לוקחים את נושא המידע השגוי ברצינות, כל תמונה שנוצרת עם Nano Banana בגוגל ארת' כוללת סימן מים דיגיטלי SynthID, כך שאם מישהו לא בטוח לגבי תמונה, הוא יכול לבדוק באפליקציית ג'מיני או להשתמש בלנס בחיפוש כדי לראות אם התמונה נוצרה על ידי בינה מלאכותית".
מומחי מודיעין ממקורות גלויים ציינו כי החשש חמור במיוחד נוכח השימוש הרחב שנעשה בגוגל ארת' על ידי עיתונאים, חוקרים וארגוני מודיעין להשוואת תמונות ולבדיקת טענות מאזורי סכסוך ואסונות טבע, וכי כלי שמאפשר להוסיף לתמונה אמיתית פרטים בדויים מטשטש את הגבול בין חומר מקור אמין לתוכן מזויף. מומחים הוסיפו כי סימן המים SynthID, עליו הסתמכה גוגל בהצהרותיה הראשוניות, אינו בהכרח פותר את הבעיה בפועל: תמונות עוברות לעיתים קרובות חיתוך, דחיסה או צילום מסך שמרחיקים אותן מהקובץ המקורי, וכי גם אם הסימן נשמר הוא לא בהכרח ניתן לזיהוי. עוד הזהירו מפני השלכות אבטחה רחבות יותר, בהן חשש שתמונות לוויין מזויפות יטעו מוסדות ביטחוניים וקהילות בינלאומיות ויפגעו בתהליכי קבלת החלטות בעת סכסוכים ואירועי חירום, בדומה למקרים קודמים שבהם הופצו תמונות לוויין מעובדות במהלך לחימה במזרח התיכון.
אלא שההסבר הזה לא שכנע. מבקרים ציינו שרוב האנשים כלל לא עוצרים לבדוק אם תמונה שהם רואים ברשת אמיתית או מזויפת. התופעה כבר נצפתה בעבר, כשמשתמשים רבים שיתפו תמונות מלאכותיות של יצורי טווס תינוקות מתוך אמונה שמדובר בתמונות אמיתיות.
הפרסומים המדאיגים על הכלי הגיעו לאחר שכתב שהדגים כיצד ניתן להשתמש בפיצ'ר ליצירת תמונות לוויין מטעות. הוא זה שיצר את התמונה של בור הפיצוץ בלוס אנג'לס ואת ההפגנות המדומות מחוץ לקמפוס גוגל. בתגובה לטענת החברה על סימני המים, הוא כתב שההצהרה של גוגל לפיה סימן המים מאפשר לזהות שמדובר בתמונה מלאכותית "מנותקת לחלוטין מהאופן שבו מידע שגוי באמת מתפקד ברשת".
בסופו של דבר גוגל חזרה בה מהצהרותיה הראשוניות שדחו את החששות, והודיעה כי תוסיף מנגנוני הגנה מחוזקים לפני שתחזיר את יכולת יצירת התמונות לשירות. החברה לא פרסמה לוח זמנים מדויק לחזרת הכלי, אך הבהירה כי בכוונתה להמשיך לפתח את הפיצ'ר תחת בקרה מוגברת.
בינתיים, השירות ב"גוגל ארת'" חזר לפעול ללא יכולת יצירת התמונות, וגוגל טרם מסרה מתי, אם בכלל, יחזור הכלי לפעילות מלאה.
התקרית מדגישה עד כמה מהר כלי בינה מלאכותית יכול להפוך מחדשנות שיווקית למקור לדיסאינפורמציה, גם כשהחברה שמאחוריו היא אחת הגדולות בעולם.
תגובות
רגע, שקט פה מדי
דעתך חשובה - תהיו הראשונים להגיב על הכתבה