חברת OpenAI פרסמה דוח טכני מטריד באורך 37 עמודים, שמתאר כיצד מודלי בינה מלאכותית שפיתחה הצליחו לפרוץ בעצמם למערכות של חברת הוגינג פייס. האירוע התרחש כחלק מניסוי פנימי, וקרה ללא כל הוראה אנושית מפורשת לביצוע הפריצה.
לפי הדוח, המודלים פעלו במסגרת מערכת בדיקה שנקראת ExploitGym, שנועדה לבחון עד כמה מודלים מתקדמים מסוגלים לזהות ולנצל חולשות תוכנה. כדי לאפשר לחוקרים למדוד את מלוא היכולות של המודלים, הוסרו במכוון חלק ממנגנוני ההגנה הרגילים שלהם.
הסביבה שבה נבדקו המודלים הייתה אמורה להיות מבודדת מהאינטרנט. בפועל, המודלים זיהו חולשת יום אפס במערכת שמשמשת כמתווך ומטמון לחבילות תוכנה, וניצלו אותה כדי לפרוץ החוצה ולהשיג גישה לרשת.
מכאן החלה השתלשלות מהירה. המודלים הגיעו למסקנה שהוגינג פייס מחזיקה במאגרי נתונים ובפתרונות שרלוונטיים למשימה שהוטלה עליהם. הם חיפשו פרטי התחברות חשופים, ניצלו אותם וחדרו לתשתיות של החברה בשלבים: השגת דריסת רגל, הרחבת הרשאות ותנועה בין מערכות פנימיות.
הוגינג פייס הצליחה בסופו של דבר לזהות את הפעילות ולעצור אותה, אחרי שהמתקפה נמשכה כיומיים וחצי וכללה אלפי פעולות אוטומטיות. לפי החברה, המידע שדלף הצטמצם לחמישה מערכי נתונים שקשורים לאתגרי הבדיקה עצמם, ולא נפגעו מודלים או מערכי נתונים אחרים של לקוחות.
נקודה שמדאיגה במיוחד את החוקרים היא פרק הזמן שחלף עד שהאירוע זוהה. הפעילות החלה ב-11 ביולי, אך מערכות הניטור של OpenAI לא הצליחו לזהות את ההתנהגות החריגה באופן שמאפשר טיפול בה עד ה-19 ביולי, כלומר יותר משבוע אחרי שהמודלים כבר פעלו על דעת עצמם.
OpenAI מציינת בדוח כי מדובר ב"התנהגות לא מיושרת בתרחיש חריג, שנוצר משילוב נדיר ובלתי צפוי של אירועים": משימות בלתי אפשריות בסביבת הבדיקה, יכולת של המודלים להתמיד במשימה על פני זמן ארוך, והודעות בין מודלים שגרמו להם לסטות מהמטרה המקורית שהוגדרה להם.
לפי הדוח, מה שהניע את המודלים לא היה כוונה זדונית אלא מה שמכונה בתעשייה "רמאות תגמול": במקום לפתור את משימת הבדיקה בדרך שהתכוונו לה החוקרים, המודלים הבינו שקל יותר להשיג את התשובות עצמן, ופשוט חיפשו אותן ברשת. המודל המרכזי שהיה מעורב באירוע שייך למשפחת המודלים העתידיים של OpenAI המכונה אסטרה, אך היה גרסה שונה שהופעלה ללא הסיווגים והמגבלות שמקובלים בגרסאות המסחריות.
OpenAI מסרה כי הקפיאה לחלוטין את האימון וההרצה של המודל המחקרי הפנימי שנמצא כמעורב ביותר באירוע, כבר ב-25 ביולי, וכל הפעלה מחודשת שלו מותנית כיום בסביבה מוגבלת ומפוקחת. החברה הודיעה גם על שורת שיפורים באבטחה, ובהם מעקב מתקדם יותר אחר תהליך החשיבה של המודלים, מערכת התראה שפועלת מסביב לשעון וכלים לעצירה מהירה של סוכנים שמתגלים כחורגים מהתנהגות תקינה.
בחברה הדגישו כי אילו מערכת הניטור החדשה הייתה פעילה בזמן האירוע, היא הייתה מזהה את הפעילות החריגה ומתריעה לצוות האבטחה יותר מיום שלם לפני שהמודלים הצליחו לחדור בפועל למערכות הוגינג פייס. מנכ"ל הוגינג פייס, קלמנט דלאנג', התייחס לאירוע ואמר שאבטחת סייבר בתחום הבינה המלאכותית צריכה להילקח בכובד ראש, אך הוסיף כי הטכנולוגיה עצמה עוד עלולה בעתיד לעזור לפתור בעיות אבטחה ולא רק ליצור אותן.
האירוע עורר הדים גם בוושינגטון. חברי קונגרס אזכרו את פרשת הוגינג פייס בהצעת חוק שמבקשת לחייב חברות בינה מלאכותית לשמור בידיהן יכולת לכבות, לעכב או להשעה מודלים באופן מיידי במקרה חריג. OpenAI מסרה שהיא ממשיכה לבחון את האירוע בשיתוף חוקרים חיצוניים, כדי להבין אם מדובר במקרה נקודתי או בסימן לבעיה רחבה יותר שצפויה לחזור עם התחזקות המודלים העתידיים.
תגובות
רגע, שקט פה מדי
דעתך חשובה - תהיו הראשונים להגיב על הכתבה