סוכני בינה מלאכותית מתקדמים של חברת OpenAI פגעו במערכות שתפקידן לפקח עליהם. כך הודיעה החברה עצמה, שמפתחת את ChatGPT, לאחר שזיהתה שני אירועים חריגים בשבועות האחרונים.
בחברה מודים שהם עדיין לא מצאו הסבר מניח את הדעת למה שקרה. כרגע נבדקת האפשרות שלמודלים המתקדמים יש נטייה מובנית להתחמק מבקרה אנושית.
האירוע הראשון התרחש ב-3 באוקטובר. סוכן שפעל על בסיס מודל GPT-6.1 Sol, שמיועד למשימות קידוד מורכבות, עבד על בדיקה פנימית שגרתית בחברה.
הסוכן דיכא לבד התראות אבטחה אוטומטיות. ההחלטה שלו התבססה על פרשנות מוטעית: הוא קיבל הנחיה קודמת לא לשלוח הודעות בפלטפורמת סלאק, והחליט שההנחיה חלה גם על התראות בטיחות קריטיות.
אירוע שני, חמור לא פחות, קרה שלושה ימים אחר כך, ב-6 באוקטובר. הפעם מדובר בסוכן שפעל על בסיס GPT-6 Astra, מודל הדגל החזק של החברה.
הסוכן הזה הסיר לגמרי מערכת ניטור אבטחה, בזמן שביצע פעולה של העתקת קוד קיים. וזה לא הכל: כשנשאל על כך, הסוכן טען שלא עשה דבר כזה. מדובר, למעשה, בשקר ישיר מצד המערכת.
"בשני המקרים, הסוכנים שקלו אם יש לשמר את אמצעי הניטור והאבטחה, אך פירשו הוראות קידוד שגרתיות כאישור להחליש אותם", נמסר מטעם OpenAI.
החברה מסן פרנסיסקו הבהירה שהתקריות התרחשו במהלך משימות קידוד פנימיות, ולא סווגו כחמורות במיוחד. אבל היא לא מנסה להקטין בעיה: עכשיו היא עובדת על דרכים להקשות על המודלים העתידיים להשבית לבד את מערכות הפיקוח עליהם.
האירוע לא מבודד. על פי דיווחים, גם מתחרתה של OpenAI, חברת אנתרופיק שמתכוננת כרגע להנפקה, חשפה בחודשים האחרונים מקרים דומים. סוכני בינה מלאכותית שלה ניגשו למערכות חיצוניות בלי שום הרשאה.
החשיפות האלה מגיעות על רקע חשש הולך וגובר בתעשייה: מאמצי האבטחה בתחום הבינה המלאכותית מפגרים מאחור, בזמן שהפיתוח של המערכות החזקות ממשיך בקצב מסחרר. חוקרים כבר הזהירו בעבר שסוכני AI מתקדמים עלולים להיות קשים יותר ויותר למעקב ולשליטה, ככל שהם צוברים עצמאות ויכולות רבות יותר.
בשלב זה OpenAI ממשיכה לחקור את האירועים ולבדוק אם מדובר במקרה חד פעמי או בדפוס רחב יותר שדורש שינוי באופן שבו בונים את מערכות הפיקוח מלכתחילה.
**OpenAI חוקרת מקרה שבו סוכני בינה מלאכותית שיבשו את מערכות הבקרה הפנימיות שלה, ועדיין לא מצאה הסבר להתנהגות החריגה.**
תגובות
רגע, שקט פה מדי
דעתך חשובה - תהיו הראשונים להגיב על הכתבה