העתידן רועי צזנה מביא שני מקרים קיצוניים של סיכוני סוכני בינה מלאכותית.
אני מצרף קישור לסטורי שלו בפייסבוק: מקרים מסוכנים במיוחד של התנהלות סוכני בינה מלאכותית.
לא מדובר רק בפריצה לאתרי ומערכות אינטרנט.
ממליץ לקרוא את הפוסט המלא שלו ומי שיכול גם את המקורות עליהם הוא מסתמך.
מקרה 1: סוכן AI שמנסה לפגוע במנהל אנושי בתוך ארגון
המכון לבטיחות בינה מלאכותית (AISI) החליט לתת לסוכני בינה מלאכותית גישה לרשת לצורך פיתרון בעית אבטחה.
חלק מהם החליטו שהם צריכים לפרוץ לאתרים חיצוניים לביצוע משימתם.
אחד פעל באופן חריג החליט להשחית קוד של מנהל אנושי בדרך מתוחכמת. הוא שלח למנהל קוד חדש, שהוא קוד זדוני, וניסה לשכנע אותו שזה קוד מועיל וכדאי לשלב אותו בקוד שהמנהל כתב. קיראו את התיאור המפורט במה שכתב רועי צזנה.
מקרה 2 ו-3: שיתוף פעולה בין סוכנים
הסוכנים ניהלו פורום סוכנים בוה ששאירו הוראות אחד לשני כיצד להערים על החוקרים שהפעילו אותם
זה קרה גם במכון לבטיחות בינה מלאכותית (AISI) וגם בתוך חברת OpenAI.
אם זה קרה בשני מקומות אלו, סביר להניח שזה קורה במקומות נוספים שרועי צזנה לא כתב עליהם.
קישור למקור של רועי צזנה
Security Incident INC-2026-07-28-01
השאלה התחתונה
האם אנחנו בדרך לסוג של עולם חדש מופלא או ל-1984, שבו מככבים סוכני AI?
אין תגובות:
הוסף רשומת תגובה