יום רביעי, 1 באוקטובר 2025

סיכוני בינה מלאכותית: Model inversion attacks

 


בפוסט סיכוני בינה מלאכותית: איומים על המודל של תוכנת הבינה המלאכותית התייחסתי באופן כללי לאיומים על המודל של בינה מלאכותית ובאופן ספציפי לאיום של Model Thief. 

בפוסט זה אתיחס לאיום הנקרא Model inversion attacks. 

זהו איום מהתחום של התקפות Cyber. האיום מבוסס על Machine Learning 

האיום משתמש בתוצרי Output של  Model  של בינה מלאכותית על מנת להבין את המודל והפרמטרים שלו או להסיק מסקנות ביחס למידע פרטי (Private Data) גם במקרים בהם אין גישה לנתונים עצמם

כשיש גישה למידע הוא יכול להוציא אותו ולעשות בו שימוש לרעה.

ה-Private Data (נתונים פרטים של אנשים) עלולים  להיות נתונים רגישים. 


במקרה של Model Thief באמצעות טכניקה זו אפשר לבנות העתק של מודל.



שני סוגי Model inversion attacks 



Query-based attacks

בהתקפה מסוג זה מפנים שאילתות למודל ומהתשובות מסיקים מסקנות ביחס לפרמטרים והארכיטקטורה של המודל. 

השאילתות מתוכננות כך שבאמצעותן אפשר יהיה להבין את המודל.


Membership inference attacks 

בהתקפה מסוג זה מנסים לקבוע איזה מידע ספציפי שימוש לאימון המודל



הגנה מאיומי Model inversion attacks


שני סוגי הגנה:

Reactive - לנסות לזהות את המתקפה בזמן ביצועה.

Proactive - מודל רובסטי העמיד בםני איומים כאלה. 


למידע נוסף קראו: 

Model Inversion: The Essential Guide 



הערת שוליים


בפוסט: צפו לגל מתקפות סייבר בגלל חוסר מודעות לסיכונים בשימוש בכלי AI, הזכרתי אזהרות של מרכז הסייבר הלאומי שלי ישראל ושל הגוף המקביל לו באיטליה ביחס לאופן השימוש בכלי בינה מלאכותית. 

אם מזינים לתוך כלי בינה מלאכותית מידע אישי הוא עלול לדלוף ועלולים לעשות בו שימוש לרעה. 
Model inversion attacks היא התקפה שיכולה לגרום לדליפה של מידע אישי או להסקת מסקנות לגביו גם ללא דליפה.


אין תגובות:

הוסף רשומת תגובה