סיכוני בינה מלאכותית: לא רק הזיות גם מסקנות לא תקפות

 

בפוסטים קודמים התיחסתי למקרה הקיצון של הזיות של כלי Generative AI בפרט ומוצרי בינה מלאכותית בפרט. 

העובדה שקבלת ההחלטות שלהם מבוססת על מודל סטטיסטי של הסתברות מותנית ולא על מודל מתימטי לוגי גורמת גם למסקנות בעלות תוקף נמוך. 

תשאלו בוט בינה מלאכותית פעמיים את אותה שאלה, בהרבה מקרים תקבלו תשובות שונות. 

המשמעות של תשובות שונות היא תוקף נמוך של המסקנות של הבוט.

הנחתי שהאופן שבו שואלים את השאלה בשני המקרים הוא זהה ולא משתמשים בשני Prompts שונים. 

ברור לגמרי שPrompts שונים יגרמו לתשובות שונות בהסתברות גבוהה יותר.

תיקוף מסקנות של ניסויים מדעיים

תוקף של מסקנות ניסויים מדעיים מחייב עיקביות (Consistency) בתוצאות. 

מדדים של תוקף כוללים היבט של עיקביות. 

תיקוף של תוצאות ניסויים מדעיים נעשה באמצעות חזרה על אותו ניסוי על ידי חוקרים אחרים. 

אם התוצאות של חזרות על אותו נסוי אינן דומות לתוצאה המקורית, בהחלט יכול להיות שהמסקנות של הניסוי שגויות. 

מה שנכון לניסויים מדעיים נכון יותר ביחס למה שאומרים לנו Bots של בינה מלאכותית. 

מאמרים המתארים ניסויים מדעיים מנסים להציג את התהליך במלואו באופן שקוף ושיטתי. 

במקרה של Bots של בינה מלאכותית יש Black Box, שקשה לדעת מה גרם לו לקבל את ההחלטה שקיבל.

השורה התחתונה

בדקו היטב את כל מה ש-Bot בינה מלאכותית אומר לכם. אל תקבלו את מה שהוא אומר בלי לבחון אותו לעומק.