מודלי שפה גדולים פותרים מבחנים מורכבים, כותבים קוד ומנהלים שיחות שוטפות. אבל האם מאחורי כל זה עומדת הסקה אמיתית, או שמא מדובר בשליפה מתוחכמת של דפוסים שהמודל כבר ראה במאגרי הטקסט העצומים שעליהם התאמן? ציוני מבחני ייחוס סטנדרטיים לא תמיד מצליחים להבחין בין השתיים, ולכן השאלה נותרת פתוחה ורלוונטית לכל מי שנשען על מערכות כאלה.
המאמר בוחן את השאלה בדרך לא שגרתית. במקום למדוד ביצועים כוללים, החוקרים בנו סדרת בדיקות קטנות וממוקדות, שנראות פשוטות לכל אדם אך מצריכות לשלב כמה רכיבי חשיבה בבת אחת, כמו עקביות מרחבית, אילוצים מספריים ותפיסה מכנית. הבדיקות כוללות תרחישים שנדירים בנתוני אימון, ובהם מכשירים שמתנהגים אחרת מהמקובל, מראות, שעונים וחידות מדידה. הן הופעלו על שלושה מודלים מובילים, ChatGPT, Gemini ו-Grok, בשני דורות עוקבים, והושוו לביצועיהם של משתתפים אנושיים. בנוסף נבחנה היכולת של מודל אחד להתמודד עם חידות הפשטה מסוג ARC, ונבדק מה קורה כשמעירים למודל על טעויותיו.
השאלה המרכזית היא איפה בדיוק החשיבה של המודלים נשברת, האם הגדלת קנה המידה משנה זאת, והאם תיקון בתוך השיחה משקף הבנה חדשה או רק התאמה שטחית של הניסוח. התשובות עשויות לשנות את האופן שבו אנו מעריכים אינטליגנציה מלאכותית.






