מודלי שפה גדולים מצליחים בבחינות חשיבה מורכבות, ועם זאת הם נכשלים כשאותו מבנה לוגי מנוסח בצורה קצת אחרת. איך ייתכן שמערכת שפותרת בעיות קשות מתקשה בדברים שנראים בסיסיים? אולי חסר לה משהו שנמצא בבסיס כל החשיבה הלוגית. בהשראת רעיון מתורת הלמידה, שלפיו יכולות מורכבות נבנות על כישורי יסוד כמו אלגברה שנשענת על אריתמטיקה, החוקרים שואלים אם יש ללוגיקה כישור כזה, ואם מודלי השפה שולטים בו באמת.
כדי לבדוק זאת הם מתמקדים ביכולת קטנה ומוזנחת מהלוגיקה הקלאסית: להסיק טענה חדשה מהנחה אחת בלבד, בלי שום הנחה נוספת. הם בנו בנצ'מרק חדש בן אלפי מקרים, שבו אותם מבנים לוגיים מוצגים בתוכן עובדתי, בתוכן שמנוגד לידע על העולם ובמחרוזות חסרות משמעות, כדי להפריד בין חשיבה אמיתית להסתמכות על ידע קיים. שמונה מודלים מובילים, סגורים ופתוחים, נבחנו בכמה סגנונות הנחיה. בהמשך נבדקו גם קשרים סיבתיים ומתאמים עם משימות חשיבה אחרות, ובוצעו ניסויי אימון על מודלים קטנים.
המאמר מציע זווית חדשה על השאלה מה בעצם נמצא מתחת למכסה של "חשיבה" במודלי שפה, והוא רלוונטי לכל מי שמתעניין בלוגיקה, בהערכת מודלים ובדרכים לשפר אותם.






