דוגמאות

Rote Memorization or Intelligence: An Assessment of Inferential Reasoning in Large Language Models

שינון או אינטליגנציה: הערכת יכולת ההסקה של מודלי שפה גדולים

מאמר אקדמי להורדה בחינם (pdf)

איך לצטט לפי APA

Mehmood, R., Rehman, E., & Habib, M. (2026). Rote memorization or intelligence: An assessment of inferential reasoning in large language models. International Journal of Computational Intelligence Systems, 19, Article 292.

קבל תרגום מסוכם של המאמר
קבל סיכום בעברית של המאמר

מודלי שפה גדולים פותרים מבחנים מורכבים, כותבים קוד ומנהלים שיחות שוטפות. אבל האם מאחורי כל זה עומדת הסקה אמיתית, או שמא מדובר בשליפה מתוחכמת של דפוסים שהמודל כבר ראה במאגרי הטקסט העצומים שעליהם התאמן? ציוני מבחני ייחוס סטנדרטיים לא תמיד מצליחים להבחין בין השתיים, ולכן השאלה נותרת פתוחה ורלוונטית לכל מי שנשען על מערכות כאלה.

המאמר בוחן את השאלה בדרך לא שגרתית. במקום למדוד ביצועים כוללים, החוקרים בנו סדרת בדיקות קטנות וממוקדות, שנראות פשוטות לכל אדם אך מצריכות לשלב כמה רכיבי חשיבה בבת אחת, כמו עקביות מרחבית, אילוצים מספריים ותפיסה מכנית. הבדיקות כוללות תרחישים שנדירים בנתוני אימון, ובהם מכשירים שמתנהגים אחרת מהמקובל, מראות, שעונים וחידות מדידה. הן הופעלו על שלושה מודלים מובילים, ChatGPT, Gemini ו-Grok, בשני דורות עוקבים, והושוו לביצועיהם של משתתפים אנושיים. בנוסף נבחנה היכולת של מודל אחד להתמודד עם חידות הפשטה מסוג ARC, ונבדק מה קורה כשמעירים למודל על טעויותיו.

השאלה המרכזית היא איפה בדיוק החשיבה של המודלים נשברת, האם הגדלת קנה המידה משנה זאת, והאם תיקון בתוך השיחה משקף הבנה חדשה או רק התאמה שטחית של הניסוח. התשובות עשויות לשנות את האופן שבו אנו מעריכים אינטליגנציה מלאכותית.

ad

מאמרים נוספים שעשויים לעניין אותך

IVAs to Study Gender Bias in Negotiation

מה קורה כשמנהלים משא ומתן על שכר מול דמות דיגיטלית? האם נשים וגברים מתנהגים אחרת, והאם הסטריאוטיפים שמלווים אותנו בחיי היומיום מגיעים איתנו גם למסך?

לצפיה ←