מנגנון הקשב הוא הלב הפועם של מודלי השפה המודרניים, אבל הוא מחשב הכול בתחום הזמן: כל מילה "מסתכלת" על המילים שלפניה, ואיש לא שואל מה קורה אם מתבוננים בדפוסי הקשב כמו באות שמע או בגל. כשמפרקים אות לתדרים נמוכים, בינוניים וגבוהים, אפשר להבחין בין שינויים איטיים ורחבים לבין תנודות מהירות ומקומיות. האם גם בקשב של מודל שפה מסתתר מבנה כזה, והאם אפשר לנצל אותו?
המחקר בוחן שאלה מפתה: מה יקרה אם נעביר את מטריצת ציוני הקשב דרך התמרת פורייה, נאפשר לכל ראש קשב ללמוד בעצמו אילו תדרים להדגיש ואילו להחליש, ונחזיר את התוצאה לתחום הזמן? ומה אם הסינון הזה יהיה גם תלוי בתוכן הטקסט עצמו? בדרך מתעוררת בעיה עדינה במיוחד: מודל שפה אוטורגרסיבי אסור לו להציץ אל העתיד, ואילו התמרת פורייה נוטה לערבב מיקומים.
החוקרים מימשו תשעה וריאנטים בתוך ארכיטקטורת GPT-2 קומפקטית, מסכות נלמדות בסגנונות שונים לצד מסננים קבועים שתוכננו ידנית, והריצו אותם על Penn Treebank, WikiText-2 ו-WikiText-103 עם כמה זרעים אקראיים. הם גם ערכו ביקורת סיבתיות, בדיקות עלות חישובית והשוואה מצומצמת לארכיטקטורות אחרות. השאלה המרכזית: האם סינון תדרים של הקשב הוא רעיון שבאמת מוסיף משהו למודלי שפה, ומה המחיר שלו?
