מה קורה בתוך מודל שפה כשמחליפים בביקורת סרטים מילה אחת במילה נרדפת, והמודל פתאום משנה את דעתו? למשתמש האנושי המשמעות כמעט לא השתנתה, אבל המודל יכול להפוך מ"בטוח לגמרי שהביקורת שלילית" ל"בטוח לגמרי שהיא חיובית". רוב המחקרים בוחנים רק את התשובה שהמודל מחזיר בסוף. כאן מתעניינים במה שקורה בדרך: כיצד שינוי זעיר בקלט מתפשט בין השכבות הפנימיות של המודל ומשנה את דפוסי תשומת הלב שלו.
השאלה המרכזית היא האם אפשר לזהות "טביעת אצבע" מבנית של התקפה כזאת, ואם כן, באילו שכבות היא בולטת ואם היא חוזרת במודלים שונים. כדי לענות עליה, החוקרים פנו לכלי מתמטי פחות שגרתי בעולם עיבוד השפה: ניתוח נתונים טופולוגי, ובמיוחד הומולוגיה מתמשכת, שמתעדת "צורות" כמו רכיבים מחוברים ולולאות במבנה הנתונים.
הם בחנו שלושה מודלים מבוססי מקודד (BERT, RoBERTa ו-DistilBERT) שאומנו לסווג ביקורות IMDb, ותקפו אותם בשיטת TextFooler שמחליפה מילים חשובות בנרדפות. מפות הקשב של כל ראש ושכבה הומרו למטריצות מרחקים, וההבדלים בין הגרסה המקורית לגרסה המופרעת נמדדו במרחק וסרשטיין ונבדקו סטטיסטית. התוצאות הושוו גם לקו בסיס פשוט שאינו טופולוגי, כדי לבדוק אם הגישה החדשה באמת מוסיפה תובנה.
