לווייני חישה מרחוק מצלמים את פני כדור הארץ לא בשלושה צבעים כמו המצלמה בטלפון שלכם, אלא במאות פסי אור צרים. כל פיקסל בתמונה כזו נושא "טביעת אצבע" ספקטרלית, והיא מאפשרת להבחין בין סוגי גידולים, לאתר מינרלים או לעקוב אחר איכות המים. האתגר הוא ללמד מחשב לקרוא את כמות המידע העצומה הזו: לזהות פרטים קטנים בסביבת הפיקסל ובה בעת להבין קשרים בין אזורים רחוקים בתמונה, וגם להבחין אילו פסי אור הם החשובים באמת. שתי משפחות הכלים המובילות בתחום, רשתות קונבולוציה וטרנספורמרים חזותיים, מצטיינות כל אחת בהיבט אחר ומתקשות בהיבט השני.
המאמר שואל אם אפשר לשלב את יתרונות שתי הגישות ולתת למנגנון הקשב של הטרנספורמר תחושת קרבה מרחבית מפורשת, כך שפיקסלים סמוכים יזכו לתשומת לב רבה יותר משכניהם הרחוקים. החוקרים בנו רשת היברידית בעלת שני ענפים מקבילים. לחילוץ המאפיינים הם נעזרו בהתמרות גלית, ובמנגנון הקשב הם שילבו מדד מרחק פשוט שנלקח מגיאומטריית רשת הפיקסלים. ענף נוסף מפעיל קשב על ערוצי הספקטרום, ושוקל יחד מידע מקומי וגלובלי.
הרשת נבחנה על ארבעה מערכי נתונים מאתגרים של תצלומי לוויין ותצלומי רחפן, ביניהם אזורים חקלאיים וחופיים, ואף על מערך נוסף של זיהוי מיני עצים. ההשוואה נעשתה מול שיטות מובילות בתחום, תוך בחינה של מספר דגימות האימון, עלות החישוב וגודל המודל. האם הרעיון הפשוט הזה באמת משפר את הסיווג, ומה המחיר שלו?
