Negotiation-augmented federated reinforcement learning for conflict-free edge–cloud stream scheduling

בכל שנייה זורמים ממצלמות תנועה, חיישנים תעשייתיים ומכשירים חכמים נהרות של נתונים שצריך לעבד כאן ועכשיו, לא בעוד דקה. כדי לעמוד בקצב, מערכות מחשוב מפצלות את העבודה בין שרתי קצה הפזורים בשטח לבין הענן, ומפקידות את ההחלטות בידי סוכנים לומדים שמחליטים לבד היכן תרוץ כל משימה. אלא שכאשר כל אשכול שרתים לומד בנפרד, נוצרת בעיה מוכרת מעולם האנושי: כמה שחקנים עצמאיים מושיטים יד בו זמנית לאותו משאב, מתחרים על אותו קו תקשורת ומעבירים משימות הלוך ושוב בלי לדעת זה על זה. התוצאה היא עומס מיותר, חריגות מזמני תגובה וחוסר יציבות.

מכאן עולה השאלה שבלב המחקר: האם אפשר ללמד סוכני תזמון מבוזרים לנהל ביניהם משא ומתן קצר לפני שהם פועלים, ולמנוע את ההתנגשות מראש במקום לתקן אותה בדיעבד, וזאת בלי לוותר על פרטיות הנתונים ובלי להחזיר את השליטה לגורם מרכזי אחד.

כדי לבדוק זאת נבנתה מסגרת שמחברת למידת חיזוק פדרטיבית לשכבת הידברות בין נציגי אשכולות, המופעלת רק כשמזוהה סיכון לתחרות, ומוזנת בתחזיות עומס וקצבי זרימה. עלות ההתנגשות ותקורת ההידברות הוכנסו במפורש לתוך יעד האופטימיזציה ולתוך פונקציית התגמול של הסוכנים. המסגרת נבחנה בסימולציה של תשתית קצה וענן הטרוגנית עם מאות משימות ודפוסי תעבורה מתפרצים, מול מתזמנים יוריסטיים, מקומיים, פדרטיביים וריכוזיים, ולצד אב טיפוס חומרתי קטן שנועד לבדוק מה קורה כשיוצאים מהסימולציה אל ציוד אמיתי.