ביקורת עמיתים היא שער הכניסה של הפרסום האקדמי, אך איכותה של הביקורת רחוקה מלהיות אחידה. סוקר אחד מעמיק בשיטות המחקר ובניתוח הנתונים, ואחר מסתפק בכמה הערות כלליות על הכתיבה. עם הגידול המתמיד במספר ההגשות, מארגני הביקורת צריכים דרך מהירה להבחין בין דוחות שמשקפים מאמץ אינטלקטואלי אמיתי לבין דוחות שטחיים. השאלה מורכבת עוד יותר בעידן הבינה המלאכותית היוצרת, שבו אפשר להפיק טקסט שנראה כמו ביקורת בלחיצת כפתור.
המאמר שואל אם אפשר למדוד את עומקה של ביקורת באופן אוטומטי, כשהדיון הטכני והמתודולוגי נחשב למשמעותי יותר מדיון ברקע או בניסוח. החוקרים הציעו מדד חדש בשם ציון התאמה, שמעניק משקל שונה לסוגי משפטים שונים בדוח. לצורך כך הם אימנו מודל למידה עמוקה לסווג משפטי ביקורת לקטגוריות, על בסיס אלפי משפטים מדוחות של כתבי עת רבים. לאחר מכן הפעילו את המדד על מאות אלפי משפטים מדוחות ביקורת עדכניים, ובחנו כיצד הוא מתיישב עם מאפיינים טקסטואליים שונים, כמו אורך הדוח, הטון הרגשי, הקריאות והמלצת הסוקר. הם גם השוו אותו לדירוגים של עורכים אנושיים ובדקו עד כמה הוא עמיד.
התמונה שמתקבלת כוללת כמה הפתעות לגבי מה שנחשב בדרך כלל לביקורת טובה, והיא מעלה שאלות על האופן שבו אנו שופטים איכות בתהליך שמעצב את המדע.
