חיזוי המבנה הגבישי של חומר הוא אחד השלבים החשובים והמורכבים ביותר בתהליך גילוי חומרים חדשים, אך השיטות המדויקות המבוססות על חישובי עקרונות ראשוניים (ab initio) יקרות מאוד מבחינה חישובית ומצריכות זמן רב. מציאת דרך מהירה ויעילה להציע מבנים מועמדים סבירים יכולה לחסוך משאבים אדירים ולהאיץ תהליכי מחקר ופיתוח בתחום מדעי החומרים. בשנים האחרונות מודלים גנרטיביים מבוססי רשתות עצביות נוסו למשימה זו, אך נותרה שאלה פתוחה: האם מודלי שפה גדולים, מהסוג שחוללו מהפכה בתחום הטקסט הטבעי, יכולים ללמוד "לדבר" את שפת הכימיה המבנית, ולייצר מבנים גבישיים תקינים ומדויקים ישירות מתוך תיאור טקסטואלי שלהם?
המאמר מציג מודל בשם CrystaLLM, מודל טרנספורמר מסוג מפענח, המאומן ישירות על טקסט של קובצי CIF המתארים מבנים גבישיים אנאורגניים, במקום על ייצוגים גרפיים או גיאומטריים מובנים כפי שנעשה בגישות קודמות. החוקרים אספו מיליוני קובצי מבנה ממאגרי מידע מוכרים, אימנו את המודל לחזות רצפי טוקנים המתארים מבנה גבישי, ובחנו את יכולתו לשחזר מבנים ידועים, להתמודד עם מבנים שלא נראו כלל באימון, ולהשוואה עם שיטות למידת מכונה אחרות המבוססות על דיפוזיה ורשתות תלת-ממדיות. כמו כן שולב אלגוריתם חיפוש חכם בשיתוף רשת המעריכה אנרגיית היווצרות, לצורך שיפור איכות המבנים המיוצרים.
האם באמת ניתן "לדבר כימיה" באמצעות מודל שפה, ומה מגלה הבחינה של הייצוגים הפנימיים שהמודל פיתח על עצם היכולת שלו להבין את חוקי הבניה של החומר?
