Генеративные модели применили для изучения белковых языковых моделей

В работе на arXiv (Cornell University), опубликованной 9 ноября 2026 года, Daniel Hinjos и Lucía Urcelay описывают применение генеративных латентных априорных моделей к активациям белковой языковой модели ESM-2. Исследование относится к категориям cs.AI и cs.LG.

Авторы сообщают, что проверили подход на двух версиях ESM-2: с 8 млн и 650 млн параметров. По их данным, отдельные элементы генеративной модели помогали распознавать дискретные понятия из Swiss-Prot лучше опубликованных признаков SAE из InterPLM. При этом дополнительные проверки указали, что преимущество в основном связано с концентрацией информации, а не с появлением новой.

Исследователи также использовали подход для изменения трех биохимических свойств. Авторы отмечают, что при повторном анализе полученных последовательностей после нескольких раундов декодирования их структурная правдоподобность ухудшалась. Они связывают это ограничение преимущественно с охватом изменений и декодером, а не с генеративной моделью.