Исследователи представили тест для оценки ответов ИИ на кхмерском языке

В работе, опубликованной 9 ноября 2026 года в arXiv (Cornell University), Менгсай Лоем, Кентаро Имадзе, Рета Одзаки и Масанори Хирано описывают Khmer PFGen-Bench. Насколько известно авторам, это первый тест без модели-судьи для ответов из нескольких предложений на вопросы, составленные непосредственно на кхмерском языке.

Тест адаптирует метод оценки японского PFGen-Bench: ответы проверяются по правилам для ключевых слов и статистике n-грамм с использованием эталонов, созданных языковыми моделями. Авторы отмечают, что такие эталоны должны быть одновременно корректными и разнообразными.

Исследователи сообщают, что дообученные модели могут давать более корректные, но менее разнообразные эталоны, чем базовые версии, а сочетание разных семейств моделей повышает разнообразие при одинаковом количестве эталонов. По их данным, при использовании эталонов от дообученных моделей из девяти семейств ранжирование моделей оставалось стабильным для разных наборов эталонов и согласовывалось с оценками носителя языка.