Исследователи представили набор данных для южноафриканского жестового языка
Авторы работы описали автоматизированный подход к сбору и подготовке видеоданных для перевода жестового языка в текст.
Редакция 404fam
Редакционный материал
В работе, опубликованной 9 ноября 2026 года на arXiv (Cornell University), исследователи описывают Maswao, набор данных для южноафриканского жестового языка. Авторы предлагают способ его сбора и подготовки с минимальным участием человека.
По описанию авторов, система собирает видео из общедоступных источников, преобразует аудио в текст и выделяет область с жестами. Паузы в движении используются для определения границ предложений, что позволяет приблизительно сопоставить фрагменты видео и текст.
Исследователи также сравнили рекуррентные сети и модели Transformer в задаче перевода жестов в текст. Авторы сообщают, что модели Transformer показали лучшие результаты, и считают, что задача требует дальнейшего изучения.
Использованные источники (1)
- arXiv (Cornell University)Maswao: An automatically collected, prepared, and benchmarked dataset for South African Sign Language
arXiv (Cornell University)
Материалы по теме
Исследователи оценили применение RAG к задачам по спортивному программированию
Авторы работы сообщают, что поиск похожих примеров улучшил результаты языковых моделей на выбранных задачах.
Исследователи представили тест для оценки ответов ИИ на кхмерском языке
Khmer PFGen-Bench оценивает ответы из нескольких предложений без использования языковой модели в роли судьи.
Исследователь сравнил модели распознавания говорящего для голосовых ИИ-агентов
В работе рассмотрели, как модели различают голоса при ограничении задержки менее одной секунды.