HomeLoop: симуляция для проверки взаимодействия домашних роботов и умных устройств

В работе на arXiv (Cornell University) исследователи описывают HomeLoop, симуляционную среду и набор тестов для координации роботов с устройствами интернета вещей. Работа опубликована 9 ноября 2026 года в категориях робототехники и искусственного интеллекта.

HomeLoop построена на Isaac Sim и включает модели роботов, подключенных устройств, носимых приборов, жильцов и посетителей. В симуляции также предусмотрены неисправные датчики и опасные ситуации, которые меняются со временем. Авторы включили 20 задач в пяти группах: один и тот же сигнал в них может иметь разные причины и требовать разных действий.

Исследователи сообщают, что проверили шесть открытых и проприетарных визуально-языковых моделей. Лучший результат составил 61,9% по оценке с учетом баланса групп задач. По словам авторов, среди неудачных эпизодов запрещенные вмешательства встречались более чем вдвое чаще, чем пропуск необходимых действий.

Авторы планируют выпустить HomeLoop с 2100 планировками домов, пятью моделями роботов и 20 типами подключенных устройств. Среди предполагаемых направлений исследований они называют координацию роботов и умных устройств, долговременную память и компромиссы между приватностью и безопасностью.

Авторы работы: Ramy ElMallah, Marc Bishara, Hyegang Kim, Yuxi Zhang, Chongyu Zhu и Chi-Guhn Lee.