Инженеры Массачусетского технологического института (MIT) и Нью-Йоркского университета представили платформу FLEX — гибкий конвейер редактирования признаков для планирования движения роботов. По данным исследования, подготовленного к ежегодной конференции по обучению роботов в ноябре 2026 года, платформа позволяет роботу не только буквально выполнять команду на естественном языке, но и выводить из неё более общее намерение. Работа пока проверена только в симуляциях.
FLEX состоит из трёх шагов. На шаге «Add» робот добавляет объект в список важных для задачи признаков по указанию человека. На шаге «Generalize» большая языковая модель GPT-4o обобщает эти признаки: например, получив просьбу не разлить кофе на ноутбук, робот в виртуальной сцене объезжает также телефон, а из просьбы не уронить груз на кружку делает вывод о хрупких предметах. На шаге «Mask» система компьютерного зрения убирает из списка отсутствующие объекты. Весь процесс занимает около пяти секунд.
В симуляциях роботизированная рука подавала кофе, переносила свечу и тяжёлый шар; участники вводили команды вроде «Не разлей на мой ноутбук». По словам авторов, FLEX может улавливать предпочтения из одной-двух фраз. Руководила работой Андреа Бобу, соавторы — Натан Деннлер, Одри Ли и Илия Сухолуцкий из Нью-Йоркского университета. Часть работы поддержали MIT Generative AI Impact Consortium и программа социальной и этической ответственности вычислений MIT Schwarzman College of Computing.



Пока нет комментариев.