В будущем солдат и игровой контроллер могут быть всем, что нужно, чтобы научить роботов превосходить людей.
В исследовательской лаборатории армии США при Командовании по развитию боевых возможностей и Техасском университете в Остине исследователи разработали алгоритм, который позволяет автономному наземному транспортному средству улучшать существующие навигационные системы, наблюдая за движением человека. Команда проверила свой подход, называемый адаптивным обучением параметров планировщика на демонстрации, или APPLD, на одном из армейских экспериментальных автономных наземных транспортных средств.
«Используя такие подходы, как APPLD, нынешние солдаты в существующих учебных центрах смогут внести свой вклад в улучшение автономных систем, просто управляя своими транспортными средствами в обычном режиме», — сказал армейский исследователь доктор Гарретт Варнелл. «Подобные методы станут важным вкладом в планы армии по разработке и внедрению боевых машин следующего поколения, которые оборудованы для автономной навигации в условиях бездорожья».
Исследователи объединили машинное обучение с демонстрационными алгоритмами и более классическими автономными навигационными системами. Вместо того, чтобы полностью заменять классическую систему, APPLD изучает, как настроить существующую систему, чтобы она больше походила на человеческую демонстрацию. Эта парадигма позволяет развернутой системе сохранять все преимущества классических навигационных систем, такие как оптимальность, объяснимость и безопасность, а также позволяет системе быть гибкой и адаптированной к новым условиям, сказал Уорнелл.
«Единственная демонстрация вождения человека, представленная с использованием повседневного беспроводного контроллера Xbox, позволила APPLD научиться настраивать существующую автономную навигационную систему автомобиля по-разному в зависимости от конкретной местной среды» , — сказал Уорнелл. «Например, в узком коридоре водитель-человек замедлил скорость и вел машину осторожно. Наблюдая за этим поведением, автономная система научилась также снижать максимальную скорость и увеличивать свой вычислительный бюджет в аналогичных условиях. Это в конечном итоге позволило транспортному средству успешно двигаться. автономно перемещаться по другим узким коридорам, где раньше это не удавалось ».
Это исследование является частью инициативы Army Open Campus, в рамках которой армейские ученые в Техасе сотрудничают с академическими партнерами в UT Austin.
«APPLD — еще один пример растущего потока результатов исследований, которому способствовало уникальное соглашение о сотрудничестве между UT Austin и Army Research Lab», — сказал доктор Питер Стоун, профессор и председатель Консорциума робототехники в UT Austin. «Благодаря тому, что доктор Варнелл работает в UT Austin на постоянной основе, мы можем быстро выявлять и решать исследовательские проблемы, которые являются одновременно передовыми научными достижениями и имеют непосредственное отношение к армии».
Эксперименты команды показали, что после обучения система APPLD смогла ориентироваться в тестовой среде быстрее и с меньшим количеством отказов, чем с классической системой. Кроме того, обученная система APPLD часто перемещалась в среде быстрее, чем обучавший ее человек. Рецензируемый журнал IEEE Robotics and Automation Letters опубликовал работу команды: APPLD: Adaptive Planner Parameter Learning From Demonstration.
«С точки зрения машинного обучения APPLD контрастирует с так называемыми системами сквозного обучения, которые пытаются изучить всю систему навигации с нуля», — сказал Стоун. «Эти подходы, как правило, требуют большого количества данных и могут привести к поведению, которое не является ни безопасным, ни надежным. APPLD использует тщательно спроектированные части системы управления, концентрируя усилия машинного обучения на процессе настройки параметров, который является часто делается на основе интуиции одного человека ».
APPLD представляет собой новую парадигму, в которой люди, не обладающие экспертными знаниями в области робототехники, могут помочь обучить и улучшить автономную навигацию транспортных средств в различных средах. Вместо того, чтобы небольшие группы инженеров пытались вручную настроить навигационные системы в небольшом количестве тестовых сред, практически неограниченное количество пользователей могло бы предоставить системе данные, необходимые для ее настройки для неограниченного числа сред.
«Существующие автономные навигационные системы обычно необходимо вручную настраивать для каждой новой среды развертывания», — сказал военный исследователь доктор Джонатан Финк. «Этот процесс чрезвычайно сложен — его должен выполнять кто-то с обширным обучением в области робототехники, и он требует большого количества проб и ошибок, пока не будут найдены правильные настройки системы. Напротив, APPLD настраивает систему автоматически, наблюдая за движением человека. система — то, что может сделать каждый, если у него есть опыт работы с контроллером видеоигр. Во время развертывания APPLD также позволяет системе перенастраиваться в реальном времени по мере изменения среды ».
Сосредоточение внимания армии на модернизации боевой машины следующего поколения включает разработку как опциональных боевых машин с пилотом, так и боевых роботов, которые могут автономно перемещаться в условиях бездорожья. В то время как солдаты могут перемещаться по этим средам на современных боевых машинах, условия остаются слишком сложными для современных автономных навигационных систем . APPLD и аналогичные подходы предоставляют армии новый потенциальный способ улучшить существующие возможности автономной навигации.
«Помимо непосредственного отношения к армии, APPLD также создает возможность преодолеть разрыв между традиционными инженерными подходами и новыми методами машинного обучения, чтобы создать надежных, адаптивных и универсальных мобильных роботов в реальном мире», — сказал д-р. Сюэсу Сяо, научный сотрудник UT Austin и ведущий автор статьи.
Чтобы продолжить это исследование, команда протестирует систему APPLD в различных условиях на открытом воздухе, задействует водителей-солдат и поэкспериментирует с более широким спектром существующих автономных подходов к навигации. Кроме того, исследователи будут исследовать, может ли включение дополнительной информации с датчиков, такой как изображения с камеры, привести к изучению более сложного поведения, такого как настройка навигационной системы для работы в различных условиях, например, на другой местности или с другими присутствующими объектами.