Кухонные роботы — это популярное видение будущего, но если современный робот попытается схватить кухонный предмет, такой как прозрачная мерная чашка или блестящий нож, он, скорее всего, не сможет. Прозрачные и отражающие объекты — это вещи кошмаров роботов.
Роботисты из Университета Карнеги-Меллона, однако, сообщают об успехе с новой разработанной ими техникой обучения роботов, позволяющих подобрать эти проблемные объекты. Техника не требует необычных датчиков, исчерпывающего обучения или человеческого руководства, но опирается, прежде всего, на цветную камеру. Исследователи представят эту новую систему во время виртуальной конференции Международной конференции по робототехнике и автоматизации.
Дэвид Хелд, доцент в Институте робототехники КМУ, сказал, что глубинные камеры, которые излучают инфракрасный свет на объект для определения его формы, хорошо работают для идентификации непрозрачных объектов. Но инфракрасный свет проходит сквозь прозрачные предметы и рассеивается от отражающих поверхностей. Таким образом, глубинные камеры не могут рассчитать точную форму, что приводит к появлению в основном плоских или пронизанных отверстиями форм для прозрачных и отражающих объектов.
Но цветная камера может видеть как прозрачные и отражающие объекты, так и непрозрачные. Поэтому ученые CMU разработали систему цветных камер для распознавания форм на основе цвета. Стандартная камера не может измерять формы, как камера глубины, но исследователи, тем не менее, смогли обучить новую систему имитировать систему глубины и неявно выводить форму для захвата объектов. Они делали это, используя изображения глубины с непрозрачных объектов в паре с цветными изображениями тех же самых объектов.
После обучения система цветных камер была применена к прозрачным и блестящим объектам. Основываясь на этих изображениях, наряду с той скудной информацией, которую может предоставить камера глубины, система может с высокой степенью успеха захватывать эти сложные объекты.
>У роботов-захватчиков обычно возникают проблемы с захватом прозрачных или блестящих предметов. Новая техника Университета Карнеги-Меллона основана на использовании системы цветных камер и машинного обучения для распознавания форм на основе цвета. Кредит: Университет Карнеги-Меллона
«Мы иногда скучаем, — признал Хельд, — но по большей части это сделало довольно хорошую работу, намного лучше, чем любая предыдущая система для захвата прозрачных или отражающих объектов».
По словам доктора философии Томаса Вена, система не может подобрать прозрачные или отражающие объекты так же эффективно, как непрозрачные. студент по робототехнике. Но это гораздо успешнее, чем только системы глубинных камер. А обучение мультимодальной передаче, используемое для обучения системы, было настолько эффективным, что система цветопередачи оказалась почти такой же хорошей, как система глубинных камер при съемке непрозрачных объектов.
«Наша система может не только собирать отдельные прозрачные и отражающие объекты, но также может захватывать такие объекты в загроможденных кучах», — добавил он.
Другие попытки автоматизированного захвата прозрачных объектов основывались на обучающих системах, основанных на исчерпывающе повторяющихся попытках захвата — порядка 800 000 попыток — или на дорогостоящей маркировке предметов людьми.
Система CMU использует коммерческую камеру RGB-D, которая способна получать как цветные изображения (RGB), так и изображения глубины (D). Система может использовать этот единственный датчик для сортировки вторсырья или других коллекций объектов — некоторые непрозрачные, некоторые прозрачные, некоторые отражающие.