RU2800443C1 - Способ выполнения манипуляции с объектом - Google Patents

Способ выполнения манипуляции с объектом Download PDF

Info

Publication number
RU2800443C1
RU2800443C1 RU2022117656A RU2022117656A RU2800443C1 RU 2800443 C1 RU2800443 C1 RU 2800443C1 RU 2022117656 A RU2022117656 A RU 2022117656A RU 2022117656 A RU2022117656 A RU 2022117656A RU 2800443 C1 RU2800443 C1 RU 2800443C1
Authority
RU
Russia
Prior art keywords
capture
gripper
objects
library
gripping device
Prior art date
Application number
RU2022117656A
Other languages
English (en)
Inventor
Андрей Владимирович Новиков
Владимир Николаевич Герасимов
Роман Александрович Горбачев
Никита Евгеньевич Швиндт
Владимир Иванович Новиков
Андрей Евгеньевич Ефременко
Дмитрий Леонидович Шишков
Михаил Нилович Зарипов
Филипп Александрович Козин
Алексей Михайлович Старостенко
Original Assignee
федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)"
Общество С Ограниченной Ответственностью "Нейроассистивные Технологии"
Filing date
Publication date
Application filed by федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)", Общество С Ограниченной Ответственностью "Нейроассистивные Технологии" filed Critical федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)"
Application granted granted Critical
Publication of RU2800443C1 publication Critical patent/RU2800443C1/ru

Links

Images

Abstract

Изобретение относится к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством. Способ выполнения манипуляции с объектом посредством роботизированной руки включает следующие этапы: обеспечение библиотеки способов захвата объектов захватным устройством руки, получение формы объекта, его размеров и точки положения, получение сцены вокруг объекта, определение возможности захвата объекта, выбор позиции предзахвата захватного устройства, определение оптимального способа захвата и положения захватного устройства, подвод захватного устройства в точку предзахвата и установка захватного устройства в позицию предзахвата, выполнение захвата и требуемой манипуляции с объектом. В результате обеспечивается возможность захвата и манипуляции с высокой точностью ранее неизвестными объектами и объектами сложной формы. 2 з.п. ф-лы, 1 ил.

Description

Изобретение относится к робототехнике, в частности, к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством.
В патенте США US 9552673 раскрывается способ и устройство для имитации захвата виртуального объекта в дополненной реальности. Для отслеживания положения руки оператора может применяться сенсорная перчатка, при этом наличие камеры для отслеживания положения руки оператора не требуется. Указано, что движение руки отслеживают путем моделирования формы руки и объекта структурированными периодическими узорами.
Заявка на патент США US 2017136632 описывает исключение некорректных положений захватов объектов из возможных вариантов при помощи оператора. Затем данные могут передаваться на вход системы машинного обучения. Кроме того, на вход могут подаваться данные захватного устройства, сгенерированные путем моделирования объекта и захвата в какой-либо среде моделирования. Параметры захватного устройства генерируются самой системой, и чем ближе место захвата к центру объекта, тем захват считается лучше.
В патенте США US 9014857 раскрывается способ генерирования видов захвата для применения роботом, имеющим трехпальцевое захватное устройство. Способ включает генерирование множества направлений приближения, каждое из которых перпендикулярно поверхности объекта. Для каждого из направлений приближения определяется набор видов захвата; для каждого из видов захвата по каждому из направлений высчитывается коэффициент качества захвата. Для захвата объекта выбирается захват, коэффициент качества которого выше заданного. Каждый вид захвата, коэффициент качества которого превышает заданный, сохраняется в базе данных, включая данные об изначальном положении захватного устройства, информацию о преобразовании и значение коэффициента качества.
В международной публикации WO 2019045779 описаны система и метод для устойчивого захвата объектов. Обучающий набор данных генерируется на основе трехмерных моделей объектов. В обучающий набор данных включен показатель качества захвата, и эти данные подаются на вход нейронной сети. Трехмерные модели объектов могут включать данные о массе объектов (свойствах распределения массы по объекту), свойства вещества объекта. Виды захватов могут подразделяться на классы.
В патенте США US 9914213 также раскрываются система и способ машинного обучения для осуществления захвата. Здесь набор обучающих данных формируется из данных, полученных при попытках робота захватить объект.
Патент РФ RU 2700246 раскрывает способ и систему захвата объекта с помощью роботизированного объекта, в котором роботизированное устройство обучается с использованием алгоритма машинного обучения для распознавания и запоминания точек захвата объектов. Обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие трехмерные модели объектов в различных видах. Это позволяет повысить точность распознавания области захвата объекта роботизированным устройством. Несмотря на это, точность распознавания области захвата объекта может оказаться недостаточной для применения известного способа и системы пользователем с ограниченными или нарушенными двигательными функциями. Кроме того, такая система требует достаточно длительного обучения, а выбор объекта манипулирования из нескольких объектов вообще не предусмотрен.
Из заявки на патент США US 2017021500 известны системы и способы определения данных о смещении роботизированной установки в рабочей среде. Робот, работающий в рабочей среде, может получить указание для определения рабочего смещения. Рабочее смещение может описывать местоположение и угловую ориентацию рабочей плоскости рабочей среды относительно базовой плоскости робота. В ответ на указание робот может идентифицировать рабочую плоскость. Робот может управляться для контакта с одной или несколькими точками рабочей плоскости; определять соответствующие местоположения точек контактируемых точек относительно базовой плоскости на основе соответствующих положений робота в соответствующие моменты времени контакта; определять местоположение и угловую ориентацию рабочей плоскости относительно базовой плоскости на основании определенных соответствующих точечных местоположений контактирующих точек.
Заявка на патент США US 2019240843 описывает способ манипулирования деформируемым объектом, который включает определение соответствующего трехмерного положения одного или нескольких маркеров на деформируемом объекте, удерживаемом роботизированным манипулятором, а также определения модели деформации деформируемого объекта путем отображения движения робота-манипулятора и движения одного или нескольких маркеров. Управляют роботизированным манипулятором на основе определенной модели деформации, чтобы манипулировать деформируемым объектом и перемещать один или несколько маркеров в соответствующую позицию.
Известные манипуляторы и алгоритмы их работы рассчитаны на манипуляцию с объектами известного назначения, а значит, известной формы и трехмерного форм-фактора. Обучение часто проводится самой системой, что повышает количество ошибок при ее последующем использовании, а также увеличивает количество объектов в базе объектов, а значит, усложняет критерии выбора подходящего объекта, поскольку выбор алгоритма захвата объекта привязан к самому объекту, и изменение параметров или неточности в этих параметрах могут вызвать проблемы с захватом либо привести к невозможности осуществления захвата и манипуляции с объектом.
Таким образом, существует задача разработки такого способа выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, который позволяет выполнять манипуляции с произвольным объектом произвольного назначения и трехмерного форм-фактора, либо выбрать оптимальный способ захвата такого объекта, либо определить, что данным захватным устройством данный объект захватить невозможно, либо захват возможен, но будет неустойчив.
Техническим результатом изобретения является обеспечение возможности захвата и манипуляции с высокой точностью ранее неизвестными объектами, а также объектами сложной формы.
Поставленная задача решается, а заявленный технический результат достигается в предложенном способе выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, который включает следующие этапы:
a) обеспечение библиотеки способов захвата объектов указанным захватным устройством, которая содержит информацию о трехмерных форм-факторах объектов с которыми может работать указанное захватное устройство с заданной степенью вероятности, а для каждого трехмерного форм-фактора объекта информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства, при этом состояниями захватного устройства являются захват устойчив в горизонтальной и вертикальной плоскости, захват устойчив в горизонтальной плоскости, захват неустойчив в горизонтальной плоскости, причем библиотеку выполняют в виде нейронной сети с категориальным выходом, классы которой соответствуют способам захвата, а до этапа а) осуществляют обучение нейронной сети с использованием карты глубины;
b) получение формы объекта, размеров объекта и точки положения объекта;
c) получение сцены вокруг объекта;
d) определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта;
e) выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта;
f) определение оптимального способа захвата с использованием библиотеки, формы объекта и размеров объекта;
g) определение положения захватного устройства;
h) подвод захватного устройства в точку предзахвата и установку захватного устройства в позицию предзахвата;
i) выполнение захвата объекта, и
j) выполнение требуемой манипуляции с объектом.
Поставленная задача решается, а заявленный технический результат достигается также в частных вариантах реализации способа выполнения манипуляции с объектом, которыми, однако, данное изобретение не ограничивается.
Так, является предпочтительным, если получение сцены вокруг объекта выполняют на всех последующих этапах, начиная с этапа выбора позиции предзахвата захватного устройства (этап с), т.е., по сути, непрерывно, и при изменении сцены вокруг объекта, при необходимости, корректируют этап выбора позиции предзахвата захватного устройства (этап е).
Библиотека содержит информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности. При этом для каждого форм-фактора объекта в библиотеке содержится информация о позициях предзахвата, позициях захвата и состояниях захватного устройства. Указанными состояниями захватного устройства могут являться, в частности, следующие состояния: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.
В предпочтительном варианте исполнения изобретения библиотеку выполняют в виде нейронной сети с категориальным выходом, причем классы нейронной сети соответствуют способам захвата. Обучение нейронной сети выполняют заранее, с использованием карты глубины, о чем более подробно будет сказано ниже.
Далее заявленный способ выполнения манипуляции с объектом и некоторые варианты его осуществления более подробно поясняются со ссылкой на фигуру, на которой схематично представлена блок-схема алгоритма захвата объекта для целей выполнения манипуляции с ним.
Для выполнения манипуляции с объектом может быть использована любая известная роботизированная система, представляющая собой манипулятор с установленным на нем захватным устройством (также называемым роботизированной рукой, схватом и др.). Как правило, такие системы содержат стереокамеру, с помощью которой получают изображения объектов и изображения окрестности представляющего интерес объекта, называемого сценой (или сценой вокруг объекта). Кроме того, система должна позволять определять форму и размеры объекта (или трехмерный форм-фактор объекта), точку положения объекта, а также точку положения захватного устройства. При этом, как будет показано далее, предпочтительно, чтобы указанные данные система могла определять в истинных координатах, или глобальных координатах, т.е. в координатах объекта или стереокамеры, а не относительных координатах изображения.
Согласно алгоритму, представленному на фигуре, для выполнения требуемой манипуляции с объектом посредством роботизированной руки, снабженной захватным устройством, необходимо сформировать библиотеку способов захвата объекта конкретно данным захватным устройством. Замена захватного устройства на другое, вообще говоря, может потребовать формирования другой библиотеки способов захвата. Это обусловлено тем, что захватные устройства могут иметь различное количество пальцев, их размеры, подвижность, силу захвата и другие параметры, учет которых необходим для обеспечения определения вероятности успешного полного или частичного захвата того или иного объекта.
Библиотека способов захвата, далее для краткости также именуемая библиотекой, позволяет для произвольного объекта произвольного назначения и форм-фактора выбрать оптимальный способ захвата, или определить, что данным захватным устройством данный объект захватить невозможно, или определить, что данным захватным устройством данный объект захватить возможно, но захват будет неустойчив.
В предпочтительном варианте реализации заявленного способа библиотеку выполняют в виде нейронной сети, для которой классами являются способы захвата, причем способами захвата, согласно изобретению, являются следующие: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.
Захват считается устойчивым в горизонтальной плоскости и вертикальной плоскости, если определено, что объект из захватного устройства не выскальзывает, допустимы любые трехмерные перемещения объекта и наклон объекта на угол в пределах заданного либо на произвольный угол. В этом случае захват считается полностью устойчивым.
Захват считается устойчивым в горизонтальной плоскости, если определено, что вертикальная фиксация отсутствует. Отрыв и подъем объекта от опорной плоскости невозможен (т.е. при отрыве объект с большой долей вероятности выпадет из захватного устройства), но без отрыва от опорной плоскости допустимо любое перемещение объекта. В этом случае захват считается частично устойчивым.
Захват считается неустойчивым в горизонтальной плоскости, если определено, что полная горизонтальная фиксация объекта невозможна (например, объект невозможно обхватить пальцами), но возможно передвижение объекта в некотором наборе направлений без отрыва от поверхности. Отрыв объекта от опорной плоскости также невозможен. В этом случае захват считается неустойчивым.
Соответственно, сценарий манипуляций с объектом должен учитывать устойчивость захвата. Например, если нет необходимости отрывать объект от опорной плоскости, а нужно только передвинуть его, можно выбрать любой вариант устойчивости захвата, в том числе частично устойчивый захват или даже неустойчивый захват. Если же требуется осуществить перемещение объекта по вертикали с отрывом от опорной плоскости (например, требуется поднять стакан), то необходимо использовать только полностью устойчивый захват.
После получения системой информации об объекте, с которым пользователь собирается совершить требуемую манипуляцию, такой как форма объекта, размеры объекта и точка положения объекта (это можно осуществить, например, посредством стереокамеры), определяют, можно ли данный объект захватить используемым захватным устройством, и если да, какие способы захвата доступны системе (см. фигуру). В противном случае система выдает сообщение о невозможности выполнить захват.
Далее, библиотека может содержать информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности. При этом для каждого трехмерного форм-фактора объекта библиотека может содержать информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства.
Для захвата объекта захватное устройство вначале устанавливают в позицию предзахвата. Позиция предзахвата - это то положение захватного устройства вблизи выбранного объекта, из которого захватное устройство должно выполнить однозначно заданные действия именно для захвата объекта, причем предполагается, что захватное устройство находится вблизи объекта, и между захватным устройством и объектом нет препятствий. До позиции предзахвата движение захватного устройства обусловлено, в общем случае, только условием не задевания препятствий и подведением захватного устройства к выбранному объекту в позицию предзахвата, и при этом правильная ориентация захватного устройства и положение его пальцев являются несущественными.
Например, необходимо взять чайник за ручку. Позиция предзахвата - это положение захватного устройства с правильно расположенными пальцами возле ручки чайника. До позиции предзахвата захватное устройство просто доставляется в нужную позицию в обход препятствий на его пути. Начиная с позиции предзахвата работает уже алгоритм захвата объекта (чайника): например, вначале пальцы захватного устройства и само захватное устройства движутся так, чтобы ручка чайника оказалась в нужной точке между пальцами захватного устройства, а затем движением пальцев чайник фиксируют в захватном устройстве.
Состояние захвата - это ориентация ладони и положение пальцев захватного устройства. Начиная с позиции предзахвата и до завершения процедуры захвата объекта в каждый момент времени должно быть обеспечено правильное состояние захватного устройства, чтобы правильно схватить объект: с нужной стороны подвести захватное устройство, вначале пальцами не задеть объект, чтобы он не передвинулся, а затем, после подвода захватного устройства, пальцами зафиксировать объект.
После получения системой информации о возможности захватить данный объект захватным устройством, используя данные библиотеки, а также информацию о форме, размерах объекта и его расположении, определяют оптимальную позицию предзахвата для данного объекта (например, для стоящего стакана это позиция сбоку - пальцы захватного устройства готовы схватить стакан с боков; для того же стакана, лежащего на боку, это позиция сверху - пальцы готовы схватить стакан сверху). Для объекта может существовать несколько вариантов позиции предзахвата, например, одна для захвата сбоку за корпус, вторая - для захвата сбоку за ручку, третья - для захвата сверху за корпус. Тогда оптимальной позицией предзахвата считается та, которая, согласно информации по данным библиотеки, оказалась удачной для максимального класса близких ситуаций и объектов.
Одновременно с оптимальной позицией предзахвата из конечного набора данных библиотеки определяется оптимальный алгоритм захвата, т.е. оптимальные движения пальцев и самого захватного устройства.
Как было указано выше, библиотека захватов может быть реализована как нейронная сеть. Предпочтительно, если это нейронная сеть с категориальным выходом, в которой на основании входных данных библиотека предлагает все возможные позиции предзахвата с указанием веса каждой из них. Соответственно, вес оптимальных позиций предзахвата близок к 1 (единице), а вес нецелесообразных или непригодных позиций предзахвата близок к 0 (нулю). Оптимальной является позиция предзахвата, вес которой самый близкий к 1, а понятие «возможность схватить» определяется именно как превышение весом позиции предзахвата заданного порога.
Как и для любой нейронной сети, сначала надо провести обучение библиотеки, что может быть выполнено различными известными способами. Ниже описан вариант обучения библиотеки, наиболее подходящий для целей настоящего изобретения.
На рабочем столе, в поле зрения стереопары располагают по одному различные предметы, которые может взять захватное устройство. На видео стереопары в формате карты глубины, в отдельном окне, в обычном видеоролике фиксируют положение руки человека-оператора, максимально подходящее для захвата лежащего предмета. На видеоролике предмет не должен загораживаться рукой (предполагается, что рука находится в положении предзахвата). При этом на руку оператора надета перчатка с пометками, позволяющими в автоматическом режиме определять декартовы координаты руки (например, на тыльной стороне перчатки и на ладони нанесены по одной уникальной метке). Также на перчатку нанесены метки, позволяющие определить пространственную угловую ориентацию руки (например, структурированный периодический узор, по проективным деформациям которого определяем углы ориентации перчатки в пространстве), и метки на пальцах для определения сжатия/разжимания захвата.
Оператор рукой, одетой в подготовленную перчатку, выполняет многократный захват различных объектов из различных позиций. Программа отслеживает трехмерное изображение руки и трехмерное изображение объекта. Когда вычисленное расстояние становится равным или меньше расстояния предзахвата, осуществляют серию записей в библиотеку, при этом каждая запись содержит трехмерную форму объекта, координаты кисти руки, ориентацию кисти руки, состояние сжатия руки. Все данные руки могут определяться обработкой изображений меток, нанесенных на перчатку. Так формируют выборку успешных захватов объектов.
На основе данной выборки успешных захватов объектов обучают нейронную сеть, которая по трехмерному форм-фактору объекта, получаемому от стереопары, предлагает «общепринятые» возвышение точки предзахвата над объектом, ориентацию захватного устройства и требуемые положения пальцев, а также, предпочтительно, более подробную инструкцию по условиям, необходимым для успешного выполнения захвата.
Возможны ситуации, когда объекты по форме одинаковы, но заметно отличаются по размерам. В этом случае библиотека определяет, насколько это важно для конкретного захватного устройства, т.е. насколько объекты разные, чтобы относить их к разным классам объектов. Например, для объектов «яблоко» и «бусина» может оказаться разным положение позиции предзахвата относительно объекта. Во-вторых, для этих объектов алгоритмы движения пальцев и захватного устройства также могут оказаться разными. В тех пределах, когда параметры позиции предзахвата и алгоритма движения пальцев могут быть вычислены использованием только размеров «яблока» или «бусины», они будут считаться одним объектом с разными размерами. При выходе за данные пределы, когда будет нужна другая позиция предзахвата и/или алгоритм движения пальцев, «яблоко» либо «бусинка» будет считаться другим объектом с другим алгоритмом выполнения захвата.
Результатом является создание библиотеки способов захвата для данного захватного устройства, которая работает как нейронная сеть и определяет, какие объекты могут быть схвачены и каким образом. Важным является то, что, как было указано выше, фиксация видеоизображений осуществляется в формате карты глубин. За счет этого не происходит фиксации обучающейся нейронной сети на мелкие и несущественные детали, а кроме того, значительно уменьшается количество предметов (объектов).
Особенностью метода использования карты глубин, отличающего его от известных аналогов, является то, что детекцию и идентификацию объектов на изображениях выполняют не на изображении точек в пиксельных координатах (относительных координатах на самом изображении), а на двухмерном изображении в шкале серого (предпочтительно, 8-битного), в котором яркость точки зависит от истинного расстояния до точки, т.е. от истинных координат точки, или глобальных координат. При этом детектированию и идентификации подвергают не узоры, рисунки, надписи на объектах и т.п., а темные силуэты объектов на светлом фоне. Поскольку фон является более удаленным, чем объекты, и между фоном и объектами есть некоторое расстояние, фон на двухмерном изображении в шкале серого светлее объектов, причем образуется контрастная граница между фоном и объектами. Объекты выглядят компактными, контрастными темными силуэтами именно потому, что они расположены ближе, чем фон, и чем ближе объект, тем темнее силуэт объекта. Как следствие, периодические, квазипериодические и стохастические узоры, вообще свойства прозрачности фона и объектов не влияют на процесс детекции и идентификации, потому что обрабатывается только геометрический силуэт, полученный из карты глубин. На этом этапе данные о цветовых и оптических характеристиках объекта уже отсутствуют, т.к. они отсеиваются на этапе стереореконструкции, когда вместо видимого двумерного изображения работают с картой глубин, а на карте глубин данные о раскраске объекта отсутствуют.
После определения оптимальной позиции предзахвата для данного объекта определяют положение захватного устройства (в общем случае это можно сделать и раньше) и подводят захватное устройство в точку предзахвата. Например, захватное устройство подводят в точку предзахвата, которая находится на расстоянии от 0,01 до 0,1 м до объекта; находится в вертикальной плоскости, проходящей через центр объекта и точку крепления захватного устройства.
Далее устанавливают захватное устройство в выбранную позицию предзахвата. Положение захватного устройства рассчитывают только для достижения положения позиции предзахвата. При заданном числе пальцев захватного устройства для объекта должна быть определена позиция предзахвата, куда и будет доставлено захватное устройство. От числа пальцев зависит только положение позиции предзахвата относительно объекта, классы объектов, которые могут быть схвачены, и собственно алгоритмы выполнения захвата (то есть движения пальцев и захватного устройства с целью захвата).
Далее осуществляют захват объекта и, наконец, осуществляют требуемую манипуляцию с объектом.
Как было указано выше, для выполнения манипуляции используется роботизированная система, содержащая стереокамеру, с помощью которой, помимо прочего, получают изображения пространства вокруг представляющего интерес объекта, называемого сценой (или сценой вокруг объекта). Сцена определяет, в частности, путь подвода захватного устройства в точку предзахвата, так чтобы не были задеты другие объекты.
Предпочтительно, если сцена определяется всегда и постоянно, например, в фоновом режиме, поскольку она может меняться. Алгоритм движения захватного устройства может быть остановлен либо изменен в соответствии с изменениями сцены.
Например, требуется захватить яблоко, и, соответственно, сначала подвести захватное устройство в точку предзахвата и перевести его в позицию предзахвата. Если в процессе выполнения алгоритма движения захватного устройства вблизи точки предзахвата появляется кошка, либо кошка появляется там, где будет происходить захват, либо по какой-то причине произойдет перемещение яблока, позиция предзахвата может быть признана непригодной. Тогда захватное устройство будет отведено от яблока как от препятствия, будет произведен поиск новой позиции предзахвата, где есть яблоко и нет кошки, и в эту новую позицию предзахвата будет доставлено захватное устройство. Далее произойдет захват яблока: пальцы захватного устройства будут разведены влево-вправо, затем захватное устройство будет приближено к яблоку, затем пальцы будут сведены на яблоке.
Заявленный способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством был успешно испытан на объектах с горизонтальным диаметром до 10 см, высота объекта не ограничена. За счет того, что в способе предусмотрена работа с картами глубин, не происходило фиксации обучающей программы библиотеки на мелких и несущественных деталях, а кроме того сильно уменьшилось количество объектов библиотеки. Способ является универсальным в том смысле, что фактически возможно захватить все, что захватное устройство теоретически способно удержать. При этом способ является адаптивным по отношению к объекту, позволяет для произвольного объекта произвольного назначения и форм-фактора либо выбрать оптимальный способ захвата, либо определить, что данным захватным устройством данный объект захватить невозможно или возможно, но захват будет неустойчивым.

Claims (13)

1. Способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, включающий следующие этапы:
a) обеспечение библиотеки способов захвата объектов указанным захватным устройством, которая содержит информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности, а для каждого трехмерного форм-фактора объекта информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства, при этом состояниями захватного устройства являются: захват устойчив в горизонтальной и вертикальной плоскости, захват устойчив в горизонтальной плоскости, захват неустойчив в горизонтальной плоскости, причем библиотеку выполняют в виде нейронной сети с категориальным выходом, классы которой соответствуют способам захвата, а до этапа а) осуществляют обучение нейронной сети с использованием карты глубины;
b) получение формы объекта, размеров объекта и точки положения объекта;
c) получение сцены вокруг объекта;
d) определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта;
e) выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта;
f) определение оптимального способа захвата с использованием библиотеки, формы объекта и размеров объекта;
g) определение положения захватного устройства;
h) подвод захватного устройства в точку предзахвата и установка захватного устройства в позицию предзахвата;
i) выполнение захвата объекта и
j) выполнение требуемой манипуляции с объектом.
2. Способ по п. 1, в котором получение сцены вокруг объекта выполняют на всех последующих этапах, начиная с этапа с).
3. Способ по п. 2, в котором при изменении сцены вокруг объекта корректируют этап е).
RU2022117656A 2019-12-23 Способ выполнения манипуляции с объектом RU2800443C1 (ru)

Publications (1)

Publication Number Publication Date
RU2800443C1 true RU2800443C1 (ru) 2023-07-21

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2361726C2 (ru) * 2007-02-28 2009-07-20 Общество С Ограниченной Ответственностью "Алгоритм-Робо" Система управления антропоморфным роботом и способ управления
US20130054030A1 (en) * 2011-08-29 2013-02-28 Dainippon Screen Mfg. Co., Ltd. Object gripping apparatus, object gripping method, and object gripping program
RU2566226C2 (ru) * 2010-06-24 2015-10-20 ЗенРоботикс Ой Способ выбора физических объектов в роботехнической системе
RU2594231C2 (ru) * 2010-12-30 2016-08-10 ЗенРоботикс Ой Способ, компьютерная программа и устройство для определения места захвата
RU2700246C1 (ru) * 2019-03-21 2019-09-20 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система захвата объекта с помощью роботизированного устройства

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2361726C2 (ru) * 2007-02-28 2009-07-20 Общество С Ограниченной Ответственностью "Алгоритм-Робо" Система управления антропоморфным роботом и способ управления
RU2566226C2 (ru) * 2010-06-24 2015-10-20 ЗенРоботикс Ой Способ выбора физических объектов в роботехнической системе
RU2594231C2 (ru) * 2010-12-30 2016-08-10 ЗенРоботикс Ой Способ, компьютерная программа и устройство для определения места захвата
US20130054030A1 (en) * 2011-08-29 2013-02-28 Dainippon Screen Mfg. Co., Ltd. Object gripping apparatus, object gripping method, and object gripping program
RU2700246C1 (ru) * 2019-03-21 2019-09-20 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система захвата объекта с помощью роботизированного устройства

Similar Documents

Publication Publication Date Title
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
CN108109174B (zh) 一种用于散乱零件随机分拣的机器人单目引导方法和系统
JP7083189B2 (ja) 学習データセット作製方法及び装置
CN101370624B (zh) 自动化攫握零件的方法和系统
JP7071054B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6886620B2 (ja) キャリブレーション方法、キャリブレーションシステム及びプログラム
CN110355754A (zh) 机器人手眼系统、控制方法、设备及存储介质
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
JP2019056966A (ja) 情報処理装置、画像認識方法および画像認識プログラム
JP2011110621A (ja) ロボットの教示データを作成する方法およびロボット教示システム
JP2013193202A (ja) 人間援助型タスクデモンストレーションを使用してロボットを訓練するための方法およびシステム
CN110712194B (zh) 物体检查装置、物体检查系统以及调整检查位置的方法
JPWO2009028489A1 (ja) 物体検出方法と物体検出装置およびロボットシステム
CN113492393A (zh) 一种由人演示的机器人示教
US10724963B2 (en) Device and method for calculating area to be out of inspection target of inspection system
JP6632656B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
JP7481427B2 (ja) 取り出しシステム及び方法
JP2018169660A (ja) オブジェクト姿勢検出装置、制御装置、ロボットおよびロボットシステム
CN112775959A (zh) 机械手的抓取位姿确定方法及系统、存储介质
JP2020021212A (ja) 情報処理装置、情報処理方法及びプログラム
RU2800443C1 (ru) Способ выполнения манипуляции с объектом
JP2009216480A (ja) 三次元位置姿勢計測方法および装置
JP6265784B2 (ja) 姿勢推定システム、プログラムおよび姿勢推定方法
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
WO2021133184A1 (ru) Способ выполнения манипуляции с объектом