WO2021133184A1 - Способ выполнения манипуляции с объектом - Google Patents

Способ выполнения манипуляции с объектом Download PDF

Info

Publication number
WO2021133184A1
WO2021133184A1 PCT/RU2019/000999 RU2019000999W WO2021133184A1 WO 2021133184 A1 WO2021133184 A1 WO 2021133184A1 RU 2019000999 W RU2019000999 W RU 2019000999W WO 2021133184 A1 WO2021133184 A1 WO 2021133184A1
Authority
WO
WIPO (PCT)
Prior art keywords
gripper
library
gripping
grip
objects
Prior art date
Application number
PCT/RU2019/000999
Other languages
English (en)
French (fr)
Inventor
Андрей Владимирович НОВИКОВ
Владимир Николаевич ГЕРАСИМОВ
Роман Александрович ГОРБАЧЕВ
Никита Евгеньевич ШВИНДТ
Владимир Иванович НОВИКОВ
Андрей Евгеньевич ЕФРЕМЕНКО
Дмитрий Леонидович ШИШКОВ
Михаил Нилович ЗАРИПОВ
Филипп Александрович КОЗИН
Алексей Михайлович СТАРОСТЕНКО
Original Assignee
Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Институт (Национальный Исследовательский Университет")
Общество, С Ограниченной Ответственностью "Нейроассистивные Технологии"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Институт (Национальный Исследовательский Университет"), Общество, С Ограниченной Ответственностью "Нейроассистивные Технологии" filed Critical Федеральное Государственное Автономное Образовательное Учреждение Высшего Образования "Московский Физико-Технический Институт (Национальный Исследовательский Университет")
Priority to PCT/RU2019/000999 priority Critical patent/WO2021133184A1/ru
Publication of WO2021133184A1 publication Critical patent/WO2021133184A1/ru

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • US patent application US2017136632 describes the exclusion of incorrect positions of gripping objects from possible options with the help of an operator.
  • the data can then be fed to the input of a machine learning system.
  • gripper data generated by object simulation and gripping in a simulation environment can be input.
  • the gripper parameters are generated by the system itself, and the closer the gripping point is to the center of the object, the better the grip is.
  • RF patent RU2700246 discloses a method and a system for gripping an object with the aid of a robotic object, in which a robotic device is trained using a machine learning algorithm to recognize and memorize gripping points of objects. Training is performed on data characterizing photographic images of objects and corresponding three-dimensional models of objects in various forms. This makes it possible to improve the accuracy of recognition of the area of object capture by the robotic device. Despite this, the recognition accuracy of the capture area of the object may be insufficient for the application of the known method and system by a user with limited or impaired motor functions. In addition, such a system requires rather long training, and the choice of an object to be manipulated from several objects is not provided at all.
  • U.S. Patent Application US2019240843 describes a method for manipulating a deformable object, which includes determining the appropriate three-dimensional position of one or more markers on a deformable object held by a robotic arm, as well as determining a deformable model of the deformable object by displaying the movement of the robot arm and the movement of one or more markers.
  • a robotic arm is controlled based on a defined deformation model to manipulate the deformable object and move one or more markers to the appropriate position.
  • the library contains information about the three-dimensional form factors of objects with which the specified gripper can work with a given degree of probability.
  • the library contains information about pre-grip positions, gripper positions, and gripper states.
  • the specified states of the gripper can be, in in particular, the following states: the grip is stable in the horizontal plane and in the vertical plane; the grip is stable in the horizontal plane; the grip is unstable in the horizontal plane.
  • any known robotic system can be used, which is a manipulator with a gripping device installed on it (also called a robotic arm, grip, etc.).
  • a manipulator with a gripping device installed on it
  • such systems contain a stereo camera, with the help of which images of objects and images of the vicinity of an object of interest, called a scene (or a scene around an object), are obtained.
  • the system should be able to determine the shape and size of the object (or the three-dimensional form factor of the object), the point of the object, and the point of the gripper.
  • the specified data can be determined by the system in true coordinates, or global coordinates, i.e. in object or stereo camera coordinates, not relative image coordinates.
  • the library is made in the form of a neural network, for which the classes are capture methods, and the capture methods according to the invention are as follows: the capture is stable in the horizontal plane and in the vertical plane; the grip is stable in the horizontal plane; the grip is unstable in the horizontal plane.
  • the grip is considered stable in the horizontal plane if it is determined that there is no vertical fixation. Detachment and lifting of an object from the reference plane is impossible (i.e., when detached, the object will most likely fall out of the gripper), but without detachment from the reference plane, any movement of the object is permissible. In this case, the grip is considered partially stable.
  • the grip state is the orientation of the palm and the position of the fingers of the gripper. Starting from the pre-gripping position and until the end of the object gripping procedure, at each moment of time, the correct state of the gripping device must be ensured in order to correctly grip the object: bring the gripper from the right side, first do not touch the object with your fingers so that it does not move, and then, after approaching gripper, fix the object with your fingers.
  • the operator wearing a prepared glove, repeatedly grips various objects from different positions.
  • the program tracks a 3D image of a hand and a 3D image of an object.
  • a series of records are made to the library, each record containing the three-dimensional shape of the object, the coordinates of the hand, the orientation of the hand, and the state of the hand grip. All hand data can be determined by image processing of marks applied to the glove. This is how a sample of successful captures of objects is formed.
  • a neural network is trained, which, according to the three-dimensional form factor of the object, obtained from a stereopair, offers the "generally accepted" elevation of the pre-capture point over the object, orientation the gripper and the required finger positions, as well as, preferably, more detailed instructions on the conditions necessary for a successful grip.
  • the library determines how important it is for a particular gripper, i.e. how different objects are in order to assign them to different classes of objects. For example, for the "apple" and "bead” objects, the position of the pre-capture position relative to the object may be different. Secondly, for these objects, the algorithms for the movement of the fingers and the gripper may also be different. To the extent that the parameters of the pre-grip position and the finger movement algorithm can be calculated using only the sizes of the "apple” or "bead", they will be considered one object with different sizes. When these limits are exceeded, when a different pre-grip position and / or a finger movement algorithm is needed, the "apple” or “bead” will be considered a different object with a different grip algorithm.
  • a feature of the method of using the depth map, which distinguishes it from known analogues, is that the detection and identification of objects in images is performed not on the image of points in pixel coordinates (relative coordinates on the image itself), but on a two-dimensional image in gray scale (preferably 8- bit), in which the brightness of the point depends on the true distance to the point, i.e. from the point's true coordinates, or global coordinates.
  • the detection and identification of objects in images is performed not on the image of points in pixel coordinates (relative coordinates on the image itself), but on a two-dimensional image in gray scale (preferably 8- bit), in which the brightness of the point depends on the true distance to the point, i.e. from the point's true coordinates, or global coordinates.
  • not patterns, drawings, inscriptions on objects, etc. are subjected to detection and identification, but the dark silhouettes of objects on a light background.
  • the background in a two-dimensional grayscale image is lighter than objects, and a contrasting border is formed between the background and the objects.
  • Objects appear compact, contrasting dark silhouettes precisely because they are closer to the background, and the closer the subject, the darker the silhouette of the subject.
  • periodic, quasi-periodic and stochastic patterns in general, the transparency properties of the background and objects do not affect the detection and identification process, because only the geometric silhouette obtained from the depth map is processed.
  • data on the color and optical characteristics of the object are no longer available, because they are eliminated at the stage of stereo reconstruction, when, instead of a visible two-dimensional image, they work with a depth map, and there is no object coloring data on the depth map.
  • a robotic system containing a stereo camera, with which, in addition to inter alia, images of the space around the object of interest, called the scene (or the scene around the object), are obtained.
  • the scene determines, in particular, the path of the gripper approaching the pre-gripping point, so that other objects are not touched.
  • the scene is always and constantly defined, for example, in the background, since it can change.
  • the movement algorithm of the gripper can be stopped or changed according to the scene changes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

Изобретение относится к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством. Заявленный способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством включает следующие этапы: обеспечение библиотеки способов захвата объектов указанным захватным устройством; получение формы объекта, размеров объекта и точки положения объекта; получение сцены вокруг объекта; определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта; выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта; определение оптимального способа захвата; определение положения захватного устройства; подвод захватного устройства в точку предзахвата и установку захватного устройства в позицию предзахвата; выполнение захвата объекта, и выполнение требуемой манипуляции с объектом. Техническим результатом изобретения является обеспечение возможности захвата и манипуляции с высокой точностью ранее неизвестными объектами, а также объектами сложной формы.

Description

СПОСОБ ВЫПОЛНЕНИЯ МАНИПУЛЯЦИИ С ОБЪЕКТОМ
Изобретение относится к робототехнике, в частности, к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством.
В патенте США US9552673 раскрывается способ и устройство для имитации захвата виртуального объекта в дополненной реальности. Для отслеживания положения руки оператора может применяться сенсорная перчатка, при этом наличие камеры для отслеживания положения руки оператора не требуется. Указано, что движение руки отслеживают путем моделирования формы руки и объекта структурированными периодическими узорами.
Заявка на патент США US2017136632 описывает исключение некорректных положений захватов объектов из возможных вариантов при помощи оператора. Затем данные могут передаваться на вход системы машинного обучения. Кроме того, на вход могут подаваться данные захватного устройства, сгенерированные путем моделирования объекта и захвата в какой-либо среде моделирования. Параметры захватного устройства генерируются самой системой, и чем ближе место захвата к центру объекта, тем захват считается лучше.
В патенте США US9014857 раскрывается способ генерирования видов захвата для применения роботом, имеющим трехпальцевое захватное устройство. Способ включает генерирование множества направлений приближения, каждое из которых перпендикулярно поверхности объекта. Для каждого из направлений приближения определяется набор видов захвата; для каждого из видов захвата по каждому из направлений высчитывается коэффициент качества захвата. Для захвата объекта выбирается захват, коэффициент качества которого выше заданного. Каждый вид захвата, коэффициент качества которого превышает заданный, сохраняется в базе данных, включая данные об изначальном положении захватного устройства, информацию о преобразовании и значение коэффициента качества.
В международной публикации WO2019045779 описаны система и метод для устойчивого захвата объектов. Обучающий набор данных генерируется на основе трехмерных моделей объектов. В обучающий набор данных включен показатель качества захвата, и эти данные подаются на вход нейронной сети. Трехмерные модели объектов могут включать данные о массе объектов (свойствах распределения массы по объекту), свойства вещества объекта. Виды захватов могут подразделяться на классы. В патенте США US9914213 также раскрываются система и способ машинного обучения для осуществления захвата. Здесь набор обучающих данных формируется из данных, полученных при попытках робота захватить объект.
Патент РФ RU2700246 раскрывает способ и систему захвата объекта с помош;ыо роботизированного объекта, в котором роботизированное устройство обучается с использованием алгоритма машинного обучения для распознавания и запоминания точек захвата объектов. Обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие трехмерные модели объектов в различных видах. Это позволяет повысить точность распознавания области захвата объекта роботизированным устройством. Несмотря на это, точность распознавания области захвата объекта может оказаться недостаточной для применения известного способа и системы пользователем с ограниченными или нарушенными двигательными функциями. Кроме того, такая система требует достаточно длительного обучения, а выбор объекта манипулирования из нескольких объектов вообще не предусмотрен. Из заявки на патент США US2017021500 известны системы и способы определения данных о смещении роботизированной установки в рабочей среде. Робот, работающий в рабочей среде, может получить указание для определения рабочего смещения. Рабочее смещение может описывать местоположение и угловую ориентацию рабочей плоскости рабочей среды относительно базовой плоскости робота. В ответ на указание робот может идентифицировать рабочую плоскость. Робот может управляться для контакта с одной или несколькими точками рабочей плоскости; определять соответствующие местоположения точек контактируемых точек относительно базовой плоскости на основе соответствующих положений робота в соответствующие моменты времени контакта; определять местоположение и угловую ориентацию рабочей плоскости относительно базовой плоскости на основании определенных соответствующих точечных местоположений контактирующих точек.
Заявка на патент США US2019240843 описывает способ манипулирования деформируемым объектом, который включает определение соответствующего трехмерного положения одного или нескольких маркеров на деформируемом объекте, удерживаемом роботизированным манипулятором, а также определения модели деформации деформируемого объекта путем отображения движения робота- манипулятора и движения одного или нескольких маркеров. Управляют роботизированным манипулятором на основе определенной модели деформации, чтобы манипулировать деформируемым объектом и перемещать один или несколько маркеров в соответствующую позицию.
Известные манипуляторы и алгоритмы их работы рассчитаны на манипуляцию с объектами известного назначения, а значит, известной формы и трехмерного форм- фактора. Обучение часто проводится самой системой, что повышает количество ошибок при ее последующем использовании, а также увеличивает количество объектов в базе объектов, а значит, усложняет критерии выбора подходящего объекта, поскольку выбор алгоритма захвата объекта привязан к самому объекту, и изменение параметров или неточности в этих параметрах могут вызвать проблемы с захватом либо привести к невозможности осуществления захвата и манипуляции с объектом.
Таким образом, существует задача разработки такого способа выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, который позволяет выполнять манипуляции с произвольным объектом произвольного назначения и трехмерного форм-фактора, либо выбрать оптимальный способ захвата такого объекта, либо определить, что данным захватным устройством данный объект захватить невозможно, либо захват возможен, но будет неустойчив.
Техническим результатом изобретения является обеспечение возможности захвата и манипуляции с высокой точностью ранее неизвестными объектами, а также объектами сложной формы.
Поставленная задача решается, а заявленный технический результат достигается в предложенном способе выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, который включает следующие этапы: a) обеспечение библиотеки способов захвата объектов указанным захватным устройством;
B) получение формы объекта, размеров объекта и точки положения объекта; c) получение сцены вокруг объекта; d) определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта; e) выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта; f) определение оптимального способа захвата с использованием библиотеки, формы объекта и размеров объекта; g) определение положения захватного устройства; h) подвод захватного устройства в точку предзахвата и установку захватного устройства в позицию предзахвата;
^выполнение захвата объекта, и j) выполнение требуемой манипуляции с объектом.
Поставленная задача решается, а заявленный технический результат достигается также в частных вариантах реализации способа выполнения манипуляции с объектом, которыми, однако, данное изобретение не ограничивается.
Так, является предпочтительным, если получение сцены вокруг объекта выполняют на всех последующих этапах, начиная с этапа выбора позиции предзахвата захватного устройства (этап с), т.е., по сути, непрерывно, и при изменении сцены вокруг объекта, при необходимости, корректируют этап выбора позиции предзахвата захватного устройства (этап е).
Библиотека содержит информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности. При этом для каждого форм-фактора объекта в библиотеке содержится информация о позициях предзахвата, позициях захвата и состояниях захватного устройства. Указанными состояниями захватного устройства могут являться, в частности, следующие состояния: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.
В предпочтительном варианте исполнения изобретения библиотеку выполняют в виде нейронной сети с категориальным выходом, причем классы нейронной сети соответствуют способам захвата. Обучение нейронной сети выполняют заранее, с использованием карты глубины, о чем более подробно будет сказано ниже.
Далее заявленный способ выполнения манипуляции с объектом и некоторые варианты его осуществления более подробно поясняются со ссылкой на фигуру, на которой схематично представлена блок-схема алгоритма захвата объекта для целей выполнения манипуляции с ним.
Для выполнения манипуляции с объектом может быть использована любая известная роботизированная система, представляющая собой манипулятор с установленным на нем захватным устройством (также называемым роботизированной рукой, охватом и др.). Как правило, такие системы содержат стереокамеру, с помощью которой получают изображения объектов и изображения окрестности представляющего интерес объекта, называемого сценой (или сценой вокруг объекта). Кроме того, система должна позволять определять форму и размеры объекта (или трехмерный форм-фактор объекта), точку положения объекта, а также точку положения захватного устройства. При этом, как будет показано далее, предпочтительно, чтобы указанные данные система могла определять в истинных координатах, или глобальных координатах, т.е. в координатах объекта или стереокамеры, а не относительных координатах изображения.
Согласно алгоритму, представленному на фигуре, для выполнения требуемой манипуляции с объектом посредством роботизированной руки, снабженной захватным устройством, необходимо сформировать библиотеку способов захвата объекта конкретно данным захватным устройством. Замена захватного устройства на другое, вообще говоря, может потребовать формирования другой библиотеки способов захвата. Это обусловлено тем, что захватные устройства могут иметь различное количество пальцев, их размеры, подвижность, силу захвата и другие параметры, учет которых необходим для обеспечения определения вероятности успешного полного или частичного захвата того или иного объекта.
Библиотека способов захвата, далее для краткости также именуемая библиотекой, позволяет для произвольного объекта произвольного назначения и форм- фактора выбрать оптимальный способ захвата, или определить, что данным захватным устройством данный объект захватить невозможно, или определить, что данным захватным устройством данный объект захватить возможно, но захват будет неустойчив.
В предпочтительном варианте реализации заявленного способа библиотеку выполняют в виде нейронной сети, для которой классами являются способы захвата, причем способами захвата, согласно изобретению, являются следующие: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.
Захват считается устойчивым в горизонтальной плоскости и вертикальной плоскости, если определено, что объект из захватного устройства не выскальзывает, допустимы любые трехмерные перемещения объекта и наклон объекта на угол в пределах заданного либо на произвольный угол. В этом случае захват считается полностью устойчивым.
Захват считается устойчивым в горизонтальной плоскости, если определено, что вертикальная фиксация отсутствует. Отрыв и подъем объекта от опорной плоскости невозможен (т.е. при отрыве объект с большой долей вероятности выпадет из захватного устройства), но без отрыва от опорной плоскости допустимо любое перемещение объекта. В этом случае захват считается частично устойчивым.
Захват считается неустойчивым в горизонтальной плоскости, если определено, что полная горизонтальная фиксация объекта невозможна (например, объект невозможно обхватить пальцами), но возможно передвижение объекта в некотором наборе направлений без отрыва от поверхности. Отрыв объекта от опорной плоскости также невозможен. В этом случае захват считается неустойчивым.
Соответственно, сценарий манипуляций с объектом должен учитывать устойчивость захвата. Например, если нет необходимости отрывать объект от опорной плоскости, а нужно только передвинуть его, можно выбрать любой вариант устойчивости захвата, в том числе частично устойчивый захват или даже неустойчивый захват. Если же требуется осуществить перемещение объекта по вертикали с отрывом от опорной плоскости (например, требуется поднять стакан), то необходимо использовать только полностью устойчивый захват.
После получения системой информации об объекте, с которым пользователь собирается совершить требуемую манипуляцию, такой как форма объекта, размеры объекта и точка положения объекта (это можно осуществить, например, посредством стереокамеры), определяют, можно ли данный объект захватить используемым захватным устройством, и если да, какие способы захвата доступны системе (см. фигуру). В противном случае система выдает сообщение о невозможности выполнить захват.
Далее, библиотека может содержать информацию о трехмерных форм-факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности. При этом для каждого трехмерного форм-фактора объекта библиотека может содержать информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства.
Для захвата объекта захватное устройство вначале устанавливают в позицию предзахвата. Позиция предзахвата - это то положение захватного устройства вблизи выбранного объекта, из которого захватное устройство должно выполнить однозначно заданные действия именно для захвата объекта, причем предполагается, что захватное устройство находится вблизи объекта, и между захватным устройством и объектом нет препятствий. До позиции предзахвата движение захватного устройства обусловлено, в общем случае, только условием не задевания препятствий и подведением захватного устройства к выбранному объекту в позицию предзахвата, и при этом правильная ориентация захватного устройства и положение его пальцев являются несущественными.
Например, необходимо взять чайник за ручку. Позиция предзахвата - это положение захватного устройства с правильно расположенными пальцами возле ручки чайника. До позиции предзахвата захватное устройство просто доставляется в нужную позицию в обход препятствий на его пути. Начиная с позиции предзахвата работает уже алгоритм захвата объекта (чайника): например, вначале пальцы захватного устройства и само захватное устройства движутся так, чтобы ручка чайника оказалась в нужной точке между пальцами захватного устройства, а затем движением пальцев чайник фиксируют в захватном устройстве.
Состояние захвата - это ориентация ладони и положение пальцев захватного устройства. Начиная с позиции предзахвата и до завершения процедуры захвата объекта в каждый момент времени должно быть обеспечено правильное состояние захватного устройства, чтобы правильно схватить объект: с нужной стороны подвести захватное устройство, вначале пальцами не задеть объект, чтобы он не передвинулся, а затем, после подвода захватного устройства, пальцами зафиксировать объект.
После получения системой информации о возможности захватить данный объект захватным устройством, используя данные библиотеки, а также информацию о форме, размерах объекта и его расположении, определяют оптимальную позицию предзахвата для данного объекта (например, для стоящего стакана это позиция сбоку - пальцы захватного устройства готовы схватить стакан с боков; для того же стакана, лежащего на боку, это позиция сверху - пальцы готовы схватить стакан сверху). Для объекта может существовать несколько вариантов позиции предзахвата, например, одна для захвата сбоку за корпус, вторая - для захвата сбоку за ручку, третья - для захвата сверху за корпус. Тогда оптимальной позицией предзахвата считается та, которая, согласно информации по данным библиотеки, оказалась удачной для максимального класса близких ситуаций и объектов.
Одновременно с оптимальной позицией предзахвата из конечного набора данных библиотеки определяется оптимальный алгоритм захвата, т.е. оптимальные движения пальцев и самого захватного устройства.
Как было указано выше, библиотека захватов может быть реализована как нейронная сеть. Предпочтительно, если это нейронная сеть с категориальным выходом, в которой на основании входных данных библиотека предлагает все возможные позиции предзахвата с указанием веса каждой из них. Соответственно, вес оптимальных позиций предзахвата близок к 1 (единице), а вес нецелесообразных или непригодных позиций предзахвата близок к 0 (нулю). Оптимальной является позиция предзахвата, вес которой самый близкий к 1, а понятие «возможность схватить» определяется именно как превышение весом позиции предзахвата заданного порога.
Как и для любой нейронной сети, сначала надо провести обучение библиотеки, что может быть выполнено различными известными способами. Ниже описан вариант обучения библиотеки, наиболее подходящий для целей настоящего изобретения.
На рабочем столе, в поле зрения стереопары располагают по одному различные предметы, которые может взять захватное устройство. На видео стереопары в формате карты глубины, в отдельном окне, в обычном видеоролике фиксируют положение руки человека-оператора, максимально подходящее для захвата лежащего предмета. На видеоролике предмет не должен загораживаться рукой (предполагается, что рука находится в положении предзахвата). При этом на руку оператора надета перчатка с пометками, позволяющими в автоматическом режиме определять декартовы координаты руки (например, на тыльной стороне перчатки и на ладони нанесены по одной уникальной метке). Также на перчатку нанесены метки, позволяющие определить пространственную угловую ориентацию руки (например, структурированный периодический узор, по проективным деформациям которого определяем углы ориентации перчатки в пространстве), и метки на пальцах для определения сжатия/разжимания захвата.
Оператор рукой, одетой в подготовленную перчатку, выполняет многократный захват различных объектов из различных позиций. Программа отслеживает трехмерное изображение руки и трехмерное изображение объекта. Когда вычисленное расстояние становится равным или меньше расстояния предзахвата, осуществляют серию записей в библиотеку, при этом каждая запись содержит трехмерную форму объекта, координаты кисти руки, ориентацию кисти руки, состояние сжатия руки. Все данные руки могут определяться обработкой изображений меток, нанесенных на перчатку. Так формируют выборку успешных захватов объектов.
На основе данной выборки успешных захватов объектов обучают нейронную сеть, которая по трехмерному форм-фактору объекта, получаемому от стереопары, предлагает «общепринятые» возвышение точки предзахвата над объектом, ориентацию захватного устройства и требуемые положения пальцев, а также, предпочтительно, более подробную инструкцию по условиям, необходимым для успешного выполнения захвата.
Возможны ситуации, когда объекты по форме одинаковы, но заметно отличаются по размерам. В этом случае библиотека определяет, насколько это важно для конкретного захватного устройства, т.е. насколько объекты разные, чтобы относить их к разным классам объектов. Например, для объектов «яблоко» и «бусина» может оказаться разным положение позиции предзахвата относительно объекта. Во-вторых, для этих объектов алгоритмы движения пальцев и захватного устройства также могут оказаться разными. В тех пределах, когда параметры позиции предзахвата и алгоритма движения пальцев могут быть вычислены использованием только размеров «яблока» или «бусины», они будут считаться одним объектом с разными размерами. При выходе за данные пределы, когда будет нужна другая позиция предзахвата и/или алгоритм движения пальцев, «яблоко» либо «бусинка» будет считаться другим объектом с другим алгоритмом выполнения захвата.
Результатом является создание библиотеки способов захвата для данного захватного устройства, которая работает как нейронная сеть и определяет, какие объекты могут быть схвачены и каким образом. Важным является то, что, как было указано выше, фиксация видеоизображений осуществляется в формате карты глубин. За счет этого не происходит фиксации обучающейся нейронной сети на мелкие и несущественные детали, а кроме того, значительно уменьшается количество предметов (объектов).
Особенностью метода использования карты глубин, отличающего его от известных аналогов, является то, что детекцию и идентификацию объектов на изображениях выполняют не на изображении точек в пиксельных координатах (относительных координатах на самом изображении), а на двухмерном изображении в шкале серого (предпочтительно, 8-битного), в котором яркость точки зависит от истинного расстояния до точки, т.е. от истинных координат точки, или глобальных координат. При этом детектированию и идентификации подвергают не узоры, рисунки, надписи на объектах и т.п., а темные силуэты объектов на светлом фоне. Поскольку фон является более удаленным, чем объекты, и между фоном и объектами есть некоторое расстояние, фон на двухмерном изображении в шкале серого светлее объектов, причем образуется контрастная граница между фоном и объектами. Объекты выглядят компактными, контрастными темными силуэтами именно потому, что они расположены ближе, чем фон, и чем ближе объект, тем темнее силуэт объекта. Как следствие, периодические, квазипериодические и стохастические узоры, вообще свойства прозрачности фона и объектов не влияют на процесс детекции и идентификации, потому что обрабатывается только геометрический силуэт, полученный из карты глубин. На этом этапе данные о цветовых и оптических характеристиках объекта уже отсутствуют, т.к. они отсеиваются на этапе стереореконструкции, когда вместо видимого двумерного изображения работают с картой глубин, а на карте глубин данные о раскраске объекта отсутствуют.
После определения оптимальной позиции предзахвата для данного объекта определяют положение захватного устройства (в общем случае это можно сделать и раньше) и подводят захватное устройство в точку предзахвата. Например, захватное устройство подводят в точку предзахвата, которая находится на расстоянии от 0,01 до 0,1 м до объекта; находится в вертикальной плоскости, проходящей через центр объекта и точку крепления захватного устройства.
Далее устанавливают захватное устройство в выбранную позицию предзахвата. Положение захватного устройства рассчитывают только для достижения положения
Figure imgf000013_0001
должна быть определена позиция предзахвата, куда и будет доставлено захватное устройство. От числа пальцев зависит только положение позиции предзахвата относительно объекта, классы объектов, которые могут быть схвачены, и собственно алгоритмы выполнения захвата (то есть движения пальцев и захватного устройства с целью захвата).
Далее осуществляют захват объекта и, наконец, осуществляют требуемую манипуляцию с объектом.
Как было указано выше, для выполнения манипуляции используется роботизированная система, содержащая стереокамеру, с помощью которой, помимо прочего, получают изображения пространства вокруг представляющего интерес объекта, называемого сценой (или сценой вокруг объекта). Сцена определяет, в частности, путь подвода захватного устройства в точку предзахвата, так чтобы не были задеты другие объекты.
Предпочтительно, если сцена определяется всегда и постоянно, например, в фоновом режиме, поскольку она может меняться. Алгоритм движения захватного устройства может быть остановлен либо изменен в соответствии с изменениями сцены.
Например, требуется захватить яблоко, и, соответственно, сначала подвести захватное устройство в точку предзахвата и перевести его в позицию предзахвата. Если в процессе выполнения алгоритма движения захватного устройства вблизи точки предзахвата появляется кошка, либо кошка появляется там, где будет происходить захват, либо по какой-то причине произойдет перемещение яблока, позиция предзахвата может быть признана непригодной. Тогда захватное устройство будет отведено от яблока как от препятствия, будет произведен поиск новой позиции предзахвата, где есть яблоко и нет кошки, и в эту новую позицию предзахвата будет доставлено захватное устройство. Далее произойдет захват яблока: пальцы захватного устройства будут разведены влево-вправо, затем захватное устройство будет приближено к яблоку, затем пальцы будут сведены на яблоке.
Заявленный способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством был успешно испытан на объектах с горизонтальным диаметром до 10 см, высота объекта не ограничена. За счет того, что в способе предусмотрена работа с картами глубин, не происходило фиксации обучающей программы библиотеки на мелких и несущественных деталях, а кроме того сильно уменьшилось количество объектов библиотеки. Способ является универсальным в том смысле, что фактически возможно захватить все, что захватное устройство теоретически способно удержать. При этом способ является адаптивным по отношению к объекту, позволяет для произвольного объекта произвольного назначения и форм- фактора либо выбрать оптимальный способ захвата, либо определить, что данным захватным устройством данный объект захватить невозможно или возможно, но захват будет неустойчивым.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ выполнения манипуляции с объектом посредством роботизированной руки с захватным устройством, включающий следующие этапы: a) обеспечение библиотеки способов захвата объектов указанным захватным устройством;
B) получение формы объекта, размеров объекта и точки положения объекта; c) получение сцены вокруг объекта; d) определение возможности захвата объекта с использованием библиотеки, формы объекта и размеров объекта; e) выбор позиции предзахвата захватного устройства с использованием библиотеки, формы объекта, размеров объекта и сцены вокруг объекта; f) определение оптимального способа захвата с использованием библиотеки, формы объекта и размеров объекта; g) определение положения захватного устройства; h) подвод захватного устройства в точку предзахвата и установку захватного устройства в позицию предзахвата; i) выполнение захвата объекта, и j) выполнение требуемой манипуляции с объектом.
2. Способ по п. 1, в котором получение сцены вокруг объекта выполняют на всех последующих этапах, начиная с этапа с).
3. Способ по п. 2, в котором при изменении сцены вокруг объекта корректируют этап е)·
4. Способ по п. 1 , в котором библиотека содержит информацию о трехмерных форм- факторах объектов, с которыми может работать указанное захватное устройство с заданной степенью вероятности.
5. Способ по п. 4, в котором библиотека для каждого трехмерного форм-фактора объекта содержит информацию о позициях предзахвата, позициях захвата и состояниях захватного устройства.
6. Способ по п. 5, в котором состояния захватного устройства включают: захват устойчив в горизонтальной плоскости и вертикальной плоскости; захват устойчив в горизонтальной плоскости; захват неустойчив в горизонтальной плоскости.
7. Способ по любому из пп. 4-6, в котором библиотеку выполняют в виде нейронной сети с категориальным выходом, причем классы нейронной сети соответствуют способам захвата.
8. Способ по п. 7, в котором до этапа а) выполняют обучение нейронной сети с использованием карты глубины.
PCT/RU2019/000999 2019-12-23 2019-12-23 Способ выполнения манипуляции с объектом WO2021133184A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/RU2019/000999 WO2021133184A1 (ru) 2019-12-23 2019-12-23 Способ выполнения манипуляции с объектом

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2019/000999 WO2021133184A1 (ru) 2019-12-23 2019-12-23 Способ выполнения манипуляции с объектом

Publications (1)

Publication Number Publication Date
WO2021133184A1 true WO2021133184A1 (ru) 2021-07-01

Family

ID=76574561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2019/000999 WO2021133184A1 (ru) 2019-12-23 2019-12-23 Способ выполнения манипуляции с объектом

Country Status (1)

Country Link
WO (1) WO2021133184A1 (ru)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2361726C2 (ru) * 2007-02-28 2009-07-20 Общество С Ограниченной Ответственностью "Алгоритм-Робо" Система управления антропоморфным роботом и способ управления
US20130054030A1 (en) * 2011-08-29 2013-02-28 Dainippon Screen Mfg. Co., Ltd. Object gripping apparatus, object gripping method, and object gripping program
RU2566226C2 (ru) * 2010-06-24 2015-10-20 ЗенРоботикс Ой Способ выбора физических объектов в роботехнической системе
RU2594231C2 (ru) * 2010-12-30 2016-08-10 ЗенРоботикс Ой Способ, компьютерная программа и устройство для определения места захвата

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2361726C2 (ru) * 2007-02-28 2009-07-20 Общество С Ограниченной Ответственностью "Алгоритм-Робо" Система управления антропоморфным роботом и способ управления
RU2566226C2 (ru) * 2010-06-24 2015-10-20 ЗенРоботикс Ой Способ выбора физических объектов в роботехнической системе
RU2594231C2 (ru) * 2010-12-30 2016-08-10 ЗенРоботикс Ой Способ, компьютерная программа и устройство для определения места захвата
US20130054030A1 (en) * 2011-08-29 2013-02-28 Dainippon Screen Mfg. Co., Ltd. Object gripping apparatus, object gripping method, and object gripping program

Similar Documents

Publication Publication Date Title
JP6921151B2 (ja) ロボットの把持のための深層機械学習方法および装置
JP6546618B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP7071054B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN101370624B (zh) 自动化攫握零件的方法和系统
RU2700246C1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
JPWO2019189661A1 (ja) 学習データセット作製方法及び装置
JP2013193202A (ja) 人間援助型タスクデモンストレーションを使用してロボットを訓練するための方法およびシステム
CN113492393A (zh) 一种由人演示的机器人示教
JP7481427B2 (ja) 取り出しシステム及び方法
JP6632656B2 (ja) 干渉判定装置、干渉判定方法、コンピュータプログラム
CN112775959A (zh) 机械手的抓取位姿确定方法及系统、存储介质
CN111745640A (zh) 物体检测方法、物体检测装置以及机器人系统
JP7051751B2 (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
JP2020021212A (ja) 情報処理装置、情報処理方法及びプログラム
RU2800443C1 (ru) Способ выполнения манипуляции с объектом
WO2021133184A1 (ru) Способ выполнения манипуляции с объектом
KR102452315B1 (ko) 딥러닝과 마커를 이용한 비전인식을 통한 로봇 제어장치 및 그 방법
JP7066671B2 (ja) 干渉判定装置、干渉判定方法、プログラム及びシステム
JP2021061014A (ja) 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN113561172A (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
WO2021133183A1 (ru) Способ управления роботизированным манипулятором
RU2745380C1 (ru) Способ и система захвата объектов с помощью роботизированного устройства
WO2021177159A1 (ja) 機械学習装置
TWI734237B (zh) 自動控制方法以及自動控制裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19957583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19957583

Country of ref document: EP

Kind code of ref document: A1