WO2020190166A1 - Способ и система захвата объекта с помощью роботизированного устройства - Google Patents

Способ и система захвата объекта с помощью роботизированного устройства Download PDF

Info

Publication number
WO2020190166A1
WO2020190166A1 PCT/RU2019/000178 RU2019000178W WO2020190166A1 WO 2020190166 A1 WO2020190166 A1 WO 2020190166A1 RU 2019000178 W RU2019000178 W RU 2019000178W WO 2020190166 A1 WO2020190166 A1 WO 2020190166A1
Authority
WO
WIPO (PCT)
Prior art keywords
robotic device
gripping
point
robotic
objects
Prior art date
Application number
PCT/RU2019/000178
Other languages
English (en)
French (fr)
Inventor
Альберт Рувимович ЕФИМОВ
Александр Николаевич СЁМОЧКИН
Святослав Дмитриевич МОРОШКИН
Original Assignee
Публичное Акционерное Общество "Сбербанк России"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Публичное Акционерное Общество "Сбербанк России" filed Critical Публичное Акционерное Общество "Сбербанк России"
Publication of WO2020190166A1 publication Critical patent/WO2020190166A1/ru

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the claimed technical solution generally relates to the field of robotic devices, and in particular, to methods and systems for providing the capture of various objects using robotic devices.
  • the main disadvantage of the known solution is to limit the ability to grip various types of objects, which is due to the lack of analysis of the rotation of the gripper of the robot. Taking into account the fact that the object can be in different positions during the operation of the robotic device, it is necessary to evaluate the "ideal" position of the gripper for more accurate and correct interaction with the object.
  • the technical problem or technical problem to be solved is to provide a new process of interaction with objects by means of their capture by robotic devices.
  • the technical result achieved by solving the above technical problem is to improve the recognition accuracy of the object gripping area by the robotic device by determining the orientation of the gripper based on the calculation of the rotation matrix for the purpose of gripping the object at the desired gripping point.
  • the object is gripped by a robotic device based on the calculation of the averaged rotation matrix for a given gripping point.
  • the robotic device is a robotic arm or a robotic arm.
  • two or more object gripping points are additionally indicated on the corresponding 3D model of the object.
  • the location of the robotic device at the gripping point is additionally indicated and stored depending on the location of the object.
  • the location of the capture point in the image is determined using a machine learning model.
  • the principle of gripping the object is additionally determined depending on the type of gripper and / or the type of object.
  • the optimal object gripping point is indicated based on its relative position relative to other gripping points and relative to the gripping device at the moment of gripping.
  • the robotic arm is calibrated against an object interaction surface.
  • the calibration is performed by applying graphical augmented reality codes to the surface.
  • a system for gripping an object using a robotic device which contains: a robotic device containing at least one camera, at least one depth sensor and a gripping device; a computing device connected to the robotic device, the computing device interacting with a machine learning model that has been trained on photographic images of objects and corresponding 3D models of objects in various angles to recognize and store gripping points of objects;
  • the robotic device is a robotic arm or robotic arm.
  • the computing device is a computer, system on a chip (SoC), or server.
  • SoC system on a chip
  • a computing device is wired or wirelessly connected to a robotic device.
  • the machine learning model is at least one neural network.
  • the machine learning model is configured to automatically retrain based on new data about objects.
  • new data about objects is transmitted from a cloud server.
  • the neural network is located on a cloud server.
  • FIG. 1 illustrates a general view of the claimed system.
  • FIG. 2 illustrates a schematic view of a manipulator of a robotic device.
  • FIG. 3 illustrates a flow diagram of a general robotic device teaching procedure.
  • FIG. 4 illustrates an example of teaching a robotic device using images and 3D models of an object.
  • FIG. 5 illustrates an example of teaching a robotic device using multiple gripping points on site.
  • FIG. 6 illustrates a block diagram of the implementation of the claimed method.
  • FIG. 7 illustrates an example of centering the gripper to determine the desired gripping point on an object.
  • FIG. 8 illustrates an example of a real-time imaging system.
  • FIG. 9 illustrates an example of a computing system.
  • This technical solution can be implemented on a computer, in the form of an automated information system (AIS) or a computer-readable medium containing instructions for performing the above method.
  • AIS automated information system
  • the technical solution may be implemented as a distributed computer system that may be installed on a centralized server (set of servers).
  • User access to the system is possible both from the network Internet, and from the internal network of the enterprise / organization via a mobile communication device on which the software with the corresponding graphical user interface is installed, or a personal computer with access to the web version of the system with the corresponding graphical user interface.
  • the system means a computer system, a computer (electronic computer), CNC (numerical control), PLC (programmable logic controller), computerized control systems and any other devices capable of performing a given, clearly defined sequence of computing operations (actions, instructions).
  • a command processing device is an electronic unit or an integrated circuit (microprocessor) that executes machine instructions (programs).
  • a command processing device reads and executes machine instructions (programs) from one or more storage devices.
  • Data storage devices can be, but are not limited to, hard disks (HDD), flash memory, ROM (read only memory), solid-state drives (SSD), optical drives.
  • a program is a sequence of instructions for execution by a computer control device or command processing device.
  • the system (100) for implementing the claimed solution contains a computing device (software) that provides the necessary processes for computing the algorithm for the operation of a robotic device (200), a data transmission channel (130) that provides processes for receiving / transmitting data between system elements (100) as well as a remote computing device (120), such as a cloud server for specialized tasks.
  • a computing device software
  • a data transmission channel 130
  • a remote computing device 120
  • a computing device software with which the user (10) interacts
  • a personal computer laptop, tablet, server, smartphone, server cluster, mainframe, supercomputer, thin client, system on a chip (English “System on a Chip”, abbreviated SoC), etc.
  • SoC System on a Chip
  • the specific hardware implementation of the computing device (software) depends on the requirements and must provide the necessary processes for computing digital information to ensure the proper functioning of the device (110) as part of the system (100).
  • a data transmission channel (130) various types of communication can be used, for example, wired and / or wireless, in particular: LAN, WAN, WLAN, Bluetooth, Wi-Fi, GSM / GPRS / LTE / 5G, Ethernet , USB, RS232, RJ45, etc.
  • the remote computing device (120) is typically a cloud storage or server for specialized tasks or program logic. The description of the operation of the device (120) will be described later in the present description.
  • a robotic device (200) can be used as a stationary robotic arm for industrial or collaborative purposes, for example, Universal Robotics TM, KUKA TM, Fanuc TM, ABB TM, etc., and robotic manipulators installed on mobile autonomous robotic devices such as limbs, in particular robotic arms.
  • FIG. 2 is a schematic diagram of an example of a robotic device (200) in the form of a manipulator equipped with a gripper (210) and a module containing an RGB camera (211) and a camera with a depth sensor (212) (also called a depth camera or RGB-D camera).
  • the RGB camera (211) is used to obtain two-dimensional graphic images of the object (20), with which it is supposed to interact using a robotic device (200).
  • the depth camera (212) is used to obtain 3D models of the object (20), as well as to center the gripper (210) and determine the distance to the object (20).
  • the gripper (210) can be used as the gripper (210), for example, in the form of claws, anthropomorphic hands, and the like.
  • the gripper typically provides 6-degrees of freedom for manipulating an object.
  • the object (20), with which the robotic device (200) interacts can be placed on a surface on which augmented reality markers (201) are applied, which are used to calibrate the robotic device (200) in order to form its area of action (205), in which the object (20) can be captured.
  • Augmented reality markers (201) are graphical augmented reality codes, also called Augmented reality codes, which are used to limit the surface of interaction with an object (20).
  • Object (20) can represent a wide range of products with a soft (deformable) or hard shape.
  • FIG. 3 shows the learning process (300) of a robotic device (200).
  • the approach from the above scientific publication is applied.
  • the object (20) is captured using an RGB camera (211). Filming is carried out from various angles. Further, using the depth camera (212), at each of the obtained angles, a cloud of points (302) corresponding to the angle is created.
  • a 3D model of the object (20) is built by combining the obtained point clouds for each of the survey angles in step (301).
  • the resulting set of camera positions (211), correlated with the images of the object obtained at the corresponding angles at step (301), as well as the final 3D model of the object (20), obtained at step (303), are used to automatically prepare a training sample for training a machine model.
  • CNN convolutional neural network
  • FIG. 4 shows an example of obtaining angles (PI) - (P4) images of an object (20). For each perspective (PI) - (P4), using the depth camera (212), a corresponding model (Ml) - (M4) is built based on the resulting point cloud. All point clouds (Ml) - (M4), merged into a single whole, form a 3D model of the object (21). As a result, according to the obtained models of the angles (Ml) - (M4), the final 3D model of the object (21) is created, by merging all the obtained point clouds (Ml) - (M4) by the angles (PI) - (P4) of the object images.
  • the number of views of images of the object (20) can be any and not limited to the given example of the number of views.
  • This approach allows for a selected point in the image of an object, for example, a photograph or a three-dimensional model, find the corresponding 3D point on the surface of the object model to capture it.
  • a mapping is performed from a set of images of a given size to a set of descriptors selected during training in such a way that for two points from two different images, the distance between the corresponding descriptors will be less than a certain value if these points are projections of one and the same point on the surface of the 3D model of the object (21). This operation is performed several times for different positions of the object (20) in the reach (205) of the robotic device (200).
  • photographs of the object (20), consisting of pixels, are fed to the input of the neural network; at the output, each pixel corresponds to a descriptor (a sequence of numbers of the same length n, or a point in the n-dimensional space where the metric is set - the function of calculating the distance between the points of this space).
  • the neural network is trained on a set of pairs of pixels from the training sample so that for coinciding pixels, the distance between their corresponding descriptors is less than a certain threshold, and for non-coinciding ones, more.
  • FIG. 5 shows an example of teaching positions of gripping an object (20) by specifying several gripping points (25, 26) of an object (20) using a gripper (210).
  • teaching robotic device (200) interacting with objects (20)
  • the gripping points (25, 26) the mutual orientation of the segments (22) between the selected gripping points (25, 26) and the orientation of the gripping device (210) is formed.
  • the rotation matrices are calculated.
  • an averaged rotation matrix is calculated, which is applied to the saved configuration corresponding to the previously specified gripping point, and the gripper (210) is set in motion to grip the object at the selected point.
  • the gripper (210) is additionally trained to interact with objects (20) depending on their shape and degree of deformation, as well as depending on the configuration of the gripper (210).
  • the configuration and the principle of gripping the device (210) play an important role in the analysis of the position and the possibility of interaction with the object (20), depending on its location in the reach (205) of the device (200).
  • the gripping principle can be acceptable for working with the object (20) by gripping it in any possible way at the specified gripping point (25).
  • the gripper (210) is trained to interact with a valid part of the object (20) (in order to avoid violation of its integrity or deformation), as well as depending on the configuration of the installed gripper (210).
  • a solid object (20) for example, a book, telephone, box, etc.
  • the gripper (210) is trained to interact with a valid part of the object (20) (in order to avoid violation of its integrity or deformation), as well as depending on the configuration of the installed gripper (210).
  • anthropomorphic grips (210) in the form of a robotic arm have a greater degree of ability to interact with the desired grip point (25) of the object (20) compared to the “pincer” gripper shown in FIG. 2.
  • FIG. 6 shows a process of performing a method (400) for gripping an object (20) by a robotic device (200). A description of the operating process (400) of the robotic device (200) will also be described with reference to FIG. 7.
  • step 401 the capture point (25), for example, by pointing out the object (23) on the image using a graphical user interface (GUI).
  • GUI graphical user interface
  • the robotic device (200) Based on the received information about the capture point (25), the robotic device (200) surveys and photographs (step 402) using the RGB camera (211) of the capture object (20).
  • the robotic device (200) takes a series of photographs (no more than 10 shots) from several different positions (angles) of the camera (211).
  • a machine learning model in particular a trained SNS, from a series of photographs obtained from the camera (211)
  • one with the most probable coordinates of the location of the given point of interest (25) is selected, after which the robotic device (200) places the camera (211) in the position with which photo was taken (step 403).
  • the SNS calculates descriptors, among which the search and finding of the descriptor is carried out, the distance from which to the pixel coordinate of the capture point (25) is minimal.
  • the point of interest is localized (step 404) on the surface of the 3D model of the object (21) using the point cloud obtained from the depth camera (212), as shown in FIG. 7.
  • step 405 To accurately localize the capture point (25) (step 405), several point clouds are integrated over a certain period of time, and the point in the obtained point cloud is located closest to the straight line drawn from the optical center (27) of the camera (212) and passing through the plane camera images in the projection of the point of interest (25).
  • step (406) the calculation of the rotation matrices is performed to capture the object (20) and the calculation of the average matrix of turns of the gripper (210), the position and trajectory of movement of the device (210) are analyzed to capture (step 407) the object (20).
  • the specified machine learning model can be contained both directly on the device (software) associated with the robotic device (200) and located on a remote device (120), for example, a server, and perform data processing on request generated from the computing device (110) based on data from the robotic device (200).
  • FIG. 8 in a particular example of the implementation of the system (100), several computing devices can be used, each of which is designed to implement the required functionality.
  • an image obtained from a smartphone camera (software) can be used as an initial image (23) to form a capture point (25).
  • the user (10) indicates the desired gripping point (25) for the corresponding object (20) with which the robotic device (200) interacts.
  • the device (200) can carry out an appeal to the server (120) to initiate the processing of data about a similar type of object (20), which is in the area of operation of the robotic device (205).
  • Data processing for object recognition (20) and identification of the desired capture point (25) is performed using a trained neural network, which can be located on the server (120) and updated as new data about the corresponding types of objects (121) and variants arrive interaction with them.
  • the model library (121) can be stored directly on the server (120) or a third-party resource.
  • the SNS can be automatically retrained to expand the classification options and increase the process of autonomous operation of a robotic device (200). This process can further improve the interactions of the robotic device (200) with the specified types of objects, which will allow expanding its application in the specified industries.
  • the robotic device (200) can also be configured to automatically work with a given type of object by training to grip a certain part of the object (20). As shown in FIG. 8, a circle can be used as an object of interaction (20). Depending on the type of the installed gripper (210), the robotic device (200) can, when an object (20) appears in its area of operation (205), automatically recognize the location of the gripping zone of the object (20), for example, a handle or a body. Depending on the type of installed gripper (210), possible models and positions are determined for carrying out the procedure for gripping an object (20).
  • FIG. 9 shows a general view of the computing system (500).
  • the system (500) contains one or more processors (501) united by a common bus of information exchange, memory means such as RAM (502) and ROM (503), input / output interfaces (504), input / output devices (505 ), and a device for networking (506).
  • processors (501) united by a common bus of information exchange
  • memory means such as RAM (502) and ROM (503
  • input / output interfaces (504
  • input / output devices 505
  • a device for networking 506
  • the processor (501) (or multiple processors, multi-core processor, etc.) can be selected from a range of devices currently widely used, for example, manufacturers such as: Intel TM, AMD TM, Apple TM, Samsung Exynos TM, MediaTEK TM, Qualcomm Snapdragon TM, etc. Under the processor or one of the processors used in the system (500), it is also necessary to take into account the graphics processor, for example, NVIDIA GPU or Graphcore, the type of which is also suitable for full or partial execution of the methods (300, 400), and can also be used for training and application machine learning models in various information systems.
  • the graphics processor for example, NVIDIA GPU or Graphcore, the type of which is also suitable for full or partial execution of the methods (300, 400), and can also be used for training and application machine learning models in various information systems.
  • RAM (502) is a random access memory and is intended for storing machine-readable instructions executed by the processor (501) for performing the necessary operations for logical processing of data.
  • RAM (502) typically contains executable instructions of an operating system and associated software components (applications, software modules, etc.). In this case, the available memory of the graphics card or graphics processor can act as RAM (502).
  • ROM (503) is one or more means for permanent storage of data, for example, hard disk drive (HDD), solid state data storage device (SSD), flash memory (EEPROM, NAND, etc.), optical storage media (CD-R / RW, DVD-R / RW, BlueRay Disc, MD), etc.
  • I / O interfaces are used to organize the operation of the system components (500) and to organize the operation of external connected devices.
  • the choice of the appropriate interfaces depends on the specific version of the computing device, which can be, but are not limited to: PCI, AGP, PS / 2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS / Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232, etc.
  • I / O information are used, for example, a keyboard, display (monitor), touch display, touch pad, joystick, mouse manipulator, light pen, stylus, touchpad, trackball, speakers, microphone, augmented reality, optical sensors, tablet, light indicators, projector, camera, biometric identification (retina scanner, fingerprint scanner, voice recognition module), etc.
  • the networking tool (506) provides data transmission via an internal or external computer network, for example, Intranet, Internet, LAN, and the like.
  • One or more means (506) may be used, but not limited to: Ethernet card, GSM modem, GPRS modem, LTE modem, 5G modem, satellite communication module, NFC module, Bluetooth and / or BLE module, Wi-Fi module and dr.
  • satellite navigation means can be used as part of the system (500), for example, GPS, GLONASS, BeiDou, Galileo.

Abstract

Изобретение относится к способу и системе для захвата объекта с помощью роботизированного устройства. Роботизированное устройство обучают с помощью алгоритма машинного обучения для распознавания и запоминания точек захвата объектов, причем обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие 3D модели объектов в различных ракурсах. При этом для обеспечения захвата объекта формируют по меньшей мере одну точку захвата объекта, представленного на графическом изображении объекта, получают фотографическое изображение объекта с помощью камеры роботизированного устройства и определяют ракурс, отображающий сформированную точку захвата объекта. Получают трехмерное облако точек объекта в ракурсе с помощью сенсора глубины роботизированного устройства, и по полученному облаку точек определяют месторасположение точки захвата объекта. Определяют ориентацию и положение захватного устройства роботизированного устройства в точке захвата с помощью вычисления матриц поворотов роботизированного устройства и осуществляют захват объекта с помощью роботизированного устройства на основании вычисления усредненной матрицы поворотов для заданной точки захвата. Изобретение обеспечивает повышение точности распознавания области захвата объекта роботизированным устройством.

Description

СПОСОБ И СИСТЕМА ЗАХВАТА ОБЪЕКТА С ПОМОЩЬЮ
РОБОТИЗИРОВАННОГО УСТРОЙСТВА
ОБЛАСТЬ ТЕХНИКИ
[0001] Заявленное техническое решение в общем относится к области робототехнических устройств, а в частности, к способам и системам для обеспечения захвата различных объектов с помощью роботизированных устройств.
УРОВЕНЬ ТЕХНИКИ
[0002] Использование роботизированных устройств для обеспечения манипуляций с различными объектами широко известно из существующего уровня техники и находит широкое применение в сфере промышленных роботов в различных отраслях производства.
[0003] Основной сложностью в процессе применения роботизированных устройств при манипуляциях с различными типами объектов является необходимость сложного процесса обучения, который заключается в создании графических образов объектов с их точными геометрическими параметрами и последующую отладку роботизированных манипуляторов для взаимодействия с ними.
[0004] В настоящее время для процесса обучения захвата объектов предлагаются различные подходы на базе алгоритмов и моделей машинного обучения, в частности с использованием нейронных сетей, с помощью которых выполняется обучение роботизированных манипуляторов для захватов объектов по обученным заранее точкам захвата. Такой подход раскрывается в работе Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation (Peter R. Florence et al., CSAIL, Massachusetts Institute of Technology, 07.09.2018). Известное решение предлагает использовать облака точек объектов в процессе обучения роботизированных устройств, для того чтобы сформировать дескрипторы объектов на основании фотографических и 3D моделей таких объектов для целей последующего указания точек захвата и взаимодействия с объектами в указанных точках. [0005] Основной недостаток известного решения заключается в ограничении возможности захвата различных типов объектов, что обусловлено отсутствием анализа поворота захватного устройства робота. С учетом того, что объект может находится в различном положении при работе роботизированного устройства, необходимо оценивать «идеальное» положение захватного устройства для более точного и правильного взаимодействия с объектом.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
[0006] Решаемой технической задачей или технической проблемой является обеспечение нового процесса взаимодействия с объектами с помощью их захвата роботизированными устройствами.
[0007] Техническим результатом, достигающимся при решении вышеуказанной технической проблемы, является повышение точности распознавания области захвата объекта роботизированным устройством, за счет определения ориентации захватного устройства на основании расчета матрицы поворотов для цели захвата объекта в требуемой точке захвата.
[0008] Заявленный технический результат достигается за счет способа захвата объекта с помощью роботизированного устройства, содержащего этапы, на которых:
обучают роботизированное устройство с помощью по меньшей мере алгоритма машинного обучения для распознавания и запоминания точек захвата объектов, причем обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие 3D модели объектов в различных ракурсах;
формируют по меньшей мере одну точку захвата объекта, представленного на графическом изображении объекта;
получают фотографическое изображение объекта с помощью камеры роботизированного устройства и определяют ракурс, отображающий сформированную точку захвата объекта;
получают трехмерное облако точек объекта в выявленном ракурсе с помощью сенсора глубины роботизированного устройства;
определяют по полученному облаку точек месторасположение точки захвата объекта; определяют ориентацию и положение захватного устройства роботизированного устройства в обнаруженной точке захвата, причем определение осуществляется с помощью вычисления матриц поворотов роботизированного устройства;
осуществляют захват объекта с помощью роботизированного устройства на основании вычисления усредненной матрицы поворотов для заданной точки захвата.
[0009] В частном варианте осуществления способа роботизированное устройство представляет собой роботизированный манипулятор или роботизированную руку.
[0010] В другом частном варианте осуществления способа на этапе обучения дополнительно указываются две и более точек захвата объекта на соответствующей 3D модели объекта.
[ООП] В другом частном варианте осуществления способа на этапе обучения дополнительно указывают и запоминают расположение роботизированного устройства в точке захвата в зависимости от расположения объекта.
[0012] В другом частном варианте осуществления способа определение месторасположения точки захвата на изображении осуществляется с помощью модели машинного обучения.
[0013] В другом частном варианте осуществления способа дополнительно определяется принцип захвата объекта в зависимости от типа захватного устройства и/или типа объекта.
[0014] В другом частном варианте осуществления способа для нескольких точек захвата объекта указывается оптимальная точка захвата объекта на основании ее взаимного расположения относительно других точек захвата и относительно захватного устройства в момент осуществления захвата.
[0015] В другом частном варианте осуществления способа роботизированный манипулятор калибруется по поверхности взаимодействия с объектом.
[0016] В другом частном варианте осуществления способа калибровка осуществляется с помощью нанесения на поверхность графических кодов дополненной реальности.
[0017] Заявленный технический результат достигается также за счет системы захвата объекта с помощью роботизированного устройства, которая содержит: роботизированное устройство, содержащее по меньшей мере одну камеру, по меньшей мере один сенсор глубины и захватное устройство; вычислительное устройство, соединенное с роботизированным устройством, причем вычислительное устройство взаимодействует с моделью машинного обучения, которая обучена на фотографических изображениях объектов и соответствующих 3D моделей объектов в различных ракурсах для распознавания и запоминания точек захвата объектов;
формировать по меньшей мере одну точку захвата объекта, представленного на графическом изображении объекта;
получать фотографическое изображение объекта от камеры роботизированного устройства и определять ракурс, отображающий сформированную точку захвата объекта;
получать трехмерное облако точек объекта в выявленном ракурсе с помощью сенсора глубины роботизированного устройства;
определять по полученному облаку точек месторасположение точки захвата объекта;
определять ориентацию и положение захватного устройства в обнаруженной точке захвата, причем определение осуществляется с помощью вычисления матриц поворотов роботизированного устройства;
формировать команду для захвата объекта с помощью роботизированного устройства на основании вычисления усредненной матрицы поворотов для заданной точки захвата.
[0018] В частном варианте реализации системы роботизированное устройство представляет собой роботизированный манипулятор или роботизированную руку.
[0019] В другом частном варианте реализации системы вычислительное устройство представляет собой компьютер, систему на кристалле (SoC), или сервер.
[0020] В другом частном варианте реализации системы вычислительное устройство соединено проводным ил беспроводным способом с роботизированным устройством.
[0021] В другом частном варианте реализации системы модель машинного обучения представляет собой по меньшей мере одну нейронную сеть.
[0022] В другом частном варианте реализации системы модель машинного обучения выполнена с возможностью автоматического переобучения на основании новых данных об объектах. [0023] В другом частном варианте реализации системы новые данные об объектах передаются от облачного сервера.
[0024] В другом частном варианте реализации системы нейронная сеть расположена на облачном сервере.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0025] Признаки и преимущества настоящего технического решения станут очевидными из приводимого ниже подробного описания и прилагаемых чертежей, на которых:
[0026] Фиг. 1 иллюстрирует общий вид заявленной системы.
[0027] Фиг. 2 иллюстрирует схематичный вид манипулятора роботизированного устройства.
[0028] Фиг. 3 иллюстрирует блок-схему общей процедуры обучения роботизированного устройства.
[0029] Фиг. 4 иллюстрирует пример обучения роботизированного устройства с помощью изображений и ЗД-моделей объекта.
[0030] Фиг. 5 иллюстрирует пример обучения роботизированного устройства с помощью нескольких точек захвата на объекте.
[0031] Фиг. 6 иллюстрирует блок-схему выполнения заявленного способа.
[0032] Фиг. 7 иллюстрирует пример центрирования захватного устройства для определения требуемой точки захвата на объекте.
[0033] Фиг. 8 иллюстрирует пример системы с получением изображений в реальном времени.
[0034] Фиг. 9 иллюстрирует пример вычислительной системы.
ДЕТАЛЬНОЕ ОПИСАНИЕ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[0035] Данное техническое решение может быть реализовано на компьютере, в виде автоматизированной информационной системы (АИС) или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
[0036] Техническое решение может быть реализовано в виде распределенной компьютерной системы, которая может быть установлена на централизованном сервере (наборе серверов). Доступ пользователей к системе возможен как из сети Интернет, так и из внутренней сети предприятия/организации посредством мобильного устройства связи, на котором установлено программное обеспечение с соответствующим графическим интерфейсом пользователя, или персонального компьютера с доступом к веб-версии системы с соответствующим графическим интерфейсом пользователя.
[0037] Ниже будут описаны термины и понятия, необходимые для реализации настоящего технического решения.
[0038] В данном решении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, чётко определённую последовательность вычислительных операций (действий, инструкций).
[0039] Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
[0040] Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.
[0041] Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
[0042] Как представлено на Фиг. 1, система (100) для реализации заявленного решения содержит вычислительное устройство (ПО), обеспечивающее необходимые процессы вычислительной обработки алгоритма для функционирования роботизированного устройства (200), канал передачи данных (130), обеспечивающий процессы приема/передачи данных между элементами системы (100), а также удаленное вычислительное устройство (120), например, облачный сервер для специализированного выполнения задач.
[0043] В качестве вычислительного устройства (ПО), с которым взаимодействует пользователь (10), может использоваться, например, персональный компьютер, ноутбук, планшет, сервер, смартфон, серверный кластер, мейнфрейм, суперкомпьютер, тонкий клиент, система на кристалле (англ. «System on a Chip», сокр. SoC) и т.п. Конкретная аппаратная реализация вычислительного устройства (ПО) зависит от предъявляемых требований и должна обеспечивать необходимые процессы вычислительной обработки цифровой информации для обеспечения должного функционирования устройства (110) в составе системы (100).
[0044] В качестве канала передачи данных (130) может применяться различный вид связи, например, проводного и/или беспроводного типа, в частности: LAN, WAN, WLAN, Bluetooth, Wi-Fi, GSM/GPRS/LTE/5G, Ethernet, USB, RS232, RJ45 и т.п.
[0045] Удаленное вычислительное устройство (120), как правило, представляет собой облачное хранилище данных или сервер для решения специализированных задач или программной логики. Описание работы устройства (120) будет раскрыто далее в настоящем описании.
[0046] В качестве роботизированного устройства (200) может применяться как стационарный роботизированный манипулятор промышленного или коллаборативного назначения, например, Universal Robotics™, KUKA™, Fanuc™, ABB™ и т.п., так и роботизированные манипуляторы, устанавливаемые на подвижные автономные роботизированные устройства, в качестве конечностей, в частности роботизированные руки.
[0047] На Фиг. 2 представлено схематическое изображение примера роботизированного устройства (200) в виде манипулятора, снабженного захватным устройством (210) и модулем, содержащим RGB камеру (211) и камеру с сенсором глубины (212) (также называемую камерой глубины или RGB-D камерой). С помощью RGB камеры (211) выполняется получения двумерных графических изображений объекта (20), с которым предполагается взаимодействие с помощью роботизированного устройства (200). Камера глубины (212) применяется для получения 3D моделей объекта (20), а также центрированию захватного устройства (210) и определения расстояния до объекта (20).
[0048] В качестве захватного устройства (210) могут применяться различные типы схватов, например, в виде клешней, антропоморфных кистей рук и т.п. Захватное устройство, как правило, обеспечивает 6-степеней свободы для выполнения процесса манипуляций с объектом. [0049] Как показано на Фиг. 1, объект (20), с которым осуществляется взаимодействие роботизированного устройства (200), может размещаться на поверхности, на которую наносятся маркеры дополненной реальности (201), применяемые для калибровки роботизированного устройства (200) для целей формирования области его действия (205), в которой объект (20) может быть захвачен. Маркеры дополненной реальности (201) представляют собой графические коды дополненной реальности, также называемые AR-кодами (англ. Augmented reality codes), которые используются для ограничения поверхности взаимодействия с объектом (20). Объект (20) может представлять собой широкий спектр изделий, имеющих мягкую (деформируемую) или твердую форму.
[0050] На Фиг. 3 представлен процесс обучения (300) роботизированного устройства (200). Для обучения применяется подход из указанной выше научной публикации. На первом шаге (301) осуществляется съемка объекта (20) с помощью RGB камеры (211). Съемка осуществляется с различных ракурсов. Далее с помощью камеры глубины (212) на каждом из полученных ракурсов создается соответствующее ракурсу облако точек (302).
[0051] По сформированным на этапе (302) облаками точек осуществляется построение 3D модели объекта (20) за счет объединения полученных облаков точек для каждого из ракурсов съемки на этапе (301). Полученное множество позиций камеры (211), соотнесенных с изображениями объекта, полученных на соответствующих ракурсах на этапе (301), а также итоговая 3D модель объекта (20), полученная на этапе (303), используются для автоматической подготовки обучающей выборки для тренировки модели машинного обучения на этапе (304), в частности свёрточной нейронной сети (СНС).
[0052] На Фиг. 4 представлен пример получения ракурсов (PI) - (Р4) изображений объекта (20). По каждому ракурсу (PI) - (Р4) с помощью камеры глубины (212) строится соответствующая модель (Ml) - (М4) на основании получаемого облака точек. Все облака точек (Ml) - (М4), слитые в единое целое, образуют 3D модель объекта (21). В итоге по полученным моделям ракурсов (Ml) - (М4) создается итоговая 3D модель объекта (21), с помощью слияния всех полученных облаков точек (Ml) - (М4) по ракурсам (PI) - (Р4) изображений объекта. Необходимо отметить, что количество ракурсов изображений объекта (20) может быть любым и не ограничиваться приведенным примером количества ракурсов. Данный подход позволяет по выбранной точке на изображении объекта, например, фотографии или трехмерной модели, найти соответствующую ей 3D точку на поверхности модели объекта для его захвата.
[0053] С помощью модели машинного обучения выполняется отображение из множества изображений заданного размера в множество дескрипторов, подобранных во время обучения таким образом, что для двух точек из двух разных изображений расстояние между соответствующими им дескрипторами будет меньше определенного значения, если эти точки являются проекциями одной и той же точки на поверхности 3D модели объекта (21). Данная операция производится несколько раз для разных положений объекта (20) в области досягаемости (205) роботизированного устройства (200).
[0054] При построении обучающей выборки для модели машинного обучения для каждой фотографии объекта (20) с соответствующего ракурса выбирается по одной точке, для каждой из которых имеется соответствующая 3D точка с поверхности модели объекта, полученная из облака точек соответствующего ракурса съемки объекта (20). В качестве примера можно рассмотреть пары фотографий одного объекта (20) с соответствующими точками. Если пара 3D точек на соответствующих 2D изображениях принадлежат одному и тому же вокселю/вертексу 3D модели объекта (21), то считается, что эти точки являются «соответствующими» (совпадающими), иначе «несоответствующими» (несовпадающими). Таким образом, из всех фотографий можно получить миллионы пар пикселов как совпадающих, так и несовпадающих. На основании данной информации строится обучающая выборка для тренировки нейронной сети.
[0055] В режиме эксплуатации на вход нейронной сети подаются фотографии объекта (20), состоящие из пикселов, на выходе каждому пикселю соответствует дескриптор (последовательность чисел одинаковой длины п, или точка в п- мерном пространстве, на котором задана метрика - функция вычисления расстояния между точками этого пространства). Нейронную сеть тренируют на множестве пар пикселов из обучающей выборки так, чтобы для совпадающих пикселов, расстояние между соответствующими им дескрипторами было меньше определенного порога, а для несовпадающих - больше.
[0056] На Фиг. 5 представлен пример обучения позициям захвата объекта (20), с помощью указания нескольких точек захвата (25, 26) объекта (20) с помощью захватного устройства (210). При обучении роботизированного устройства (200) взаимодействию с объектами (20), по точкам захвата (25, 26) формируется взаимная ориентация отрезков (22) между выделенными точками захвата (25, 26) и ориентацией захватного устройства (210). Далее для пар отрезков (22) между точками захвата на исходных данных и соответствующих найденных точках захвата (25, 26) на объекте (20) при его съемке с помощью RGB камеры (211) и камеры глубины (212) вычисляются матрицы поворотов. По всем парам отрезков (22) вычисляется усредненная матрица поворота, которая применяется к сохраненной конфигурации, соответствующей ранее заданной точке захвата и захватное устройство (210) приводится в движение для захвата объекта в выбранной точке.
[0057] На этапе обучения (300) роботизированного устройства (200) дополнительно захватное устройство (210) тренируется по взаимодействию с объектами (20) в зависимости от их формы и степени деформации, а также в зависимости от конфигурации захватного устройства (210). Конфигурация и принцип захвата устройства (210) играют важную роль при анализе позиции и возможности взаимодействия с объектом (20) в зависимости от его расположения в области досягаемости (205) устройства (200). В случае работы с мягкими или легкодеформируемыми объектами (20), например, плюшевыми игрушками, пакетами, тканевыми упаковками и т.п., принцип захвата может являться допустимым для работы с объектом (20) с помощью его захвата любым возможным способом в указанной точке захвата (25).
[0058] Если взаимодействие осуществляется с твердым объектом (20), например, книга, телефон, коробка и т.п., то захватное устройство (210) тренируется для взаимодействия с допустимой частью объекта (20) (в целях исключения нарушения его целостности или недопустимой деформации), а также в зависимости от конфигурации установленного захватного устройства (210). Например, антропоморфные захваты (210) в виде роботизированной руки имеют большую степень возможности для взаимодействия с требуемой точкой захвата (25) объекта (20) по сравнению с «клешневидным» схватом, представленным на Фиг. 2.
[0059] Процесс обучения роботизированного устройства (200) может также выполняться с помощью внешнего контроллера, например, перчатки- контроллера, позволяющего запоминать принцип взаимодействия с объектом (20) с помощью манипуляции движений оператора (10). [0060] На Фиг. 6 представлен процесс выполнения способа (400) осуществления захвата объекта (20) роботизированным устройством (200). Описание процесса работы (400) роботизированного устройства (200) также будет описано с отсылкой к Фиг. 7.
[0061] После прохождения вышеописанного процесса обучения (300) роботизированного устройства (200), его функционирование может осуществляться в автоматизированном режиме. Оператор (10) с помощью вычислительного устройства (110) осуществляет формирование (этап 401) точки захвата (25), например, с помощью указания на изображении объекта (23) с помощью графического интерфейса пользователя (GUI). Таким образом, на изображении (23) отмечается пиксель или группа пикселей, соответствующий точке захвата (25) или окрестности нахождения данной точки (25) на объекте (20).
[0062] По полученной информации о точке захвата (25) роботизированное устройство (200) осуществляет обзор и фотографирование (этап 402) с помощью RGB камеры (211) объекта захвата (20). Роботизированное устройство (200) делает серию фотографий (не более 10 снимков) с нескольких различных позиций (ракурсов) камеры (211). С помощью модели машинного обучения, в частности обученной СНС, из серии полученных с камеры (211) фотографий выбирается одна с наиболее вероятными координатами расположения заданной точки интереса (25), после чего роботизированное устройство (200) размещает камеру (211) в позицию, с которой была сделана данная фотография (этап 403).
[0063] На основании обработки получаемых фотографий объекта (20), для каждой фотографии из этой серии СНС вычисляет дескрипторы, среди которых осуществляется поиск и нахождения дескриптора, расстояние от которого до координаты пикселя точки захвата (25) является минимальным.
[0064] Далее осуществляется локализация точки интереса (этап 404) на поверхности 3D модели объекта (21) с помощью облака точек, получаемого с камеры глубины (212), как представлено на Фиг. 7. Для точной локализации точки захвата (25) (этап 405) интегрируются несколько облаков точек за определенный промежуток времени, и находится точка в полученном облаке точек, ближайшая к прямой, проведенной из оптического центра (27) камеры (212) и проходящей через плоскость изображения камеры в проекции точки интереса (25).
[0065] Далее на этапе (406) выполняется расчет матриц поворотов для осуществления захвата объекта (20) и по вычислению усредненной матрицы поворотов захватного устройства (210) анализируется позиция и траектория движения устройства (210) для осуществления захвата (этап 407) объекта (20).
[0066] Как было показано на Фиг. 5, в процессе обучения вариантов захвата устройством (210) на объекте (20) задают несколько точек (25, 26), относительно которых запоминают положение и ориентацию захватного устройства (210). В случае захвата объекта (20), находящегося в произвольном положении, на объекте (20) распознаются заданные точки (25, 26) и матрицы поворотов захватного устройства (210) вычисляются таким образом, чтобы взаимная ориентация точек захвата (25, 26) и захватного устройства (210) соответствовали сохраненным значениям во время обучения.
[0067] В случае, когда используются захватные устройства (210) с большим количеством степеней свободы, при формировании захвата в заданной точке на этапе обучения запоминается серия позиций, ориентаций и конфигураций захватного устройства (210). После вычисления матриц поворотов захватного устройства (210) для каждого элемента этой серии с помощью алгоритмов инверсной кинематики роботизированное устройство (200) приводится в соответствующее положение. При планировании траектории движения роботизированного устройства (200) соответствующим алгоритмом учитываются возможные коллизии как между узлами самого устройства (200), так и с окружающими предметами.
[0068] Указанная модель машинного обучения может содержаться как непосредственно на устройстве (ПО), связанным с роботизированным устройством (200), так и находится на удаленном устройстве (120), например, сервере, и осуществлять обработку данных по запросу, формируемому от вычислительного устройства (110) на основании данных, получаемых от роботизированного устройства (200).
[0069] Как представлено на Фиг. 8, в частном примере реализации системы (100) может использоваться несколько вычислительных устройств, каждое из которых предназначено для реализации требуемого функционала. Например, в качестве исходного изображения (23) для формирования точки захвата (25), может применяться изображение, полученное с камеры смартфона (ПО). После получения изображения (23) пользователь (10) указывается требуемую точку захвата (25) для соответствующего объекта (20), с которым взаимодействует роботизированное устройство (200). Устройство (200) может осуществлять обращение к серверу (120) для инициирования процесса обработки данных о схожем типе объекта (20), который находится в области работы роботизированного устройства (205).
[0070] Обработка данных для распознавания объекта (20) и выявлению требуемой точки захвата (25) выполняется с помощью обученной нейронной сети, которая может располагаться на сервере (120) и обновляться по мере поступления новых данных о соответствующих типах объектов (121) и вариантов взаимодействия с ними.
[0071] Библиотека моделей (121) может хранится непосредственно на сервере (120) или стороннем ресурсе. При этом, при поступлении новой информации о моделях объектов, СНС может автоматически переобучаться для расширения вариантов классификации и повышения процесса автономной работы роботизированного устройства (200). Данный процесс может дополнительно улучшить взаимодействия роботизированного устройства (200) с заданными типами объектов, что позволит расширить его применение в заданных отраслях промышленности.
[0072] Роботизированное устройство (200) может быть также сконфигурировано для автоматической работы с заданным типом объектов с помощью тренировки захвата за определенную часть объекта (20). Как показано на Фиг. 8, в качестве объекта взаимодействия (20) может применяться кружка. В зависимости от типа установленного захватного устройства (210) роботизированное устройство (200) может при появлении объекта (20) в области его работы (205) автоматически распознавать местоположение зоны захвата объекта (20), например, ручки или корпуса. В зависимости от типа установленного захватного устройства (210) определяются возможные модели и позиции для осуществления процедуры захвата объекта (20).
[0073] На Фиг. 9 представлена общий вид вычислительной системы (500). На базе представленной системы (500) может реализовываться различный спектр вычислительных устройств, например, устройство (110), сервер (120) и т.п. В общем виде система (500) содержит объединенные общей шиной информационного обмена один или несколько процессоров (501), средства памяти, такие как ОЗУ (502) и ПЗУ (503), интерфейсы ввода/вывода (504), устройства ввода/вывода (505), и устройство для сетевого взаимодействия (506). [0074] Процессор (501) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в системе (500) также необходимо учитывать графический процессор, например, GPU NVIDIA или Graphcore, тип которых также является пригодным для полного или частичного выполнения способов (300, 400), а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.
[0075] ОЗУ (502) представляет собой оперативную память и предназначено для хранения исполняемых процессором (501) машиночитаемых инструкций для выполнение необходимых операций по логической обработке данных. ОЗУ (502), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (502) может выступать доступный объем памяти графической карты или графического процессора.
[0076] ПЗУ (503) представляет собой одно или более средств для постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.
[0077] Для организации работы компонентов системы (500) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (504). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/ Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.
[0078] Для обеспечения взаимодействия пользователя с вычислительной системой (500) применяются различные средства (505) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.
[0079] Средство сетевого взаимодействия (506) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п. В качестве одного или более средств (506) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.
[0080] Дополнительно могут применяться также средства спутниковой навигации в составе системы (500), например, GPS, ГЛОНАСС, BeiDou, Galileo.
[0081] Конкретный выбор элементов системы (500) для реализации различных программно-аппаратных архитектурных решений может варьироваться с сохранением обеспечиваемого требуемого функционала от того или иного типа устройства.
[0082] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.

Claims

ФОРМУЛА
1. Способ захвата объекта с помощью роботизированного устройства, содержащий этапы, на которых:
— обучают роботизированное устройство с помощью по меньшей мере одного алгоритма машинного обучения для распознавания и запоминания точек захвата объектов, причем обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие 3D модели объектов в различных ракурсах;
— формируют по меньшей мере одну точку захвата объекта, представленного на графическом изображении объекта;
— получают фотографическое изображение объекта с помощью камеры роботизированного устройства и определяют ракурс, отображающий сформированную точку захвата объекта;
— получают трехмерное облако точек объекта в выявленном ракурсе с помощью сенсора глубины роботизированного устройства;
— определяют по полученному облаку точек месторасположение точки захвата объекта;
— определяют ориентацию и положение захватного устройства роботизированного устройства в обнаруженной точке захвата, причем определение осуществляется с помощью вычисления матриц поворотов роботизированного устройства;
— осуществляют захват объекта с помощью роботизированного устройства на основании вычисления усредненной матрицы поворотов для заданной точки захвата.
2. Способ по п.1, характеризующийся тем, что роботизированное устройство представляет собой роботизированный манипулятор или роботизированную руку.
3. Способ по п.1, характеризующийся тем, что на этапе обучения дополнительно указываются две и более точек захвата объекта на соответствующей 3D модели объекта.
4. Способ по п.1, характеризующийся тем, что на этапе обучения дополнительно указывают и запоминают расположение роботизированного устройства в точке захвата в зависимости от расположения объекта.
5. Способ по п.1, характеризующийся тем, что определение месторасположения точки захвата на изображении осуществляется с помощью модели машинного обучения.
6. Способ по п.5, характеризующийся тем, что дополнительно определяется принцип захвата объекта в зависимости от типа захватного устройства и/или типа объекта.
7. Способ по п.З, характеризующийся тем, что для нескольких точек захвата объекта указывается оптимальная точка захвата объекта на основании ее взаимного расположения относительно других точек захвата и относительно захватного устройства в момент осуществления захвата.
8. Способ по п.2, характеризующийся тем, что роботизированный манипулятор калибруется по поверхности взаимодействия с объектом.
9. Способ по п.8, характеризующийся тем, что калибровка осуществляется с помощью нанесения на поверхность графических кодов дополненной реальности.
10. Система захвата объекта с помощью роботизированного устройства,
содержащая:
• роботизированное устройство, содержащее по меньшей мере одну камеру, по меньшей мере один сенсор глубины и захватное устройство;
• вычислительное устройство, соединенное с роботизированным устройством, причем вычислительное устройство взаимодействует с моделью машинного обучения, которая обучена на фотографических изображениях объектов и соответствующих 3D моделей объектов в различных ракурсах для распознавания и запоминания точек захвата объектов, выполненное с возможностью:
о формировать по меньшей мере одну точку захвата объекта, представленного на графическом изображении объекта;
о получать фотографическое изображение объекта от камеры роботизированного устройства и определять ракурс, отображающий сформированную точку захвата объекта;
о получать трехмерное облако точек объекта в выявленном ракурсе с помощью сенсора глубины роботизированного устройства;
о определять по полученному облаку точек месторасположение точки захвата объекта; о определять ориентацию и положение захватного устройства в обнаруженной точке захвата, причем определение осуществляется с помощью вычисления матриц поворотов роботизированного устройства;
о формировать команду для захвата объекта с помощью роботизированного устройства на основании вычисления усредненной матрицы поворотов для заданной точки захвата.
11. Система по п. 10, характеризующаяся тем, что роботизированное устройство представляет собой роботизированный манипулятор или роботизированную руку·
12. Система по п. 10, характеризующаяся тем, что вычислительное устройство представляет собой компьютер, систему на кристалле (SoC), или сервер.
13. Система по п. 12, характеризующаяся тем, что вычислительное устройство соединено проводным ил беспроводным способом с роботизированным устройством.
14. Система по п. 10, характеризующаяся тем, что модель машинного обучения представляет собой по меньшей мере одну нейронную сеть.
15. Система по п. 14, характеризующаяся тем, что модель машинного обучения выполнена с возможностью автоматического переобучения на основании новых данных об объектах.
16. Система по п. 15, характеризующаяся тем, что новые данные об объектах передаются от облачного сервера.
17. Система по п. 14, характеризующаяся тем, что нейронная сеть расположена на облачном сервере.
PCT/RU2019/000178 2019-03-21 2019-03-21 Способ и система захвата объекта с помощью роботизированного устройства WO2020190166A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2019108223 2019-03-21
RU2019108223A RU2700246C1 (ru) 2019-03-21 2019-03-21 Способ и система захвата объекта с помощью роботизированного устройства

Publications (1)

Publication Number Publication Date
WO2020190166A1 true WO2020190166A1 (ru) 2020-09-24

Family

ID=67990035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2019/000178 WO2020190166A1 (ru) 2019-03-21 2019-03-21 Способ и система захвата объекта с помощью роботизированного устройства

Country Status (3)

Country Link
EA (1) EA038279B1 (ru)
RU (1) RU2700246C1 (ru)
WO (1) WO2020190166A1 (ru)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884825A (zh) * 2021-03-19 2021-06-01 清华大学 基于深度学习模型的抓取方法及装置
CN113012800A (zh) * 2021-04-19 2021-06-22 联仁健康医疗大数据科技股份有限公司 多用途夹取方法、系统、医疗机器人及存储介质
CN113753562A (zh) * 2021-08-24 2021-12-07 深圳市长荣科机电设备有限公司 一种基于直线电机的搬运方法、系统、装置及存储介质
CN114125416A (zh) * 2021-10-13 2022-03-01 厦门微图软件科技有限公司 一种基于机器学习与深度学习的三维检测平台软件及装置
CN114474108A (zh) * 2022-01-13 2022-05-13 湖南中南智能装备有限公司 一种usb控制手柄联动控制机器人的方法
EP4177013A1 (de) * 2021-11-04 2023-05-10 Vathos GmbH Ansteuerung eines industrieroboters für eine greifaufgabe

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2745380C1 (ru) * 2020-09-03 2021-03-24 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система захвата объектов с помощью роботизированного устройства
RU2756437C1 (ru) * 2020-09-03 2021-09-30 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система планирования движения робота-манипулятора путем коррекции опорных траекторий
CN116197886A (zh) * 2021-11-28 2023-06-02 梅卡曼德（北京）机器人科技有限公司 图像数据处理方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007390A (ja) * 2004-06-29 2006-01-12 Sharp Corp 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
RU2566226C2 (ru) * 2010-06-24 2015-10-20 ЗенРоботикс Ой Способ выбора физических объектов в роботехнической системе
RU2594231C2 (ru) * 2010-12-30 2016-08-10 ЗенРоботикс Ой Способ, компьютерная программа и устройство для определения места захвата

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
US10335951B2 (en) * 2015-07-29 2019-07-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, robot control apparatus, and robot system
RU2674326C2 (ru) * 2017-02-20 2018-12-06 Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" Способ формирования архитектуры нейросети для классификации объекта, заданного в виде облака точек, способ ее применения для обучения нейросети и поиска семантически схожих облаков точек

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006007390A (ja) * 2004-06-29 2006-01-12 Sharp Corp 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体
RU2566226C2 (ru) * 2010-06-24 2015-10-20 ЗенРоботикс Ой Способ выбора физических объектов в роботехнической системе
RU2594231C2 (ru) * 2010-12-30 2016-08-10 ЗенРоботикс Ой Способ, компьютерная программа и устройство для определения места захвата

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEBOTAR YEVGEN ET AL.: "Learning Robot Tactile Sensing for Object Manipulation", 2014 IEEE /RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS 2014, 14 September 2014 (2014-09-14), Chicago, IL , USA, XP032676792 *
FLORENCE PETER R. ET AL.: "Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation", ARXIV:1806.08756V2, 9 July 2018 (2018-07-09), XP081552178, Retrieved from the Internet <URL:https://arxiv.org/abs/1806.08756v2> [retrieved on 20191125] *
WONG CHEE KIT ET AL.: "Vision Strategies for Robotic Manipulation of Natural Objects", PROCEEDING OF THE 2009 AUSTRALASIAN CONFERENCE ON ROBOTICS AND AUTOMATION, ACRA 2009, 2 December 2009 (2009-12-02), Sydney, Australia, XP055114298 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884825A (zh) * 2021-03-19 2021-06-01 清华大学 基于深度学习模型的抓取方法及装置
CN112884825B (zh) * 2021-03-19 2022-11-04 清华大学 基于深度学习模型的抓取方法及装置
CN113012800A (zh) * 2021-04-19 2021-06-22 联仁健康医疗大数据科技股份有限公司 多用途夹取方法、系统、医疗机器人及存储介质
CN113753562A (zh) * 2021-08-24 2021-12-07 深圳市长荣科机电设备有限公司 一种基于直线电机的搬运方法、系统、装置及存储介质
CN114125416A (zh) * 2021-10-13 2022-03-01 厦门微图软件科技有限公司 一种基于机器学习与深度学习的三维检测平台软件及装置
CN114125416B (zh) * 2021-10-13 2024-03-19 厦门微图软件科技有限公司 一种基于机器学习与深度学习的三维检测平台软件及装置
EP4177013A1 (de) * 2021-11-04 2023-05-10 Vathos GmbH Ansteuerung eines industrieroboters für eine greifaufgabe
WO2023078884A1 (de) * 2021-11-04 2023-05-11 Vathos Gmbh Ansteuerung eines industrieroboters für eine greifaufgabe
CN114474108A (zh) * 2022-01-13 2022-05-13 湖南中南智能装备有限公司 一种usb控制手柄联动控制机器人的方法
CN114474108B (zh) * 2022-01-13 2024-01-16 湖南中南智能装备有限公司 一种usb控制手柄联动控制机器人的方法

Also Published As

Publication number Publication date
RU2700246C1 (ru) 2019-09-20
EA201990572A1 (ru) 2020-09-30
EA038279B1 (ru) 2021-08-04

Similar Documents

Publication Publication Date Title
WO2020190166A1 (ru) Способ и система захвата объекта с помощью роботизированного устройства
Kumra et al. Antipodal robotic grasping using generative residual convolutional neural network
Morrison et al. Closing the loop for robotic grasping: A real-time, generative grasp synthesis approach
US10372228B2 (en) Method and system for 3D hand skeleton tracking
Tang et al. A framework for manipulating deformable linear objects by coherent point drift
CN107571260B (zh) 控制机器人抓取物体的方法和装置
US9089971B2 (en) Information processing apparatus, control method thereof and storage medium
Bagnell et al. An integrated system for autonomous robotics manipulation
JP2019508273A (ja) ロボットの把持のための深層機械学習方法および装置
Saut et al. Efficient models for grasp planning with a multi-fingered hand
JP2015199155A (ja) 情報処理装置および情報処理方法、プログラム
Sayour et al. Autonomous robotic manipulation: Real-time, deep-learning approach for grasping of unknown objects
JP2022542239A (ja) 視角エンベディングに基づいた自律タスク実行
JP2015085475A (ja) 情報処理装置、情報処理方法
JP2022529088A (ja) スパースｒｇｂ－ｄ ｓｌａｍおよびインタラクティブパーセプションによる対象の検出、トラッキングおよび３ｄモデリング
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
WO2022021156A1 (zh) 用于机器人抓取三维物体的方法和装置
Lambrecht Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection
JP2021000694A (ja) ロボット教示装置及びロボットシステム
WO2021117479A1 (ja) 情報処理装置、方法およびプログラム
TWI649169B (zh) 把持位置姿勢教導裝置、把持位置姿勢教導方法及機器人系統
JP2001250122A (ja) 物体の位置姿勢決定処理方法およびそのためのプログラム記録媒体
JP2015221485A (ja) ロボット、ロボットシステム、制御装置、及び制御方法
CN113561172A (zh) 一种基于双目视觉采集的灵巧手控制方法及装置
RU2756437C1 (ru) Способ и система планирования движения робота-манипулятора путем коррекции опорных траекторий

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919658

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919658

Country of ref document: EP

Kind code of ref document: A1