WO2020139105A1 - Способ и система предиктивного избегания столкновения манипулятора с человеком - Google Patents
Способ и система предиктивного избегания столкновения манипулятора с человеком Download PDFInfo
- Publication number
- WO2020139105A1 WO2020139105A1 PCT/RU2018/000876 RU2018000876W WO2020139105A1 WO 2020139105 A1 WO2020139105 A1 WO 2020139105A1 RU 2018000876 W RU2018000876 W RU 2018000876W WO 2020139105 A1 WO2020139105 A1 WO 2020139105A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- graph
- person
- manipulator
- distance
- industrial manipulator
- Prior art date
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Definitions
- This technical solution generally relates to the field of computer technology, and in particular to methods and systems for avoiding collisions of an industrial robot manipulator with a person who is in the working area of the manipulator.
- the closest to the claimed technical solution is a collision avoidance method based on measuring the distance between an industrial robot and a potential collision object (patent application DE 102016200455A1 "Security apparatus and method for the safe operation of a robot").
- the difference between the described method and the claimed method is the ability to change the path of the robot’s movement depending on the position of the person, and if a person approaches the robot at a distance less than the radius of the virtual security zone, the robot must completely stop and wait until the person leaves the danger zone, since all permissible robot movement paths will be excluded from the patency graph.
- the claimed method takes into account the future position of a person, it has a greater level of security, and allows you to take into account the delay in the response of the system to the rapid movement of a person in the working area of the robot.
- a technical problem or technical problem being solved is the provision of predictive avoidance of collision of an industrial manipulator with a person.
- An additional result is a reduction in the downtime of the robotic system due to the absence of the need to stop the industrial manipulator when a person is in the working area of the industrial manipulator, which provides increased productivity and fault tolerance of the robotic system.
- the specified technical result is achieved by implementing a predictive method for avoiding a collision between a manipulator and a person, performed by a computing device and in which at least one virtual patency graph of an industrial manipulator is formed; at least one RGB image and at least one depth map are obtained from the at least one camera directed to the working area of the industrial manipulator; segment each received RGB image by using a deep convolutional neural network that determines which pixel of the image refers to a person; forming a point cloud of at least one person by converting each pixel related to the person and the remoteness of this pixel in the depth map; determining the distance of each three-dimensional point from the formed point cloud to each vertex of the virtual cross-country graph of the industrial manipulator; get the value of the distance between the person and the points of work of the industrial manipulator; comparing a certain distance of each three-dimensional point of the point cloud and a threshold value, and if the distance is less than the threshold, the vertex of the graph, together with all outgoing edges, is temporarily removed from
- a virtual patency graph is formed in whole or in part.
- predefined data and real-time data obtained during the operation of the industrial manipulator are used to form a virtual cross-country graph of the industrial manipulator.
- the indicated technical result is achieved due to the implementation of the predictive collision avoidance system of a manipulator with a person, which comprises at least one industrial manipulator capable of moving along the constructed virtual patency graph; at least one camera aimed at the working area of the industrial manipulator and configured to generate at least one RGB image and at least one depth map of the working area of the industrial manipulator; directing the obtained at least one RGB image and at least one depth map of the working area of the industrial manipulator to the computing device; at least one computing device configured to generate at least one virtual cross-country graph of the industrial manipulator; segmenting each received RGB image by using a deep convolutional neural network that determines which pixel of the image refers to a person; forming a point cloud of at least one person by transforming each pixel related to to the person, and the remoteness of this pixel in the depth map; determining the distance of each three-dimensional point from the formed point cloud to each vertex of the virtual cross-country graph of the industrial manipulator; obtaining a threshold value of the permissible distance
- FIG. 1 illustrates a set of devices of a system that implements the described method, and the necessary data flows between them.
- Blocks with a dark background are mandatory for implementing the method
- blocks with a light background are possible participants to improve the accuracy of determining the position of dynamic objects - sensors, additional cameras, increase the information content of the system - warning devices and increase system performance - additional manipulators.
- Lines between the blocks indicate data flows between devices, and arrows indicate devices that consume information.
- FIG. 2-3 illustrate the architecture of the system 110 - the top of the graph, 120 - the manipulator, 130. a - the edge of the graph, 130.6 - the excluded edge of the graph, 140 - the working area of the robot, 150. a - the virtual security sphere, 150.6 - the virtual security sphere, taking into account displacement of a person D, 160. Likewise - estimated position of a person, 160.6 - current position of a person, 170 - camera.
- FIG. 4 illustrates possible options for moving the manipulator along a section of the graph, taking into account the direction of the edges of the graph.
- FIG. 5 illustrates the components of a traffic graph. 120 - manipulator, 110. Despite - key point (vertex of the graph), 110.6 - waypoint (vertex of the graph), 131. Certainly - unidirectional edge of the graph, 131.6 - bi-directional edge of the graph.
- FIG. 6 illustrates an example implementation of a method for predictively avoiding a collision between a manipulator and a person, shown in block diagram form.
- server means a computer program running on the appropriate equipment, which is able to receive requests (for example, from client devices) over the network and execute these requests or initiate the execution of these requests .
- the equipment may be one physical computer or one physical computer system, but neither one nor the other is mandatory for this technology.
- server does not mean that every task (for example, received instructions or requests) or any specific task will be received, completed or initiated to be executed by the same server (that is, by the same software software and / or hardware); this means that any number of software items or hardware devices can be involved in the reception / transmission, execution or initiation of any request or the consequences of any request associated with the client device, and all this software and hardware can be one server or several servers , both options are included in the expression “at least one server”.
- database means any structured data set that is independent of the specific structure, software database management, hardware of the computer on which data is stored, used or otherwise made available for use.
- the database may reside on the same hardware that runs the process that stores or uses the information stored in the database, or it may reside on separate hardware, such as a dedicated server or multiple servers.
- information includes any information that may be stored in a database.
- information includes, among other things, audiovisual works (images, videos, sound recordings, presentations, etc.), data (location data, digital data, etc.), text (opinions, comments, questions , messages, etc.), documents, tables, etc.
- Predictive collision avoidance - early collision avoidance based on the assumption of the probability of its occurrence, taking into account the planned travel path.
- An industrial robot is an automatic machine consisting of a manipulator and a device for programmatically controlling its movement, designed to replace a person when performing basic and auxiliary operations in production processes.
- a manipulator is a combination of a spatial link mechanism and a drive system that, under the control of a programmable automatic device or a human operator, performs actions (manipulations) similar to those of a human hand.
- the working area of the industrial manipulator is the distance from the extreme point of the working body in the form of a gripping device or a technological tool to the base of the manipulator or a three-dimensional area of space specified in the program control device by a person.
- the manipulator maneuverability graph is a directional graph that, as the vertices of the graph, contains coordinates in three-dimensional space and the information necessary for the industrial robot control device to achieve this position.
- An industrial manipulator executing a predetermined operation algorithm, for example, moving objects from one conveyor to another, moves within its working area, as shown in FIG. 2 - 130.
- the implementation of the industrial manipulator in this technical solution can be used by any, not limited to.
- a method for predictively avoiding a collision of a manipulator with a person is shown in detail in the computational steps in FIG. 6 in a block diagram and includes the following steps.
- Step 610 at least one virtual cross graph of the industrial manipulator is formed.
- any manipulator can be used, for example, a mobile manipulator on a drive base, or a suspended ceiling manipulator, or an air-controlled industrial manipulator with a rigid lever mechanism, etc., without limitation .
- a graph is formed in advance by entering coordinates and relationships by the user, for example, writing a list of named coordinates in three-dimensional space to the JSON-type structure file with the necessary action parameters, for example, “open the capture by a given value”, and a list of links between named coordinates with the necessary direction flags and movement parameters, for example, speed, motion acceleration, restriction on applied force, type of movement (for example, along a line, approximating the movement by the speed of angles rotation of links (around the circle), which is used by the industrial robot control program, or using program code libraries to automate this process, at the design stage of the industrial manipulator to solve a specific task of performing useful work.
- the necessary action parameters for example, “open the capture by a given value”
- the necessary direction flags and movement parameters for example, speed, motion acceleration, restriction on applied force, type of movement (for example, along a line, approximating the movement by the speed of angles rotation of links (around the circle)
- Some methods for example, the described method, changing or generating a traffic graph embedded in the program code libraries algorithm, also allow generating a traffic graph both completely and partially, changing coordinates or action parameters of graph nodes, changing the direction or parameters of moving graph edges in the process manipulator work to achieve greater productivity and safety when doing useful work.
- information is used as predetermined at the design stage, for example, key coordinates, actions necessary to perform useful work, limiting the working area, limiting the speed of movement, limiting acceleration, and information obtained during the operation of the manipulator using external sensors that provide information about changes in the position and physical parameters of objects with which the manipulator interacts, or which may be at the intersection with its trajectories of movement according to the cross-country graph.
- edges connecting the vertices of the graph Possible options for moving the manipulator between the vertices of the graph are set by edges connecting the vertices of the graph. Moreover, the edges of the graph can be unidirectional, allowing movement between the vertices of the graph in only one direction and bidirectional, allowing direct and reverse movement between the connected vertices of the graph.
- the cross-country graph of an industrial manipulator is calculated at the stage of system design.
- key points are set (which are the vertices of the graph) at which the industrial manipulator must perform useful actions (as an example, such actions can be capturing objects / manipulating objects / welding, etc.).
- waypoints are generated in semi-automatic mode, which are also the vertices of the graph, which are necessary for constructing the movement paths between key points. All possible options for moving the manipulator between the vertices of the graph (edges of the graph) are generated automatically, connecting all the vertices of the graph.
- the industrial manipulator moves between the key points of the graph needed to do useful work.
- the industrial manipulator moves cyclically or can move along a time-varying route based on measured parameters (for example, the proximity of a person).
- Step 620 obtain at least one RGB image and at least one depth map from at least one camera aimed at the working area of the industrial manipulator.
- At least one optical camera is directed to the working area of the manipulator (Figs. 3-170).
- optical cameras cameras are used that provide an RGB image and a depth map (the distance to objects in the working area), which is then used to analyze the location of obstacles relative to the position of the industrial manipulator.
- the depth map is a two-dimensional single-channel image containing information about the distance from the plane of the sensor (or camera) to the objects in the scene. It is created, for example, using active or passive 3D scanners, for example, the Microsoft Kinect® system, which consists of an infrared projector, an RGB camera and a depth sensor.
- the distance to various points in the scene is estimated by measuring the relative displacement of the points projected. the projector in the image from the infrared camera.
- projected points may not be found, which leads to defects - these can be lost and distorted depths, random noise, uneven edges and surfaces of objects, as well as incorrectly measured depths for some materials with mirror or fine-grained surfaces.
- there are many methods for filling areas of the depth map which are based on image reconstruction algorithms.
- Step 630 segment each received RGB image by using a deep convolutional neural network that determines which pixel of the image refers to a person.
- a computer vision algorithm based on deep convolutional neural networks and described in the information source [1] uses an RGB image from a camera as input, segments the input image, determining which pixels from A common set of input image refers to a person or several (if one is present in the camera visibility range). Segmentation refers to the use of a trained neural network that receives an RGB image at the input and generates the same image at the output, with pixel-by-pixel pixel belonging to one or another class (person, cat, train, computer, etc.). It is also possible to use an algorithm based on a source of information [2], using an RGB image and a depth map as input, resulting in information about bounding boxes (the box around the object) of each person present in the frame (the term “bounding box” ").
- u is the pixel index along the x axis
- v is the pixel index along the y axis
- Yu x, y, z is the position of the transformed point in 3D space
- k is the camera’s internal matrix (English “intrinsic matrix”) obtained as a result of camera calibration, or obtained from the camera manufacturer
- d (u, v) is the range of the corresponding pixel on depth map.
- Step 640 form a cloud of points of at least one person by converting each pixel related to the person and the remoteness of that pixel in the depth map.
- the processing of a point cloud may be used, in particular the removal of “garbage” points caused by interference during shooting, the removal of moving objects, and the like.
- the points are imported from popular interchange formats (LAS, BIN, PTS, PTX, PCD, XYZ).
- Step 650 determine the distance of each three-dimensional point from the generated point cloud to each vertex of the virtual cross-country graph of the industrial manipulator.
- the virtual graph control algorithm receiving point clouds at the input, checks the distance of each three-dimensional point, taking into account the assumption of a person’s movement, based on the person’s previous position and parameter D (as shown in Fig. 2) - the distance that the person has traveled from the previous cycle of the algorithm, from a cloud of points to each vertex of a virtual graph, comparing this distance with a threshold value.
- Step 660 a threshold value of the allowable distance between the person and the points of operation of the industrial manipulator is obtained.
- This value (for example, in the range of 850mm - 1100mm), is determined by GOST ISO 13857-2012, and is considered safe for humans. In some embodiments of the technical solution, this threshold value may change during the operation of the technical solution, or set in advance and not change during the operation of the industrial manipulator.
- Step 670 the specific distance of each three-dimensional point of the point cloud and the threshold value are compared, and if the distance is less than the threshold, the vertex of the graph along with all outgoing edges is temporarily removed from the virtual cross-country graph and the graph is rebuilt
- the vertex of the graph along with all outgoing edges is temporarily removed from the virtual cross-country graph (only those vertices and edges that are considered safe, that is, the distance to which are greater than the threshold) remain, restored only if if, in subsequent iterations / cycles of the algorithm, the condition that led to this vertex being deleted is not fulfilled, as shown in Fig Za, Fig Zb
- a light-noise alarm can be used to notify a person of a change in the trajectory of the manipulator.
- a light-noise alarm can include: an alarm with some kind of sound, a change in the color of the surface visible to a person in the working area of the manipulator, displaying the current state of the traffic graph on the monitor screen, projecting the current state of the traffic graph using a projector.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
Данное техническое решение относится к способам и системам избегания столкновений промышленного робота-манипулятора с человеком, который находится в рабочей зоне манипулятора. В заявленном способе формируют виртуальные графы проходимости промышленного манипулятора; получают RGB изображения и карты глубины из камер, направленных на рабочую зону промышленного манипулятора; сегментируют каждое полученное RGB изображение посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку; формируют облако точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к человеку, и удаленности этого пикселя в карте глубины; определяют расстояние каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора; получают значение расстояния между человеком и точками работы промышленного манипулятора; сравнивают определенное расстояние каждой трехмерной точки облака точек и пороговое значение, причем если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается.
Description
СПОСОБ И СИСТЕМА ПРЕДИКТИВНОГО ИЗБЕГАНИЯ СТОЛКНОВЕНИЯ
МАНИПУЛЯТОРА С ЧЕЛОВЕКОМ
ОБЛАСТЬ ТЕХНИКИ
[001] Данное техническое решение в общем относится к области вычислительной техники, а в частности к способам и системам избегания столкновений промышленного робота-манипулятора с человеком, который находится в рабочей зоне манипулятора.
УРОВЕНЬ ТЕХНИКИ
[002] Наиболее близким к заявленному техническому решению является метод предотвращения столкновений, основанный на измерении расстояния между промышленным роботом и потенциальным объектом коллизии (патентная заявка DE 102016200455А1 «Security apparatus and method for the safe operation of a robot»). Отличием описанного метода от заявленного способа является возможность изменения пути перемещения робота в зависимости от положения человека, а в случае приближения человека к роботу на расстояние меньшее чем радиус виртуальной зоны безопасности, робот должен полностью остановиться и ожидать пока человек не покинет опасную зону, поскольку все допустимые пути перемещения робота будут исключены из графа проходимости. Кроме того, поскольку заявленный способ учитывает будущее положение человека, она имеет больший уровень безопасности, и позволяет учитывать запаздывание реакции системы на быстрое перемещение человека в рабочей зоне робота.
[003] Близким к заявленному решению является устройство контроля зоны безопасности (патентная заявка DE102005011143A1). Отличием от предложенного способа является то, что устройство не позволяет сохранять частичную производительность робота перемещаясь по доступным вершинам графа проходимости, когда человек находится в рабочей зоне робота. Кроме того, поскольку предлагаемый способ учитывает будущее положение человека, он имеет больший уровень безопасности, и позволяет учитывать запаздывание реакции системы на быстрое перемещение человека в рабочей зоне робота.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[004] Решаемой технической проблемой или технической задачей является обеспечение предиктивного избегания столкновения промышленного манипулятора с человеком.
[005] Техническим результатом, достигаемым при решении вышеуказанной задачи, является повышение уровня безопасности работы персонала вблизи промышленного манипулятора.
[006] Дополнительным результатом является снижение времени простоя роботизированной системы за счёт отсутствия необходимости остановки промышленного манипулятора, при нахождении человека в рабочей зоне промышленного манипулятора, что обеспечивает повышение производительности и отказоустойчивости роботизированной системы.
[007] Указанный технический результат достигается благодаря осуществлению способа предиктивного избегания столкновения манипулятора с человеком, выполняемый вычислительным устройством и в котором формируют по меньшей мере один виртуальный граф проходимости промышленного манипулятора; получают по меньшей мере одно RGB изображение и по меньшей мере одну карту глубины из по меньшей мере одной камеры, направленной на рабочую зону промышленного манипулятора; сегментируют каждое полученное RGB изображение посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку; формируют облако точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к человеку, и удаленности этого пикселя в карте глубины; определяют расстояние каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора; получают значение расстояния между человеком и точками работы промышленного манипулятора; сравнивают определенное расстояние каждой трехмерной точки облака точек и пороговое значение, причем если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается.
[008] В некоторых вариантах реализации технического решения виртуальный граф проходимости формируют путем ввода координат узлов графа и их связей между собой в запись структуры JSON.
[009] В некоторых вариантах реализации технического решения при формировании виртуального графа указывают параметры действий промышленного манипулятора.
[0010] В некоторых вариантах реализации технического решения виртуальный граф проходимости формируют полностью или частично.
[0011] В некоторых вариантах реализации технического решения для формирования виртуального графа проходимости промышленного манипулятора используют заранее заданные данные и полученные в процессе работы промышленного манипулятора в режиме реального времени.
[0012] В некоторых вариантах реализации технического решения при удалении вершин графа или рёбер, соединяющих вершины графа, используется свето-шумовая сигнализация.
[0013] Также указанный технический результат достигается благодаря осуществлению системы предиктивного избегания столкновения манипулятора с человеком, которая содержит по меньшей мере один промышленный манипулятор, выполненный с возможностью перемещения по построенному виртуальному графу проходимости; по меньшей мере одна камера, направленная на рабочую зону промышленного манипулятора и выполненная с возможностью формирования по меньшей мере одного RGB изображения и по меньшей мере одной карты глубины рабочей зоны промышленного манипулятора; направления полученного по меньшей мере одного RGB изображения и по меньшей мере одной карты глубины рабочей зоны промышленного манипулятора на вычислительное устройство; по меньшей мере одно вычислительное устройство, выполненное с возможностью формирования по меньшей мере одного виртуального графа проходимости промышленного манипулятора; сегментирования каждого полученного RGB изображения посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку; формирования облака точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к
человеку, и удаленности этого пикселя в карте глубины; определения расстояния каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора; получения порогового значения допустимого расстояния между человеком и точками работы промышленного манипулятора; сравнения определенного расстояния каждой трехмерной точки облака точек и порогового значения, причем если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0014] Признаки и преимущества настоящего технического решения станут очевидными из приведенного ниже подробного описания и прилагаемых чертежей, на которых:
[0015] Фиг. 1 иллюстрирует набор устройств системы, реализующей описываемый способ, и необходимые потоки данных между ними. Блоки с тёмным фоном являются обязательными для реализации способа, блоки с светлым фоном являются возможными участниками, позволяющими повысить точность определения положения динамических объектов - датчики, дополнительные камеры, повысить информативность работы системы - устройства оповещения и повысить производительность системы - дополнительные манипуляторы. Линиями между блоками обозначены потоки данных между устройствами, а стрелками обозначены устройства потребители информации.
[0016] Фиг. 2-3 иллюстрируют архитектуру работы системы 110 - вершина графа, 120 - манипулятор, 130. а - ребро графа, 130.6 - исключенное ребро графа, 140 - рабочая зона робота, 150. а - виртуальная сфера безопасности, 150.6 - виртуальная сфера безопасности с учетом перемещения человека D, 160. а - предполагаемое положение человека, 160.6 - текущее положение человека, 170 - камера.
[0017] Фиг. 4 иллюстрирует возможные варианты перемещения манипулятору по участку графа, с учетом направленности рёбер графа. 120
- манипулятор, 110 - вершина графа, 130. а - ребро графа, 180. а - первый вариант перемещения, 180.6 - второй вариант перемещения.
[0018] Фиг. 5 иллюстрирует составные части графа проходимости. 120 - манипулятор, 110. а - ключевая точка (вершина графа), 110.6 - путевая точка (вершина графа), 131. а - однонаправленное ребро графа, 131.6 - двунаправленное ребро графа.
[0019] Фиг. 6 иллюстрирует пример реализации способ предиктивного избегания столкновения манипулятора с человеком, показанный в виде блок- схемы.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0020] В контексте настоящего описания, если четко не указано иное, «сервер» подразумевает под собой компьютерную программу, работающую на соответствующем оборудовании, которая способна получать запросы (например, от клиентских устройств) по сети и выполнять эти запросы или инициировать выполнение этих запросов. Оборудование может представлять собой один физический компьютер или одну физическую компьютерную систему, но ни то, ни другое не является обязательным для данной технологии. В контексте настоящей технологии использование выражения «сервер» не означает, что каждая задача (например, полученные инструкции или запросы) или какая-либо конкретная задача будет получена, выполнена или инициирована к выполнению одним и тем же сервером (то есть одним и тем же программным обеспечением и/или аппаратным обеспечением); это означает, что любое количество элементов программного обеспечения или аппаратных устройств может быть вовлечено в прием/передачу, выполнение или инициирование выполнения любого запроса или последствия любого запроса, связанного с клиентским устройством, и все это программное и аппаратное обеспечение может являться одним сервером или несколькими серверами, оба варианта включены в выражение «по меньшей мере один сервер».
[0021] В контексте настоящего описания, если четко не указано иное, термин «база данных» подразумевает под собой любой структурированный набор данных, не зависящий от конкретной структуры, программного обеспечения
по управлению базой данных, аппаратного обеспечения компьютера, на котором данные хранятся, используются или иным образом оказываются доступны для использования. База данных может находиться на том же оборудовании, которое выполняет процесс, который сохраняет или использует информацию, хранящуюся в базе данных, или же она может находиться на отдельном оборудовании, например, выделенном сервере или множестве серверов.
[0022] В контексте настоящего описания, если четко не указано иное, термин «информация» включает в себя любую информацию, которая может храниться в базе данных. Таким образом, информация включает в себя, среди прочего, аудиовизуальные произведения (изображения, видео, звукозаписи, презентации и т.д.), данные (данные о местоположении, цифровые данные и т.д.), текст (мнения, комментарии, вопросы, сообщения и т.д.), документы, таблицы и т.д.
[0023] При описании способа и системы предиктивного избегания столкновения манипулятора с человеком использованы следующие термины и определения, приведенные ниже для понимания сущности технического решения.
[0024] Предиктивное избегание столкновения - заблаговременное избегание столкновения основываясь на предположении о вероятности его возникновения с учетом запланированного пути перемещения.
[0025] Промышленный робот - автоматическая машина, состоящая из манипулятора и устройства программного управления его движением, предназначенная для замены человека при выполнении основных и вспомогательных операций в производственных процессах.
[0026] Манипулятор - совокупность пространственного рычажного механизма и системы приводов, осуществляющая под управлением программируемого автоматического устройства или человека-оператора действия (манипуляции), аналогичные действиям руки человека.
[0027] Рабочая зона промышленного манипулятора - расстояние от крайней точки рабочего органа в виде захватывающего устройства или технологического инструмента до основания манипулятора либо заданная, в устройство программного управления, человеком трехмерная область пространства.
[0028] Граф проходимости манипулятора - направленный граф, который в качестве вершин графа содержит координаты в трехмерном пространстве и необходимую устройству программного управления промышленного робота, информацию для достижения данного положения.
[0029] Промышленный манипулятор, выполняя заранее предопределенный алгоритм работы, например, перемещая объекты с одного конвейера на другой, перемещается в рамках его рабочей зоны, как показано на Фиг. 2 - 130. Реализация промышленного манипулятора в данном техническом решении может быть использована любая, не ограничиваясь.
[0030] Способ предиктивного избегания столкновения манипулятора с человеком подробно показан по вычислительным шагам на Фиг. 6 в виде блок-схемы и включает следующие шаги.
[0031] Шаг 610: формируют по меньшей мере один виртуальный граф проходимости промышленного манипулятора.
[0032] Для определения пути перемещения промышленного манипулятора, с использованием специализированных библиотек программного кода, исполняемых на локальном вычислительном устройстве, к которому подключён промышленный манипулятор, и датчиков, позволяющих получить информацию о состоянии объектов в рабочей зоне манипулятора, например датчики прерывания луча типа световые барьеры, позволяющие получить информацию о пересечении объектом линии, или датчики расстояния, позволяющие получать информацию о текущем расстоянии до объекта, формируют виртуальный граф проходимости, а его отображение в виде схемы или рисунка может быть выведено на дисплее вычислительного устройства, являющийся программной интерпретацией алгоритма работы промышленного манипулятора, как показано на Фиг. 3 - 110, 130.а.
[0033] В качестве промышленного манипулятора, используемого в данном техническом решении, может использоваться любой манипулятор, например, мобильный манипулятор на приводном основании, или подвесной потолочный манипулятор, или пневмо-управляемый промышленный манипулятор с жёстким рычажным механизмом и т.д., не ограничиваясь.
[0034] Граф формируется заранее, путем ввода координат и связей пользователем, например запись в файл структуры типа JSON списка именованных координат в трехмерном пространстве с необходимыми
параметрами действий, например «открыть захват на заданную величину», и списка связей между именованными координатами с необходимыми флагами направления и параметрами перемещения, например скорость движения, ускорение движения, ограничение на применяемое усилие, вид движения (например вдоль линии, аппроксимируя движение по скорости углов поворота звеньев, по окружности), который используется программа управления промышленным роботом, либо с помощью библиотек программного кода, позволяющих автоматизировать данный процесс, на этапе проектирования работы промышленного манипулятора для решения конкретной задачи выполнения полезной работы. Некоторые способы, например, описываемый способ, изменения или генерирования графа проходимости, заложенные в алгоритм работы библиотек программного кода также позволяют генерировать граф проходимости как полностью, так и частично, изменяя координаты или параметры действий узлов графа, изменяя направление или параметры перемещения ребер графа в процессе работы манипулятора для достижения большей производительности и безопасности при выполнении полезной работы. При этом при расчете графа используется информация как предопределенная на этапе проектирования, например ключевые координаты, действия необходимые для выполнения полезной работы, ограничения рабочей зоны, ограничения скорости перемещения, ограничения ускорения, так и информация, полученная в процессе работы манипулятора с использованием внешних датчиков, предоставляющих информацию об изменении положения и физических параметров объектов, с которыми манипулятор взаимодействует, либо которые могут находится на пересечении с его траекториями перемещения согласно графу проходимости. Возможные варианты перемещения манипулятора между вершинами графа задаются рёбрами, соединяющими вершины графа. При этом ребра графа могут быть однонаправленным, допускающим перемещение между вершинами графа только в одну сторону и двунаправленным, допускающим прямое и обратное перемещение между связываемыми вершинами графа.
[0035] Граф проходимости промышленного манипулятора рассчитывается на этапе проектирования системы. В первую очередь в трехмерном пространстве относительно выбранной системы координат, например, базы
или места крепления промышленного манипулятора, задаются ключевые точки (являющиеся вершинами графа), в которых промышленный манипулятор должен совершать полезные действия (в качестве примера такими действиями могут быть захват объектов/ манипуляция с объектами/ сварка и т. д.). Затем, в зависимости от наличия и положения посторонних статических объектов вокруг манипулятора (конвейер, линия подачи, стойка промышленного манипулятора), в полуавтоматическом режиме генерируются путевые точки, также являющиеся вершинами графа, которые необходимы для построения путей перемещения между ключевыми точками. Все возможные варианты перемещения манипулятора между вершинами графа (ребра графа) генерируются автоматически, соединяя все вершины графа.
[0036] Промышленный манипулятор перемещается между ключевыми точками графа, необходимыми для совершения полезной работы. В некоторых вариантах реализации промышленный манипулятор перемещается циклически или может перемещаться по изменяемому во времени маршруту на основании измеряемых параметров (например, приближение человека).
[0037] Шаг 620: получают по меньшей мере одно RGB изображение и по меньшей мере одну карту глубины из по меньшей мере одной камеры, направленной на рабочую зону промышленного манипулятора.
[0038] На рабочую зону манипулятора направлено не менее одной оптической камеры (Фиг. 3 - 170). В качестве оптических камер используются камеры, предоставляющие RGB изображение и карту глубины (дальность до объектов, находящихся в рабочей зоне), которая используется далее для анализа местоположения препятствий относительно позиции промышленного манипулятора.
[0039] Карта глубины представляет собой двумерное одноканальное изображение, содержащее информацию о расстоянии от плоскости сенсора (или камеры) до объектов сцены. Она создается, например, с помощью активных или пассивных 3D сканеров, например, системой Microsoft Kinect®, которая состоит из инфракрасного проектора, RGB камеры и датчика глубины. Оценка расстояния до различных точек сцены производится с помощью измерения относительного смещения точек, проецируемых
проектором на изображении с инфракрасной камеры. В ряде случаев спроецированные точки могут быть не найдены, что приводит к появлению дефектов - это могут быть потерянные и искаженные значения глубины, случайный шум, неравномерные края и поверхности объектов, а также неверно измеренные значения глубины для некоторых материалов с зеркальными или мелкозернистыми поверхностями. В уровне техники существует множество методов заполнения областей карты глубины, которые основаны на алгоритмах реконструкции изображений.
[0040] Шаг 630: сегментируют каждое полученное RGB изображение посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку.
[0041] Используя эти данные (RGB и карту глубины), алгоритм компьютерного зрения, основанный на глубоких сверточных нейронных сетях и описанный в источнике информации [1], использует в качестве входных данных RGB изображение с камеры, сегментирует входное изображение, определяя какие пиксели из общего набора входного изображения относятся к человеку или нескольким (если таковой присутствует в зоне видимости камеры). Под сегментированием понимается применение обученной нейронной сети, получающей на входе RGB изображение, а на выходе формирующую то же изображение, с попиксельно помеченной принадлежностью пикселя к тому или иному классу (человек, кот, поезд, компьютер и т.д.). Также возможно использование алгоритма, основанного на источнике информации [2], использующего в качестве входных данных RGB изображение и карту глубины, в результате дающего информацию о ограничивающих параллелепипедах (параллелепипед, описанный вокруг объекта) каждого человека, присутствующего в кадре (англ термин «bounding box»).
[0042] Алгоритм сопоставления каждого пикселя изображения из сегментированной RGB картинки, относящийся к человеку, и удалённости этого пикселя в карте глубины, преобразовывает каждый пиксель, относящийся к человеку, преобразуется в трехмерную точку согласно формуле:
[x,y, z]T = inv(k) * [u, v, 1]т * d
где u - индекс пикселя по оси х, v - индекс пикселя по оси у,
ю
x,y,z - положение преобразованной точки в 3D пространстве, к - внутренняя матрица (англ . «intrinsic matrix») камеры, получаемая в результате калибровки камеры, или получаемая от производителя камеры, d(u,v) — дальность соответствующего пикселя на карте глубины.
[0043] Шаг 640: формируют облако точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к человеку, и удаленности этого пикселя в карте глубины.
[0044] Поэлементно сопоставляя каждый пиксель, относящийся к человеку и удалённости этого пикселя в карте глубины, получают представление человека (в случае его попадания в зону видимости камеры) в виде облака точек (англ «point cloud»).
[0045] В некоторых вариантах реализации может использоваться обработка облака точек, в частности удаление «мусорных» точек, вызванных помехами при съемке, удаление перемещающихся объектов и т.п.
[0046] В некоторых вариантах реализации изобретения осуществляют импорт точек из популярных форматов обмена (LAS, BIN, PTS, РТХ, PCD, XYZ).
[0047] Шаг 650: определяют расстояние каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора.
[0048] Алгоритм управления виртуальным графом, получая на вход облака точек, проверяет расстояние каждой трехмерной точки, с учётом предположения о движении человека, основываясь на предыдущем положении человека и параметре D (как показано на Фиг. 2) - расстояние которое человек прошёл с предыдущего цикла алгоритма, из облака точек, до каждой вершины виртуального графа, сравнивая это расстояние с пороговым значением.
[0049] Шаг 660: получают пороговое значение допустимого расстояния между человеком и точками работы промышленного манипулятора.
[0050] Данное значение (например, в диапазоне 850мм - 1100мм), определяется ГОСТ ISO 13857-2012, и считается безопасным для человека. В некоторых вариантах реализации технического решения данное пороговое значение может изменяться в процессе работы технического решения, или
задаваться заранее и не изменяться в процессе работы промышленного манипулятора.
[0051] Шаг 670: сравнивают определенное расстояние каждой трехмерной точки облака точек и пороговое значение, причем если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается
[0052] Если расстояние меньше порогового значения - вершина графа вместе со всем исходящими ребрами временно удаляются из виртуального графа проходимости (остаются только те вершины и рёбра, которые считаются безопасными, т.е. расстояние до которых больше порога), восстанавливаясь только в том случае, если в последующих итерациях/циклах работы алгоритма не будет выполнено условие, приведшее эту вершину к удалению, как показано на Фиг З.а, Фиг З.б. Тем самым исключается возможность перемещения манипулятора по опасной для человека траектории и столкновения промышленного манипулятора с человеком, сохраняется при этом частичная производительность, позволяющая перемещаться манипулятору по той части виртуального графа, которая не вошла в опасную зону для человека, либо перемещаться по динамически сгенерированной части графа или созданному новому графу при помощи специализированной библиотеки программного кода на основании полученной, в ходе работы манипулятора, информации от датчиков, расположенных в рабочей зоны и выполнять полезную работу используя не исключенные вершины и ребра виртуального графа в качестве навигации при достижении необходимых для выполнения работы координат.
[0053] При удалении вершин графа, либо рёбер, соединяющих вершины графа, может использоваться свето-шумовая сигнализация, оповещающая человека об изменении траектории движения манипулятора. Свето-шумовая сигнализация может включать в себя: сигнализацию каким-либо звуком, изменение цвета поверхности, видимой человеку, находящемуся в рабочей зоне манипулятора, выводом текущего состояния графа проходимости на экран монитора, проецированием текущего состояния графа проходимости при помощи проектора.
ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ ИНФОРМАЦИИ
[0054] 1. Chen L. C. et al. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs //IEEE transactions on pattern analysis and machine intelligence. - 2018. - T. 40. - Ns. 4. - C. 834- 848.
[0055] 2. Munaro M., Menegatti E. Fast RGB-D people tracking for service robots
//Autonomous Robots. - 2014. - T. 37. - Ns. 3. - C. 227-242.
Claims
1. Способ предиктивного избегания столкновения манипулятора с человеком, выполняемый вычислительным устройством и включающий следующие шаги:
• формируют по меньшей мере один виртуальный граф проходимости промышленного манипулятора;
• получают по меньшей мере одно RGB изображение и по меньшей мере одну карту глубины из по меньшей мере одной камеры, направленной на рабочую зону промышленного манипулятора;
• сегментируют каждое полученное RGB изображение посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку;
• формируют облако точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к человеку, и удаленности этого пикселя в карте глубины;
• определяют расстояние каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора;
• получают пороговое значение допустимого расстояния между человеком и точками работы промышленного манипулятора;
• сравнивают определенное расстояние каждой трехмерной точки облака точек и пороговое значение, причем
о если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается.
2. Способ по п.1 , характеризующийся тем, что виртуальный граф проходимости формируют путем ввода координат узлов графа и их связей между собой в запись в файл структуры типа JSON.
3. Способ по п.1 , характеризующийся тем, что при формировании виртуального графа указывают параметры действий промышленного манипулятора.
4. Способ по п.1 , характеризующийся тем, что виртуальный граф проходимости формируют полностью или частично.
5. Способ по п.1 , характеризующийся тем, что для формирования виртуального графа проходимости промышленного манипулятора используют заранее заданные данные и полученные в процессе работы промышленного манипулятора в режиме реального времени.
6. Способ по п.1 , характеризующийся тем, что при удалении вершин графа или рёбер, соединяющих вершины графа, используется свето-шумовая сигнализация.
7. Система предиктивного избегания столкновения манипулятора с человеком, содержащая:
• по меньшей мере один промышленный манипулятор, выполненный с возможностью перемещения по построенному виртуальному графу проходимости;
• по меньшей мере одна камера, направленная на рабочую зону промышленного манипулятора и выполненная с возможностью
о формирования по меньшей мере одного RGB изображения и по меньшей мере одной карты глубины рабочей зоны промышленного манипулятора;
о направления полученного по меньшей мере одного RGB изображения и по меньшей мере одной карты глубины рабочей зоны промышленного манипулятора на вычислительное устройство;
• по меньшей мере одно вычислительное устройство, выполненное с возможностью:
о формирования по меньшей мере одного виртуального графа проходимости промышленного манипулятора;
о сегментирования каждого полученного RGB изображения посредством использования глубокой сверточной нейронной сети, определяющей какой пиксель изображения относится к человеку;
о формирования облака точек по меньшей мере одного человека посредством преобразования каждого пикселя, относящегося к человеку, и удаленности этого пикселя в карте глубины;
о определения расстояния каждой трехмерной точки из сформированного облака точек до каждой вершины виртуального графа проходимости промышленного манипулятора;
о получения значения расстояния между человеком и вершинами графа проходимости промышленного манипулятора;
о сравнения определенного расстояния каждой трехмерной точки облака точек и порогового значения, причем
если расстояние меньше порогового, вершина графа вместе со всеми исходящими ребрами временно удаляется из виртуального графа проходимости и граф перестраивается.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018146647 | 2018-12-26 | ||
| RU2018146647A RU2685996C1 (ru) | 2018-12-26 | 2018-12-26 | Способ и система предиктивного избегания столкновения манипулятора с человеком |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020139105A1 true WO2020139105A1 (ru) | 2020-07-02 |
Family
ID=66314771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/RU2018/000876 WO2020139105A1 (ru) | 2018-12-26 | 2018-12-26 | Способ и система предиктивного избегания столкновения манипулятора с человеком |
Country Status (2)
| Country | Link |
|---|---|
| RU (1) | RU2685996C1 (ru) |
| WO (1) | WO2020139105A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139983A (zh) * | 2021-05-17 | 2021-07-20 | 北京华捷艾米科技有限公司 | 一种基于rgbd的人像分割方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004026814A1 (de) * | 2004-06-02 | 2005-12-29 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts |
| EP1901151B1 (en) * | 2006-09-14 | 2010-02-24 | Abb Research Ltd. | A method and a device for avoiding collisions between an industrial robot and an object |
| US20130063566A1 (en) * | 2011-09-14 | 2013-03-14 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| KR101329853B1 (ko) * | 2012-11-14 | 2013-11-14 | 고려대학교 산학협력단 | 머니퓰레이터 충돌 감지 장치와 이를 이용한 머니퓰레이터 제어 장치 및 제어 방법 |
| US8660694B2 (en) * | 2008-04-29 | 2014-02-25 | Winfried Lurz | Method for computer-aided movement planning of a robot |
| US20170043483A1 (en) * | 2015-08-11 | 2017-02-16 | Empire Technology Development Llc | Incidental robot-human contact detection |
| US9694497B2 (en) * | 2012-07-10 | 2017-07-04 | Siemens Aktiengesellschaft | Robot arrangement and method for controlling a robot |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5323470A (en) * | 1992-05-08 | 1994-06-21 | Atsushi Kara | Method and apparatus for automatically tracking an object |
| US8346512B2 (en) * | 2006-08-04 | 2013-01-01 | Cmte Development Limited | Collision avoidance for electric mining shovels |
| CA2817072C (en) * | 2010-11-08 | 2019-03-19 | Cmte Development Limited | A collision avoidance system and method for human commanded systems |
| US9092698B2 (en) * | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
| US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
| RU2580466C1 (ru) * | 2014-12-30 | 2016-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") | Устройство восстановления карты глубины сцены |
| CN110914829A (zh) * | 2017-04-07 | 2020-03-24 | 英特尔公司 | 使用改进的卷积神经网络用于图像处理的方法和系统 |
-
2018
- 2018-12-26 WO PCT/RU2018/000876 patent/WO2020139105A1/ru active Application Filing
- 2018-12-26 RU RU2018146647A patent/RU2685996C1/ru active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004026814A1 (de) * | 2004-06-02 | 2005-12-29 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts |
| EP1901151B1 (en) * | 2006-09-14 | 2010-02-24 | Abb Research Ltd. | A method and a device for avoiding collisions between an industrial robot and an object |
| US8660694B2 (en) * | 2008-04-29 | 2014-02-25 | Winfried Lurz | Method for computer-aided movement planning of a robot |
| US20130063566A1 (en) * | 2011-09-14 | 2013-03-14 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| US9694497B2 (en) * | 2012-07-10 | 2017-07-04 | Siemens Aktiengesellschaft | Robot arrangement and method for controlling a robot |
| KR101329853B1 (ko) * | 2012-11-14 | 2013-11-14 | 고려대학교 산학협력단 | 머니퓰레이터 충돌 감지 장치와 이를 이용한 머니퓰레이터 제어 장치 및 제어 방법 |
| US20170043483A1 (en) * | 2015-08-11 | 2017-02-16 | Empire Technology Development Llc | Incidental robot-human contact detection |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139983A (zh) * | 2021-05-17 | 2021-07-20 | 北京华捷艾米科技有限公司 | 一种基于rgbd的人像分割方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2685996C1 (ru) | 2019-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7345504B2 (ja) | Ｌｉｄａｒデータと画像データの関連付け | |
| US11216971B2 (en) | Three-dimensional bounding box from two-dimensional image and point cloud data | |
| CN110363058B (zh) | 使用单触发卷积神经网络的用于避障的三维对象定位 | |
| US10195741B2 (en) | Controlling a robot in the presence of a moving object | |
| WO2019179464A1 (zh) | 用于预测目标对象运动朝向的方法、车辆控制方法及装置 | |
| JP6494331B2 (ja) | ロボット制御装置およびロボット制御方法 | |
| Weikersdorfer et al. | Event-based particle filtering for robot self-localization | |
| KR20190062171A (ko) | 자율 머신에서의 오작동 센서의 딥 러닝 기반의 실시간 검출 및 수정 | |
| CN105094005A (zh) | 光学区域监测与工业机器控制的集成 | |
| CN108475058A (zh) | 用于使用视觉和距离传感器数据来实现快速且可靠的接触时间估计以便进行自主导航的系统和方法 | |
| EP4246437A1 (en) | Method and apparatus for detecting motion information of target, and device and medium | |
| KR101864127B1 (ko) | 무인 차량을 위한 주변 환경 매핑 방법 및 장치 | |
| Hermann et al. | Anticipate your surroundings: Predictive collision detection between dynamic obstacles and planned robot trajectories on the GPU | |
| EP3839817A2 (en) | Generating and/or using training instances that include previously captured robot vision data and drivability labels | |
| O’Mahony et al. | Computer vision for 3d perception: a review | |
| JP2022548009A (ja) | 物体移動システム | |
| César | Human perception inside of a self-driving robotic car | |
| Boschetti et al. | 3D collision avoidance strategy and performance evaluation for human–robot collaborative systems | |
| Manns et al. | Identifying human intention during assembly operations using wearable motion capturing systems including eye focus | |
| RU2685996C1 (ru) | Способ и система предиктивного избегания столкновения манипулятора с человеком | |
| Będkowski et al. | Methodology of control and supervision of web connected mobile robots with cuda technology application | |
| Kozamernik et al. | Visual quality and safety monitoring system for human-robot cooperation | |
| Chen et al. | Mobile asset tracking for dynamic 3D crane workspace generation in real time | |
| Al-Shanoon et al. | DeepNet‐Based 3D Visual Servoing Robotic Manipulation | |
| Zabalza et al. | Making industrial robots smarter with adaptive reasoning and autonomous thinking for real-time tasks in dynamic environments: A case study |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18944582 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18944582 Country of ref document: EP Kind code of ref document: A1 |