WO2020216570A1 - Verfahren und system zur überwachung einer roboteranordnung - Google Patents

Verfahren und system zur überwachung einer roboteranordnung Download PDF

Info

Publication number
WO2020216570A1
WO2020216570A1 PCT/EP2020/058451 EP2020058451W WO2020216570A1 WO 2020216570 A1 WO2020216570 A1 WO 2020216570A1 EP 2020058451 W EP2020058451 W EP 2020058451W WO 2020216570 A1 WO2020216570 A1 WO 2020216570A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
arrangement
signal sources
optical signals
sensor
Prior art date
Application number
PCT/EP2020/058451
Other languages
English (en)
French (fr)
Inventor
Albrecht Hoene
Elisabeth SCHÄRTL
Markus WUENSCH
Original Assignee
Kuka Aktiengesellschaft
Kuka Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuka Aktiengesellschaft, Kuka Deutschland Gmbh filed Critical Kuka Aktiengesellschaft
Priority to KR1020217037909A priority Critical patent/KR20220002407A/ko
Priority to EP20716721.4A priority patent/EP3959047A1/de
Priority to US17/606,284 priority patent/US20220314454A1/en
Priority to CN202080040308.2A priority patent/CN113905854B/zh
Publication of WO2020216570A1 publication Critical patent/WO2020216570A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/144—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using light grids
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4061—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37631—Means detecting object in forbidden zone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Definitions

  • the present invention relates to a method and a system for monitoring a robot arrangement which has at least one robot, as well as a
  • the object of the present invention is to monitor a
  • Claims 9, 10 provide a system or computer program product
  • Triggering a monitoring reaction if a discrepancy between an actual arrangement of the detected optical signals and a (predicted) target arrangement of these signals results in a one-dimensional or multi-dimensional limit value exceeds, in particular at least a predetermined minimum number of signals of the desired arrangement is not present in the actual arrangement of the detected optical signals, this minimum number being equal to one in one embodiment, greater than one and / or less than 10 in one embodiment, or this is determined.
  • the target arrangement of the signals which is predicted or assumed for a state without unexpected obstacles, is to be compared with a recorded actual arrangement. If one or at least the specified minimum number of the optical signals provided in the target arrangement or predicted by them are not present, this may be due to the fact that
  • an unexpected obstacle interrupts the optical path (on which the target arrangement is based) between the signal source (s) and sensor (s).
  • the robot arrangement has one or more robots, in particular one or more stationary robots and / or one or more mobile robots, which in one embodiment (each) have a robot arm with at least three, in particular at least six, in one Design have at least seven joints, in particular swivel joints, it can in particular consist of this. Because of its working spaces and processes, the present invention can be used with particular advantage for monitoring such robot arrangements.
  • one or more of the signal sources are active (emitting) signal sources that light the optical signals, in one embodiment laser light and / or visible laser light, infrared (laser) light and / or UV-laser light , (actively) emit.
  • the monitoring can advantageously be carried out reliably, particularly even in poor (more) light conditions.
  • one or more of the signal sources are passive (or only reflecting ⁇ signal sources, which (in each case), in particular in a targeted manner, directed in one embodiment and / or (only) at predetermined times, by one or more
  • Light sources are illuminated with light, in one embodiment laser light and / or visible L (laser) light, infrared (laser) light and / or UV-L (laser) light, and reflect this as an optical signal.
  • these signal sources can be made smaller in one embodiment and / or an energy supply for signal sources positioned on the robot arrangement can be dispensed with.
  • both (active) emitting and (passive) reflecting are generally referred to as emitting (of the optical signals by the (corresponding) signal source (s)) for a more compact representation.
  • one or more of the signal sources (each) have one or more LEDs and / or laser pointers. In this way, particularly advantageous optical signals can be used in one embodiment.
  • one or more (optical) deflection means are or are in one embodiment in an optical path between one or more of the signal sources and the or one or more of the sensors (in each case planned or targeted) , arranged the light redirect between signal source and sensor or are set up for this or
  • these sensors can also be used to see covered areas, as is the case, for example, from ceiling mirrors
  • the robot arrangement By positioning the signal sources and / or the sensor (s) on the robot arrangement, in particular its robot (s), the
  • the robot arrangement can advantageously be monitored in different positions.
  • signal sources are or will be positioned on, in particular on, the robot arrangement, in particular its robot (s).
  • the or one or more of the sensors can be positioned at a distance from the robot arrangement or on the environmental side, in particular fixed, and thus observe the robot arrangement from the outside, so to speak.
  • the or one or more of the sensors can in turn (likewise) be positioned on the robot arrangement, in particular its robot (s), so that the robot arrangement can, so to speak, observe itself.
  • a sensor which is arranged on a limb, for example a base, of a robot can detect optical signals from a signal source on another limb, for example an end effector, of this robot and thus obstacles between the two limbs or base and end effector be recognized.
  • the or one or more of the sensors are or will be positioned on the robot arrangement, in particular its robot (s). Then, in one embodiment, as described above, one or more of the signal sources can in turn be (also) positioned on the robot arrangement, in particular its robot (s), so that the robot arrangement can, so to speak, observe itself and look for obstacles between his limbs can react.
  • one or more of the signal sources can then also be or be fixedly positioned at a distance from the robot arrangement or on the environmental side, in particular fixed, so that, conversely, the surroundings can be observed from the robot arrangement.
  • Robot arrangement not dynamically loaded.
  • Positioning of signal sources and positioning of sensors on the robot arrangement can advantageously be monitored according to the invention by means of robot-guided sensors.
  • the or one or more of the sensors can (each) be one or more
  • the (target or actual arrangement of the) optical signals can in particular be one or more, in one embodiment two- or three-dimensional, (target or actual) images or, in one embodiment two- or three-dimensional, ( Target or actual) images of the corresponding
  • unexpected obstacles based on the images of the signal sources covered by these obstacles in such images or signals of the target arrangement that are not present in the actual arrangement of the captured optical signals can be particularly advantageous, in particular reliable (more) and / or simple ( he), be recognized.
  • Monitoring can be implemented very sensitively and / or with a few (more) n signal sources, With a minimum number of two or more signals of the desired arrangement that are not present in the actual arrangement of the detected optical signals, monitoring is less susceptible to interference, in particular when there are several or more closely positioned
  • one or more captured actual images of the signal sources are compared with one or more predicted target images of these signal sources and a monitoring reaction is triggered if the minimum number of in the actual image (s) is (are) in the Target images, existing or seen signal source images are missing.
  • the target arrangement in particular the (target) image or images, is or is determined (relative) to one another on the basis of or as a function of a determined position of the signal sources and the sensor or sensors (relative) to one another, in particular predicted .
  • the target arrangement in particular the target image or images, is or is based on or depending on a determined position of the robot arrangement, in particular its robot, and / or a predetermined or determined position of the signal sources and of the sensor (relative) to the
  • Robot arrangement determined.
  • the position of the robot arrangement can be based on, in one embodiment by means of joint sensors, measured joint positions
  • Robot arrangement can be determined.
  • Robot assembly the position of positioned on the robot assembly
  • Signal sources and / or sensors are determined, in one embodiment based on a known position of these positioned on the robot arrangement
  • Signal sources or sensors to or on, in particular on, the robot arrangement this position being or is predetermined in one embodiment, in particular by the signal sources or sensors being specifically at a predetermined position, in particular, the robot arrangement, in particular its robot (s), are or are positioned.
  • signal sources positioned or spaced apart from it or on the ambient side and / or a position of the or one or more of the sensors positioned on the robot arrangement or spaced apart therefrom or on the ambient side are determined (relative) to the robot arrangement, in one embodiment by means of triangulation , in particular with the aid of the detected optical signals, or the like.
  • Target arrangement of the optical signals in particular the target image or images of the signal sources, determined on the basis of a kinematic and / or optical model, which in one embodiment shows a relationship between positions of the optical signals
  • the model can have or take into account optical paths between the signal sources and the sensor (s) and / or an environment, in particular provided or known obstacles, of the robot arrangement.
  • the model can be determined, in particular parameterized, theoretically and / or empirically, in particular with the aid of learning runs of the robot arrangement.
  • the position of this camera relative to the robot can also be determined from this by means of triangulation. This also applies vice versa for a robot-guided camera and signal sources on the ambient side. Then the image of the signal sources can be predicted for other positions of the robot that the camera at would not have to capture optical paths disturbed by unexpected obstacles, and this should be compared with the actually captured image.
  • the desired arrangement of the optical signals can be advantageously determined in one embodiment, in particular in combination of at least two of the aforementioned features, in particular precisely and / or dynamically or up-to-date.
  • one or more of the signal sources in one development, non-destructively releasable, in particular form-fitting and / or frictional, or non-non-destructively releasable, in particular cohesively, are attached to a cover, which in turn, in a further development, non-destructively releasable, in particular positively and / or frictionally, or non-destructively releasable, in particular cohesively, on the robot arrangement, in particular its robot (s) is or will be attached.
  • the signal sources in one embodiment can be advantageously, in particular simply and / or precisely positioned on the robot arrangement and / or alternatively used for different robot (arrangements), in one embodiment, so to speak, in a kind of “safety vests”.
  • the actual arrangement is, in particular, based on a
  • the acquired optical signals can then be isolated by subtraction and thus compared particularly well with the corresponding target arrangement.
  • the actual arrangement can be determined on the basis of a difference image between a captured image with emitted optical signals and a captured image without emitted optical signals, in particular have, in particular be such.
  • the optical signals have one or more of the signal sources in one embodiment, in one embodiment
  • Signal sources different, in particular robot (member) specific, optical signals.
  • two or more of the signal sources have different geometries, brightnesses and / or colors for this purpose.
  • these signal sources can have different optical codes, in particular QR codes.
  • these different optical signals have predefined time patterns that are different from one another, in particular transmission times; in one embodiment, two or more of the signal sources transmit their optical signals in a predefined sequence.
  • errors and / or interference from the environment can be (further) reduced in an embodiment.
  • the probability that instead of an optical signal from a signal source that emits a specific optical signal but is covered by an unforeseen obstacle, an optical signal other than the signal corresponding to the target arrangement can be reduced.
  • the monitoring reaction in particular its type and / or its triggering, depends on a number and / or a location of non-existent signals of the desired arrangement in the actual arrangement.
  • Signals in particular at least two signals, and / or absence of signals in a predetermined other range that is greater than the first range and / or of can be spaced from this, triggering a (second, in particular stronger or larger) monitoring reaction, in particular reducing a speed to a greater extent, in particular stopping the robot arrangement.
  • the monitoring reaction depends on a thermal radiation detection by the one or more of the sensor (s). In one embodiment, this allows advantageously between light sources and
  • the or a (type of) monitoring reaction can be a
  • Output of a in particular optical, acoustic and / or haptic, warning, a change in a predetermined movement of the robot arrangement, in particular in an evasive movement and / or a speed reduction
  • a stopping include, in particular be.
  • a robot-guided component interrupts, in particular in a planned manner, an optical path between at least one, in particular robot-side, signal source and the or at least one of the sensor (s).
  • a robot-controlled component can be illuminated or a missing component or an empty gripper can be signaled by a corresponding light spot in the vicinity.
  • a system in particular in terms of hardware and / or software, in particular in terms of programming, is set up to carry out a method described here and / or has:
  • One or more sensors that are set up or used to detect optical signals from several signal sources, the signal sources and / or the one or more of the sensor (s) on the
  • Robot assembly is / are positioned
  • the system or its means has: means for determining the desired arrangement on the basis of a determined position of the signal sources and the
  • Signal sources and the sensor to the robot arrangement and / or based on a kinematic and / or optical model.
  • a means within the meaning of the present invention can be designed in terms of hardware and / or software, in particular a processing, in particular microprocessor unit (CPU), graphics card (GPU), preferably a data or signal connected to a memory and / or bus system, in particular a digital processing unit ) or the like, and / or one or more programs or program modules.
  • CPU microprocessor unit
  • GPU graphics card
  • a means within the meaning of the present invention can be designed in terms of hardware and / or software, in particular a processing, in particular microprocessor unit (CPU), graphics card (GPU), preferably a data or signal connected to a memory and / or bus system, in particular a digital processing unit ) or the like, and / or one or more programs or program modules.
  • Processing unit can be designed to receive commands as one in one
  • a storage system can have one or more,
  • the program can be designed in such a way that it embodies or is able to execute the methods described here, so that the processing unit carries out the steps of such
  • a computer program product can have, in particular a non-volatile, storage medium for storing a program or with a program stored on it, wherein the execution of this program causes a system or a controller, in particular a computer, to create a to carry out the method described here or one or more of its steps.
  • the method is carried out completely or partially automatically, in particular by the system or its means.
  • the system has the robot arrangement and / or signal sources.
  • the desired and / or actual arrangement or image (s) can be two- or three-dimensional in one embodiment, the sensor (s) having, in particular, 3D cameras (systems).
  • the sensor (s) having, in particular, 3D cameras (systems).
  • distance information is obtained or used by means of L (ichtl) time measurements.
  • the reliability of the monitoring can be (further) improved, for example in that reflections at an obstacle that is not provided are not erroneously detected as an optical signal from a signal source positioned on the robot arrangement. Additionally or alternatively, this can improve the determination of the position of the sensor or camera system relative to the robot arrangement, in particular by triangulation or the like. Additionally or alternatively, in one embodiment, in particular in the case of a mobile or moving sensor, its current position can advantageously be determined in each case.
  • the, in particular current, position of the or one or more of the, in particular mobile, sensors relative to the, in particular mobile, robot arrangement is based on a distance, in particular
  • the desired arrangement in particular the desired image (s), of captured optical signals then based on this determined position of the sensor or sensors in relation to the
  • Robot arrangement determined.
  • 1 shows a system for monitoring a robot arrangement according to an embodiment of the present invention
  • 2 shows a method for monitoring the robot arrangement according to an embodiment of the present invention.
  • Fig. 1 shows a system for monitoring a robot arrangement according to a
  • the robot arrangement consists of a multi-jointed or multi-axis robot 10 with a stationary or mobile base 11, a carousel 12 rotatable on it about a vertical axis and a multi-jointed or multi-axis robot hand with a rocker 13, an arm 14 and an end effector 15.
  • Light sources in the form of laser pointers and / or LEDs 20, which have limb-specific colors and / or shapes and / or can be activated in specific time patterns, are positioned on limbs of robot 10.
  • step S10 These detect optical signals from the light sources 20 (FIG. 2: step S10), with a deflection mirror 200 being indicated by way of example in FIG. 1 in order to detect optical signals with the camera 30 (better).
  • the cameras 30 are signal-connected to a monitoring device 100, which can be integrated in a control of the robot 10 and, for example, thereby receives a position of the robot 10 or corresponding joint angles.
  • the monitoring device 100 uses a kinematic model to determine the current position of the light sources 20 positioned on the robot, their position in relation to or on the robot
  • the positions of the individual cameras 30 are also known in the monitoring device 100. These can for example have been determined in advance by means of triangulation from known positions of the light sources.
  • the monitoring device 100 With the help of an optical model, the monitoring device 100 now predicts target images of the light sources 20 as they (should) be captured by the cameras 30, provided that no unexpected obstacles between the robot 10 and the cameras 30 unexpectedly interrupt the optical path from the light sources to the cameras. Known or approved obstacles can be found in the optical model
  • the monitoring device compares these target images with the actual images actually captured by the cameras 30-32.
  • images with and without active light sources can be subtracted from one another, so that the target and actual images each have only the images of the light sources themselves isolated in this way.
  • the monitoring device 100 triggers a monitoring reaction (S50), for example reducing the speed of the robot 10, possibly stopping it . Otherwise (S40: “N”) it or the method returns to step S10.
  • FIG. 1 shows a person H who unexpectedly stepped into the working space of the robot 10. It can be seen that this interrupts an optical path between the camera 32 and the light source 20 horizontally opposite it in FIG. 2, so that the image of this light source in the
  • corresponding target image of the camera 32 is not present in the actual image captured by the latter.
  • Signal source 20 would interrupt, which would instead illuminate (only) the component. Conversely, a light spot from this signal source 20 therefore signals a component-free end effector.
  • the exemplary embodiment makes it clear that, for example, using the actual image of the camera 32, it can be determined whether an obstacle - as in FIG.
  • Monitoring reaction can advantageously be matched to this.
  • Target arrangement is predicted on the basis of a kinematic and optical model that includes known obstacles in the vicinity of the robot. If, for example, person H is planned to be at the position shown in FIG. 1, the corresponding model predicts a target image from camera 32 in which the light source 20 opposite is planned not to be present, so that in this case no monitoring reaction is triggered.
  • the signal sources 20 can also have passive signal sources, in particular reflectors, which in one embodiment are specifically illuminated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zur Überwachung einer Roboteranordnung, die wenigstens einen Roboter (10) aufweist, umfasst die Schritte: − Erfassen (S10) von optischen Signalen von mehreren Signalquellen (20) durch wenigstens einen Sensor (30-32), wobei die Signalquellen und/oder der Sensor an der Roboteranordnung positioniert sind; und − Auslösen (S50) einer Überwachungsreaktion, falls eine Abweichung einer Ist-Anordnung der erfassten optischen Signale von einer Soll-Anordnung dieser Signale einen Grenzwert übersteigt, insbesondere wenigstens eine vorgegebene Mindestanzahl von Signalen der Soll-Anordnung in der Ist-Anordnung der erfassten optischen Signale nicht vorhanden ist.

Description

Beschreibung
Verfahren und System zur Überwachung einer Roboteranordnung
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Überwachung einer Roboteranordnung, die wenigstens einen Roboter aufweist, sowie ein
Computerprogrammprodukt zur Durchführung des Verfahrens.
Aus betriebsinterner Praxis ist eine Überwachung von Robotern auf die
unvorhergesehene Anwesenheit von Menschen mithilfe sicherer Sensoren bekannt.
Aufgrund der erforderlichen Sicherheit sind diese Sensoren teuer und ihre
Inbetriebnahme aufwändig.
Aufgabe der vorliegenden Erfindung ist es, eine Überwachung einer
Roboteranordnung zu verbessern, insbesondere hierzu ein einfache(re)s und/oder kostengünstigere^ System zur Verfügung zu stellen bzw. zu verwenden
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 9, 10 stellen ein System bzw. Computerprogrammprodukt zur
Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zur
Überwachung einer Roboteranordnung, insbesondere auf Anwesenheit
unvorhergesehener Hindernisse im Arbeitsbereich der Roboteranordnung, die Schritte auf:
- Erfassen von optischen Signalen von mehreren Signalguellen durch einen oder mehrere Sensoren, wobei die Signalguellen und/oder der Sensor bzw. einer oder mehrere der Sensoren an der Roboteranordnung, insbesondere dem bzw. einem oder mehreren Roboter(n) der Roboteranordnung, positioniert sind, insbesondere werden; und
- Auslösen einer Überwachungsreaktion, falls eine Abweichung zwischen einer Ist-Anordnung der erfassten optischen Signale und einer (prognostizierten) Soll- Anordnung dieser Signale einen ein- oder mehrdimensionalen Grenzwert übersteigt, insbesondere wenigstens eine vorgegebene Mindestanzahl von Signalen der Soll-Anordnung in der Ist-Anordnung der erfassten optischen Signale nicht vorhanden ist, wobei diese Mindestanzahl in einer Ausführung gleich eins, in einer Ausführung größer als eins und/oder kleiner als 10 ist, bzw. dies festgestellt wird.
Einer Ausführung der vorliegenden Erfindung liegt die Idee zugrunde, eine
Soll-Anordnung der Signale, die für einen Zustand ohne unerwartete Hindernisse prognostiziert bzw. angenommen wird bzw. ist, mit einer erfassten Ist-Anordnung zu vergleichen. Sind in dieser ein bzw. wenigstens die vorgegebene Mindestanzahl der in der Soll-Anordnung vorgesehenen bzw. durch diese prognostizierten optischen Signale nicht vorhanden, so kann das daran liegen, dass
a) die entsprechende(n) Signalquelle(n) fehlerhaft kein optisches Signal
aussendet/aussenden,
b) der bzw. die entsprechende(n) Sensor(en) das optische Signal fehlerhaft nicht erfasst/erfassen,
oder insbesondere
c) ein unerwartetes Hindernis den (der Soll-Anordnung zugrunde gelegten) optischen Weg zwischen Signalquelle(n) und Sensor(en) unterbricht.
Dadurch kann in einer Ausführung auch mit an sich nicht sicheren bzw. nicht in sicherer Technik ausgebildeten und daher kostengünstigere^ Signalquellen und/oder Sensoren zuverlässig(er) auf ein unerwartetes Hindernis in einer Umgebung der Roboteranordnung reagiert werden, da Fehler der Signalquellen und Sensoren ebenso wie ein unerwartetes Hindernis gleichermaßen zu einer Abweichung der Ist-Anordnung der erfassten optischen Signale von deren Soll-Anordnung führen und die(selbe) Überwachungsreaktion auslösen.
Die Roboteranordnung weist in einer Ausführung einen oder mehrere Roboter, insbesondere einen oder mehrere stationäre Roboter und/oder einen oder mehrere mobile Roboter, auf, der bzw. die in einer Ausführung (jeweils) einen Roboterarm mit wenigstens drei, insbesondere wenigstens sechs, in einer Ausführung wenigstens sieben Gelenken, insbesondere Drehgelenken, aufweisen, sie kann insbesondere hieraus bestehen. Aufgrund ihrer Arbeitsräume und -prozesse kann die vorliegende Erfindung mit besonderem Vorteil zur Überwachung solcher Roboteranordnungen verwendet werden.
In einer Ausführung sind eine oder mehrere der Signalquellen aktiv(emittierend)e Signalquellen, die die optischen Signale, in einer Ausführung Laserlicht und/oder sichtbares L(aserl)icht, lnfrarot(laser)licht und/oder UV-L(aserl)icht, (aktiv) emittieren.
Hierdurch kann die Überwachung in einer Ausführung vorteilhaft insbesondere auch bei schlechte(re)n Lichtverhältnissen zuverlässig(er) durchgeführt werden.
Zusätzlich oder alternativ sind eine oder mehrere der Signalquellen passiv( bzw. nur reflektierend^ Signalquellen, die (jeweils), insbesondere gezielt, in einer Ausführung gerichtet und/oder (nur) zu vorgegebenen Zeiten, durch eine oder mehrere
Lichtquellen mit Licht, in einer Ausführung Laserlicht und/oder sichtbarem L(aserl)icht, lnfrarot(laser)licht und/oder UV-L(aser)icht, beleuchtet werden und dieses als optisches Signal reflektieren.
Hierdurch können diese Signalquellen in einer Ausführung kleiner ausgebildet werden und/oder eine Energieversorgung von an der Roboteranordnung positionierten Signalquellen entfallen.
Sowohl das (aktive) Emitieren als auch das (passive) Reflektieren wird vorliegend zur kompakteren Darstellung verallgemeinernd als Aussenden (der optischen Signale durch die (entsprechende(n)) Signalquelle(n)) bezeichnet.
In einer Ausführung weisen eine oder mehrere der Signalquellen (jeweils) eine oder mehrere LEDs und/oder Laserpointer auf. Hierdurch können in einer Ausführung besonders vorteilhafte optische Signale verwendet werden.
Zusätzlich oder alternativ sind bzw. werden in einer Ausführung in einem optischen Weg zwischen einer oder mehreren der Signalquellen und dem bzw. einem oder mehreren der Sensoren (jeweils planmäßig bzw. gezielt) ein oder mehrere (optische) Umlenkmittel, insbesondere Spiegel und/oder Prismen, angeordnet, die Licht zwischen Signalquelle und Sensor umlenken bzw. hierzu eingerichtet sind bzw.
verwendet werden.
Hierdurch können durch diese Sensoren in einer Ausführung auch verdeckte Bereiche eingesehen werden, wie dies an sich beispielsweise von Deckenspiegeln an
Supermarktkassen zur Einsicht in Einkaufswagen bekannt ist.
Indem die Signalquellen und/oder der bzw. die Sensoren an der Roboteranordnung, insbesondere deren Roboter(n) positioniert sind bzw. werden, kann die
Roboteranordnung in einer Ausführung vorteilhaft in verschiedenen Stellungen überwacht werden.
Dabei sind bzw. werden in einer Ausführung Signalquellen an, insbesondere auf, der Roboteranordnung, insbesondere deren Roboter(n) positioniert.
Dann können in einer Ausführung der bzw. einer oder mehrere der Sensoren von der Roboteranordnung beabstandet bzw. umgebungsseitig, insbesondere -fest, positioniert sein bzw. werden und die Roboteranordnung somit sozusagen von außen beobachten.
Zusätzlich oder alternativ können in einer Ausführung der bzw. einer oder mehrere der Sensoren ihrerseits (ebenfalls) an der Roboteranordnung, insbesondere deren Roboter(n) positioniert sein bzw. werden, so dass sich die Roboteranordnung sozusagen selbst beobachten kann.
Insbesondere kann ein Sensor, der an einem Glied, zum Beispiel einer Basis, eines Roboters angeordnet ist, optische Signale von einer Signalquelle an einem anderen Glied, zum Beispiel einem Endeffektor, dieses Roboters erfassen und so Hindernisse zwischen den beiden Gliedern bzw. Basis und Endeffektor erkannt werden.
Zusätzlich oder alternativ sind bzw. werden in einer Ausführung der bzw. einer oder mehrere der Sensoren an der Roboteranordnung, insbesondere deren Roboter(n) positioniert. Dann können in einer Ausführung, wie vorstehend beschrieben, eine oder mehrere der Signalquellen ihrerseits (ebenfalls) an der Roboteranordnung, insbesondere deren Roboter((glieder)n) positioniert sein bzw. werden, so dass sich die Roboteranordnung sozusagen selbst beobachten und auf Hindernisse zwischen seinen Gliedern reagieren kann.
Zusätzlich oder alternativ können dann in einer Ausführung eine oder mehrere der Signalquellen auch von der Roboteranordnung beabstandet bzw. umgebungsseitig, insbesondere -fest, fest positioniert sein bzw. werden, so dass sozusagen umgekehrt die Umgebung von der Roboteranordnung aus beobachtet werden kann.
Durch eine Positionierung von Signalquellen an der Roboteranordnung wird in einer Ausführung deren Betrieb gering(er) behindert. Durch eine umgebungsseitige
Positionierung von Sensoren werden diese vorteilhaft durch Bewegungen der
Roboteranordnung nicht dynamisch belastet. Durch eine umgebungsseitige
Positionierung von Signalquellen und eine Positionierung von Sensoren an der Roboteranordnung können vorteilhaft verschiedene bzw. große Arbeitsräume mittels robotergeführter Sensoren erfindungsgemäß überwacht werden.
Der bzw. einer oder mehrere der Sensoren können (jeweils) eine oder mehrere
Kameras und/oder eine Bildverarbeitung aufweisen. Die (Soll- bzw. Ist-Anordnung der) optischen Signale kann/können insbesondere ein oder mehrere, in einer Ausführung zwei- oder dreidimensionale, (Soll- bzw. lst-)Bilder bzw., in einer Ausführung zwei- oder dreidimensionale, (Soll- bzw. lst-)Abbildungen der entsprechenden
Signalquellen aufweisen, insbesondere sein.
Hierdurch können in einer Ausführung unerwartete Hindernisse anhand der durch diese Hindernisse in solchen Bildern verdeckten Abbilder der Signalquellen bzw. in der Ist-Anordnung der erfassten optischen Signale nicht vorhandene Signale der Soll- Anordnung besonders vorteilhaft, insbesondere zuverlässig(er) und/oder einfach(er), erkannt werden.
Dabei kann durch eine Mindestzahl von (nur) einem in der Ist-Anordnung der erfassten optischen Signale nicht vorhandenen Signal der Soll-Anordnung eine
Überwachung sehr sensitiv und/oder mit wenige(re)n Signalquellen realisiert werden, durch eine Mindestzahl von zwei oder mehr in der Ist-Anordnung der erfassten optischen Signale nicht vorhandenen Signalen der Soll-Anordnung eine Überwachung weniger störanfällig, insbesondere bei mehreren bzw. dichter positionierten
Signalquellen.
Somit werden in einer Ausführung ein oder mehr erfasste Ist-Bilder der Signalquellen mit einem oder mehreren prognostizierten Soll-Bildern dieser Signalquellen verglichen und eine Überwachungsreaktion ausgelöst, wenn in dem bzw. den Ist-Bild(ern) die Mindestanzahl von in dem bzw. den Soll-Bildern vorhandenen bzw. -gesehenen Signalquellenabbildern fehlt.
In einer Ausführung ist bzw. wird die Soll-Anordnung, insbesondere also das bzw. die (Soll-)Bilder, auf Basis bzw. in Abhängigkeit von einer ermittelten Position der Signalquellen und des bzw. der Sensoren (relativ) zueinander ermittelt, insbesondere prognostiziert.
In einer Weiterbildung ist bzw. wird die Soll-Anordnung, insbesondere also das bzw. die Soll-Bilder, auf Basis bzw. in Abhängigkeit von einer ermittelten Stellung der Roboteranordnung, insbesondere deren Roboter, und/oder einer vorgegebenen oder ermittelten Position der Signalquellen und des Sensors (relativ) zu der
Roboteranordnung ermittelt.
In einer Ausführung kann die Stellung der Roboteranordnung auf Basis, in einer Ausführung mittels Gelenksensoren, gemessener Gelenkstellungen der
Roboteranordnung ermittelt werden.
Daraus kann, insbesondere durch entsprechende Vorwärtstransformation
bzw. -kinematik bzw. basierend auf einem kinematischen Modell der
Roboteranordnung, die Position von an der Roboteranordnung positionierten
Signalquellen und/oder Sensoren ermittelt werden, in einer Ausführung basierend auf einer bekannten Position dieser an der Roboteranordnung positionierten
Signalquellen bzw. Sensoren zu bzw. an, insbesondere auf, der Roboteranordnung, wobei diese Position in einer Ausführung vorgegeben ist bzw. wird, insbesondere, indem die Signalquellen bzw. Sensoren gezielt an vorgegebener Position an, insbesondere auf, der Roboteranordnung insbesondere deren Roboter(n), positioniert werden bzw. sind.
Zusätzlich oder alternativ kann eine Position von an der Roboteranordnung
positionierten oder von dieser beabstandeten bzw. umgebungsseitigen Signalquellen und/oder eine Position des bzw. eines oder mehrerer der an der Roboteranordnung positionierten oder von dieser beabstandeten bzw. umgebungsseitigen Sensoren (relativ) zu der Roboteranordnung ermittelt werden bzw. sein, in einer Ausführung mittels Triangulation, insbesondere mithilfe der erfassten optischen Signale, oder dergleichen.
Zusätzlich oder alternativ ist, insbesondere wird, in einer Ausführung die
Soll-Anordnung der optischen Signale, insbesondere also das bzw. die Soll-Bilder der Signalquellen, auf Basis eines kinematischen und/oder optischen Modells ermittelt, das in einer Ausführung einen Zusammenhang zwischen Stellungen der
Roboteranordnung und Positionen der Signalquellen und/oder Sensor(en),
insbesondere zueinander, und/oder zwischen Positionen der Signalquellen und/oder Sensor(en), insbesondere zueinander, und Soll-Anordnungen, insbesondere Soll- Bildern, ver- bzw. ermittelt.
Das Modell kann in einer Ausführung optische Wege zwischen den Signalquellen und dem bzw. den Sensor(en) und/oder eine Umgebung, insbesondere vorgesehene bzw. bekannte Hindernisse, der Roboteranordnung aufweisen bzw. berücksichtigen.
Zusätzlich oder alternativ kann das Modell in einer Ausführung theoretisch und/oder empirisch, insbesondere mithilfe von Lernfahrten der Roboteranordnung, ermittelt, insbesondere parametriert, sein bzw. werden.
Ist beispielsweise die Position von an einem Roboter positionierten Signalquellen relativ zum Roboter sowie dessen Stellung bekannt und erfasst eine
umgebungsseitige Kamera optische Signale dieser Signalquellen, kann hieraus mittels Triangulation auch die Position dieser Kamera relativ zum Roboter ermittelt werden. Dies gilt gleichermaßen umgekehrt für eine robotergeführte Kamera und umgebungsseitige Signalquellen. Dann kann für andere Stellungen des Roboters jeweils hierfür das Bild der Signalquellen prognostiziert werden, das die Kamera bei nicht durch unerwartete Hindernisse gestörten optischen Wegen erfassen müsste, und dieses mit dem tatsächlich erfassten Bild verglichen werden.
Hierdurch kann die Soll-Anordnung der optischen Signale in einer Ausführung jeweils, insbesondere in Kombination wenigstens zweier der vorgenannten Merkmale, vorteil haft(er), insbesondere präzise(r) und/oder dynamisch bzw. aktuell, ermittelt werden.
In einer Ausführung sind bzw. werden eine oder mehrere der Signalquellen, in einer Weiterbildung zerstörungsfrei lösbar, insbesondere form- und/oder reibschlüssig, oder nicht zerstörungsfrei lösbar, insbesondere stoffschlüssig, auf einer Hülle befestigt, die ihrerseits, in einer Weiterbildung zerstörungsfrei lösbar, insbesondere form- und/oder reibschlüssig, oder nicht zerstörungsfrei lösbar, insbesondere stoffschlüssig, an der Roboteranordnung, insbesondere deren Roboter(n) befestigt ist bzw. wird.
Hierdurch können die Signalquellen in einer Ausführung vorteilhaft, insbesondere einfach(er) und/oder präzise(r) an der Roboteranordnung positioniert und/oder alternativ für verschiedene Roboter(anordnung)en verwendet werden, in einer Ausführung sozusagen in einer Art„Warnwesten“.
In einer Ausführung ist, insbesondere wird, die Ist-Anordnung auf Basis einer
Erfassung mit ausgesendeten optischen Signalen durch den bzw. die Sensoren, insbesondere wenigstens eines Bildes, das bei aussendenden Signalquellen erfasst wird, und einer, in einer Ausführung unmittelbar, vorhergehenden oder nachfolgenden Erfassung, insbesondere derselben Szenerie, ohne ausgesendete optische Signale durch den bzw. die Sensoren, insbesondere wenigstens eines Bildes, das bei nicht aussendenden Signalquellen erfasst wird, ermittelt. Durch Subtraktion können dann die erfassten optischen Signale isoliert und so besonders gut mit der entsprechenden Soll-Anordnung vergliechen werden. Mit anderen Worten kann die Ist-Anordnung in einer Ausführung auf Basis eines Differenzbilds zwischen einem erfassten Bild mit ausgesendeten optischen Signalen und einem erfassten Bild ohne ausgesendete optische Signale ermittelt werden, insbesondere ein solches aufweisen, insbesondere sein. Zusätzlich oder alternativ weisen die optischen Signale einer oder mehrerer der Signalquellen in einer Ausführung (jeweils) ein, in einer Ausführung
signalquellenspezifisches, vorgegebenes zeitliches Muster auf. Dadurch können in einer Ausführung Störeinflüsse durch die Umwelt reduziert werden.
Zusätzlich oder alternativ senden in einer Ausführung zwei oder mehr der
Signalquellen unterschiedliche, insbesondere roboter(glied)spezifische, optische Signale aus. In einer Weiterbildung weisen hierzu zwei oder mehr der Signalquellen unterschiedliche Geometrien, Helligkeiten und/oder Farben, auf. Insbesondere können in einer Weiterbildung diese Signalquellen unterschiedliche optische Codes, insbesondere QR-Codes, aufweisen. Zusätzlich oder alternativ weisen hierzu in einer Weiterbildung diese unterschiedlichen optischen Signale voneinander verschiedene vorgegebene zeitliche Muster, insbesondere Aussendezeiten auf, in einer Ausführung senden zwei oder mehr der Signalquellen in einer vorgegebenen Abfolge ihre optischen Signale aus.
Dadurch können in einer Ausführung Fehler und/oder Störeinflüsse durch die Umwelt (weiter) reduziert werden. So kann beispielsweise die Wahrscheinlichkeit, dass anstelle eines optischen Signals einer Signalquelle, die ein spezifisches optisches Signal aussendet, aber durch ein unvorhergesehenes Hindernis verdeckt ist, irrtümlich ein anderes optisches Signal als der Soll-Anordnung entsprechendes Signal aufgefasst wird, reduziert werden.
In einer Ausführung hängt die Überwachungsreaktion, insbesondere ihre Art und/oder ihr Auslösen, von einer Anzahl und/oder einem Ort nicht vorhandener Signale der Soll-Anordnung in der Ist-Anordnung ab.
So kann insbesondere bei Fehlen höchstens einer ersten Anzahl von Signalen, insbesondere nur eines Signals, und/oder Fehlen von Signalen nur in einem
vorgegebenen (ersten) Bereich keine oder (nur) eine erste, insbesondere schwächere bzw. geringere, Überwachungsreaktion ausgelöst, insbesondere (nur) eine Warnung ausgegeben und/oder eine Geschwindigkeit der Roboteranordnung (leichter) reduziert werden, und (erst) bei Fehlen wenigstens einer größeren zweiten Anzahl von
Signalen, insbesondere wenigstens zweier Signale, und/oder Fehlen von Signalen in einem vorgegebenen anderen Bereich, der größer als der erste Bereich und/oder von diesem beabstandet sein kann, eine (zweite, insbesondere stärkere bzw. größere,) Überwachungsreaktion ausgelöst, insbesondere eine Geschwindigkeit stärker reduziert, insbesondere der Roboteranordnung gestoppt, werden.
Zusätzlich oder alternativ hängt in einer Ausführung die Überwachungsreaktion von einer Wärmestrahlungsdetektion durch den bzw. einen oder mehrere der Sensor(en) ab. Hierdurch kann in einer Ausführung vorteilhaft zwischen Lichtquellen und
Menschen unterschieden werden.
Die bzw. eine (Art der) Überwachungsreaktion kann in einer Ausführung eine
(Ausgabe einer), insbesondere optischen, akustischen und/oder haptischen, Warnung, eine Änderung einer vorgegebenen Bewegung der Roboteranordnung, insbesondere in eine Ausweichbewegung und/oder eine Geschwindigkeitsreduzierung,
insbesondere ein Stoppen, umfassen, insbesondere sein.
In einer Ausführung unterbricht ein robotergeführtes Bauteil, insbesondere planmäßig, einen optischen Weg zwischen wenigstens einer, insbesondere roboterseitigen, Signalquelle und dem bzw. wenigstens einem der Sensor(en).
Auf diese Weise kann vorteilhaft erfasst werden, ob die Roboteranordnung planmäßig ein Bauteil führt, insbesondere gegriffen hat, bzw. planmäßig kein Bauteil führt, insbesondere ein Greifer leer ist. Zusätzlich oder alternativ kann hierdurch ein robotergeführtes Bauteil beleuchtet bzw. ein fehlendes Bauteil bzw. ein leerer Greifer durch einen entsprechenden Lichtfleck in der Umgebung signalisiert werden.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
- einen oder mehrere Sensoren, der bzw. die zum Erfassen von optischen Signalen von mehreren Signalquellen eingerichtet sind bzw. verwendet werden, wobei die Signalquellen und/oder der bzw. einer oder mehrere der Sensor(en) an der
Roboteranordnung positioniert ist/sind; und
- Mittel zum Auslösen einer Überwachungsreaktion, falls eine Abweichung einer Ist-Anordnung der erfassten optischen Signale von einer Soll-Anordnung dieser Signale einen Grenzwert übersteigt, insbesondere wenigstens eine vorgegebene Mindestanzahl von Signalen der Soll-Anordnung in den erfassten optischen
Signalen nicht vorhanden ist.
In einer Ausführung weist das System bzw. sein(e) Mittel auf: Mittel zum Ermitteln der Soll-Anordnung auf Basis einer ermittelten Position der Signalquellen und des
Sensors zueinander, insbesondere auf Basis einer ermittelten Stellung der
Roboteranordnung und/oder einer vorgegebenen oder ermittelten Position der
Signalquellen und des Sensors zu der Roboteranordnung, und/oder auf Basis eines kinematischen und/oder optischen Modells.
Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die
Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem
Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten,
Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere,
insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher
Verfahren ausführen kann und damit insbesondere die Roboteranordnung
überwachen kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des
Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel. In einer Ausführung weist das System die Roboteranordnung und/oder Signalquellen auf.
Soll- und/oder Ist-Anordnung bzw. -Bild(er) können in einer Ausführung zwei- oder dreidimensional sein, der bzw. die Sensoren entsprechend insbesondere 3D- Kameras(ysteme) aufweisen. Dadurch werden in einer Ausführung, insbesondere in Kombination mit an der Roboteranordnung positionierten und/oder passiven bzw. reflektierenden, insbesondere gezielt, in einer Ausführung zu vorgegebenen Zeiten, beleuchteten Signalquellen, mittels L(ichtl)aufzeitmessungen Distanzinformationen erhalten bzw. genutzt.
Hierdurch kann in einer Ausführung die Zuverlässigkeit der Überwachung (weiter) verbessert werden, beispielsweise indem Reflektionen an einem nicht vorgesehenen Hindernis nicht irrtümlich als optisches Signal einer an der Roboteranordnung positionierten Signalquelle erfasst werden. Zusätzlich oder alternativ kann hierdurch beispielsweise die Ermittlung der Position des Sensors bzw. Kamerasystems relativ zur Roboteranordnung, insbesondere durch Triangulation oder dergleichen, verbessert werden. Zusätzlich oder alternativ kann hierdurch in einer Ausführung, insbesondere bei mobilem bzw. bewegtem Sensor, jeweils dessen aktuelle Position vorteilhaft ermittelt werden.
Entsprechend wird in einer Ausführung die, insbesondere aktuelle, Position des bzw. eines oder mehrerer der, insbesondere mobilen, Sensoren relativ zur, insbesondere mobilen, Roboteranordnung auf Basis einer Distanz-, insbesondere
L(ichtl)aufzeitmessung mittels erfasster optischer Signale ermittelt und die
Soll-Anordnung, insbesondere das bzw. die Soll-Bild(er), erfasster optischer Signale dann auf Basis dieser ermittelten Position des bzw. der Sensoren zu der
Roboteranordnung ermittelt.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System zur Überwachung einer Roboteranordnung nach einer Ausführung der vorliegenden Erfindung; und Fig. 2: ein Verfahren zur Überwachung der Roboteranordnung nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System zur Überwachung einer Roboteranordnung nach einer
Ausführung der vorliegenden Erfindung.
Die Roboteranordnung besteht aus einem mehrgelenkigen bzw. -achsigen Roboter 10 mit einer stationären oder mobilen Basis 11 , einem darauf um eine Vertikalachse drehbaren Karussell 12 und einer daran um eine Horizontalachse drehbaren mehrgelenkigen bzw. -achsigen Roboterhand mit einer Schwinge 13, einem Arm 14 und einem Endeffektor 15.
An Gliedern des Roboters 10 sind Lichtquellen in Form von Laserpointern und/oder LEDs 20 positioniert, die gliedspezifische Farben und/oder Formen aufweisen und/oder in spezifischen Zeitmustern aktiviert werden können.
Um den Arbeitsraum des Roboters 10 sind mehrere Sensoren in Form von Kameras 30 verteilt, von denen in Fig. 1 nur einige dargestellt sind.
Diese erfassen optische Signale von den Lichtquellen 20 (Fig. 2: Schritt S10), wobei in Fig. 1 exemplarisch ein Umlenkspiegel 200 angedeutet ist, um optische Signale mit der Kamera 30 (besser) zu erfassen.
Die Kameras 30 sind mit einer Überwachungseinrichtung 100 signalverbunden, welche in einer Steuerung des Roboters 10 integriert sein kann und, beispielsweise dadurch, eine Stellung des Roboters 10 bzw. entsprechende Gelenkwinkel erhält.
Hieraus ermittelt die Überwachungseinrichtung 100 in einem Schritt S20 (vgl. Fig. 2) mithilfe eines kinematischen Modells die jeweils aktuelle Position der auf dem Roboter positionierten Lichtquellen 20, deren Position zum bzw. auf dem Roboter
beispielsweise durch Messen und/oder gezieltes entsprechendes Platzieren der Lichtquellen bekannt ist. In der Überwachungseinrichtung 100 sind auch die Positionen der einzelnen Kameras 30 bekannt. Diese können beispielsweise vorab mittels Triangulation aus bekannten Positionen der Lichtquellen ermittelt worden sein.
Mithilfe eines optischen Modells prognostiziert die Überwachungseinrichtung 100 nun Soll-Bilder der Lichtquellen 20, wie sie von den Kameras 30 erfasst werden (müssten), sofern keine unerwarteten Hindernisse zwischen Roboter 10 und Kameras 30 den optischen Weg von den Lichtquellen zu den Kameras unvorhergesehen unterbrechen. Bekannte bzw. zugelassene Hindernisse können in dem optischen Modell
berücksichtigt sein, beispielsweise mithilfe entsprechender Lernfahrten oder einer Soll-Konfiguration der Umgebung.
In einem Schritt S30 vergleicht die Überwachungseinrichtung diese Soll-Bilder mit den tatsächlich von den Kameras 30-32 erfassten Ist-Bildern. Dabei können in einer Ausführung jeweils Bilder mit und ohne aktive Lichtquellen voneinander subtrahiert werden, so dass die Soll- und Ist-Bilder jeweils nur die solcherart isolierten Abbilder der Lichtquellen selber aufweisen.
Ist wenigstens eine vorgegebene Mindestanzahl der Soll-Abbilder der Lichtquellen in einem der Ist-Bilder nicht vorhanden (S40:„Y“), löst die Überwachungseinrichtung 100 eine Überwachungsreaktion aus (S50), reduziert beispielsweise die Geschwindigkeit des Roboters 10, gegebenenfalls stoppt sie diesen. Andernfalls (S40:„N“) kehrt sie bzw. das Verfahren zu Schritt S10 zurück.
Zur Verdeutlichung ist in Fig. 1 eine Person H eingezeichnet, die unerwartet in den Arbeitsraum des Roboters 10 getreten ist. Man erkennt, dass diese einen optischen Weg zwischen der Kamera 32 und der dieser in Fig. 2 horizontal gegenüberliegenden Lichtquelle 20 unterbricht, so dass das Abbild dieser Lichtquelle in dem
entsprechenden Soll-Bild der Kamera 32 in dem von dieser erfassten Ist-Bild nicht vorhanden ist.
Man erkennt, dass gleichermaßen ein Ausfall dieser Lichtquelle 20 oder dieser
Kamera 32 als auch das Hindernis H zu einer Abweichung zwischen Soll- und Ist-Bild führen und die(selbe) Überwachungsreaktion auslösen, so dass weder Lichtquelle noch Kameras kostspielig in sicherer Technik ausgebildet sein müssen. Zudem verdeutlicht das Ausführungsbeispiel, dass ein am Endeffektor 15 geführtes Bauteil den optischen Weg zwischen der Kamera 30 und der in Fig. 1 unteren
Signalquelle 20 unterbrechen würde, die stattdessen dann (nur) das Bauteil anleuchten würde. Umgekehrt signalisiert daher ein Lichtfleck von dieser Signalquelle 20 einen bauteilfreien Endeffektor.
Außerdem verdeutlicht das Ausführungsbeispiel, dass beispielsweise anhand des Ist- Bilds der Kamera 32 ermittelt werden kann, ob sich ein Hindernis - wie in Fig. 1 - im Bereich der Roboterhand, des Karussells oder der Basis befindet, so dass die
Überwachungsreaktion vorteilhaft hierauf abgestimmt werden kann.
Weiterhin verdeutlicht das Ausführungsbeispiel, dass das Soll-Bild bzw. die
Soll-Anordnung auf Basis eines kinematischen und optischen Modells prognostiziert wird, das bekannte Hindernisse in der Umgebung des Roboters umfasst. Befindet sich beispielsweise die Person H planmäßig an der in Fig. 1 gezeigten Position, prognostiziert das entsprechende Modell ein Soll-Bild der Kamera 32, in dem die ihr gegenüberliegende Lichtquelle 20 planmäßig nicht vorhanden ist, so dass in diesem Fall keine Überwachungsreaktion ausgelöst wird.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
So können zusätzlich oder alternativ zu LEDs bzw. Laserpointern die Signalquellen 20 auch passive Signalquellen, insbesondere Reflektoren aufweisen, insbesondere sein, die in einer Ausführung gezielt beleuchtet werden.
Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen
Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die
Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die
Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten
Merkmalskombinationen ergibt. Bezuqszeichenliste
10 Roboter
11 Basis
12 Karussell
13 Schwinge
14 Arm
15 Endeffektor
20 Lichtquelle (Laserpointer; LED)
30-32 Kamera
100 Überwachungseinrichtung
200 Umlenkspiegel
H Person

Claims

Patentansprüche
1. Verfahren zur Überwachung einer Roboteranordnung, die wenigstens einen
Roboter (10) aufweist, mit den Schritten:
- Erfassen (S10) von optischen Signalen von mehreren Signalquellen (20) durch wenigstens einen Sensor (30-32), wobei die Signalquellen und/oder der
Sensor an der Roboteranordnung positioniert sind; und
- Auslösen (S50) einer Überwachungsreaktion, falls eine Abweichung einer
Ist-Anordnung der erfassten optischen Signale von einer Soll-Anordnung dieser Signale einen Grenzwert übersteigt, insbesondere wenigstens eine vorgegebene Mindestanzahl von Signalen der Soll-Anordnung in der
Ist-Anordnung der erfassten optischen Signale nicht vorhanden ist.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Soll-Anordnung auf Basis einer ermittelten Position der Signalquellen und des Sensors zueinander, insbesondere auf Basis einer ermittelten Stellung der Roboteranordnung und/oder einer vorgegebenen oder ermittelten Position der Signalquellen und des Sensors zu der Roboteranordnung, und/oder auf Basis eines kinematischen und/oder optischen Modells ermittelt ist.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine der Signalquellen auf einer an der Roboteranordnung befestigten Hülle befestigt ist und/oder die optischen Signale, insbesondere
Laserlicht und/oder sichtbares Licht, Infrarotlicht und/oder UV-Licht, emittiert.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine der Signalquellen durch wenigstens eine Lichtquelle mit Licht, insbesondere Laserlicht und/oder sichtbarem Licht, Infrarotlicht und/oder UV-Licht, beleuchtet wird und dieses als optisches Signal reflektiert und/oder dass in einem optischen Weg zwischen wenigstens einer der Signalquellen und dem Sensor wenigstens ein Umlenkmittel (200) angeordnet ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optischen Signale wenigstens einer der Signalquellen ein vorgegebenes zeitliches Muster aufweisen und/oder die Ist-Anordnung auf Basis einer Erfassung mit ausgesendeten optischen Signalen und einer Erfassung ohne ausgesendete optische Signale durch den wenigstens einen Sensor ermittelt ist.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens zwei der Signalquellen unterschiedliche, insbesondere
robotergliedspezifische, optische Signale aussenden, insbesondere
unterschiedliche Geometrien, Helligkeiten und/oder Farben aufweisen und/oder die unterschiedlichen optischen Signale voneinander verschiedene vorgegebene zeitliche Muster aufweisen.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Überwachungsreaktion von einer Anzahl und/oder einem Ort nicht vorhandener Signale der Soll-Anordnung in der Ist-Anordnung und/oder von einer Wärmestrahlungsdetektion durch den Sensor abhängt.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein robotergeführtes Bauteil einen optischen Weg zwischen wenigstens einer, insbesondere roboterseitigen, Signalquelle und dem Sensor unterbricht.
9. System zur Überwachung einer Roboteranordnung, die wenigstens einen Roboter (10) aufweist, wobei das System zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
- wenigstens einen Sensor (30-32) zum Erfassen von optischen Signalen von mehreren Signalquellen (20), wobei die Signalquellen und/oder der Sensor an der Roboteranordnung positioniert sind; und
- Mittel (100) zum Auslösen einer Überwachungsreaktion, falls eine Abweichung einer Ist-Anordnung der erfassten optischen Signale von einer Soll-Anordnung dieser Signale einen Grenzwert übersteigt, insbesondere wenigstens eine vorgegebene Mindestanzahl von Signalen der Soll-Anordnung in den erfassten optischen Signalen nicht vorhanden ist.
10. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
PCT/EP2020/058451 2019-04-26 2020-03-26 Verfahren und system zur überwachung einer roboteranordnung WO2020216570A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020217037909A KR20220002407A (ko) 2019-04-26 2020-03-26 로봇 배열체를 모니터링하기 위한 방법 및 시스템
EP20716721.4A EP3959047A1 (de) 2019-04-26 2020-03-26 Verfahren und system zur überwachung einer roboteranordnung
US17/606,284 US20220314454A1 (en) 2019-04-26 2020-03-26 Method and system for monitoring a robot arrangement
CN202080040308.2A CN113905854B (zh) 2019-04-26 2020-03-26 用于监视机器人设备的方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019206010.2A DE102019206010A1 (de) 2019-04-26 2019-04-26 Verfahren und System zur Überwachung einer Roboteranordnung
DE102019206010.2 2019-04-26

Publications (1)

Publication Number Publication Date
WO2020216570A1 true WO2020216570A1 (de) 2020-10-29

Family

ID=70165982

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/058451 WO2020216570A1 (de) 2019-04-26 2020-03-26 Verfahren und system zur überwachung einer roboteranordnung

Country Status (6)

Country Link
US (1) US20220314454A1 (de)
EP (1) EP3959047A1 (de)
KR (1) KR20220002407A (de)
CN (1) CN113905854B (de)
DE (1) DE102019206010A1 (de)
WO (1) WO2020216570A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4766322A (en) * 1984-09-14 1988-08-23 Kabushiki Kaisha Toshiba Robot hand including optical approach sensing apparatus
US4804860A (en) * 1985-05-02 1989-02-14 Robotic Vision Systems, Inc. Robot cell safety system
US20130325181A1 (en) * 2012-05-31 2013-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Non-contact optical distance and tactile sensing system and method
DE102016114835A1 (de) * 2016-08-10 2018-02-15 Joanneum Research Forschungsgesellschaft Mbh Robotervorrichtung
WO2018109355A1 (fr) * 2016-12-12 2018-06-21 Irt Jules Verne Procede et dispositif de detection d'une intrusion dans l'environnement d'un robot

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010050547A1 (de) * 2010-11-05 2012-05-10 Kuka Laboratories Gmbh Verfahren und Vorrichtung zur Sicherheitsüberwachung eines Roboters
DE202014100411U1 (de) * 2014-01-30 2015-05-05 Kuka Systems Gmbh Sicherheitseinrichtung
DE102015000793A1 (de) * 2015-01-23 2016-07-28 Daimler Ag Sensorvorrichtung für unterschiedliche Robotervarianten
DE102015001575A1 (de) * 2015-02-07 2016-08-11 Audi Ag Verfahren und Vorrichtung zur Visualisierung der Bewegung eines Roboters
DE102015225587A1 (de) * 2015-12-17 2017-06-22 Volkswagen Aktiengesellschaft Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit
DE102016007520A1 (de) * 2016-06-20 2017-12-21 Kuka Roboter Gmbh Überwachung einer Roboteranordnung
DE102017005194C5 (de) * 2017-05-31 2022-05-19 Kuka Deutschland Gmbh Steuern einer Roboteranordnung
DE202017104603U1 (de) * 2017-08-01 2018-11-06 Sick Ag System zum Absichern einer Maschine
IT201800002494A1 (it) * 2018-02-08 2019-08-08 Omron Europe B V Dispositivo di monitoraggio per monitorare un settore limite di una zona di sicurezza.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4766322A (en) * 1984-09-14 1988-08-23 Kabushiki Kaisha Toshiba Robot hand including optical approach sensing apparatus
US4804860A (en) * 1985-05-02 1989-02-14 Robotic Vision Systems, Inc. Robot cell safety system
US20130325181A1 (en) * 2012-05-31 2013-12-05 Toyota Motor Engineering & Manufacturing North America, Inc. Non-contact optical distance and tactile sensing system and method
DE102016114835A1 (de) * 2016-08-10 2018-02-15 Joanneum Research Forschungsgesellschaft Mbh Robotervorrichtung
WO2018109355A1 (fr) * 2016-12-12 2018-06-21 Irt Jules Verne Procede et dispositif de detection d'une intrusion dans l'environnement d'un robot

Also Published As

Publication number Publication date
CN113905854B (zh) 2024-06-07
EP3959047A1 (de) 2022-03-02
DE102019206010A1 (de) 2020-10-29
CN113905854A (zh) 2022-01-07
KR20220002407A (ko) 2022-01-06
US20220314454A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
EP2023160B1 (de) Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder
EP3701340B1 (de) Überwachungsvorrichtung, industrieanlage, verfahren zur überwachung sowie computerprogramm
EP2053538B1 (de) Absicherung eines Überwachungsbereichs und visuelle Unterstützung einer automatisierten Bearbeitung
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
EP3383595B1 (de) Darstellung variabler schutzfelder
DE102010023736B4 (de) Robotersystem mit Problemerkennungsfunktion
DE102017008638A1 (de) Berührungsfreier sicherheitssensor und arbeitsweise
DE102017111886B3 (de) Bestimmen der Bewegung einer abzusichernden Maschine
EP3650740B1 (de) Sicherheitssystem und verfahren zum überwachen einer maschine
DE102010050547A1 (de) Verfahren und Vorrichtung zur Sicherheitsüberwachung eines Roboters
EP3401702B1 (de) Sensorsystem
EP1980871B1 (de) Prüfverfahren zur Prüfung der Funktionsfähigkeit eines Überwachungssensors, Überwachungsverfahren und Überwachungssensor
DE102018101162B4 (de) Messsystem und Verfahren zur extrinsischen Kalibrierung
DE102008046346B4 (de) Verfahren und Vorrichtung zum Überwachen eines räumlichen Bereichs, insbesondere des Umfelds eines bewegbaren medizinischen Geräts
EP3959046A1 (de) Verfahren und system zum betreiben eines roboters
DE102019211770B3 (de) Verfahren zur rechnergestützten Erfassung und Auswertung eines Arbeitsablaufs, bei dem ein menschlicher Werker und ein robotisches System wechselwirken
DE10215885A1 (de) Automatische Prozesskontrolle
AT517784B1 (de) Verfahren zur automatisierten Steuerung einer Maschinenkomponente
DE10026711B4 (de) Positionsüberwachungsvorrichtung und -verfahren
DE102016110514B4 (de) Vorrichtung und Verfahren zum Überwachen eines Raumbereichs, insbesondere zum Absichern eines Gefahrenbereichs einer automatisiert arbeitenden Anlage
EP3812863B1 (de) Bewegbare maschine
EP2811318B1 (de) Optoelektronischer Sensor
EP3959047A1 (de) Verfahren und system zur überwachung einer roboteranordnung
DE202017104603U1 (de) System zum Absichern einer Maschine
DE102016221861B4 (de) Einrichtung und Verfahren zur Einwirkung auf Gegenstände

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20716721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20217037909

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020716721

Country of ref document: EP

Effective date: 20211126

ENP Entry into the national phase

Ref document number: 2020716721

Country of ref document: EP

Effective date: 20211126