WO2011051285A1 - System and method for an interaction between a person and a machine - Google Patents
System and method for an interaction between a person and a machine Download PDFInfo
- Publication number
- WO2011051285A1 WO2011051285A1 PCT/EP2010/066163 EP2010066163W WO2011051285A1 WO 2011051285 A1 WO2011051285 A1 WO 2011051285A1 EP 2010066163 W EP2010066163 W EP 2010066163W WO 2011051285 A1 WO2011051285 A1 WO 2011051285A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- person
- machine
- marking means
- detected
- movement
- Prior art date
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39387—Reflex control, follow movement, track face, work, hand, visual servoing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40203—Detect position of operator, create non material barrier to protect operator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40617—Agile eye, control position of camera, active vision, pan-tilt camera, follow object
Definitions
- the invention relates to a system and a method for interaction
- a machine in particular a robot, in which marking means are arranged on the person at certain positions and can be detected by means of a 3D TOF camera.
- the machine is controlled by a control unit so that the recognized person is not endangered in their safety.
- Robot unit at a robot workstation known in which the
- Approaching a person is monitored using two safety thresholds.
- a first sensor unit an approach of a person to the workplace is detected such that at a
- a first signal Falling below a first safety distance, a first signal and a falling below a second safety distance, a second signal is generated.
- the first signal it is provided to transfer the robot unit in a predefinable state to a so-called safe operating stop.
- the second signal is present, the robot unit is transferred to a so-called emergency stop state, in which the robot unit remains motionless in its current position.
- an additional safety switch is arranged at the workstation of the robot unit, which transfers the robot unit into the state of safe operating stop.
- the robot unit is impressed on relative approach to humans, a movement pattern that is determined by the direction of movement, movement speed and the distance of the Characterizes robot unit relative to humans. From a variety of different stored patterns of movement a man individual movement pattern is selected so that the people a sense of safety at work and control over the
- Each movement pattern is present at least in a first and second quality level, for example, in their movement speed and / or movement direction
- the robot unit is braked or brought to a standstill until a
- Runtime measurement systems These use amplitude modulated or pulsed illumination to illuminate the area to be detected
- 3D TOF cameras are in particular PMD cameras with
- Photonic mixer (PMD) suitable as u.a. in the applications, EP 1 777 747, US 6 587 186 and also DE 197 04 496 described and, for example, by the company, ifm electronic gmbh 'as a frame grabber O3D are available.
- the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.
- the object of the invention is to further form a system with a 3D TOF camera for an interaction system between a person and a machine.
- the system according to the invention provides for an interaction
- At least one 3D TOF camera is used for
- a model of the person is created and a position and a movement of the person are detected and / or predetermined.
- the machine is controlled via a control unit such that in a safety-critical position and / or movement of the person, the person is not further endangered.
- the marking means as reflectors
- the marking agent can be clearly and reliably distinguished from the background.
- a reflector which is arranged on the head of the person, have a different optical property than the reflectors which are arranged on the shoulder or on the hand.
- Reference marks in particular reflectors to provide.
- the location and spacing of these reference marks are known with respect to at least one 3D TOF camera, so on the basis of these reference marks
- the person interacting with the machine is detected in its position and movement by marking means which are arranged at certain points of the person, whereby a model of the person is first determined on the basis of the detected marking means, on the basis of which the others
- the method can be further improved by first before the interaction of the person with the machine in a startup phase
- Marking the person are recorded. This can ensure that a suitable model for the further calculations can be deposited for the person.
- Starting phase takes certain positions and / or performs certain gestures. This ensures, for example, that all points of the person's joints are recognized and a maximum range of motion of the person is detected.
- the interaction with the machine is only released if all expected marking means were clearly identified in the startup phase.
- it is provided to control the machine in a recognized or predicted safety critical position and / or movement of the person so that a risk to the person is excluded.
- Fig. 1 shows schematically a system according to the invention
- FIG. 2 shows a machine working area with a cooperating person
- FIG. 3 shows a cooperating person within an interaction area
- FIG. 4 shows a cooperating person outside the interaction area in the start phase.
- FIG. 1 shows a measurement situation for an optical distance measurement with a 3D TOF camera system, as is known, for example, from DE 197 04 496.
- the 3D TOF camera system here comprises a transmitting unit or a
- Illumination module 100 with a light source 12 and associated beam shaping optics 50 and a receiving unit or 3 D-TO F camera 200 with a receiving optics 150 and a photosensor 15.
- Photosensor 15 is preferably as a pixel array, in particular as
- the receiving optics typically consist of improving the imaging properties of a plurality of optical elements.
- the beam-shaping optical system 50 of the transmitting unit 100 is preferably designed as a reflector. However, it can also diffractive elements or combinations of reflective and diffractive
- the measuring principle of this arrangement is essentially based on that, starting from the phase difference of the emitted and received light, the duration of the emitted and reflected light can be determined.
- Modulation frequency applied to a first phase position a is Modulation frequency applied to a first phase position a.
- the light source 12 transmits an amplitude-modulated signal having the phase a.
- this signal or the electromagnetic radiation is reflected by an object 20 and hits due to the distance covered in the photosensor 15, the signal of the first phase position a of the modulator 18 with the received signal, which has meanwhile assumed a second phase position b, mixed and from the
- resulting signal determines the phase shift or the object distance.
- FIG. 2 schematically shows a machine workstation with a robot 30 and a cooperating person 300.
- the robot 30 is here as a gripper or tool robot with multiple articulated arms 32 and
- Joints 33 configured. Between the person 300 and the robot 30 is a workstation 500, which is preferably used cooperatively by the person 300 and the robot 30 together. The entire situation in which the robot 30 and the person 300 are located is detected by a 3D TOF camera 10. For better recognition of the
- the situation captured by the 3D TOF camera is determined by using a
- Evaluation unit or image processing 210 processed and evaluated in particular with regard to position and movement of the person 300.
- the data of the evaluation unit 210 are preferably made available to a control unit 35 of the robot 30. Based on the position, movement and position data of the person 300 may in relation to the known position and movement plans of the robot a
- the maximum speed of the robot is selected so that it comes to a standstill within a predetermined safety limit in case of danger.
- the speed of the robot is reduced as the distance of the person 300 from the robot 30 decreases.
- FIG. 3 schematically shows the interactive situation in a plan view.
- three 3D TOF cameras 10 are provided in this embodiment, the within their coverage area E the
- Interaction area I of the machine 30 is spanned primarily by the maximum movement possibilities of the robot and, of course, not only comprises a two-dimensional plane, but also a corresponding volume area.
- the person 300 is at the machine workstation 500 and, for example, can cooperatively provide the work equipment 510 located on the workstation 500 to the robot 30.
- 500 are in a peripheral area on the workstation
- Reference marks 250 arranged. Place and distance of this
- Reference marks are in relation to at least one
- Reference mark for example, a 3D model of a 3D TOF camera can be calibrated.
- the 3D model of a 3D TOF camera can be calibrated.
- Reference marks 250 may be formed, for example, as a reflection strip. Of course, the reference marks 250 can also be formed without special reflection properties, it is decisive that these markings 250 can be clearly detected by at least one 3D TOF camera 10.
- reference marks 250 may be in other locations the detection range E are arranged, in particular it is also conceivable that the reference marks 250 at the boundary of
- Interaction area I are arranged. So that both location and position as well as a border of the interaction area I are marked.
- FIG. 4 shows a possible starting phase of that shown in FIG.
- the person 300 is in a predetermined starting position SP.
- This start position is preferably located outside the interaction area, so that in this phase first no potential danger emanates from the machine 30.
- the person 300 before the start of an interaction with the system in the
- Starting position SP can be seen.
- the person assumes a particular posture or gesture to facilitate recognition of the markers to the system or to improve the reliability of the recognition.
- it may also be provided to take multiple positions or gestures.
- Marking agents are marked, can cooperatively interact with the machine. Unauthorized persons or
- Unknown objects are classified as a precautionary safety risk.
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
The invention relates to a system for an interaction between a person and a machine, in particular a robot, having marking means disposed on the person at certain positions, preferably end positions of extremities or joints, having at least one 3D-TOF camera for three-dimensionally detecting the interaction region and for detecting the marking means, having an analysis unit designed such that, based on the detected marking means, a model of the person is created and a position and a motion of the person is detected and/or prescribed, having a control unit actuating the machine such that, in case of a safety-critical position and/or motion of the person, the person is not placed at risk.
Description
Beschreibung description
SYSTEM UND VERFAHREN FÜR EINE INTERAKTION ZWISCHEN EINER SYSTEM AND METHOD FOR AN INTERACTION BETWEEN ONE
PERSON UND EINER MASCHINE PERSON AND A MACHINE
[0001] Die Erfindung betrifft ein System und ein Verfahren zur Interaktion The invention relates to a system and a method for interaction
zwischen einer Person und einer Maschine, insbesondere einem Roboter, bei dem an der Person an bestimmten Positionen Markierungsmittel angeordnet sind und mithilfe einer 3D-TOF-Kamera erfasst werden können. Die Maschine wird über eine Steuereinheit derart angesteuert, dass die erkannte Person nicht in ihrer Sicherheit gefährdet wird. between a person and a machine, in particular a robot, in which marking means are arranged on the person at certain positions and can be detected by means of a 3D TOF camera. The machine is controlled by a control unit so that the recognized person is not endangered in their safety.
[0002] Aus der DE 10 2005 003 827 B4 ist bereits eine Vorrichtung und ein From DE 10 2005 003 827 B4 is already a device and a
Verfahren zur Interaktion zwischen einem Menschen und einer Method of interaction between a human and a human
Robotereinheit an einem Roboterarbeitsplatz bekannt, bei der die Robot unit at a robot workstation known in which the
Annäherung eines Menschen anhand zweier Sicherheitsschwellen überwacht wird. Über eine erste Sensoreinheit wird eine Annäherung eines Menschen an den Arbeitsplatz derart erfasst, dass bei einem Approaching a person is monitored using two safety thresholds. About a first sensor unit, an approach of a person to the workplace is detected such that at a
Unterschreiten eines ersten Sicherheitsabstandes ein erstes Signal und bei einem Unterschreiten eines zweiten Sicherheitsabstandes ein zweites Signal erzeugt wird. Bei Vorliegen des ersten Signals ist es vorgesehen, die Robotereinheit in einem vorgebbaren Zustand, in einen so genannten sicheren Betriebshalt zu überführen. Liegt das zweite Signal vor, wird die Robotereinheit in einen so genannten Not-Aus-Zustand überführt, in dem die Robotereinheit bewegungslos in ihrer momentanen Stellung verharrt. Weiterhin ist es vorgesehen, dass am Arbeitsplatz der Robotereinheit ein zusätzlicher Sicherheitsschalter angeordnet ist, der die Robotereinheit in den Zustand des sicheren Betriebshaltes überführt. Falling below a first safety distance, a first signal and a falling below a second safety distance, a second signal is generated. In the presence of the first signal, it is provided to transfer the robot unit in a predefinable state to a so-called safe operating stop. If the second signal is present, the robot unit is transferred to a so-called emergency stop state, in which the robot unit remains motionless in its current position. Furthermore, it is provided that an additional safety switch is arranged at the workstation of the robot unit, which transfers the robot unit into the state of safe operating stop.
[0003] Aus der DE 103 20 343 B4 ist ein Verfahren zur überwachten Kooperation zwischen einer Robotereinheit und einem Menschen bekannt, bei dem nach einem vorgebbaren Programmablauf Handhabungsschritte innerhalb eines sowohl von der Robotereinheit als auch vom Menschen From DE 103 20 343 B4 a method for supervised cooperation between a robot unit and a person is known in which after a predetermined program sequence handling steps within a both of the robot unit as well as by humans
zugänglichen gemeinsamen Arbeitsraumes durchgeführt werden. Hierbei ist es vorgesehen, dass der Robotereinheit bei relativer Annäherung an den Menschen ein Bewegungsmuster aufgeprägt wird, dass sich durch die Bewegungsrichtung, Bewegungsgeschwindigkeit sowie dem Abstand der
Robotereinheit relativ zum Menschen auszeichnet. Aus einer Vielzahl unterschiedlicher abgespeicherter Bewegungsmuster wird ein für den Menschen individuelles Bewegungsmuster ausgewählt, so dass dem Menschen ein Gefühl an Arbeitssicherheit und Kontrolle über die accessible shared workspace. In this case, it is provided that the robot unit is impressed on relative approach to humans, a movement pattern that is determined by the direction of movement, movement speed and the distance of the Characterizes robot unit relative to humans. From a variety of different stored patterns of movement a man individual movement pattern is selected so that the people a sense of safety at work and control over the
Robotereinheit vermittelt wird. Jedes Bewegungsmuster liegt mindestens in einer ersten und zweiten Qualitätsstufe vor, die sich beispielsweise in ihrer Bewegungsgeschwindigkeit und/oder Bewegungsrichtung Robot unit is taught. Each movement pattern is present at least in a first and second quality level, for example, in their movement speed and / or movement direction
unterscheiden. Unter Berücksichtigung eines aktuellen Abbremsweges der Robotereinheit sowie einer maximalen eigenen differ. Taking into account a current braking distance of the robot unit and a maximum own
Bewegungsgeschwindigkeit des Menschen wird die Robotereinheit solange abgebremst oder zum Stillstand gebracht, bis eine Movement speed of man, the robot unit is braked or brought to a standstill until a
Kollisionsgefahr auszuschließen ist. Risk of collision is excluded.
[0004] Aus dem Stand der Technik sind ferner Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight- (TOF-) oder Systems for three-dimensional image acquisition are also known from the prior art, which operate with the aid of active illumination. These include so-called time-of-flight (TOF) or
Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden Runtime measurement systems. These use amplitude modulated or pulsed illumination to illuminate the area to be detected
dreidimensionalen Szenerie. three-dimensional scenery.
[0005] Mit Kamerasystem soll insbesondere alle 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als With camera system, in particular, all 3D TOF camera systems should be included, which gain a transit time information from the phase shift of an emitted and received radiation. When
3D-TOF-Kameras sind insbesondere PMD-Kameras mit 3D TOF cameras are in particular PMD cameras with
Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen, EP 1 777 747, US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können. Photonic mixer (PMD) suitable, as u.a. in the applications, EP 1 777 747, US 6 587 186 and also DE 197 04 496 described and, for example, by the company, ifm electronic gmbh 'as a frame grabber O3D are available. In particular, the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.
[0006] Aufgabe der Erfindung ist es ein System mit einer 3D-TOF-Kamera für ein Interaktions-System zwischen einer Person und einer Maschine weiter zu bilden. The object of the invention is to further form a system with a 3D TOF camera for an interaction system between a person and a machine.
[0007] Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße The object is achieved in an advantageous manner by the invention
Vorrichtung und dem erfindungsgemäßen Verfahren der unabhängigen
Ansprüche gelöst. Device and the inventive method of independent Claims solved.
[0008] Vorteilhaft sieht das erfindungsgemäße Systenn für eine Interaktion Advantageously, the system according to the invention provides for an interaction
zwischen einer Person und einer Maschine, insbesondere einem Roboter, Markierungsmittel vor, die an bestimmten Positionen der Person, vorzugsweise an Endpositionen von Extremitäten oder Gelenken, angeordnet sind. Mindestens eine 3D-TOF-Kamera dient zur between a person and a machine, in particular a robot, before marking means, which are arranged at certain positions of the person, preferably at end positions of extremities or joints. At least one 3D TOF camera is used for
dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel. Mit Hilfe einer Auswerteeinheit wird ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt. Anhand der erfassten und/oder vorbestimmten Position und Bewegung der Person wird die Maschine über eine Steuereinheit derart angesteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht weiter gefährdet wird. three-dimensional acquisition of the interaction area and for the detection of the marking means. With the aid of an evaluation unit, based on the detected marking means, a model of the person is created and a position and a movement of the person are detected and / or predetermined. Based on the detected and / or predetermined position and movement of the person, the machine is controlled via a control unit such that in a safety-critical position and / or movement of the person, the person is not further endangered.
[0009] Zweckmäßiger Weise sind die Markierungsmittel als Reflektoren Conveniently, the marking means as reflectors
ausgebildet, so wird in vorteilhafter Weise sichergestellt, dass auch bei starkem Umgebungslicht das Markierungsmittel eindeutig und sicher vom Hintergrund unterschieden werden kann. formed, it is advantageously ensured that even with strong ambient light, the marking agent can be clearly and reliably distinguished from the background.
[0010] Weiterhin ist es nützlich die Markierungsmittel mit unterschiedlichen Furthermore, it is useful the markers with different
optischen Eigenschaften auszugestalten. So ist es möglich, für bestimmte Positionen Markierungsmittel mit besonderen optischen Eigenschaften bereitzustellen. So kann beispielsweise ein Reflektor, der am Kopf der Person angeordnet ist, eine andere optische Eigenschaft aufweisen als die Reflektoren die an der Schulter oder an der Hand angeordnet sind. design optical properties. Thus, it is possible to provide markers with particular optical properties for certain positions. For example, a reflector, which is arranged on the head of the person, have a different optical property than the reflectors which are arranged on the shoulder or on the hand.
Prinzipiell ist es denkbar, für jede Position eine eigene optische In principle, it is conceivable for each position its own optical
Eigenschaft vorzusehen. To provide property.
[001 1] Gemäß einer weiteren Ausgestaltung ist es vorgesehen, eine [001 1] According to a further embodiment, it is provided, a
Arbeitskleidung der interagierenden Person mit Markierungsmittel an den bestimmten Positionen auszustatten. To equip working clothes of the interacting person with markers at the specific positions.
[0012] Weiterhin ist es von Vorteil mehr als eine 3D-TOF-Kamera vorzusehen. Furthermore, it is advantageous to provide more than a 3D TOF camera.
Die Verwendung mehrerer Kameras erlaubt es insbesondere, die The use of multiple cameras allows in particular, the
Sicherheit der erfassten Daten zu erhöhen. Darüber hinaus ist es mithilfe mehrerer Kameras möglich auch gegebenenfalls durch die Person oder
der Maschine verdeckte Bereiche zu erfassen. Increase the security of the collected data. In addition, it is possible with the help of multiple cameras also if necessary by the person or the machine to cover hidden areas.
[0013] In einer weiteren Ausgestaltung ist es vorteilhaft, innerhalb des In a further embodiment, it is advantageous within the
Interaktionsbereichs mindestens zwei, personenunabhängige Interaction area at least two, person-independent
Referenzmarkierungen, insbesondere Reflektoren, vorzusehen. Ort und Abstand dieser Referenzmarkierungen sind in Bezug auf mindestens eine 3D-TOF-Kamera bekannt, sodass ausgehend von diesen Reference marks, in particular reflectors to provide. The location and spacing of these reference marks are known with respect to at least one 3D TOF camera, so on the basis of these
Referenzmarkierungen das 3D-Modell einer 3 D-TO F- Kamera kalibriert werden kann. Reference marks the 3D model of a 3 D-TO F camera can be calibrated.
[0014] Ferner ist es von Vorteil, auch ein Verfahren zum Betreiben des Furthermore, it is advantageous, a method for operating the
vorgenannten Systems bereitzustellen, bei dem die mit der Maschine interagierende Person anhand von Markierungsmitteln, die an bestimmten Stellen der Person angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren the above-mentioned system, in which the person interacting with the machine is detected in its position and movement by marking means which are arranged at certain points of the person, whereby a model of the person is first determined on the basis of the detected marking means, on the basis of which the others
Berechungen erfolgen. Calculations done.
[0015] Das Verfahren lässt sich weiter verbessern, indem vor der Interaktion der Person mit der Maschine in einer Startphase zunächst alle The method can be further improved by first before the interaction of the person with the machine in a startup phase
Markierungsmittel der Person erfasst werden. So kann sichergestellt werden, dass für die Person ein geeignetes Modell für die weiteren Berechungen hinterlegt werden kann. Marking the person are recorded. This can ensure that a suitable model for the further calculations can be deposited for the person.
[0016] Zweckmäßiger Weise ist es vorgesehen, dass die Person in der Appropriately, it is provided that the person in the
Startphase bestimmte Positionen einnimmt und/oder bestimmte Gesten durchführt. So wird beispielsweise sichergestellt, dass alle Gelenkpunkte der Person erkannt und eine maximale Bewegungsmöglichkeit der Person erfasst wird. Starting phase takes certain positions and / or performs certain gestures. This ensures, for example, that all points of the person's joints are recognized and a maximum range of motion of the person is detected.
[0017] Vorteilhaft wird die Interaktion mit der Maschine nur dann freigegeben, wenn in der Startphase alle erwarteten Markierungsmittel eindeutig erkannt wurden. Advantageously, the interaction with the machine is only released if all expected marking means were clearly identified in the startup phase.
[0018] In einer weiteren Ausgestaltung ist es vorgesehen, bei einer erkannten oder prognostizierten Sicherheitskritischen Position und/oder Bewegung der Person die Maschine so anzusteuern, dass eine Gefährdung der Person auszuschließen ist. In a further embodiment, it is provided to control the machine in a recognized or predicted safety critical position and / or movement of the person so that a risk to the person is excluded.
[0019] Liegen die erkannten oder prognostizierten Positionen und/oder
Bewegung der Person innerhalb eines erwarteten Prozessbereiches, ist es vorteilhaft vorgesehen einen kooperativen Prozessablauf zwischen Are the recognized or predicted positions and / or Movement of the person within an expected process area, it is advantageous provided a cooperative process flow between
Maschine und der Person aufrechtzuerhalten. Maintain machine and the person.
[0020] Es zeigen: In the drawings:
[0021] Fig. 1 schematisch ein erfindungsgemäßes System, Fig. 1 shows schematically a system according to the invention,
Fig. 2 einen Maschinenarbeitsbereich mit einer kooperierenden Person, Fig. 3 eine kooperierende Person innerhalb eines Interaktionsbereichs, Fig. 4 eine kooperierende Person außerhalb des Interaktionsbereichs in der Startphase. 2 shows a machine working area with a cooperating person, FIG. 3 shows a cooperating person within an interaction area, FIG. 4 shows a cooperating person outside the interaction area in the start phase.
[0022] Figur 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem 3D-TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist. FIG. 1 shows a measurement situation for an optical distance measurement with a 3D TOF camera system, as is known, for example, from DE 197 04 496.
[0023] Das 3D-TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein The 3D TOF camera system here comprises a transmitting unit or a
Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3 D-TO F- Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der Illumination module 100 with a light source 12 and associated beam shaping optics 50 and a receiving unit or 3 D-TO F camera 200 with a receiving optics 150 and a photosensor 15. Der
Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als Photosensor 15 is preferably as a pixel array, in particular as
PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven PMD sensor, designed. The receiving optics typically consist of improving the imaging properties of a plurality of optical elements. The beam-shaping optical system 50 of the transmitting unit 100 is preferably designed as a reflector. However, it can also diffractive elements or combinations of reflective and diffractive
Elementen eingesetzt werden. Elements are used.
[0024] Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten The measuring principle of this arrangement is essentially based on that, starting from the phase difference of the emitted and received light, the duration of the emitted and reflected light can be determined. For this purpose, the light source and the photosensor 15 via a modulator 18 together with a specific
Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Modulation frequency applied to a first phase position a.
Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke
entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem In accordance with the modulation frequency, the light source 12 transmits an amplitude-modulated signal having the phase a. In the case shown, this signal or the electromagnetic radiation is reflected by an object 20 and hits due to the distance covered in the photosensor 15, the signal of the first phase position a of the modulator 18 with the received signal, which has meanwhile assumed a second phase position b, mixed and from the
resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt. resulting signal determines the phase shift or the object distance.
[0025] Figur 2 zeigt schematisch einen Maschinenarbeitsplatz mit einem Roboter 30 und einer kooperierenden Person 300. Der Roboter 30 ist hier als Greif- bzw. Werkzeug-Roboter mit mehreren Gelenkarmen 32 und Figure 2 schematically shows a machine workstation with a robot 30 and a cooperating person 300. The robot 30 is here as a gripper or tool robot with multiple articulated arms 32 and
Gelenken 33 ausgestaltet. Zwischen der Person 300 und dem Roboter 30 befindet sich ein Arbeitsplatz 500, der gemeinsam von der Person 300 und dem Roboter 30 vorzugsweise kooperierend genutzt wird. Die gesamte Situation in der sich der Roboter 30 und die Person 300 befinden wird von einer 3D-TOF-Kamera 10 erfasst. Zur besseren Erkennung der Joints 33 configured. Between the person 300 and the robot 30 is a workstation 500, which is preferably used cooperatively by the person 300 and the robot 30 together. The entire situation in which the robot 30 and the person 300 are located is detected by a 3D TOF camera 10. For better recognition of the
Extremitäten der Person 300 sind an bevorzugten Stellen wie 300 person extremities are at preferred locations like
beispielsweise Kopf, Schulter, Handgelenk, Arm- und Kniegelenk sowie im Fußbereich Markierungsmittel, vorzugsweise Reflektoren, angeordnet. Die von der 3D-TOF-Kamera erfasste Situation wird mithilfe einer For example, head, shoulder, wrist, arm and knee joint as well as foot markers, preferably reflectors, arranged. The situation captured by the 3D TOF camera is determined by using a
Auswerteeinheit bzw. Bildverarbeitung 210 verarbeitet und insbesondere im Hinblick auf Position und Bewegung der Person 300 ausgewertet. Die Daten der Auswerteeinheit 210 werden vorzugsweise einer Steuereinheit 35 des Roboters 30 zu Verfügung gestellt. Ausgehend von den Position-, Bewegungs- und Lagedaten der Person 300 kann in Relation zu den bekannten Positions- und Bewegungsplänen des Roboters eine Evaluation unit or image processing 210 processed and evaluated in particular with regard to position and movement of the person 300. The data of the evaluation unit 210 are preferably made available to a control unit 35 of the robot 30. Based on the position, movement and position data of the person 300 may in relation to the known position and movement plans of the robot a
sicherheitskritische Lage der Person 300 erkannt werden. Um die Gefahr für die Person zu reduzieren oder gegebenenfalls auch abzuwenden, kann es vorgesehen sein, beispielsweise die Geschwindigkeit der safety-critical situation of the person 300 are detected. In order to reduce the risk for the person or possibly avert it, it may be provided, for example, the speed of
Robotergelenke bei Annäherung zu verringern, sodass sichergestellt werden kann, dass der Roboterarm jederzeit gefahrlos zum Stillstand gebracht werden kann. Reduce robot joints when approaching, so that it can be ensured that the robot arm can be safely brought to a standstill at any time.
[0026] Bei einer kooperierenden Interaktion zwischen Person 300 und Roboter 30 werden von der Person 300 vorbestimmte Bewegungsmuster erwartet. Kooperiert die Person 300 innerhalb dieser Bewegungsmuster, hält die
Maschine den kooperativen Prozessablauf aufrecht. Weicht die Person 300 jedoch von diesem Prozessablauf ab, geht die Maschine In a cooperating interaction between the person 300 and the robot 30, predetermined movement patterns are expected of the person 300. Cooperates the person 300 within these movement patterns, holds the Machine upholds the cooperative process flow. However, if the person 300 deviates from this process, the machine goes
gegebenenfalls in einen Sicherheitsmodus oder weicht den Bewegungen der Person 300 aus. optionally in a security mode or evades the movements of the person 300.
[0027] Auch für den kooperierenden Prozessablauf ist es vorgesehen, dass die maximale Geschwindigkeit des Roboters so gewählt ist, dass er innerhalb einer vorgegebenen Sicherheitsgrenze bei Gefahr zum Stillstand kommt. Beispielsweise kann es vorgesehen sein, dass die Geschwindigkeit des Roboters mit abnehmendem Abstand der Person 300 von dem Roboter 30 reduziert wird. Also for the cooperating process flow, it is provided that the maximum speed of the robot is selected so that it comes to a standstill within a predetermined safety limit in case of danger. For example, it may be provided that the speed of the robot is reduced as the distance of the person 300 from the robot 30 decreases.
[0028] Figur 3 zeigt schematisch die interaktive Situation in einer Aufsicht. FIG. 3 schematically shows the interactive situation in a plan view.
Beispielhaft sind in diesem Ausführungsbeispiel drei 3D-TOF-Kameras 10 vorgesehen, die innerhalb ihres Erfassungsbereiches E den By way of example, three 3D TOF cameras 10 are provided in this embodiment, the within their coverage area E the
Interaktionsbereich I der Maschine 30 vollständig erfassen. Der Detect interaction area I of the machine 30 completely. Of the
Interaktionsbereich I der Maschine 30 wird vornehmlich durch die maximalen Bewegungsmöglichkeiten des Roboters aufgespannt und umfasst selbstverständlich nicht nur eine zweidimensionale Ebene, sondern auch einen entsprechenden Volumenbereich. In der Darstellung befindet sich die Person 300 am Maschinenarbeitsplatz 500 und kann beispielsweise das auf dem Arbeitsplatz 500 befindliche Arbeitsmittel 510 dem Roboter 30 kooperativ zur Verfügung stellen. Interaction area I of the machine 30 is spanned primarily by the maximum movement possibilities of the robot and, of course, not only comprises a two-dimensional plane, but also a corresponding volume area. In the illustration, the person 300 is at the machine workstation 500 and, for example, can cooperatively provide the work equipment 510 located on the workstation 500 to the robot 30.
[0029] Ferner sind auf dem Arbeitsplatz 500 in einem Randbereich Furthermore, 500 are in a peripheral area on the workstation
Referenzmarkierungen 250 angeordnet. Ort und Abstand dieser Reference marks 250 arranged. Place and distance of this
Referenzmarkierungen sind in Bezug auf mindestens eine Reference marks are in relation to at least one
3D-TOF-Kamera bekannt, sodass ausgehend von diesen 3D TOF camera known, so starting from these
Referenzmarkierung beispielsweise eine 3D-Modell einer 3D-TOF-Kamera kalibriert werden kann. Im dargestellten Fall könnten die Reference mark, for example, a 3D model of a 3D TOF camera can be calibrated. In the case illustrated, the
Referenzmarkierungen 250 beispielsweise als Reflexionsstreifen ausgebildet sein. Selbstverständlich können die Referenzmarkierungen 250 auch ohne besondere Reflexionseigenschaften ausgebildet sein, maßgeblich ist, dass diese Markierungen 250 von mindestens einer 3D-TOF-Kamera 10 eindeutig erfasst werden können. Die Reference marks 250 may be formed, for example, as a reflection strip. Of course, the reference marks 250 can also be formed without special reflection properties, it is decisive that these markings 250 can be clearly detected by at least one 3D TOF camera 10. The
Referenzmarkierungen 250 können beispielsweise auch an anderen Orten
des Erfassungsbereichs E angeordnet werden, insbesondere ist es auch denkbar, dass die Referenzmarkierungen 250 an der Grenze des For example, reference marks 250 may be in other locations the detection range E are arranged, in particular it is also conceivable that the reference marks 250 at the boundary of
Interaktionsbereichs I angeordnet sind. So dass sowohl Ort und Position als auch eine Grenze des Interaktionsbereichs I markiert ist. Interaction area I are arranged. So that both location and position as well as a border of the interaction area I are marked.
[0030] Figur 4 zeigt eine mögliche Startphase der in Figur 3 gezeigten FIG. 4 shows a possible starting phase of that shown in FIG
Arbeitssituation. Im dargestellten Fall befindet sich die Person 300 in einer vorbestimmten Startposition SP. Diese Startposition befindet sich vorzugsweise außerhalb des Interaktionsbereiches, sodass in dieser Phase zunächst keine potenzielle Gefahr von der Maschine 30 ausgeht. Innerhalb der Startphase ist es erfindungsgemäß vorgesehen, dass die Person 300 sich vor Beginn einer Interaktion dem System in der Work situation. In the illustrated case, the person 300 is in a predetermined starting position SP. This start position is preferably located outside the interaction area, so that in this phase first no potential danger emanates from the machine 30. Within the starting phase, it is provided according to the invention that the person 300 before the start of an interaction with the system in the
Startposition SP zu erkennen gibt. Vorteilhaft nimmt die Person eine bestimmte Haltung oder eine bestimmte Geste ein, um dem System die Erkennung der Markierungsmittel zu erleichtern bzw. die Zuverlässigkeit der Erkennung zu verbessern. Zu einer weiteren Verbesserung der Erkennung kann es zudem auch vorgesehen sein, mehrere Positionen oder Gesten einzunehmen. Nachdem die Person anhand der Erfassung aller erwarteten Markierungsmittel sicher erfasst und erkannt wurde gibt das System eine mögliche Interaktion frei. Starting position SP can be seen. Advantageously, the person assumes a particular posture or gesture to facilitate recognition of the markers to the system or to improve the reliability of the recognition. To further improve recognition, it may also be provided to take multiple positions or gestures. After the person has been safely detected and identified by collecting all expected tagging means, the system releases a possible interaction.
[0031] Personen die ohne Markierungsmittel in den Erfassungsbereich E Persons without marking agent in the detection area E
eindringen werden als potenziell gefährdet eingestuft. Abhängig von Geschwindigkeit und Richtung des eindringenden Objektes werden sicherheitsrelevante Maßnahmen bis hin zum Not-Halt der Maschine durchgeführt. intrusion is classified as potentially endangered. Depending on the speed and direction of the penetrating object, safety-related measures are taken up to the emergency stop of the machine.
[0032] Durch dieses Vorgehen wird sichergestellt, dass nur entsprechend This procedure ensures that only according
autorisierte Personen, nämlich solche, die durch bestimmte authorized persons, namely those who by certain
Markierungsmittel gekennzeichnet sind, kooperativ mit der Maschine in Wechselwirkung treten können. Nicht autorisierte Personen bzw. Marking agents are marked, can cooperatively interact with the machine. Unauthorized persons or
unbekannte Objekte werden vorsorglich als Sicherheitsrisiko eingestuft.
Unknown objects are classified as a precautionary safety risk.
Claims
1. System für eine Interaktion zwischen einer Person (300) und einer Maschine (30), insbesondere einem Roboter, A system for interaction between a person (300) and a machine (30), in particular a robot,
- mit Markierungsmitteln (400), die an der Person (300) an bestimmten Positionen, vorzugsweise Endpositionen von Extremitäten oder Gelenken, angeordnet sind, with marking means (400) which are arranged on the person (300) at specific positions, preferably end positions of extremities or joints,
- mit mindestens einer 3D-TOF-Kamera (10) zur dreidimensionalen Erfassung des Interaktionsbereichs (I) und zur Erfassung der Markierungsmittel (400), with at least one 3D TOF camera (10) for the three-dimensional detection of the interaction area (I) and for the detection of the marking means (400),
- mit einer Auswerteeinheit (210), die derart ausgestaltet ist, dass ausgehend von den erfassten Markierungsmitteln (400) ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt wird, with an evaluation unit (210) which is designed in such a way that, based on the detected marking means (400), a model of the person is created and a position and a movement of the person are detected and / or predetermined,
- mit einer Steuereinheit (35), die die Maschine (30) derart ansteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht gefährdet wird. - With a control unit (35) which controls the machine (30) such that in a safety-critical position and / or movement of the person, the person is not endangered.
2. System nach Anspruch 1 , bei dem die Markierungsmittel (400) als Reflektoren ausgebildet sind. 2. System according to claim 1, wherein the marking means (400) are formed as reflectors.
3. System nach einem der vorhergehenden Ansprüche, bei dem die 3. System according to any one of the preceding claims, wherein the
Markierungsmittel (400) mit unterschiedlichen optischen Eigenschaften ausgestaltet sind Marking means (400) are designed with different optical properties
4. System nach einem der vorhergehenden Ansprüche, bei dem eine 4. System according to any one of the preceding claims, wherein a
Arbeitskleidung der interagierenden Person (300) Markierungsmitteln an den bestimmten Positionen aufweist. Workwear of the Interacting Person (300) has marking means at the designated positions.
5. System nach einem der vorhergehenden Ansprüche, mit mindestens zwei 3D-TOF-Kameras (10). 5. System according to one of the preceding claims, with at least two 3D TOF cameras (10).
6. System nach einem der vorhergehenden Ansprüche, bei dem innerhalb des Interaktionsbereichs (I) mindestens zwei, personenunabhängige 6. System according to any one of the preceding claims, wherein within the interaction area (I) at least two, personunabhängige
Referenzmarkierung (250), insbesondere Reflektoren, angebracht sind. Reference mark (250), in particular reflectors are mounted.
7. Verfahren zum Betreiben eines Systems nach einem der vorhergehenden Ansprüchen, 7. A method of operating a system according to any one of the preceding claims,
bei dem eine mit der Maschine (30) interagierende Person (300) anhand von Markierungsmittel (400), die an bestimmten Stellen der Person (300) angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel (400) zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren Berechnungen erfolgen.in which a person (300) interacting with the machine (30) is detected in its position and movement by means of marking means (400) which are arranged at specific locations of the person (300), wherein on the basis of the detected marking means (400) a model of the person is initially determined, on the basis of which the further calculations are carried out.
8. Verfahren nach Anspruch 7, bei dem vor der Interaktion der Person (300) mit der Maschine (30) in einer Startphase zunächst alle Markierungsmittel der Person (300) erfasst werden. 8. The method of claim 7, wherein before the interaction of the person (300) with the machine (30) in a start-up phase, first all marking means of the person (300) are detected.
9. Verfahren nach einem der Ansprüche 7 bis 8, bei dem die Person (300) in der Startphase bestimmte Positionen einnimmt und/oder Gesten durchführt. 9. The method according to any one of claims 7 to 8, wherein the person (300) occupies certain positions in the starting phase and / or performs gestures.
10. Verfahren nach einem der Ansprüche 7 bis 9, bei dem in der Startphase erst bei einer Erkennung aller erwarteten Markierungsmittel (400) die Interaktion mit der Maschine (30) freigegeben wird. 10. The method according to any one of claims 7 to 9, wherein the interaction with the machine (30) is released in the start phase only when all expected marking means (400).
1 1. Verfahren nach einem der Ansprüche 7 bis 10, bei dem anhand der letzten Positionen und/oder Bewegungen der Person (300) unter Berücksichtigung des ermittelten Modells die nächste Bewegung der Person (300) vorbestimmt bzw. prognostiziert wird. 1 1. The method according to any one of claims 7 to 10, wherein based on the last positions and / or movements of the person (300) taking into account the determined model, the next movement of the person (300) is predetermined or predicted.
12. Verfahren nach einem der Ansprüche 7 bis 1 1 , bei beim bei einer erkannte oder prognostizierten sicherheitskritischen Position und/oder Bewegung der Person (300) die Maschine (30) so angesteuert wird, dass eine Gefährdung der Person (300) auszuschließen ist. 12. The method according to any one of claims 7 to 1 1, wherein when a detected or predicted safety-critical position and / or movement of the person (300), the machine (30) is controlled so that a risk to the person (300) is ruled out.
13. Verfahren nach einem der Ansprüche 7 bis 12, bei dem die Maschine mit der Person (300) einen kooperativen Prozessablauf aufrechterhält, wenn die erkannte oder prognostizierten Position und/oder Bewegung der Person (300) innerhalb eines erwarteten Prozessbereiches liegt. 13. The method of claim 7, wherein the machine maintains a cooperative process with the person when the identified or predicted position and / or movement of the person is within an expected process area.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200910046107 DE102009046107A1 (en) | 2009-10-28 | 2009-10-28 | System and method for interaction between a person and a machine |
DE102009046107.8 | 2009-10-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011051285A1 true WO2011051285A1 (en) | 2011-05-05 |
Family
ID=43639143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2010/066163 WO2011051285A1 (en) | 2009-10-28 | 2010-10-26 | System and method for an interaction between a person and a machine |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102009046107A1 (en) |
WO (1) | WO2011051285A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345064A (en) * | 2013-07-16 | 2013-10-09 | 卫荣杰 | Cap integrated with 3D identifying and 3D identifying method of cap |
WO2015121073A1 (en) * | 2014-02-14 | 2015-08-20 | Holzma Plattenaufteiltechnik Gmbh | Method for operating a machine, in particular a panel cutting system, and machine for carrying out a method of said type |
JP2015526309A (en) * | 2012-08-31 | 2015-09-10 | リシンク ロボティクス インコーポレイテッド | System and method for safe robot operation |
CN107932560A (en) * | 2017-11-14 | 2018-04-20 | 上海交通大学 | A kind of man-machine safety guard system and means of defence |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010002250B4 (en) | 2010-02-23 | 2022-01-20 | pmdtechnologies ag | surveillance system |
KR101560516B1 (en) * | 2012-01-13 | 2015-10-14 | 미쓰비시덴키 가부시키가이샤 | Risk measurement system |
DE102012007242A1 (en) * | 2012-03-09 | 2013-09-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Monitoring system for ensuring cooperation between worker and robot in human robot cooperation system, has control unit that controls robot using position of worker and region crossed by worker and robot in and/or from danger area |
DE202014100411U1 (en) | 2014-01-30 | 2015-05-05 | Kuka Systems Gmbh | safety device |
DE102014210362A1 (en) * | 2014-06-02 | 2015-12-03 | Kuka Systems Gmbh | MRK workstation with a jig |
DE102015225587A1 (en) | 2015-12-17 | 2017-06-22 | Volkswagen Aktiengesellschaft | Interaction system and method for interaction between a person and at least one robot unit |
DE102016200455A1 (en) * | 2016-01-15 | 2017-07-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Safety device and method for safe operation of a robot |
DE102016004902A1 (en) * | 2016-04-22 | 2017-10-26 | Kuka Roboter Gmbh | Monitoring a robot |
DE102016007519A1 (en) * | 2016-06-20 | 2017-12-21 | Kuka Roboter Gmbh | Monitoring a system with at least one robot |
DE102016007520A1 (en) * | 2016-06-20 | 2017-12-21 | Kuka Roboter Gmbh | Monitoring a robot arrangement |
JP6487489B2 (en) | 2017-05-11 | 2019-03-20 | ファナック株式会社 | Robot control apparatus and robot control program |
DE102018108445B3 (en) | 2018-04-10 | 2019-08-01 | Ifm Electronic Gmbh | Method of programming a manufacturing step for an industrial robot |
US11597104B2 (en) * | 2019-07-31 | 2023-03-07 | X Development Llc | Mobile robot sensor configuration |
DE102019211770B3 (en) * | 2019-08-06 | 2020-09-03 | BIBA - Bremer Institut für Produktion und Logistik GmbH | Process for the computer-aided recording and evaluation of a workflow in which a human worker and a robotic system interact |
DE102019128782B4 (en) * | 2019-10-24 | 2022-06-09 | Sick Ag | Movable machine with a safety system, with a safety controller, with a localization system, with a distance sensor and with a contour recognition unit |
DE102022116026A1 (en) | 2022-06-28 | 2023-12-28 | Blickfeld GmbH | MOBILE MONITORING SYSTEM |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19704496A1 (en) | 1996-09-05 | 1998-03-12 | Rudolf Prof Dr Ing Schwarte | Method and device for determining the phase and / or amplitude information of an electromagnetic wave |
US6587186B2 (en) | 2000-06-06 | 2003-07-01 | Canesta, Inc. | CMOS-compatible three-dimensional image sensing using reduced peak energy |
DE10320343A1 (en) * | 2003-05-07 | 2004-12-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for monitored cooperation between robot unit and human operator e.g. for industry, involves impressing movement pattern on to robot during approach to human operator |
DE102004030144A1 (en) * | 2004-06-22 | 2006-01-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for controlling robotic system with a number of optic sensors especially cameras to monitor the surroundings of the system and prevent collisions with other objects or persons |
DE102005003827A1 (en) * | 2005-01-26 | 2006-07-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Interactive device for cooperation between a person and a robot unit at a work station with a robot unit has sensor units to detect how close the person is |
EP1777747A1 (en) | 2005-10-19 | 2007-04-25 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for the demodulation of modulated electromagnetic wave fields |
WO2008014831A2 (en) * | 2006-08-02 | 2008-02-07 | Pilz Gmbh & Co. Kg | Method for observation of a person in an industrial environment |
EP1914609A1 (en) * | 2006-10-18 | 2008-04-23 | Sick Ag | Safety switch device comprising means for determining its position |
WO2009049995A1 (en) * | 2007-10-10 | 2009-04-23 | Polysius Ag | Laboratory system having a transport unit for samples and a monitoring system for maintaining a safe distance |
-
2009
- 2009-10-28 DE DE200910046107 patent/DE102009046107A1/en not_active Ceased
-
2010
- 2010-10-26 WO PCT/EP2010/066163 patent/WO2011051285A1/en active Application Filing
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19704496A1 (en) | 1996-09-05 | 1998-03-12 | Rudolf Prof Dr Ing Schwarte | Method and device for determining the phase and / or amplitude information of an electromagnetic wave |
US6587186B2 (en) | 2000-06-06 | 2003-07-01 | Canesta, Inc. | CMOS-compatible three-dimensional image sensing using reduced peak energy |
DE10320343A1 (en) * | 2003-05-07 | 2004-12-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for monitored cooperation between robot unit and human operator e.g. for industry, involves impressing movement pattern on to robot during approach to human operator |
DE10320343B4 (en) | 2003-05-07 | 2008-05-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for supervised cooperation between a robot unit and a human |
DE102004030144A1 (en) * | 2004-06-22 | 2006-01-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for controlling robotic system with a number of optic sensors especially cameras to monitor the surroundings of the system and prevent collisions with other objects or persons |
DE102005003827A1 (en) * | 2005-01-26 | 2006-07-27 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Interactive device for cooperation between a person and a robot unit at a work station with a robot unit has sensor units to detect how close the person is |
DE102005003827B4 (en) | 2005-01-26 | 2007-01-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for interaction between a human and a robot unit at a robot workstation |
EP1777747A1 (en) | 2005-10-19 | 2007-04-25 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for the demodulation of modulated electromagnetic wave fields |
WO2008014831A2 (en) * | 2006-08-02 | 2008-02-07 | Pilz Gmbh & Co. Kg | Method for observation of a person in an industrial environment |
EP1914609A1 (en) * | 2006-10-18 | 2008-04-23 | Sick Ag | Safety switch device comprising means for determining its position |
WO2009049995A1 (en) * | 2007-10-10 | 2009-04-23 | Polysius Ag | Laboratory system having a transport unit for samples and a monitoring system for maintaining a safe distance |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015526309A (en) * | 2012-08-31 | 2015-09-10 | リシンク ロボティクス インコーポレイテッド | System and method for safe robot operation |
CN103345064A (en) * | 2013-07-16 | 2013-10-09 | 卫荣杰 | Cap integrated with 3D identifying and 3D identifying method of cap |
WO2015121073A1 (en) * | 2014-02-14 | 2015-08-20 | Holzma Plattenaufteiltechnik Gmbh | Method for operating a machine, in particular a panel cutting system, and machine for carrying out a method of said type |
CN107932560A (en) * | 2017-11-14 | 2018-04-20 | 上海交通大学 | A kind of man-machine safety guard system and means of defence |
CN107932560B (en) * | 2017-11-14 | 2021-04-27 | 上海交通大学 | Man-machine safety protection system and protection method |
Also Published As
Publication number | Publication date |
---|---|
DE102009046107A1 (en) | 2011-05-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011051285A1 (en) | System and method for an interaction between a person and a machine | |
DE102010002250B4 (en) | surveillance system | |
DE102009031732B3 (en) | Distance measuring optoelectronic sensor e.g. laser scanner, for monitoring operating area, has illumination unit activated with increased power, when no impermissible object contact is recognized | |
EP3421189B1 (en) | Method for monitoring a machine | |
EP2095008B1 (en) | Method and apparatus for monitoring a three-dimensional spatial area | |
EP3701340B1 (en) | Monitoring device, industrial installation, method for monitoring, and computer program | |
DE112010003000B4 (en) | Vision system for monitoring people in dynamic environments | |
EP2457217B1 (en) | Method and device for surveillance of an area | |
DE102018118265B4 (en) | Procedure and monitoring system for protecting a machine | |
EP2434432A1 (en) | Closed loop control of the illumination intensity for an optoelectronic sensor | |
EP1586805A1 (en) | Method for monitoring a surveillance area | |
EP1635108A1 (en) | Method and apparatus to detect an object | |
EP3650740B1 (en) | Safety system and method for monitoring a machine | |
EP3611422A1 (en) | Sensor assembly and method for securing a supervised area | |
DE102009034848A1 (en) | Optoelectronic sensor | |
DE102014000747B4 (en) | System for monitoring a space between a charging plate of a stationary inductive charging device and a charging plate of a parked vehicle | |
DE10026711B4 (en) | Position monitoring device and method | |
DE102008046346A1 (en) | Spatial region i.e. medical treatment room, monitoring method for X-ray device, involves developing three-dimensional environment model from spatial points, where model specifies space volumes occupied by objects within spatial region | |
EP3026459B1 (en) | Sensor system | |
DE102019128782B4 (en) | Movable machine with a safety system, with a safety controller, with a localization system, with a distance sensor and with a contour recognition unit | |
DE102017119149A1 (en) | Method for contactless detection of relatively moving objects and sensor device | |
DE102004030144B4 (en) | Apparatus and method for close range detection around a robot unit | |
DE102019008840A1 (en) | Method for the detection of objects on expressways | |
EP3203262A1 (en) | Optoelectronic device for securing a source of danger | |
DE102018211943A1 (en) | Radar system for collision avoidance of a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10775767 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10775767 Country of ref document: EP Kind code of ref document: A1 |