WO2019224225A1 - Verfahren und system zum lokalisieren eines objekts in einer umgebung eines roboters - Google Patents

Verfahren und system zum lokalisieren eines objekts in einer umgebung eines roboters Download PDF

Info

Publication number
WO2019224225A1
WO2019224225A1 PCT/EP2019/063171 EP2019063171W WO2019224225A1 WO 2019224225 A1 WO2019224225 A1 WO 2019224225A1 EP 2019063171 W EP2019063171 W EP 2019063171W WO 2019224225 A1 WO2019224225 A1 WO 2019224225A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
robot
reference point
light mark
pose
Prior art date
Application number
PCT/EP2019/063171
Other languages
English (en)
French (fr)
Inventor
Daniel Braun
Original Assignee
Kuka Deutschland Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kuka Deutschland Gmbh filed Critical Kuka Deutschland Gmbh
Publication of WO2019224225A1 publication Critical patent/WO2019224225A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/425—Teaching successive positions by numerical control, i.e. commands being entered to control the positioning servo of the tool head or end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39393—Camera detects projected image, compare with reference image, position end effector

Definitions

  • the present invention relates to a method and a system for locating an object in an environment of a robot as well as a
  • the object of the present invention is to improve the operation of a robot.
  • Claims 11, 12 protect a system or computer program product for carrying out a method described here.
  • Locating an object in a robotic environment the steps of: a) taking an image of the environment;
  • step d) comprises the (part) steps: d1) determining a reference axis and / or reference position of the
  • Light mark relative to the robot can be determined, this the location of the
  • Reference point relative to the robot corresponds when the image of the light mark is transferred to the image of the reference point (has been), and from this position, in particular reference axis or position, the reference point in turn a pose of the object relative to the robot can be determined.
  • the localization of objects can be improved, in particular their precision can be increased and / or time and / or equipment expenditure can be reduced.
  • a localization of an object may correspond to the determination of a pose of the object, in particular of a model of the (real) object that is virtual in one embodiment, relative to the robot, in particular relative to or in one
  • Reference coordinate system whose pose is known relative to the robot, in particular is determined, in particular relative to or in a model of the environment of the robot include, in particular his.
  • a pose of a model of the object in a robotic reference system, particularly in a model of an environment of the robot, is determined, wherein the model of the object in one embodiment can be added to the model of the environment based on the detected pose.
  • a pose can (in particular) comprise, in particular, a one, two or three dimensional position and / or a one, two or three dimensional orientation, in particular.
  • a reference axis can in particular an axis or Especially in space or environmental model or relative to or in the reference coordinate system include, in particular be on which the light mark or the reference point is located. Accordingly, a reference position, in particular a one-, two- or three-dimensional position in space or
  • Model or relative to or in the reference coordinate system include, in particular be, and / or lie on the reference axis.
  • the above-mentioned steps a) to c) are repeated, in particular multiply, for the same or with the same reference point and in step d) or 62) the pose of the object (model) s, in particular in step d1) the reference axis or reference position, based on at least one, in particular last, determined adjustment determined.
  • step d or 62 the pose of the object (model) s based on the performed adjustments, in particular the case in step d1) determined reference axes or reference positions (the different reference points) determined.
  • the precision can be increased.
  • the pose can be determined more precisely, in particular more reliably.
  • the image is recorded using a mobile and / or robot-external, in particular manually guided, camera and / or by means of a, in particular associated, mobile and / or robot external,
  • the image is updated in one embodiment during at least one of the steps b) and c), in particular repeatedly or continuously, in one embodiment continuously and / or cyclically.
  • the precision (further) increased and / or the time and / or equipment expense (further) can be reduced.
  • the camera may be removed after localization, thus avoiding obstruction of the robot and / or otherwise altering the camera
  • the projection means may comprise a laser (s),
  • the precision can be increased.
  • the projection means in particular
  • non-destructive releasably, on the robot, in particular an end effector of a, in particular multi-jointed robot arm of the robot, arranged.
  • a pose of the projection means can be adjusted by the robot itself.
  • the projection means is or is external to the robot, in particular independent from the robot, in particular,
  • a pose of the projection means is adjusted by an apparatus external to the robot for (adjusting the projection means for) transferring the image of the light mark to the image of the reference point.
  • the projection means can be better positioned and / or more easily removed after localization, thus avoiding obstruction of the robot and / or the projection means being used elsewhere, for example for other robotic environments or the like.
  • the projection means in particular a pose of the
  • Projection means in an embodiment by the or adjusting the
  • Robots (arm) s or the or adjusting the robot external (s) device adjusted in at least two degrees of freedom, in an embodiment by at least two, in particular non-parallel, in one embodiment perpendicular to each other, axes of movement.
  • the adjustment (s) of the projection means on the basis of which the pose (s) of the object (model) s, in particular reference axis (s) or position (s) of the reference point (s), relative to the robot is determined in one embodiment depends on an adjustment relative to the robot, in particular a robot-fixed reference coordinate system or a reference coordinate system whose pose is known relative to the robot, they can in particular (such)
  • the light mark has a visually or visually identifiable orientation, in particular an asymmetry.
  • the precision increased, in particular improved identification of the image of the light mark, and / or the
  • Transfer of the image of the light mark can be improved on the image of the reference point.
  • the image of the light mark on the basis of or in response to a manual specification of a shift, in particular a manual marking of the image of the reference point in the image, transferred to the image of the reference point, in one embodiment (only) as long as the image of Reference point (consecutive) is marked.
  • the transfer of the image of the light mark can be improved to the image of the reference point, in particular increases their precision and / or time and / or equipment costs are reduced. Additionally or alternatively, the transfer of the image of the light mark to the image of the reference point in an embodiment based on, in particular at least partially automatic, identification of the image of the light mark in the image or include these. This can be done in one execution an image processing of the image, in particular a pattern and / or
  • the transfer of the image of the light mark to the image of the reference point in an embodiment based on or by means of one, in particular determined by a single or multiple test adjustment,
  • Connection between an adjustment of the projection means and thereby caused displacement of the image of the light mark can be performed.
  • the image of the light mark is regulated or transferred by means of a control, in particular iteratively, to the image of the reference point, in an embodiment based on the identification of the image of the light mark in the image, the shift manually predetermined for the light mark, in particular ( Reduction, in particular minimization) of a positional deviation between the (identified or marked) images of the light mark and the reference point in the image and that determined by the test adjustment
  • the projection means in particular its pose, is iteratively adjusted in one or more degrees of freedom, thereby determining a (thereby effected) displacement of the image of the light mark in the image
  • predetermined at least as a component of the adjustment for transfer, if by this shift the image of the light mark of the predetermined
  • Displacement follows or moves towards the marked image of the reference point, and / or ends this adjustment and in particular continued in opposite directions or at least in opposite directions as a component of the adjustment for transfer, if by this shift the image of the Light mark deviates from the predetermined shift or moves away from the marked image of the reference point.
  • adjustments are tried, thereby or shifts caused by the image of the light mark determined, and used such adjustments that cause a shift in accordance with the predetermined displacement or to the marked image.
  • connection and the predetermined shift, in particular the positional deviation between the (identified or marked) images of the light mark and the reference point, a corresponding adjustment of the projection means are determined.
  • the transition of the image of the light mark to the image of the reference point is performed until an abort condition is reached, which in one embodiment is detected by a user input, in particular by the display.
  • the user can complete the transfer when a desired accuracy is achieved. This can be done in one
  • the displacement is predetermined by, in one embodiment during the transfer continuous or continuous, touching the display, in particular the image of the reference point by, in one embodiment during the transfer continuous or continuous, touching the display marked.
  • the termination condition or the achievement of the termination condition is detected by terminating this contact, or the corresponding user input may comprise terminating this contact, in particular.
  • the user touches the display at the location of the image of the reference point in the image, or performs a corresponding swipe on the image of the reference point on the display, in a development, the transfer is interrupted or terminated when the user Display no longer touched.
  • the display is correspondingly touch-sensitive or for detecting a location or movement on the display by a human, in particular with a finger and / or an input aid such as
  • the pose of the object (model) s relative to the robot or in the environmental model, in particular the reference axis or position, based on a predetermined or determined pose of the reference point relative to the object, in particular relative to or in an object-fixed coordinate system or based on a pose of a (the reference point of the real object
  • the reference point is a contact point with a (relative to the robot, in particular relative to or in the robot-fixed
  • Reference coordinate system or one or the reference coordinate system whose pose is known relative to the robot known area of the environment, in particular a floor, a wall, a ceiling, a surface of a (further) object or the like.
  • the area can be an im
  • the reference point of the object is determined geometrically, in particular by a corner, recess, elevation or the like, and / or by a, in particular colored, marking.
  • the robot has a mobile platform.
  • the present invention is particularly suitable, in particular for navigation.
  • the robot can also be ambient or stationary.
  • the present invention is particularly suitable, in particular for path planning such robots.
  • a system in particular hardware and / or software, in particular program technology, is set up to carry out a method described here and / or has:
  • system or its agent has:
  • system or its agent comprises in one embodiment:
  • a mobile and / or robot external especially portable, camera for taking the image and / or a, in particular associated, mobile and / or robot external, in particular portable, display for displaying the image and / or means for updating the image during at least one of the steps b), c); and or
  • Reference point on the basis of a manual specification of a shift in particular a manual marking of the image of the reference point in the image, based on, in particular at least partially automatic, identification of the image of the light mark in the image and / or on the basis of, in particular determined by a test adjustment , Relationship between an adjustment of the projection means and thereby caused displacement of the image of the light mark, in particular regulated and / or until a, in particular detected by a user input, termination condition is reached, in particular means for (detection of) a manual specification of a shift, in particular one manual marking of the image of the reference point in the image, means for, in particular at least partially automatic, identification of the image of the light mark in the image and / or means for determining a relationship between a
  • An agent in the context of the present invention may be hard and / or
  • CPU microprocessor unit
  • Program are implemented to process input signals from one
  • a storage system may have one or more, in particular different,
  • Storage media in particular optical, magnetic, solid state and / or other non-volatile media.
  • the program may be such that it is capable of embodying or executing the methods described herein so that the CPU may perform the steps of such methods and, in particular, locate an object.
  • a computer program product may include, in particular, a non-volatile storage medium for storing a program or a program stored thereon, wherein execution of this program causes a system or a controller, in particular a computer, to do so method described here or one or more of its steps
  • one or more, in particular all, steps of the method are completely or partially automated, in particular by the system or its (e) means.
  • the system includes the robot.
  • Fig. 1 a system for locating an object in an environment of a robot according to an embodiment of the present invention
  • Fig. 2 a display of the system
  • Fig. 3 a method for locating the object in the environment of the robot according to an embodiment of the present invention.
  • the system includes a user-guided tablet with a camera 21, a touch screen 22, and a connected computer 30 that communicates with a robotic arm 12 of the robot 10 that is mounted on a mobile platform 11 of the robot 10 and to the robot End effector a laser 13 is attached.
  • a step S10 the laser 13 continuously projects by means of a laser beam 130 a light mark having a visible orientation and whose image L 'is recognizable on the touch screen 22 in Fig. 2, to which
  • step S10 an image P 'of a reference point Pk of the object 40 in the image on the touch screen 22 by continuously touching it at the corresponding location, as indicated in Fig. 2 by a finger over an image 40' of the object ,
  • a step S20 the computer 30 transfers the image L 'of the light mark to the image P' of the reference point Pk by correspondingly adjusting the pose of the laser 13 or the robot arm 12 guiding it.
  • the computer 30 continuously identifies the image L 'of the light mark in the image and determined by a test adjustment an association between an adjustment of the laser (beam) s 13 (0) or robot arm 12 and thereby caused displacement of the image L' of the light mark , For example, it rotates as a test the robot arm or laser (beam), as indicated in Fig. 1 by W. In this case, the image L 'moves, as indicated in Fig. 2 by co. By a test-wise rotation perpendicular thereto, the image L 'in Fig. 2 moves vertically.
  • the computer 30 can iteratively transfer the image L 'of the light mark on the display 22 by adjusting the laser 13 or the robotic arm 12 guiding it to the image P' of the reference point Pk, by the latter continuously regulates so that a deviation between the two images is reduced.
  • the user can also specify the desired shift D of the image L' of the light mark by a corresponding wiping movement on the touchscreen 22.
  • the computer 30 can follow this wiping motion with the image L 'in the manner explained above by appropriately adjusting the laser 13 or the robot arm 12 guiding it.
  • a switch or the like enter the achievement of a termination condition. As long as this termination condition has not yet been reached or a corresponding user input is not yet recorded (S30: "N"), the steps S10, S20 are repeated, whereby the user can approach the object, for example with the camera 21 or the tablet, to increase the accuracy.
  • step S40 the adjustment of the laser 13 or the robot arm 12 leading to it is compared with a robot-fixed one
  • Reference coordinate system ⁇ RX, Ry ⁇ obtained by the transformation o7 R from the object-fixed coordinate system ⁇ ox, oy ⁇ in the robot-fixed
  • Laser beam 130 are determined with the surface or the floor, so omitted in the above system of equations, the unknown lk.
  • the laser 13 can also be arranged robot-external or, as long as its pose relative to the robot-fixed reference coordinate system ⁇ RX, Ry ⁇ is known. Additionally or alternatively, instead of the robot-resistant
  • Reference coordinate system ⁇ RX, Ry ⁇ also another one
  • Reference coordinate system can be used, the pose of which is known relative to the robot 10, which may be the case in particular that the pose of the Robot 10 is known relative to such another reference coordinate system, in particular by (self) localizing the mobile robot 10 is or has been determined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zum Lokalisieren eines Objekts (40) in einer Umgebung eines Roboters (10) weist die Schritte auf: a) Aufnehmen eines Bilds der Umgebung; b) Projizieren einer Lichtmarke auf die Umgebung mithilfe eines Projektionsmittels (13); c) Überführen eines Abbilds (L') der Lichtmarke auf ein Abbild (P') eines Referenzpunktes (Pk) des Objekts auf einer Anzeige (22) des Bildes durch Verstellen des Projektionsmittels; und d) Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung.

Description

Verfahren und System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters
Die vorliegende Erfindung betrifft ein Verfahren und ein System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters sowie ein
Computerprogrammprodukt zur Durchführung des Verfahrens.
Die Kenntnis der Posen von Objekten in einer Umgebung eines Roboters bzw. relativ zum Roboter kann aus verschiedenen Gründen vorteilhaft sein,
insbesondere zur kollisionsfreien Bahnplanung oder dergleichen, insbesondere bei der (autonomen) Navigation mobiler Roboter oder dergleichen. Aufgabe der vorliegenden Erfindung ist es, den Betrieb eines Roboters zu verbessern.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 1 1 , 12 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die
Unteransprüche betreffen vorteilhafte Weiterbildungen.
Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum
Lokalisieren eines Objekts in einer Umgebung eines Roboters die Schritte auf: a) Aufnehmen eines Bilds der Umgebung;
b) Projizieren einer Lichtmarke auf die Umgebung mithilfe eines
Projektionsmittels;
c) Überführen eines Abbilds dieser Lichtmarke auf ein Abbild eines
Referenzpunktes des Objekts auf einer Anzeige des Bildes bzw. in dem Bild durch Verstellen des Projektionsmittels, insbesondere einer Pose des Projektionsmittels; und
d) Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis bzw. in Abhängigkeit von dieser Verstellung.
In einer Ausführung umfasst der Schritt d) die (Teil)Schritte: d1 ) Ermitteln einer Referenzachse und/oder Referenzposition des
Referenzpunktes relativ zu dem Roboter auf Basis bzw. in Abhängigkeit von der Verstellung; und
62) Ermitteln der Pose des Objekts relativ zu dem Roboter auf Basis dieser ermittelten Referenzachse bzw. Referenzposition.
Dem liegt die Erkenntnis zugrunde, dass zum Einen auf Basis der Verstellung eine Lage, insbesondere eine Referenzachse und/oder Referenzposition, der
Lichtmarke relativ zum Roboter ermittelt werden kann, diese der Lage des
Referenzpunktes relativ zum Roboter entspricht, wenn das Abbild der Lichtmarke auf das Abbild des Referenzpunktes überführt (worden) ist, und aus dieser Lage, insbesondere Referenzachse bzw. -position, des Referenzpunktes wiederum eine Pose des Objekts relativ zum Roboter ermittelt werden kann.
Dadurch kann in einer Ausführung die Lokalisierung von Objekten verbessert, insbesondere deren Präzision erhöht und/oder zeitlicher und/oder apparativer Aufwand reduziert werden.
Ein Lokalisieren eines Objekts kann entsprechend das Ermitteln einer Pose des Objekts, insbesondere eines, in einer Ausführung virtuellen, Modells des (realen) Objekts, relativ zu dem Roboter, insbesondere relativ zu bzw. in einem
roboterfesten Referenzkoordinatensystem oder einem
Referenzkoordinatensystem, dessen Pose relativ zum Roboter bekannt ist, insbesondere ermittelt wird, insbesondere relativ zu bzw. in einem Modell der Umgebung des Roboters umfassen, insbesondere sein. In einer Ausführung wird somit eine Pose eines Modells des Objektes in einem Roboterbezugssystem, insbesondere in einem Modell einer Umgebung des Roboters, ermittelt, wobei das Modell des Objekts in einer Ausführung dem Modell der Umgebung auf Basis der ermittelten Pose hinzugefügt werden kann.
Eine Pose kann (jeweils) insbesondere eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung umfassen, insbesondere sein. Eine Referenzachse kann insbesondere eine Achse bzw. Gerade im Raum bzw. Umweltmodell bzw. relativ zu bzw. in dem Referenzkoordinatensystem umfassen, insbesondere sein, auf der die Lichtmarke bzw. der Referenzpunkt liegt. Entsprechend kann eine Referenzposition insbesondere eine ein-, zwei- oder dreidimensionale Position im Raum bzw.
Modell bzw. relativ zu bzw. in dem Referenzkoordinatensystem umfassen, insbesondere sein, und/oder auf der Referenzachse liegen.
In einer Ausführung werden die oben genannten Schritte a) bis c), insbesondere mehrfach, für denselben bzw. mit demselben Referenzpunkt wiederholt und in Schritt d) bzw. 62) die Pose des Objekt(modell)s, insbesondere in Schritt d1 ) die Referenzachse bzw. Referenzposition, auf Basis wenigstens einer dabei, insbesondere zuletzt, ermittelten Verstellung ermittelt.
Zusätzlich oder alternativ werden in einer Ausführung die oben genannten Schritte a) bis c) für unterschiedliche Referenzpunkte bzw. mit unterschiedlichen
Referenzpunkten durchgeführt, in einer Ausführung für bzw. mit wenigstens zwei, insbesondere wenigstens drei, in einer Ausführung wenigstens vier,
unterschiedliche(n) Referenzpunkten, und in Schritt d bzw. 62) die Pose des Objekt(modell)s auf Basis der dabei durchgeführten Verstellungen, insbesondere der dabei in Schritt d1 ) ermittelten Referenzachsen bzw. Referenzpositionen (der unterschiedlichen Referenzpunkte), ermittelt. Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden.
Insbesondere kann durch eine Mittelung bei einer Überbestimmung die Pose präziser, insbesondere zuverlässiger, ermittelt werden.
In einer Ausführung wird das Bild mithilfe einer mobilen und/oder roboterexternen, insbesondere manuell geführten, Kamera aufgenommen und/oder mithilfe einer, insbesondere damit verbundenen, mobilen und/oder roboterexternen,
insbesondere manuell geführten, Anzeige angezeigt.
Zusätzlich oder alternativ wird das Bild in einer Ausführung während wenigstens einem der Schritte b) und c), insbesondere mehrfach bzw. fortlaufend, in einer Ausführung ständig und/oder zyklisch, aktualisiert. Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht und/oder der zeitliche und/oder apparative Aufwand (weiter) reduziert werden. Insbesondere kann in einer Ausführung die Kamera nach dem Lokalisieren entfernt und so eine Behinderung des Roboters vermieden und/oder die Kamera anderweitig
verwendet werden, beispielsweise für andere Roboterumgebungen oder
dergleichen.
In einer Ausführung kann das Projektionsmittel ein(en) Laser aufweisen,
insbesondere sein, mit dem die Lichtmarke auf die Umgebung projiziert wird.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden. Zusätzlich oder alternativ ist bzw. wird das Projektionsmittel, insbesondere
(zerstörungsfrei) lösbar, an dem Roboter, insbesondere einem Endeffektor eines, insbesondere mehrgelenkigen, Roboterarms des Roboters, angeordnet.
Hierdurch kann in einer Ausführung eine Pose des Projektionsmittels durch den Roboter selber verstellt werden. In einer alternativen Ausführung ist bzw. wird das Projektionsmittel roboterextern, insbesondere von dem Roboter unabhängig, insbesondere beabstandet,
(angeordnet). In einer Weiterbildung wird zum (Verstellen des Projektionsmittels zum) Überführen des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes eine Pose des Projektionsmittels durch eine roboterexterne Vorrichtung verstellt. Hierdurch kann in einer Ausführung das Projektionsmittel besser positioniert und/oder nach dem Lokalisieren leichter entfernt und so eine Behinderung des Roboters vermieden und/oder das Projektionsmittel anderweitig verwendet werden, beispielsweise für andere Roboterumgebungen oder dergleichen.
In einer Ausführung wird das Projektionsmittel, insbesondere eine Pose des
Projektionsmittels, in einer Ausführung durch den bzw. Verstellen des
Roboter(arm)s bzw. die bzw. Verstellen der roboterexterne(n) Vorrichtung, in wenigstens zwei Freiheitsgraden verstellt, in einer Ausführung um wenigstens zwei, insbesondere nicht parallele, in einer Ausführung zueinander senkrechte, Bewegungsachsen. Die Verstellung(en) des Projektionsmittels, auf deren Basis die Pose(n) des Objekt(modell)s, insbesondere Referenzachse(n) bzw. - position(en) des bzw. der Referenzpunkte(s), relativ zu dem Roboter ermittelt wird/werden, hängt/hängen in einer Ausführung von einer Verstellung relativ zum Roboter, insbesondere einem bzw. dem roboterfesten Referenzkoordinatensystem oder einem bzw. dem Referenzkoordinatensystem, dessen Pose relativ zum Roboter bekannt ist, ab, sie kann/können insbesondere (eine) solche
Verstellung(en) umfassen, insbesondere sein. Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht werden.
In einer Ausführung weist die Lichtmarke eine sicht- bzw. visuell identifizierbare Orientierung, insbesondere eine Asymmetrie, auf.
Hierdurch kann in einer Ausführung die Präzision (weiter) erhöht, insbesondere eine Identifizierung des Abbilds der Lichtmarke verbessert, und/oder die
Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes verbessert werden.
In einer Ausführung wird das Abbild der Lichtmarke auf Basis bzw. in Abhängigkeit von einer manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, auf das Abbild des Referenzpunktes überführt, in einer Ausführung (nur) solange das Abbild des Referenzpunktes (fortlaufend) markiert wird.
Hierdurch kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes verbessert, insbesondere deren Präzision erhöht und/oder zeitlicher und/oder apparativer Aufwand reduziert werden. Zusätzlich oder alternativ kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes in einer Ausführung auf einer, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild basieren bzw. diese umfassen. Diese kann in einer Ausführung durch eine Bildverarbeitung des Bildes, insbesondere eine Muster- und/oder
Farberkennung, durchgeführt werden.
Zusätzlich oder alternativ kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes in einer Ausführung auf Basis bzw. mithilfe eines, insbesondere durch eine ein- oder mehrfache Testverstellung ermittelten,
Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke durchgeführt werden.
Hierdurch kann die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes (weiter) verbessert, insbesondere deren Präzision (weiter) erhöht und/oder zeitlicher und/oder apparativer Aufwand (weiter) reduziert werden.
In einer Ausführung wird das Abbild der Lichtmarke geregelt bzw. mithilfe einer Regelung, insbesondere iterativ, auf das Abbild des Referenzpunktes überführt, in einer Ausführung auf Basis der Identifikation des Abbilds der Lichtmarke in dem Bild, der für die Lichtmarke manuell vorgegebenen Verschiebung, insbesondere (Reduzierung, insbesondere Minimierung) einer positioneilen Abweichung zwischen den (identifizierten bzw. markierten) Abbildern der Lichtmarke und des Referenzpunktes in dem Bild und des durch die Testverstellung ermittelten
Zusammenhangs.
In einer Weiterbildung wird iterativ das Projektionsmittel, insbesondere dessen Pose, in einem oder mehreren Freiheitsgraden verstellt, dabei eine (hierdurch bewirkte) Verschiebung des Abbilds der Lichtmarke in dem Bild ermittelt
(Testverstellung), und diese Verstellung gleichsinnig weitergeführt oder
wenigstens als Komponente der Verstellung zum Überführen vorgegeben, wenn durch diese Verschiebung das Abbild der Lichtmarke der vorgegebenen
Verschiebung folgt bzw. sich auf das markierte Abbild des Referenzpunktes zubewegt, und/oder diese Verstellung beendet und insbesondere gegensinnig weitergeführt oder wenigstens gegensinnig als Komponente der Verstellung zum Überführen vorgegeben, wenn durch diese Verschiebung das Abbild der Lichtmarke von der vorgegebenen Verschiebung abweicht bzw. sich von dem markierten Abbild des Referenzpunktes wegbewegt.
Anschaulich gesprochen werden in einer Ausführung Verstellungen ausprobiert, dabei bzw. dadurch bewirkte Verschiebungen des Abbilds der Lichtmarke ermittelt, und solche Verstellungen eingesetzt, die eine Verschiebung entsprechend der vorgegebenen Verschiebung bzw. zu dem markierten Abbild hin bewirken.
Gleichermaßen kann auch eine ein- oder mehrfache Testverstellung,
insbesondere einzelner Bewegungsachsen bzw. Freiheitsgrade, des
Projektionsmittels durchgeführt, aus diesen ein Zusammenhang zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke ermittelt und anschließend auf Basis dieses
Zusammenhangs und der vorgegebenen Verschiebung, insbesondere der positioneilen Abweichung zwischen den (identifizierten bzw. markierten) Abbildern der Lichtmarke und des Referenzpunktes, eine entsprechende Verstellung des Projektionsmittels ermittelt werden.
In einer Ausführung wird die Überführung des Abbilds der Lichtmarke auf das Abbild des Referenzpunktes durchgeführt, bis eine Abbruchbedingung erreicht ist, die in einer Ausführung durch eine Benutzereingabe, insbesondere mithilfe der Anzeige, erfasst wird. Hierdurch kann in einer Ausführung der Benutzer das Überführung beenden, wenn eine von ihm gewünschte Genauigkeit erreicht ist. Hierdurch kann in einer
Ausführung die Präzision (weiter) erhöht werden.
In einer Ausführung wird die Verschiebung durch, in einer Ausführung während der Überführung fortlaufendes bzw. ständiges, Berühren der Anzeige vorgegeben, insbesondere das Abbild des Referenzpunktes durch, in einer Ausführung während der Überführung fortlaufendes bzw. ständiges, Berühren der Anzeige markiert. In einer Weiterbildung wird die Abbruchbedingung bzw. das Erreichen der Abbruchbedingung durch Beenden dieser Berührung erfasst bzw. kann die entsprechende Benutzereingabe ein Beenden dieser Berührung umfassen, insbesondere sein. Somit berührt in einer Ausführung der Benutzer die Anzeige an der Stelle des Abbilds des Referenzpunktes in dem Bild oder führt auf der Anzeige eine entsprechende Wischbewegung auf das Abbild des Referenzpunktes zu durch, wobei in einer Weiterbildung die Überführung unterbrochen oder beendet wird, wenn der Benutzer die Anzeige nicht mehr berührt.
In einer Ausführung ist die Anzeige entsprechend berührungssensitiv bzw. zum Erfassen einer Stelle oder Bewegung auf der Anzeige durch einen Menschen, insbesondere mit einem Finger und/oder einem Eingabehilfsmittel wie
beispielsweise einem Stift oder dergleichen, eingerichtet. In einer Ausführung wird die Pose des Objekt(modell)s relativ zu dem Roboter bzw. in dem Umweltmodell, insbesondere die Referenzachse bzw. -position, auf Basis einer vorgegebenen oder ermittelten Pose des Referenzpunktes relativ zu dem Objekt, insbesondere relativ zu bzw. in einem objektfesten Koordinatensystem bzw. auf Basis einer Pose eines (dem Referenzpunkt des realen Objekts
entsprechenden virtuellen) Referenzpunktes des Objektmodells ermittelt.
Zusätzlich oder alternativ ist der Referenzpunkt ein Kontaktpunkt mit einer (relativ zum Roboter, insbesondere relativ zu bzw. in dem roboterfesten
Referenzkoordinatensystem oder einem bzw. dem Referenzkoordinatensystem, dessen Pose relativ zum Roboter bekannt ist) bekannten Fläche der Umgebung, insbesondere einem Fußboden, einer Wand, einer Decke, einer Oberfläche eines (weiteren) Objekts oder dergleichen. Die Fläche kann insbesondere eine im
Umweltmodell definierte Fläche sein.
Zusätzlich oder alternativ ist der Referenzpunkt des Objekts in einer Ausführung geometrisch, insbesondere durch eine Ecke, Aussparung, Erhebung oder dergleichen, und/oder durch eine, insbesondere farbige, Markierung bestimmt.
Hierdurch kann in einer Ausführung die Markierung des Abbilds des
Referenzpunkts durch den Benutzer verbessert, insbesondere vereinfacht und/oder die Präzision der Lokalisierung erhöht und/oder der zeitliche Aufwand reduziert, werden. In einer Ausführung weist der Roboter eine mobile Plattform auf. Hierfür ist die vorliegende Erfindung besonders geeignet, insbesondere zur Navigation.
Gleichermaßen kann der Roboter auch umgebungsfest bzw. stationär sein. Auch hierfür ist die vorliegende Erfindung besonders geeignet, insbesondere zur Bahnplanung solcher Roboter.
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
- Mittel zum Aufnehmen eines Bilds der Umgebung;
- Projektionsmittel zum Projizieren einer Lichtmarke auf die Umgebung;
- Mittel zum Überführen eines Abbilds der Lichtmarke auf ein Abbild eines
Referenzpunktes des Objekts auf einer Anzeige des Bildes durch Verstellen des Projektionsmittels; und
- Mittel zum Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung
In einer Ausführung weist das System bzw. sein(e) Mittel auf:
- Mittel zum Ermitteln einer Referenzachse und/oder Referenzposition des
Referenzpunktes relativ zu dem Roboter auf Basis bzw. in Abhängigkeit von der Verstellung; und
- Mittel zum Ermitteln der Pose des Objekts relativ zu dem Roboter auf Basis dieser ermittelten Referenzachse bzw. -position.
Zusätzlich oder alternativ weist das System bzw. sein(e) Mittel in einer Ausführung auf:
- Mittel zum Wiederholen der Schritte a) - c) für denselben Referenzpunkt
und/oder Durchführen der Schritte a) - c) für unterschiedliche Referenzpunkte und Ermitteln der Pose auf Basis wenigstens einer der dabei durchgeführten Verstellungen; und/oder
- eine mobile und/oder roboterexterne, insbesondere tragbare, Kamera zum Aufnehmen des Bildes und/oder eine, insbesondere damit verbundene, mobile und/oder roboterexterne, insbesondere tragbare, Anzeige zum Anzeigen des Bildes und/oder Mittel zum Aktualisieren des Bildes während wenigstens einem der Schritte b), c); und/oder
- Mittel zum Überführen des Abbilds der Lichtmarke auf das Abbild des
Referenzpunktes auf Basis einer manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, auf Basis einer, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild und/oder auf Basis eines, insbesondere durch eine Testverstellung ermittelten, Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke, insbesondere geregelt und/oder bis eine, insbesondere durch eine Benutzereingabe erfasste, Abbruchbedingung erreicht ist, insbesondere also Mittel zur (Erfassung einer) manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, Mittel zur, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild und/oder Mittel zum Ermitteln eines Zusammenhangs zwischen einer
Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke, insbesondere durch eine Testverstellung;
und/oder
- Mittel zum (Erfassen einer) Vorgabe der Verschiebung durch Berühren der Anzeige, insbesondere Markierung des Abbilds des Referenzpunktes durch Berühren der Anzeige; und/oder
- Mittel zum Ermitteln der Pose des Objekts relativ zu dem Roboter auf Basis einer vorgegebenen oder ermittelten Pose des Referenzpunktes relativ zu dem Objekt.
Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder
softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem
Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene,
Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann und damit insbesondere ein Objekt lokalisieren kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte
auszuführen.
In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
In einer Ausführung weist das System den Roboter auf.
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
Fig. 1 : ein System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters nach einer Ausführung der vorliegenden Erfindung;
Fig. 2: eine Anzeige des Systems; und
Fig. 3: ein Verfahren zum Lokalisieren des Objekts in der Umgebung des Roboters nach einer Ausführung der vorliegenden Erfindung.
Fig. 1 zeigt ein System zum Lokalisieren eines Objekts 40 bzw. dessen Modells in einer Umgebung eines Roboters 10 bzw. deren Modell nach einer Ausführung der vorliegenden Erfindung. Das System weist ein von einem Benutzer manuell geführtes Tablet mit einer Kamera 21 , einem Touchscreen 22 und einem damit verbundenen Computer 30 auf, der mit einem Roboterarm 12 des Roboters 10 kommuniziert, welcher auf einer mobilen Plattform 11 des Roboters 10 angeordnet ist und an dessen Endeffektor ein Laser 13 befestigt ist.
In einem Schritt S10 (vgl. Fig. 3) projiziert der Laser 13 fortlaufend mittels eines Laserstrahls 130 eine Lichtmarke, die eine sichtbare Orientierung aufweist und deren Abbild L‘ auf dem Touchscreen 22 in Fig. 2 erkennbar ist, auf die
Umgebung. Außerdem wird in Schritt S10 fortlaufend ein Bild der Umgebung mit dem Objekt 40 aufgenommen bzw. aktualisiert.
Der Benutzer markiert in Schritt S10 ein Abbild P‘ eines Referenzpunktes Pk des Objekts 40 in dem Bild auf dem Touchscreen 22, indem er diesen fortlaufend an der entsprechenden Stelle berührt, wie in Fig. 2 durch einen Finger über einem Abbild 40‘ des Objekts angedeutet.
In einem Schritt S20 überführt der Computer 30 das Abbild L‘ der Lichtmarke auf das Abbild P‘ des Referenzpunktes Pk, indem er die Pose des Lasers 13 bzw. den ihn führenden Roboterarm 12 entsprechend verstellt.
Hierzu identifiziert der Computer 30 fortlaufend das Abbild L‘ der Lichtmarke in dem Bild und ermittelt durch eine Testverstellung eine Zuordnung zwischen einer Verstellung des Laser(strahl)s 13(0) bzw. Roboterarms 12 und einer dadurch bewirkten Verschiebung des Abbilds L‘ der Lichtmarke. Beispielsweise rotiert er testweise den Roboterarm bzw. Laser(strahl), wie in Fig. 1 durch W angedeutet. Dabei wandert das Abbild L‘, wie in Fig. 2 durch co angedeutet. Durch eine testweise Rotation senkrecht hierzu wandert das Abbild L‘ in Fig. 2 vertikal. Auf diese Weise kann der Computer 30 iterativ das Abbild L‘ der Lichtmarke auf der Anzeige 22 durch Verstellen des Lasers 13 bzw. des ihn führenden Roboterarms 12 auf das Abbild P‘ des Referenzpunktes Pk überführen, indem er diese kontinuierlich so regelt, dass eine Abweichung zwischen den beiden Abbildern sich verringert.
In einer Abwandlung kann der Benutzer statt das Abbild P‘ zu markieren die gewünschte Verschiebung D des Abbild L‘ der Lichtmarke auch durch eine entsprechende Wischbewegung auf dem Touchscreen 22 vorgeben. Der
Computer 30 kann in der oben erläuterten Weise dieser Wischbewegung mit dem Abbild L‘ durch entsprechendes Verstellen des Lasers 13 bzw. des ihn führenden Roboterarms 12 geregelt folgen.
Beendet der Benutzer die Berührung des Touchscreens 22, beendet dies das Überführen.
Ist dies der Fall bzw. das Abbild L‘ der Lichtmarke auf das Abbild P‘ des
Referenzpunktes überführt, kann der Benutzer durch Betätigung einer
Schaltfläche auf dem Touchscreen 22, eines Schalters oder dergleichen das Erreichen einer Abbruchbedingung eingeben. Solange diese Abbruchbedingung noch nicht erreicht bzw. eine entsprechende Benutzereingabe noch nicht erfasst wird (S30:„N“), werden die Schritte S10, S20 wiederholt, wobei der Benutzer beispielsweise mit der Kamera 21 bzw. dem Tablet näher an das Objekt herantreten kann, um die Genauigkeit zu erhöhen.
Ist die Abbruchbedingung erreicht bzw. eine entsprechende Benutzereingabe erfasst (S30:„Y“), wird in Schritt S40 aus der Verstellung des Lasers 13 bzw. des ihn führenden Roboterarms 12 gegenüber einem roboterfesten
Referenzkoordinatensystem, das in Fig. 1 durch seine x- und y-Achse RX, Ry angedeutet ist, eine Referenzachse rk des Referenzpunktes Pk ermittelt (vgl. Fig. 1 ) · Dann werden die oben beschriebenen Schritte solange wiederholt, bis für eine vorgegebene Anzahl n unterschiedlicher Referenzpunkte Referenzachsen rk (k=1 ,. .,h) ermittelt worden sind (S50:„Y“). Aus diesen wird in Schritt S60, wie in Fig. 1 angedeutet, die Position O eines objektfesten Koordinatensystems, das in Fig. 1 durch seine x- und y-Achse ox, oy angedeutet ist, und dessen Orientierung relativ zum roboterfesten
Referenzkoordinatensystem {RX, Ry}, die durch die Transformation o7 R vom objektfesten Koordinatensystem {ox, oy} in das roboterfeste
Referenzkoordinatensystem {RX, Ry} bestimmt ist, auf Basis eines, gegebenenfalls überbestimmten, Gleichungssystems lk· rk = 0 + o · rk (k=1 ,. .,h) bzw. S[lk· rk - (0 + o7 · rk)]2 -> Min mit den im objektfesten Koordinatensystem {ox, oy} bekannten Positionen pk der Referenzpunkte Pk ermittelt, die die Pose des Objekts 40 bzw. seines Modells relativ zum Roboter 10 bzw. dem roboterfesten Referenzkoordinatensystem {RX, Ry} angeben bzw. bestimmen.
Wenn eine Fläche der Umgebung, in der die Referenzpunkte liegen, relativ zum roboterfesten Referenzkoordinatensystem {RX, Ry} bekannt ist, beispielsweise als Referenzpunkte Aufstandspunkte auf einem Fußboden gewählt werden, können anstelle der Referenzachsen rk auch deren bzw. die Schnittpunkte des
Laserstrahls 130 mit der Fläche bzw. dem Fußboden ermittelt werden, so dass in obigen Gleichungssystem die Unbekannten lk entfallen.
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
So kann der Laser 13 auch roboterextern angeordnet sein bzw. werden, solange seine Pose relativ zum roboterfesten Referenzkoordinatensystem {RX, Ry} bekannt ist. Zusätzlich oder alternativ kann anstelle des roboterfesten
Referenzkoordinatensystems {RX, Ry} auch ein anderes
Referenzkoordinatensystem verwendet werden, dessen Pose relativ zum Roboter 10 bekannt ist, was insbesondere dadurch der Fall sein kann, dass die Pose des Roboters 10 relativ zu einem solchen anderen Referenzkoordinatensystem bekannt ist, insbesondere durch (Selbst)Lokalisieren des mobilen Roboters 10 ermittelt wird bzw. worden ist.
Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen
Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die
Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den
Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
Bezugszeichenliste 10 Roboter
11 Plattform
12 Roboterarm
13 Laser/Projektionsmittel
130 Laserstrahl
21 Kamera
22 Touchscreen/Anzeige
30 Computer
40 Objekt
40‘ Abbild des Objekts
L‘ Abbild der Lichtmarke
P‘ Abbild des Referenzpunktes
Pk Referenzpunkt des Objekts

Claims

Patentansprüche
Verfahren zum Lokalisieren eines Objekts (40) in einer Umgebung eines Roboters (10), das die Schritte aufweist:
a) Aufnehmen eines Bilds der Umgebung;
b) Projizieren einer Lichtmarke auf die Umgebung mithilfe eines
Projektionsmittels (13);
c) Überführen eines Abbilds (L‘) der Lichtmarke auf ein Abbild (P‘) eines
Referenzpunktes ( Pk) des Objekts auf einer Anzeige (22) des Bildes durch Verstellen des Projektionsmittels; und
d) Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Schritte a) - c) für denselben Referenzpunkt wiederholt und/oder für unterschiedliche
Referenzpunkte durchgeführt werden und in Schritt d) die Pose auf Basis wenigstens einer der dabei durchgeführten Verstellungen ermittelt wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass das Bild mithilfe einer mobilen und/oder roboterexternen, insbesondere manuell geführten, Kamera (21 ) aufgenommen und/oder einer, insbesondere damit verbundenen, mobilen und/oder roboterexternen, insbesondere manuell geführten, Anzeige (22) angezeigt und/oder während wenigstens einem der Schritte b), c) aktualisiert wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass das Projektionsmittel roboterextern oder, insbesondere lösbar, an dem Roboter, insbesondere einem Endeffektor eines Roboterarms (12) des Roboters, angeordnet ist und/oder, insbesondere hierdurch, in wenigstens zwei Freiheitsgraden verstellt wird und/oder einen Laser (13) aufweist, mit dem die Lichtmarke auf die Umgebung projiziert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Lichtmarke eine sichtbare Orientierung aufweist.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Abbild der Lichtmarke auf das Abbild des
Referenzpunktes auf Basis einer manuellen Vorgabe einer Verschiebung, insbesondere einer manuellen Markierung des Abbilds des Referenzpunktes in dem Bild, auf Basis einer, insbesondere wenigstens teilweise automatischen, Identifikation des Abbilds der Lichtmarke in dem Bild und/oder auf Basis eines, insbesondere durch eine Testverstellung ermittelten, Zusammenhangs zwischen einer Verstellung des Projektionsmittels und einer dadurch bewirkten Verschiebung des Abbilds der Lichtmarke überführt wird, insbesondere geregelt und/oder bis eine, insbesondere durch eine Benutzereingabe erfasste, Abbruchbedingung erreicht ist.
7. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Verschiebung durch Berühren der Anzeige vorgegeben, insbesondere das Abbild des Referenzpunktes durch Berühren der Anzeige markiert, wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass die Pose des Objekts relativ zu dem Roboter auf Basis einer vorgegebenen oder ermittelten Pose (pk) des Referenzpunktes relativ zu dem Objekt ermittelt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass der Referenzpunkt ein Kontaktpunkt mit einer bekannten Fläche der Umgebung ist.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass der Roboter eine mobile Plattform (1 1 ) aufweist oder umgebungsfest ist.
1 1. System, das zur Durchführung eines Verfahrens nach einem der
vorhergehenden Ansprüche eingerichtet ist und/oder aufweist:
- Mittel (21 ) zum Aufnehmen eines Bilds der Umgebung;
- Projektionsmittel (13) zum Projizieren einer Lichtmarke auf die Umgebung; - Mittel (30) zum Überführen eines Abbilds (L‘) der Lichtmarke auf ein Abbild (P‘) eines Referenzpunktes (Pk) des Objekts (40) auf einer Anzeige (22) des Bildes durch Verstellen des Projektionsmittels; und
- Mittel (30) zum Ermitteln einer Pose des Objekts relativ zu dem Roboter auf Basis der Verstellung.
12. Computerprogrammprodukt mit einem Programmcode, der auf einem von
einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
PCT/EP2019/063171 2018-05-23 2019-05-22 Verfahren und system zum lokalisieren eines objekts in einer umgebung eines roboters WO2019224225A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018208080.1A DE102018208080B3 (de) 2018-05-23 2018-05-23 Verfahren und System zum Lokalisieren eines Objekts in einer Umgebung eines Roboters
DE102018208080.1 2018-05-23

Publications (1)

Publication Number Publication Date
WO2019224225A1 true WO2019224225A1 (de) 2019-11-28

Family

ID=66647401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/063171 WO2019224225A1 (de) 2018-05-23 2019-05-22 Verfahren und system zum lokalisieren eines objekts in einer umgebung eines roboters

Country Status (2)

Country Link
DE (1) DE102018208080B3 (de)
WO (1) WO2019224225A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021200600A1 (de) 2021-01-22 2022-07-28 Kuka Deutschland Gmbh Planen eines Pfads eines fahrerlosen mobilen Roboters
CN115383737A (zh) * 2021-05-21 2022-11-25 灵动科技（北京）有限公司 用于智能移动机器人的调度系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2729236A1 (fr) * 1995-01-06 1996-07-12 Thomson Broadband Systems Guidage de robot par eclairage actif
US6304050B1 (en) * 1999-07-19 2001-10-16 Steven B. Skaar Means and method of robot control relative to an arbitrary surface using camera-space manipulation
DE102012105275A1 (de) * 2012-06-18 2013-12-19 Endress + Hauser Gmbh + Co. Kg Verfahren und Vorrichtung zur Überprüfung einer räumlichen Ausrichtung und einer Positionierung mindestens eines Funktionselements einer Fertigungseinrichtung
DE102016102902A1 (de) * 2015-02-26 2016-09-01 Fanuc Corporation Numerische Steuereinheit zur Steuerung einer Werkzeugmaschine

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2590681B1 (fr) 1985-11-27 1988-06-24 Alcatel Espace Systeme de localisation d'un objet muni d'au moins une mire passive.
FR2760277B1 (fr) 1997-02-28 1999-03-26 Commissariat Energie Atomique Procede et dispositif de localisation d'un objet dans l'espace
US6973202B2 (en) * 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
DE102007042963A1 (de) 2007-09-10 2009-03-12 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur dreidimensionalen Digitalisierung von Objekten
AT507618B1 (de) 2008-11-26 2012-01-15 Riegl Laser Measurement Sys Verfahren zum bestimmen der relativlage eines laserscanners zu einem referenzsystem
EP2980528A1 (de) 2014-08-01 2016-02-03 HILTI Aktiengesellschaft Trackingverfahren und Trackingsystem

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2729236A1 (fr) * 1995-01-06 1996-07-12 Thomson Broadband Systems Guidage de robot par eclairage actif
US6304050B1 (en) * 1999-07-19 2001-10-16 Steven B. Skaar Means and method of robot control relative to an arbitrary surface using camera-space manipulation
DE102012105275A1 (de) * 2012-06-18 2013-12-19 Endress + Hauser Gmbh + Co. Kg Verfahren und Vorrichtung zur Überprüfung einer räumlichen Ausrichtung und einer Positionierung mindestens eines Funktionselements einer Fertigungseinrichtung
DE102016102902A1 (de) * 2015-02-26 2016-09-01 Fanuc Corporation Numerische Steuereinheit zur Steuerung einer Werkzeugmaschine

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANICA KRAGIC ET AL: "Survey on Visual Servoing for Manipulation", 1 January 2002 (2002-01-01), pages 1 - 58, XP055623004, Retrieved from the Internet <URL:https://pdfs.semanticscholar.org/16a7/1f602a103a7ba29658999ddde75a0f2a3848.pdf?_ga=2.196260076.13178199.1568722723-1901962003.1551875288> [retrieved on 20190917] *

Also Published As

Publication number Publication date
DE102018208080B3 (de) 2019-09-19

Similar Documents

Publication Publication Date Title
DE102019006800B4 (de) Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität
DE102019002898B4 (de) Robotersimulationsvorrichtung
Ong et al. Augmented reality-assisted robot programming system for industrial applications
EP1521211B1 (de) Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
EP1447770B1 (de) Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
DE102014103738B3 (de) Visuelle fehlersuche bei roboteraufgaben
DE102007033486B4 (de) Verfahren und System zur Vermischung eines virtuellen Datenmodells mit einem von einer Kamera oder einer Darstellungsvorrichtung generierten Abbild
DE102018009023B4 (de) Einlernvorrichtung zum Ausführen von Robotereinlernvorgängen und Einlernverfahren
US9625899B2 (en) Teaching system, robot system, and teaching method
DE102009012590A1 (de) Vorrichtung zum Ermitteln der Stellung eines Roboterarms mit Kamera zur Durchführung von Aufnahmen
DE102015015503A1 (de) Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist
EP1604789A2 (de) Verfahren und Vorrichtung zum Verbessern der Positioniergenauigkeit eines Handhabungsgeräts
JP2008254150A (ja) ロボットの教示装置及び教示方法
DE112018000765T5 (de) Robotersystem und verfahren zum steuern desselben
DE102017001131B4 (de) Verfahren und System zum Betreiben eines Roboters
EP1910999B1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
EP3518055B1 (de) Überwachungs- und bediensystem für einen fertigungsarbeitsplatz und verfahren zum fertigen eines produkts oder teilprodukts
JP6585391B2 (ja) ロボット
JP2010042466A (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
WO2019224225A1 (de) Verfahren und system zum lokalisieren eines objekts in einer umgebung eines roboters
WO2020148356A1 (de) Unterstützen eines manuellen führens eines robotermanipulators
EP2359202B1 (de) Verfahren und vorrichtung zur auswahl einer gespeicherten position eines arbeitspunktes eines manipulators
DE102020112049A1 (de) Roboterbedienvorrichtung, roboter und roboterbedienungsverfahren
JP2015100874A (ja) ロボットシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19726372

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19726372

Country of ref document: EP

Kind code of ref document: A1