WO2019037890A1 - Verfahren zur steuerung der bewegung eines mobilen roboters - Google Patents

Verfahren zur steuerung der bewegung eines mobilen roboters Download PDF

Info

Publication number
WO2019037890A1
WO2019037890A1 PCT/EP2018/000408 EP2018000408W WO2019037890A1 WO 2019037890 A1 WO2019037890 A1 WO 2019037890A1 EP 2018000408 W EP2018000408 W EP 2018000408W WO 2019037890 A1 WO2019037890 A1 WO 2019037890A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
robot
coordinates
coordinate system
point
Prior art date
Application number
PCT/EP2018/000408
Other languages
English (en)
French (fr)
Inventor
Marco Schmidt
Original Assignee
Hochschule Bochum
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hochschule Bochum filed Critical Hochschule Bochum
Publication of WO2019037890A1 publication Critical patent/WO2019037890A1/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device

Definitions

  • the invention relates to a method for controlling the movement of a mobile robot by a gesture of a gesture transmitter, wherein the gesture sensor is detected by at least one camera data technology and from the captured camera data motion data for the robot are formed, which are transmitted to the robot and from there into a Movement be implemented.
  • a flight drone equipped with a camera can detect a certain gesture of a gesture by an image processing software and, after recognition, can take a photograph of the subject
  • Trigger the gesture To do this, the gesture maker must make a very specific gesture, as only this is detected by the image evaluation of the robot.
  • Gesture generator e.g. pretending with his arm.
  • Remote controls have input means to influence the movement of the robot over this. For example, can by different inclinations of the robot
  • This object is achieved in that in a method of the aforementioned generic type in a gesture associated with the first coordinate system from the posture of the gesture
  • the coordinates of a changing with the body posture gesture point are determined and from the coordinates of
  • Gestures In and the coordinates of a reference point fixed in the first coordinate system, a connection vector between the gesture point and the reference point is calculated and performs in a robot associated with the robot and moving second coordinate system, the robot relative to a reference point of the second coordinate system, a movement whose direction starting from its reference point corresponds to the direction of the connection vector and whose speed depends on the magnitude of the connection vector.
  • the posture is in this case detected by at least one camera data, which is understood that the gesture is imaged by a lens of at least one camera on the camera chip and the optical image of the posture is converted into camera data, as known in the art is. With the help of this camera data, the coordinates of the gesture point are determined. This can be done with software in the Camera or external to the camera with software that runs in an evaluation to which the camera data is transmitted.
  • Using more than one camera can ensure that at least one of the multiple cameras fully captures the gesture. It may be provided to utilize only those camera data from that camera with respect to the determination of the coordinates of the gesture point, which fully captures the gesture. The data of other camera may e.g. be discarded.
  • Invention it to specify in the first coordinate system of the gesture to any arbitrarily adopted posture of the gesture a gesture point whose coordinates are determined in the first coordinate system. This gesture point or its coordinates thus change when the gesture changes its posture.
  • a gesture within the meaning of the invention is thus any possible posture and not one or more specific.
  • a gesture controller thus controls a robot according to the invention as a function of its assumed posture.
  • a vector is defined by a direction and a length or an amount.
  • the direction of the connection vector is then interpreted as the direction of movement of the robot, and the amount or the length of the connection vector specifies a speed with which the robot is to move in said direction.
  • the speed can e.g. by means of a stored
  • Formula context from the amount or the length of the Compound vector can be calculated. Such a relationship may represent a proportionality between length / amount and speed.
  • the direction and the speed or data from which these are calculated are, according to the invention, communicated to the robot by an evaluation unit, which has received the camera data, insofar as it does not itself comprise the evaluation unit.
  • the robot performs the movement in said direction and the determined speed starting from a fixed reference point in a second coordinate system that is assigned to the robot.
  • the desired direction and speed in the first coordinate system of the gesture sensor is detected or determined and interpreted by the robot in its own second coordinate system.
  • the two coordinate systems are thus different from each other.
  • the coordinate system of the gesture is preferred with the
  • the first coordinate system follows the gesture generator.
  • a specific posture will thus always lead to the determination of the same coordinates of the gesture point, no matter where the gesture is in the grounding system. This is preferably particularly easy to realize when the origin of the first coordinate system is in the gesture generator.
  • the second coordinate system of the robot is preferably moved with the robot, in particular here the origin of the second
  • Each of the two reference points can also be given by the respective origin of the respective coordinate system. However, this is not mandatory.
  • the control according to the invention is very intuitive, because the gesture generator does not have to move into the robot.
  • the invention may provide that the coordinates of the gesture point in the first coordinate system are determined from the coordinates of at least one body extremity of the gesture sensor represented in the camera data.
  • the coordinates of the gesture point directly the coordinates of a
  • the invention may e.g. provide at one or more body extremities of the gesture sensor to place optical markers that are detected with the at least one camera.
  • the coordinates of such a marker e.g.
  • the coordinates of the gesture point can form on the hand.
  • the coordinates of the gesture point can also be calculated from the coordinates of at least two markers.
  • the invention provides that the coordinates of the gesture point in the first coordinate system are formed by the coordinates of the gesture point in the first coordinate system.
  • Point of intersection of a direction vector defined by the posture of the gesture with the ground plane preferably the direction vector representing the forearm direction of the gesture with the ground plane on which the gesture is standing, in particular wherein the reference point is arranged in the first coordinate system of the gesture in the same ground plane, preferably ventral and in the sagittal plane of the gesture.
  • Such an embodiment is generally possible in the control of any mobile robot, but is particularly advantageous and intuitive in the control of ground moving robots, e.g. Cleaning robots, such as vacuum robots.
  • the point of intersection of preferably the forearm direction with the ground plane results in fact in a gesture point in the ground plane which is arranged there on the ground, to which the gesture giver points with his hand or his fingers.
  • the direction of an index finger extended away from the hand corresponds at least substantially the forearm direction, which is due to the significantly longer training of the forearm compared to the finger significantly easier or at least with higher accuracy in the camera data can be determined.
  • the direction vector, in particular of the forearm direction is determined depending on the coordinates and / or angle of at least two body joints of the gesture transmitter.
  • the coordinates / angle of the at least two body joints of the gesture transmitter is determined depending on the coordinates and / or angle of at least two body joints of the gesture transmitter.
  • Camera data can be determined.
  • the direction vector of the forearm direction can be determined as a function of the coordinates of the
  • the invention can provide the direction vector
  • the invention particularly preferably provides that the respective joint coordinates and / or joint angles of joint positions of the joint
  • Gestestengebers and in particular of the elbow joint and the joint of the hand extremity are determined by the method of skeletal tracking on the basis of the data of at least one depth camera.
  • Such depth cameras are commercially available and provide as camera data directly a data stream which provides the necessary positions and / or angles of said joints and other joints of the body of the gesture, so that only the desired data of the joints used for determining the coordinate of the gesture point separates from the data stream and be used.
  • the invention is particularly inexpensive
  • Such a depth camera can include, for example, a projector, in particular an infrared projector, with which pulsed light is emitted, wherein the sensor the camera receives the reflected light from the gesture and based on the duration of the light for each pixel of the camera calculates a depth information that can be assigned to an RGB image.
  • a projector in particular an infrared projector, with which pulsed light is emitted
  • the sensor the camera receives the reflected light from the gesture and based on the duration of the light for each pixel of the camera calculates a depth information that can be assigned to an RGB image.
  • such a depth camera or several thereof need only be positioned in space so that at least one depth camera detects the gesture and supplies the required joint data (coordinates and / or angles).
  • at least one depth camera is arranged on the mobile robot.
  • several cameras can be arranged at the same angular distance from each other on the peripheral periphery of a robot, in particular three cameras. This ensures that the gesture is always in the "field of vision" of at least one camera of the robot.
  • the invention can provide for the evaluation of the camera data in an evaluation unit, e.g. one is external to the robot.
  • the direction and speed data may be communicated to the robot to be controlled by communication, e.g. a radio communication.
  • communication e.g. a radio communication.
  • Robot itself be made.
  • a robot can carry at least its depth camera, so that the electronics of the robot only needs to evaluate their provided data stream.
  • the invention may further provide that the from the amount of
  • Speed is limited to a predetermined maximum value. Thus, a restriction to such maximum values can be made, which allow a control of the robot by the gesture with the desired accuracy. Similarly, the speed determined from the magnitude of the connection vector can be increased to a predetermined minimum value. Thus, the robot - if it moves - has a minimum speed.
  • FIG. 1 shows a gesture generator G which stands up on a ground plane B. On this, e.g. also drive the mobile robot R, which is shown here for clarity, however, in supervision.
  • the gesture G is optically detected.
  • the data stream of the camera data KD from the depth camera K is transmitted to an evaluation unit A.
  • the data stream comprises the coordinates and / or joint angles of the joints 1 to 20 of the gesture generator G.
  • software e.g. a manufacturer-side software that is not the subject of the invention.
  • a forearm direction vector UV is determined from the coordinates and or joint angles of the joints 6 and 7, in this case the elbow joint and the wrist, which represents the direction of the forearm between these joints 6 and 7 and points downward to the ground plane , The forearm direction vector UV thus cuts the
  • the calculation is carried out by an implemented software in the evaluation unit A. From the vector data of the forearm direction vector UV and stored data of the ground plane B, the software further calculates the coordinates of the gesture point GP, which thus lies in the ground plane B. This calculation is performed with reference to a first coordinate system K1, which is assigned to the gesture G.
  • a reference point RP1 with its coordinates is furthermore firmly defined, in particular thus stored in the evaluation unit.
  • This reference point RP1 is also preferably located in the ground plane B.
  • the reference point RP1 can, for example, ventral to the gesture G, ie in the direction of view be defined before this, eg in the sagittal plane, ie in its center of the body in front of the gesture generator.
  • Deviating from the figure shows the arrangement of the reference point RP1 of the first coordinate system K1 from the sagittal plane in the direction of the gesture giving the forearm laterally offset.
  • the reference point RP1 can also be arranged vertically below the shoulder joint 5 in the ground plane B, which opens up the advantage that a vertically depending arm, as explained below, does not trigger any movement of the robot.
  • connection vector V is now calculated from the known coordinates of the reference point RP1 and the variable determined by evaluation coordinates of the gesture point GP, which is drawn here only for clarity separated, but is practically in the ground plane B, at the reference point RP1 starts and ends in the GP gesture point.
  • connection vector V now forms the direction in which the robot R is to move in its own second coordinate system K2 relative to its reference point RP2 defined therein.
  • the reference point RP2 is placed here, for example, in the center of the robot R.
  • the drive motors of the robot R are controlled so that the robot R is moved at a speed, in particular drives, which depends on the magnitude of the vector V. As the distance between the gesture point GP and the reference point RP1 in the first coordinate system of the gesture sensor increases, the speed increases.
  • the control takes place here starting from those in the evaluation unit A.
  • a gesture G can cause the controlled robot to move in its own coordinate system K2 toward a point which is in the same direction as the reference point RP2, as shown
  • the speed of the movement depends on the distance between the gesture point GP and the reference point RP1.
  • the coordinate systems K1 and K2 are shown symbolically in the figure.
  • the respective origin is preferably selected lying in the gesture or lying in the robot.
  • a trajectory of the robot which drives it can be defined by subsequently differently assumed postures, in particular forearm directions.
  • a program loop can be executed which effects a movement of the robot in the calculated direction relative to its reference point RP2 and at the calculated speed.
  • This loop is given new values for "direction” and "speed” by the evaluation unit with each pass. New values do not necessarily have to be changed values. This causes a trajectory of the robot to be composed of the locations that the robot has approached with the given values of direction and velocity with each loop pass of its control software.
  • the spatial distance between such locations of a trajectory is variable because of the different speeds traveled between the locations, whereas the time interval between the locations is identical, provided that looping through this control software always requires the same time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Steuerung der Bewegung eines mobilen Roboters (R) durch eine Geste eines Gestengebers (G), wobei der Gestengeber (G) mittels wenigstens einer Kamera (K) datentechnisch erfasst wird und aus den erfassten Kameradaten Bewegungsdaten für den Roboter (R) gebildet werden, die an den Roboter (R) übertragen und von diesem in eine Bewegung umgesetzt werden, wobei in einem dem Gestengeber (G) zugeordneten ersten Koordinatensystem, insbesondere das seinen Ursprung im Gestengeber (G) hat, aus den die Körperhaltung des Gestengebers (G) repräsentierenden Kameradaten die Koordinaten eines sich mit der Körperhaltung ändernden Gestenpunktes (GP) ermittelt werden und aus den Koordinaten des Gestenpunktes (GP) und den Koordinaten eines im ersten Koordinatensystem festgelegten Referenzpunktes (RP1) ein Verbindungsvektor (V) zwischen Gestenpunkt (GP) und Referenzpunkt (RP1) berechnet wird und in einem dem Roboter (R) zugeordneten und mit dem Roboter (R) mitbewegten zweiten Koordinatensystem, insbesondere das seinen Ursprung im Roboter (R) hat, der Roboter (R) relativ zu einem Referenzpunkt (RP2) des zweiten Koordinatensystems eine Bewegung ausführt, deren Richtung ausgehend von seinem Referenzpunkt (RP2) der Richtung des Verbindungsvektors (V) entspricht und deren Geschwindigkeit vom Betrag des Verbindungsvektors (V) abhängt.

Description

Verfahren zur Steuerung der Bewegung eines mobilen Roboters
Die Erfindung betrifft ein Verfahren zur Steuerung der Bewegung eines mobilen Roboters durch eine Geste eines Gestengebers, wobei der Gestengeber mittels wenigstens einer Kamera datentechnisch erfasst wird und aus den erfassten Kameradaten Bewegungsdaten für den Roboter gebildet werden, die an den Roboter übertragen und von diesem in eine Bewegung umgesetzt werden.
Im Stand der Technik ist es beispielsweise bekannt mobile Roboter mittels einer Geste zu steuern. Die Steuerung erfolgt dabei nicht zum Zweck der Kontrolle einer Bewegung des Roboters, sondern um mit der Geste eine spezielle Aktion des Roboters auszulösen. Z.B. kann eine mit einer Kamera ausgestattete Flugdrohne eine bestimmte Geste eines Gestengebers durch eine Bildverarbeitungssoftware erkennen und nach der Erkennung die Erstellung einer Photografie des
Gestengebers auslösen. Dazu muss der Gestengeber eine ganz bestimmte Geste ausführen, da nur diese durch die Bildauswertung des Roboters erkannt wird.
Es ist ebenso bekannt, die Bewegung von stationären beweglichen Roboterarmen mittels Gesten eines Gestengebers zu steuern. Bei dieser Bewegungssteuerung bildet der Roboterarm üblicherweise exakt die Bewegung nach, die der
Gestengeber z.B. mit seinem Arm vorgibt.
Bei der Bewegungssteuerung mobiler Roboter wird bislang auf Fernbedienungen verschiedener Art, z.B. mittels eines Smartphones zurückgegriffen. Solche
Fernbedienungen weisen Eingabemittel auf, um hierüber die Bewegung des Roboters zu beeinflussen. Z.B. kann durch verschiedene Neigungen der
Fernbedienung die Bewegung eines mobilen Roboters gesteuert werden.
Nachteilig ist hier, dass durch die Verwendung einer Fernbedienung die Steuerung häufig wenig intuitiv ist und ein Nutzer einer solchen Fernbedienung zunächst den
BESTÄTIGUNGSKOPIE Umgang mit dieser erlernen muss. Weiterhin ist durch die Notwendigkeit einer Fernbedienung ein Steuerungssystem aufwändig und teuer ist.
Somit ist es eine Aufgabe der Erfindung ein Verfahren zur Steuerung der
Bewegung eines mobilen Roboters bereitzustellen, das eine intuitive Steuerung auch für unerfahrene Personen und ohne die Notwendigkeit der Handhabung einer Fernbedienung ermöglicht.
Diese Aufgabe wird dadurch gelöst, dass bei einem Verfahren der eingangs genannten gattungsgemäßen Art in einem dem Gestengeber zugeordneten ersten Koordinatensystem aus den die Körperhaltung des Gestengebers
repräsentierenden Kameradaten die Koordinaten eines sich mit der Körperhaltung ändernden Gestenpunktes ermittelt werden und aus den Koordinaten des
Gestenpunktes und den Koordinaten eines im ersten Koordinatensystem festgelegten Referenzpunktes ein Verbindungsvektor zwischen dem Gestenpunkt und dem Referenzpunkt berechnet wird und in einem dem Roboter zugeordneten und mit dem Roboter mitbewegten zweiten Koordinatensystem der Roboter relativ zu einem Referenzpunkt des zweiten Koordinatensystems eine Bewegung ausführt, deren Richtung ausgehend von seinem Referenzpunkt der Richtung des Verbindungsvektors entspricht und deren Geschwindigkeit vom Betrag des Verbindungsvektors abhängt.
Für die Erfindung ist es wesentlich komplett ohne eine zu bedienende
Fernbedienung auszukommen. Vielmehr ist es bei der Erfindung wesentlich, dass die Steuerung des mobilen Roboters sich aus der Körperhaltung des
Gestengebers ergibt.
Die Körperhaltung wird hierbei mit wenigstens einer Kamera datentechnisch erfasst, worunter verstanden wird, dass der Gestengeber durch ein Objektiv der wenigstens einen Kamera auf deren Kamera-Chip abgebildet wird und die optische Abbildung der Körperhaltung in Kameradaten umgewandelt wird, wie es im Stand der Technik bekannt ist. Mit Hilfe dieser Kameradaten werden die Koordinaten des Gestenpunktes ermittelt. Dies kann mit einer Software in der Kamera erfolgen oder auch extern zur Kamera mit einer Software, die in einer Auswerteeinheit läuft, zu der die Kameradaten übertragen werden. Durch
Verwendung von mehr al einer Kamera kann sichergestellt werden, dass wenigstens eine der mehreren Kameras den Gestengeber vollständig erfasst. Es kann vorgesehen sein nur diejenigen Kameradaten von derjenigen Kamera zu verwerten hinsichtlich der Ermittlung der Koordinaten des Gestenpunktes, die den Gestengeber voll erfasst. Die Daten anderen Kamera können z.B. verworfen werden.
Bei der Erfindung besteht keine Notwendigkeit eine oder mehrere bestimmte Gesten in den erfassten Kameradaten zu erkennen. Vielmehr basiert die
Erfindung darauf, im ersten Koordinatensystem des Gestengebers zu jeder beliebig eingenommenen Körperhaltung des Gestengebers einen Gestenpunkt festzulegen, dessen Koordinaten in dem ersten Koordinatensystem ermittelt werden. Dieser Gestenpunkt bzw. dessen Koordinaten ändern sich somit, wenn der Gestengeber seine Körperhaltung ändert. Eine Geste im Sinne der Erfindung ist somit jede mögliche Körperhaltung und nicht eine oder mehrere bestimmte. Ein Gestengeber steuert somit einen Roboter erfindungsgemäß in Abhängigkeit seiner eingenommenen Körperhaltung.
Weiterhin ist im ersten Koordinatensystem ein Referenzpunkt mit seinen
Koordinaten fest definiert. Es besteht nun die Möglichkeit aus den Koordinaten des variablen Gestenpunktes und des festen Referenzpunktes im ersten
Koordinatensystem einen Verbindungsvektor zwischen diesen Punkten zu berechnen. Ein solcher Vektor ist durch eine Richtung und eine Länge bzw. einen Betrag definiert. Erfindungsgemäß wird sodann bei der Bewegung des mobilen Roboters die Richtung des Verbindungsvektors als Bewegungsrichtung des Roboters interpretiert und der Betrag bzw. die Länge des Verbindungsvektors gibt eine Geschwindigkeit vor, mit der sich der Roboter in der genannten Richtung bewegen soll. Die Geschwindigkeit kann z.B. mittels eines gespeicherten
Formelzusammenhanges aus dem Betrag bzw. der Länge des Verbindungsvektors berechnet werden. Ein solcher Zusammenhang kann eine Proportionalität zwischen Länge / Betrag und Geschwindigkeit repräsentieren.
Die Richtung und die Geschwindigkeit, oder Daten aus denen diese berechnet werden, werden gemäß der Erfindung von einer Auswerteeinheit, welche die Kameradaten empfangen hat an den Roboter kommuniziert, sofern dieser nicht selbst die Auswerteeinheit umfasst.
Der Roboter vollzieht dabei die Bewegung in der genannten Richtung und der bestimmten Geschwindigkeit ausgehend von einem festen Referenzpunkt in einem zweiten Koordinatensystem, dass dem Roboter zugeordnet ist.
Somit wird bei der Erfindung die gewünschte Richtung und Geschwindigkeit im ersten Koordinatensystem des Gestengebers erfasst bzw. ermittelt und vom Roboter in dessen eigenen zweiten Koordinatensystem interpretiert. Die beiden Koordinatensysteme sind somit verschieden zueinander.
Das Koordinatensystem des Gestengebers ist dabei bevorzugt mit dem
Gestengeber mitbewegt. Ändert dieser somit seine Position im Raum, also im Erdbezugssystem so folgt das erste Koordinatensystem dem Gestengeber. Eine bestimmte Körperhaltung wird somit immer zur Ermittlung derselben Koordinaten des Gestenpunktes führen, egal wo sich der Gestengeber im Erdbezugssystem befindet. Dies ist bevorzugt besonders leicht zu realisieren, wenn der Ursprung des ersten Koordinatensystems im Gestengeber liegt.
In gleicher Weise ist bevorzugt das zweite Koordinatensystem des Roboters mit dem Roboter mitbewegt, insbesondere hier der Ursprung des zweiten
Koordinatensystems in den Roboter gelegt.
Ein jeder der beiden Referenzpunkte kann auch durch den jeweiligen Ursprung des jeweiligen Koordinatensystems gegeben sein. Dies ist jedoch nicht zwingend.
Bereits hierdurch ist die erfindungsgemäße Steuerung sehr intuitiv, weil der Gestengeber sich nicht in den Roboter hineinversetzen muss. Die Erfindung kann vorsehen, dass die Koordinaten des Gestenpunktes im ersten Koordinatensystem ermittelt werden aus den Koordinaten wenigstens einer in den Kameradaten repräsentierten Körperextremität des Gestengebers. Dabei können z.B. die Koordinaten des Gestenpunktes direkt die Koordinaten einer
vorbestimmten Körperextremität des Gestengebers sein.
Die Erfindung kann z.B. vorsehen, an einer oder mehreren Körperextremitäten des Gestengebers optische Marker anzuordnen, die mit der wenigstens einen Kamera erfasst werden. Die Koordinaten eines solchen Markers, z.B. an der Hand können die Koordinaten des Gestenpunktes bilden. Die Koordinaten des Gestenpunktes können auch aus den Koordinaten von wenigstens zwei Markern errechnet werden.
Die konkrete Ermittlung solcher Koordinaten eines oder mehrerer Marker aus den Kameradaten wenigstens einer Kamera ist dem Fachmann aus dem Stand der Technik bekannt und bildet keinen wesentlichen Gegenstand der Erfindung.
Bevorzugt sieht es die Erfindung vor, dass die Koordinaten des Gestenpunktes im ersten Koordinatensystem gebildet werden durch die Koordinaten des
Schnittpunktes eines durch die Körperhaltung des Gestengebers definierten Richtungsvektors mit der Bodenebene, bevorzugt des die Unterarmrichtung des Gestengebers repräsentierenden Richtungsvektors mit der Bodenebene, auf welcher der Gestengeber steht, insbesondere wobei der Referenzpunkt im ersten Koordinatensystem des Gestengebers in derselben Bodenebene angeordnet ist, bevorzugt ventral und in der Sagittalebene des Gestengebers.
Eine solche Ausführung ist allgemein bei der Steuerung jeglicher mobiler Roboter möglich, jedoch besonders vorteilhaft und intuitiv bei der Steuerung von sich am Boden bewegenden Robotern, z.B. Reinigungsrobotern, wie Saugroboter.
Durch den Schnittpunkt von bevorzugt der Unterarmrichtung mit der Bodenebene ergibt sich faktisch ein Gestenpunkt in der Bodenebene der dort am Boden · angeordnet ist, wohin der Gestengeber mit seiner Hand oder seinen Fingern zeigt. So entspricht die Richtung eines von der Hand weggestreckten Zeigefingers zumindest im Wesentlichen der Unterarmrichtung, die jedoch aufgrund der deutlich längeren Ausbildung des Unterarmes im Vergleich zum Finger deutlich leichter oder zumindest mit höherer Genauigkeit in den Kameradaten ermittelbar ist.
Z.B. kann es die Erfindung vorsehen, dass der Richtungsvektor, insbesondere von der Unterarmrichtung ermittelt wird in Abhängigkeit der Koordinaten und/oder Winkel von wenigstens zwei Körpergelenken des Gestengebers. Hierzu können die Koordinaten / Winkel der wenigstens zwei Körpergelenke aus den
Kameradaten ermittelt werden. Beispielsweise kann der Richtungsvektor der Unterarmrichtung ermittelt werden in Abhängigkeit der Koordinaten des
Ellenbogengelenkes und eines Gelenkes der Handextremität, insbesondere des Handgelenkes.
Grundsätzlich kann es die Erfindung vorsehen, den Richtungsvektor,
insbesondere der Unterarmrichtung mittels jeglicher im Stand der Technik bekannten Auswertung von Kameradaten zu ermitteln.
Besonders bevorzugt sieht es die Erfindung hingegen vor, dass die jeweiligen Gelenkkoordinaten und/oder Gelenkwinkel von Gelenkpositionen des
Gestengebers und insbesondere des Ellenbogengelenkes und des Gelenkes der Handextremität ermittelt werden durch das Verfahren des Skelett-Tracking auf der Grundlage der Daten wenigstens einer Tiefenkamera.
Solche Tiefenkameras sind kommerziell erhältlich und liefern als Kameradaten direkt einen Datenstrom, der die nötigen Positionen und /oder Winkel dieser genannten Gelenke und anderen Gelenke des Körpers des Gestengebers bereitstellt, so dass aus dem Datenstrom lediglich die gewünschten Daten der zur Koordinatenbestimmung des Gestenpunktes verwendeten Gelenke separiert und genutzt werden. Hierdurch wird die Erfindung besonders kostengünstig
realisierbar.
Eine solche Tiefenkamera kann z.B. einen Projektor, insbesondere Infrarot- Projektor umfassen, mit dem pulsierend Licht ausgesendet wird, wobei der Sensor der Kamera das vom Gestengeber reflektierte Licht empfängt und anhand der Laufzeit des Lichtes für jeden Bildpunkt der Kamera eine Tiefeninformation berechnet, der ein RGB-Bild zugeordnet werden kann. So kann ein Distanzbild des Gestengebers zur Kamera ermittelt werden. Aus den Distanzdaten können die Koordinaten und/oder Winkel der Gelenke des Skeletts des Gestengebers bestimmt werden. Durch die Berechnung dieser Daten in der Kamera-Infrastruktur werden externe Rechner vorteilhaft entlastet.
Beispielsweise braucht eine solche Tiefenkamera oder mehrere hiervon nur so im Raum positioniert werden, dass wenigstens eine Tiefenkamera den Gestengeber erfasst und die benötigten Gelenkdaten (Koordinaten und/oder Winkel) liefert. Besonders bevorzugt ist wenigstens eine Tiefenkamera auf dem mobilen Roboter angeordnet. Z.B. können mehrere Kameras mit gleichem Winkelabstand zueinander an der Umfangsperipherie eines Roboters angeordnet sein, insbesondere drei Kameras. So wird sichergestellt, dass der Gestengeber immer im„Blickfeld" wenigstens einer Kamera des Roboters ist.
Allgemein kann die Erfindung vorsehen die Auswertung der Kameradaten in einer Auswerteeinheit vorzunehmen, z.B. eine die extern ist zum Roboter. Die Daten für Richtung und Geschwindigkeit können an den zu steuernden Roboter durch eine Kommunikation übermittelt werden, z.B. eine Funkkommunikation. Im Fall einer Anordnung wenigstens einer Kamera auf dem Roboter kann die gesamte
Auswertung und Steuerung des Roboters durch eine Auswerteeinheit des
Roboters selbst vorgenommen werden. Insbesondere kann ein Roboter wenigstens seine Tiefenkamera tragen, so dass die Elektronik des Roboters nur deren bereitgestellten Datenstrom auswerten muss.
Die Erfindung kann weiterhin vorsehen, dass die aus dem Betrag des
Verbindungsvektors zwischen Gestenpunkt und Referenzpunkt ermittelte
Geschwindigkeit auf einen vorgegebenen Maximalwert beschränkt wird. So kann eine Beschränkung auf solche maximalen Werte erfolgen, die eine Steuerung des Roboters durch den Gestengeber mit der gewünschten Genauigkeit ermöglichen. Analog kann die aus dem Betrag des Verbindungsvektors ermittelte Geschwindigkeit auf einen vorgegebenen Minimalwert heraufgesetzt wird. Somit hat der Roboter - sofern er sich bewegt - eine Mindestgeschwindigkeit.
Die Erfindung wird anhand der Figur näher erläutert.
Die Figur 1 zeigt einen Gestengeber G, der auf einer Bodenebene B aufsteht. Auf dieser soll z.B. auch der mobile Roboter R fahren, der hier jedoch zur besseren Verdeutlichung in Aufsicht dargestellt ist. Mittels einer Tiefenkamera K wird der Gestengeber G optisch erfasst. Der Datenstrom der Kameradaten KD von der Tiefenkamera K wird an eine Auswerteeinheit A übermittelt. Der Datenstrom umfasst die Koordinaten und / oder Gelenkwinkel der Gelenke 1 bis 20 des Gestengebers G. Zur Bestimmung dieser Daten des Datenstromes läuft in der Kamera eine Software, z.B. eine herstellerseitige Software, die nicht Gegenstand der Erfindung ist.
In der Auswerteeinheit wird aus den Koordinaten und oder Gelenkwinkeln der Gelenke 6 und 7, also hier des Ellenbogengelenkes und des Handgelenkes ein Unterarm-Richtungsvektor UV bestimmt, der die Richtung des Unterarmes zwischen diesen Gelenken 6 und 7 repräsentiert und in Richtung nach unten zur Bodenebene zeigt. Der Unterarm-Richtungsvektor UV schneidet somit die
Bodenebene B.
Die Berechnung erfolgt durch eine implementierte Software in der Auswerteeinheit A. Aus den Vektordaten des Unterarm-Richtungsvektors UV und gespeicherten Daten der Bodenebene B werden durch die Software weiterhin die Koordinaten des Gestenpunktes GP berechnet, der somit in der Bodenebene B liegt. Diese Berechnung erfolgt mit Bezug zu einem ersten Koordinatensystem K1 , dass dem Gestengeber G zugeordnet ist.
Im ersten Koordinatensystem K1 ist weiterhin ein Referenzpunkt RP1 mit seinen Koordinaten fest definiert, insbesondere somit in der Auswerteeinheit gespeichert. Auch dieser Referenzpunkt RP1 liegt hier bevorzugt in der Bodenebene B. Der Referenzpunkt RP1 kann z.B. ventral zum Gestengeber G, also in Blickrichtung vor diesem definiert sein, z.B. in der Sagittalebene, also in seiner Körpermitte vor dem Gestengeber.
Davon abweichend zeigt die Figur die Anordnung des Referenzpunktes RP1 des ersten Koordinatensystems K1 aus der Sagittalebene in Richtung zum die Geste gebenden Unterarm lateral versetzt. Z.B. kann der Referenzpunkt RP1 auch in der Bodenebene B vertikal unter dem Schultergelenk 5 angeordnet werden, was den Vorteil erschließt, dass ein vertikal herabhängender Arm, wie nachfolgend erläutert wird, keine Bewegung des Roboters auslöst.
Zur Steuerung der Bewegung des Roboters R wird nun aus den bekannten Koordinaten des Referenzpunktes RP1 und den variablen durch Auswertung bestimmten Koordinaten des Gestenpunktes GP ein Verbindungsvektor V berechnet, der hier lediglich zur Verdeutlichung separiert gezeichnet ist, jedoch praktisch in der Bodenebene B liegt, am Referenzpunkt RP1 beginnt und im Gestenpunkt GP endet.
Die Richtung des Verbindungsvektors V bildet nun die Richtung, in der sich der Roboter R in seinem eigenen zweiten Koordinatensystem K2 relativ zu seinem darin definierten Referenzpunkt RP2 bewegen soll. Der Referenzpunkt RP2 ist hier beispielsweise in das Zentrum des Roboters R gelegt.
Die Antriebsmotoren des Roboters R werden so angesteuert, dass der Roboter R mit einer Geschwindigkeit bewegt wird, insbesondere fährt, die vom Betrag des Vektors V abhängt. Mit zunehmendem Abstand zwischen dem Gestenpunkt GP und dem Referenzpunkt RP1 im ersten Koordinatensystem des Gestengebers erhöht sich somit die Geschwindigkeit.
Bei einem vertikal herabhängenden Unterarm ergibt sich keine
Koordinatendifferenz zwischen Gestenpunkt GP und Referenzpunkt RP1 , sofern dieser unter dem Schultergelenk 5 liegt, so dass sich der Roboter R nicht bewegt.
Die Steuerung erfolgt hier ausgehend von den in der Auswerteeinheit A
berechneten Daten für„Richtung" und„Geschwindigkeit" dadurch, dass diese Daten durch eine Funkstrecke F an den Roboter R übertragen werden und dieser die Daten in die Bewegung umsetzt. Eine solche Kommunikationsstrecke kann entfallen, wenn die wenigstens eine Kamera K vom Roboter R selbst getragen wird.
Durch bloßes„Zeigen" auf einen Punkt am Boden neben dem Referenzpunkt RP1 kann somit ein Gestengeber G bewirken, dass der gesteuerte Roboter sich in seinem eigenen Koordinatensystem K2 in Richtung zu einem Punkt bewegt, der zum Referenzpunkt RP2 in derselben Richtung liegt, wie der gezeigte
Gestenpunkt G zum Referenzpunkt RP1. Die Geschwindigkeit der Bewegung ist dabei abhängig von Abstand zwischen Gestenpunkt GP und Referenzpunkt RP1.
Hierdurch ergibt sich eine sehr intuitive Steuerung eines mobilen Roboters selbst durch ungeübte Personen, die als Gestengeber auftreten.
Die Koordinatensysteme K1 und K2 sind in der Figur symbolisch dargestellt.
Deren jeweiliger Ursprung muss nicht der gezeigten relativen Lage zum
Gestengeber bzw. Roboter entsprechen. Insbesondere ist bevorzugt der jeweilige Ursprung im Gestengeber bzw. im Roboter liegend gewählt.
In bevorzugter Ausführung und mit allgemeiner Gültigkeit für alle Ausführungen kann durch nachfolgend verschieden eingenommene Körperhaltungen, insbesondere Unterarmrichtungen eine Trajektorie des Roboters definiert werden, die dieser fährt.
Z.B. kann in einer möglichen Ausführung in einer Steuersoftware des Roboters eine Programmschleife abgearbeitet werden, die eine Bewegung des Roboters in der berechneten Richtung relativ zu seinem Referenzpunkt RP2 und mit der berechneten Geschwindigkeit bewirkt.
Dieser Schleife werden mit jedem Durchgang neue Werte für„Richtung" und „Geschwindigkeit" von der Auswerteeinheit übergeben. Neue Werte müssen nicht zwingend geänderte Werte sei. Hierdurch wird bewirkt, dass sich eine Trajektorie des Roboters zusammensetzt aus den Orten, die der Roboter mit den vorgegebenen Werten von Richtung und Geschwindigkeit mit jedem Schleifendurchlauf seiner Steuersoftware angefahren hat.
Der räumliche Abstand zwischen solchen Orten einer Trajektorie ist variabel wegen der verschiedenen Geschwindigkeiten, die zwischen den Orten gefahren werden, hingegen ist der zeitliche Abstand zwischen den Ort identisch, vorausgesetzt, dass ein Schleifendurchlauf dieser Steuersoftware immer dieselbe Zeit benötigt.
Die Arbeit wurde mit Unterstützung eines Stipendiums im Rahmen des FIT weltweit-Programms des DAAD ermöglicht.

Claims

Patentansprüche
1 . Verfahren zur Steuerung der Bewegung eines mobilen Roboters (R) durch eine Geste eines Gestengebers (G), wobei der Gestengeber (G) mittels wenigstens einer Kamera (K) datentechnisch erfasst wird und aus den erfassten Kameradaten Bewegungsdaten für den Roboter (R) gebildet werden, die an den Roboter (R) übertragen und von diesem in eine Bewegung umgesetzt werden, dadurch gekennzeichnet, dass in einem dem
Gestengeber (G) zugeordneten ersten Koordinatensystem (K1 ), insbesondere das seinen Ursprung im Gestengeber (G) hat, aus den die Körperhaltung des Gestengebers (G) repräsentierenden Kameradaten (KD) die Koordinaten eines sich mit der Körperhaltung ändernden Gestenpunktes (GP) ermittelt werden und aus den Koordinaten des Gestenpunktes (GP) und den
Koordinaten eines im ersten Koordinatensystem (K1 ) festgelegten
Referenzpunktes (RP1 ) ein Verbindungsvektor (V) zwischen Gestenpunkt (GP) und Referenzpunkt (RP1 ) berechnet wird und in einem dem Roboter (R) zugeordneten und mit dem Roboter (R) mitbewegten zweiten
Koordinatensystem (K2), insbesondere das seinen Ursprung im Roboter (R) hat, der Roboter (R) relativ zu einem Referenzpunkt (RP2) des zweiten Koordinatensystems (K2) eine Bewegung ausführt, deren Richtung
ausgehend von seinem Referenzpunkt (RP2) der Richtung des
Verbindungsvektors (V) entspricht und deren Geschwindigkeit vom Betrag des Verbindungsvektors (V) abhängt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Koordinaten des Gestenpunktes (GP) im ersten Koordinatensystem (K1 ) ermittelt werden aus den Koordinaten wenigstens einer in den Kameradaten repräsentierten Körperextremität, insbesondere eines Gelenks (1 ,...,20), des Gestengebers (G).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Koordinaten des Gestenpunktes (GP) direkt die Koordinaten einer vorbestimmten
Körperextremität sind.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Koordinaten des Gestenpunktes (GP) im ersten Koordinatensystem gebildet werden durch die Koordinaten des Schnittpunktes eines durch die Körperhaltung des Gestengebers (G) definierten Richtungsvektors (UV) mit der Bodenebene (B), bevorzugt des die Unterarmrichtung des Gestengebers (G) repräsentierenden Richtungsvektors (UV) mit der Bodenebene (B), auf welcher der Gestengeber (G) steht, insbesondere wobei der Referenzpunkt (RP1 ) im ersten
Koordinatensystem (K1 ) des Gestengebers (G) in derselben Bodenebene (B) angeordnet ist, bevorzugt ventral und in der Sagittalebene des Gestengebers (G).
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der
Richtungsvektor (UV) ermittelt wird in Abhängigkeit der Koordinaten und/oder Winkel von wenigstens zwei Körpergelenken (6, 7) des Gestengebers (G).
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der
Richtungsvektor (UV) der Unterarmrichtung ermittelt wird in Abhängigkeit der Koordinaten des Ellenbogengelenkes (6) und eines Gelenkes der
Handextremität (7, 8), insbesondere des Handgelenkes (7).
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die
jeweiligen Gelenkkoordinaten und/oder Gelenkwinkel ermittelt werden durch das Verfahren des Skelett-Tracking auf der Grundlage der Daten wenigstens einer Tiefenkamera (K).
8. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die aus dem Betrag des Verbindungsvektors (V) ermittelte
Geschwindigkeit auf einen vorgegebenen Maximalwert beschränkt wird.
9. Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die aus dem Betrag des Verbindungsvektors(V) ermittelte
Geschwindigkeit auf einen vorgegebenen Minimalwert heraufgesetzt wird.
10. Verfahren nach einem der vorherigen Ansprüche 4 bis 9, dadurch gekennzeichnet, dass es eingesetzt wird zur Steuerung eines
bodenfahrenden Roboters (R), insbesondere eines Bodenreinigungsroboters (R).
PCT/EP2018/000408 2017-08-21 2018-08-21 Verfahren zur steuerung der bewegung eines mobilen roboters WO2019037890A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017007908.0 2017-08-21
DE102017007908.0A DE102017007908A1 (de) 2017-08-21 2017-08-21 Verfahren zur Steuerung der Bewegung eines mobilen Roboters

Publications (1)

Publication Number Publication Date
WO2019037890A1 true WO2019037890A1 (de) 2019-02-28

Family

ID=63798931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/000408 WO2019037890A1 (de) 2017-08-21 2018-08-21 Verfahren zur steuerung der bewegung eines mobilen roboters

Country Status (2)

Country Link
DE (1) DE102017007908A1 (de)
WO (1) WO2019037890A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576459A (zh) * 2020-04-30 2021-11-02 本田技研工业株式会社 分析装置、分析方法、存储有程序的存储介质及校正方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019216229B4 (de) * 2019-10-07 2022-11-10 Robert Bosch Gmbh Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102019216560B4 (de) * 2019-10-28 2022-01-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Trainieren von Manipulationsfertigkeiten eines Robotersystems
DE102022131352A1 (de) 2022-11-28 2024-05-29 Schaeffler Technologies AG & Co. KG Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters und System mit einem kollaborativen Roboter

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028260A1 (en) * 2002-08-09 2004-02-12 Honda Gilken Kogyo Kabushiki Kaisha Posture recognition apparatus and autonomous robot

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010017857B4 (de) * 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
US9776332B2 (en) * 2011-12-08 2017-10-03 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
US9892655B2 (en) * 2012-11-28 2018-02-13 Judy Sibille SNOW Method to provide feedback to a physical therapy patient or athlete
US9804576B2 (en) * 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
KR102124509B1 (ko) * 2013-06-13 2020-06-19 삼성전자주식회사 청소 로봇 및 그 제어 방법
DE102013108114B4 (de) * 2013-07-30 2015-02-12 gomtec GmbH Eingabevorrichtung zur Gestensteuerung mit Schutzeinrichtung
US10338678B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor
DE102016221193B3 (de) * 2016-10-27 2018-01-04 Kuka Roboter Gmbh Verfahren zum Steuern eines Manipulators basierend auf Handerkennung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040028260A1 (en) * 2002-08-09 2004-02-12 Honda Gilken Kogyo Kabushiki Kaisha Posture recognition apparatus and autonomous robot

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RICHARD VAUGHAN: "Selecting and Commanding Groups of Robots Using Vision", 4 January 2011 (2011-01-04), pages 1, XP054978954, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=Fq2qTlSuGqs> [retrieved on 20181211] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113576459A (zh) * 2020-04-30 2021-11-02 本田技研工业株式会社 分析装置、分析方法、存储有程序的存储介质及校正方法
US20210343028A1 (en) * 2020-04-30 2021-11-04 Honda Motor Co., Ltd. Analysis device, analysis method, non-transient computer-readable recording medium stored with program, and calibration method
JP7335199B2 (ja) 2020-04-30 2023-08-29 本田技研工業株式会社 解析装置、解析方法、プログラム、および較正方法

Also Published As

Publication number Publication date
DE102017007908A1 (de) 2019-02-21

Similar Documents

Publication Publication Date Title
WO2019037890A1 (de) Verfahren zur steuerung der bewegung eines mobilen roboters
DE102018109463B3 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE102014110355B3 (de) Robotersystem und Verfahren zur Roboter-Geschwindigkeitssteuerung
EP2977844B1 (de) Verfahren zur reinigung oder bearbeitung eines raumes mittels eines selbsttätig verfahrbaren gerätes
DE102017216000A1 (de) Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera
DE102017128543B4 (de) Störbereich-einstellvorrichtung für einen mobilen roboter
CN107225573A (zh) 机器人的动作控制方法和装置
DE112017002639T5 (de) Robotersteuerungsvorrichtung
CN105223957A (zh) 一种手势操控无人机的方法和装置
WO2015055320A1 (de) Erkennung von gesten eines menschlichen körpers
DE102016103799A1 (de) Bildverarbeitungssystem zum Trainieren eines Montagesystems durch virtuelle Montage von Objekten
DE102011079117A1 (de) Verfahren zum Programmieren eines Roboters
DE102017120613B4 (de) Verfahren zum Bewegen einer Last mit einem Kran
EP2381207B1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
DE102014212660A1 (de) Steuerungsvorrichtung für ein Medizingerät
EP3012712A1 (de) Virtuelles zeichnen in realer umgebung
DE102013100569A1 (de) Verfahren und Vorrichtung zur Anzeige einer Fahrzeugumgebung
EP1675709A2 (de) VERFAHREN ZUR EINRICHTUNG EINER BEWEGUNG EINES HANDHABUNGSGER&amp;Auml;TS UND BILDVERARBEITUNG
DE102012021422A1 (de) Vorrichtung und Verfahren zur Steuerung von Maschinen mit mindestens einem beweglichen Element, insbesondere Kranen
EP2302481A2 (de) Verfahren zur Bereitstellung von Steuerbefehlen für ein mittels einer Bedieneinheit lenkbares Fahrzeug und Steuerungssystem für ein derartiges Fahrzeug
CN106155113B (zh) 仿生眼动眼控制方法
DE102014224599A1 (de) Verfahren zum Betreiben einer Eingabevorrichtung, Eingabevorrichtung
DE60108918T2 (de) Interaktives Verfahren und Vorrichtung für Bildrundfunk einer beweglichen Videokamera
DE102016214391B4 (de) Verfahren zum Steuern eines Betriebes eines Koordinatenmessgerätes und Koordinatenmessgerät mit Steuerung
DE102022131352A1 (de) Verfahren zur Steuerung eines mit einem Menschen kollaborierenden Roboters und System mit einem kollaborativen Roboter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18783358

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18783358

Country of ref document: EP

Kind code of ref document: A1