WO2008014831A2 - Verfahren zur beobachtung einer person in einem industriellen umfeld - Google Patents

Verfahren zur beobachtung einer person in einem industriellen umfeld Download PDF

Info

Publication number
WO2008014831A2
WO2008014831A2 PCT/EP2007/003037 EP2007003037W WO2008014831A2 WO 2008014831 A2 WO2008014831 A2 WO 2008014831A2 EP 2007003037 W EP2007003037 W EP 2007003037W WO 2008014831 A2 WO2008014831 A2 WO 2008014831A2
Authority
WO
WIPO (PCT)
Prior art keywords
person
movement
image data
machine
data
Prior art date
Application number
PCT/EP2007/003037
Other languages
English (en)
French (fr)
Other versions
WO2008014831A3 (de
Inventor
Ulrich Kressel
Lars KRÜGER
Werner Progscha
Christian WÖHLER
Franz Kummert
Joachim Schmidt
Rainer Ott
Original Assignee
Pilz Gmbh & Co. Kg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pilz Gmbh & Co. Kg filed Critical Pilz Gmbh & Co. Kg
Priority to CN2007800332128A priority Critical patent/CN101511550B/zh
Priority to EP07723978A priority patent/EP2046537A2/de
Priority to JP2009522108A priority patent/JP2009545789A/ja
Publication of WO2008014831A2 publication Critical patent/WO2008014831A2/de
Publication of WO2008014831A3 publication Critical patent/WO2008014831A3/de
Priority to US12/362,745 priority patent/US8154590B2/en

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16P—SAFETY DEVICES IN GENERAL; SAFETY DEVICES FOR PRESSES
    • F16P3/00—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body
    • F16P3/12—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine
    • F16P3/14—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact
    • F16P3/142—Safety devices acting in conjunction with the control or operation of a machine; Control arrangements requiring the simultaneous use of two or more parts of the body with means, e.g. feelers, which in case of the presence of a body part of a person in or near the danger zone influence the control or operation of the machine the means being photocells or other devices sensitive without mechanical contact using image capturing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Definitions

  • the invention relates to a method for observing a person in an industrial environment according to the preambles of claims 1 and 3.
  • the corresponding approaches are divided into two-dimensional methods, with explicit shape models or model-free, and into three-dimensional methods.
  • windows of different sizes are moved over the source image; the corresponding image areas are subjected to a Haar wavelet transformation.
  • the corresponding wavelet coefficients are obtained by applying differential operators of different scaling and orientation at different positions of the image region. From this possibly quite large set of features, a small subset of the coefficients are selected "on the fly” based on their magnitude and their local distribution in the image
  • This reduced set of features is fed to a support vector machine (SVM) for classification.
  • SVM support vector machine
  • For the purpose of detection windows of different sizes are pushed over the image and the corresponding features are extracted from these image areas, and the SVM then decides whether or not the corresponding window contains a person
  • [5] summarizes temporal sequences of two-dimensional Haar wavelet features into high-dimensional feature vectors and classifies them with SVMs, resulting in a gain in recognition performance over the pure frame approach.
  • the method of Chamfer Matching applied to the detection of pedestrian outlines in road traffic scenario in non-stationary camera.
  • the Chamfer matching technique is combined with a stereo image processing system and a neural network used as a texture classifier with local receptive fields according to [8] in order to achieve a secure and robust classification result.
  • Another group of methods for person detection are model-based techniques that use explicit prior knowledge about the appearance of persons in the form of a model. Since this concealment of parts of the body are problematic, many systems also require prior knowledge of the nature of the detected movements and the camera's perspective.
  • the persons are z. B. segmented by subtraction of the background, which requires a stationary camera and a no or only slowly changing background.
  • the models used are z. B. from straight bars ("stick figures"), wherein the individual body parts are approximated by ellipsoids
  • a method for 3D modeling a person from 2D image data is described in [30].
  • image data of a person are detected with the aid of a multi-camera system and their body parts, in particular by means of template matching, identified in the 2D image data.
  • the identified body parts are then modeled by dynamic template matching using 3D templates. In this way it is achieved that the persons can be identified quickly and continuously even if they are partially hidden or temporarily not by the multi-camera system could be recorded.
  • the identified persons are then tracked in the image data.
  • the prior art described above demonstrates that a variety of image processing based methods for recognizing persons in different complex environments, for recognizing body parts and their movements, as well as for the detection of complex, compound parts objects and the corresponding assembly activities are known.
  • the applicability of these algorithms is often described only in terms of purely academic applications.
  • the object of the invention is to make a camera-based person recognition and modeling of use in an industrial environment accessible.
  • image data of the person are detected by means of a multi-camera system.
  • This image data is then examined for imaging a person, so that when a person has been detected in the image data, this person hypothesis is adapted to an articulated, virtual 3D model of the human body. Subsequently, this virtual body model is continuously adapted to the movement behavior of the person detected in the image data.
  • the position and / or the movement behavior of a person located in the environment of the machine or a machine element is determined. Proceeding from this, a hazard potential can then be determined in knowledge of the position and the movement behavior of the virtual body model in the room. The hazard potential determined in this way is subjected to a threshold value comparison in order to influence the motion control of the machine or of the machine part when this threshold value is exceeded. In a particularly advantageous manner, this action on the motion control of the machine or the machine part will cause its shutdown or its movement slowing down. If only a movement slowdown is effected, the machine or its movable machine element is given the opportunity to continue the operation while reducing the risk potential.
  • data are derived therefrom continuously, depending on the current shape and position of the virtual body model, which are correlated with the data of a database.
  • the database contains a multiplicity of data, which were ascertained in advance based on the shape and position of a body model during a multiplicity of movement phases describing a movement sequence of a person.
  • those movement phases are then taken by the observed person as being taken in, if the data derived from their current body model have a certain degree of similarity with the data stored in the database for this movement phase. Is doing a certain sequence detected motion phases stored in the database, then the movement is considered to be completed by the observed person. If, however, the motion sequence is judged to be incomplete, a corresponding signaling takes place.
  • Another advantageous application of this alternative embodiment of the invention is the monitoring of newly trained operating personnel. For example, many production errors occur when new workers have to be trained at short notice during the holiday season.
  • the work processes can be observed newly trained operators. It can then be an indication when it is detected that within a motion sequence to be performed necessary movement phases were not taken, so that it must be assumed that a work process was not performed correctly.
  • an indication of at least one of the movement phases is given in the context of signaling a judged as incomplete movement sequence, which is considered in the context of checking a correct sequence with respect to the movement sequence as not taken. In this way, it is particularly easy for the observed person to recognize the errors in their movement or in their work execution.
  • a trainer can recognize which sections of the learned activity are still difficult for the instructed person and possibly require additional explanations or further training.
  • ergonomically problematic movement phases can be detected within a whole sequence of movements in a profitable manner and optionally optimized by changing the sequence of movement phases or by modifications to the observed by the person to be monitored plants or objects ,
  • the amount of data to be managed in the database as well as the processing effort can also be reduced by subjecting the image data stored therein to a transformation, in particular a main axis transformation.
  • a transformation in particular a main axis transformation.
  • the creation of the 3D model of the person is based on 3D point data.
  • These point data can be created by multi-image analysis, in particular stereo image analysis.
  • stereo image analysis For example, by using a spatiotemporal features based stereo method (such as in
  • [28] information is obtained for each 3D point in space that goes beyond its location coordinates (x, y, z), such as its speed or acceleration.
  • the segmentation of a plurality of 3D point data (3D point cloud) takes place profitably by means of a cluster method, in particular by means of agglomerative clustering.
  • the convex hull is then determined.
  • simple features, in particular their height or volume are first determined for each cluster. In this way, invalid, meaningless clusters can then be discarded, in particular on the basis of a priori knowledge about the properties of a natural person.
  • an articulated 3D model of the human body It is advantageous to model the body parts by interconnected cylinder.
  • the posture of the person is given in this model as a vector of the joint angle of the model.
  • the evaluation of a posture is preferably done by determining the divergence between the features derived from the 3D point cloud and the images of the scene and the appearance of the model at a given posture, thereby determining a likelihood that the given posture will be the measured shape of the person reproduces.
  • a probabilistic approach to explore the search space is a kernel-based particle filter [29].
  • the detected movements of the body parts are represented by motion templates.
  • motion templates for 3D Measurement of typical human motion sequences contained representative movement patterns that narrow the space of possible joint angles and joint angular velocities of the person model. In this way, a biologically realistic extrapolation of the movements of the person is possible, especially with the aim of detecting an imminent collision between man and machine.
  • a movement process can here be regarded as a composite sequence of movement phases.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

Fertigungsprozesse profitieren von einer engen Zusammenarbeit zwischen Mensch und Maschine in hohem Maße. Während sich der Mensch flexibel und anpassungsfähig verhält, bei sich wiederholenden Arbeitsvorgängen jedoch zu Fehlern neigt, arbeiten Maschinen zwar schnell und exakt, hierbei jedoch statisch und wenig flexibel . Um eine verbesserte Gefahrenabsicherung im Kontext einer sicheren Mensch-Maschine- Interaktion zu ermöglichen, wird überwachten Raumbereichen, abhängig von der aktuellen Position und dem aktuellen Bewegungs zustand einer Maschine oder eines Maschinenelementes, sowie der beobachteten Person, ein orts- und zeitabhängigen variabler Gefährdungsgrad zugewiesen. Hierzu werden mittels eines Mehrkamerasystems Bilddaten der Person erfasst, um möglichst detaillierte Informationen über die Position und Ausrichtung einer Person, insbesondere auch in Bezug auf deren Körperteile, in einem industriellen Umfeld zu erhalten. Diese Bilddaten werden sodann hinsichtlich der Abbildung einer Person untersucht, so dass dann, wenn eine Person in den Bilddaten detektiert wurde, dieser Personen-Hypothese ein artikuliertes, virtuelles 3D-Modell des menschlichen Körpers angepasst wird. Nachfolgend wird dieses virtuelle Körpermodell fortlaufend an das Bewegungsverhalten der in den Bilddaten detektierten Person angepasst. In Kenntnis der Position und des Bewegungsverhaltens des virtuellen Körpermodells im Raum wird ein Gefährdungspotential ermittelt. Das so ermittelte Gefährdungspotential wird einem Schwellwertvergleich unterzogen, um bei Überscheiten dieses Schwellwertes auf die Bewegungssteuerung der Maschine oder des Maschinenteils einzuwirken.

Description

Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
[0001] Die Erfindung betrifft ein Verfahren zur Beobachtung einer Person in einem industriellen Umfeld nach den Oberbegriffen der Patentansprüche 1 und 3.
[0002] Heutige industrielle Fertigungsprozesse in der Automo- bilproduktion lassen sich im Allgemeinen in vollautomatische Abläufe, die ausschließlich von Maschinen durchgeführt werden, und in vollständig manuelle Abläufe, die ausschließlich von einzelnen oder mehreren miteinander kooperierenden Werkern durchgeführt werden, einteilen. Bislang ist die enge Kooperation zwischen Personen und Maschinen, insbesondere Industrierobotern, aufgrund von Sicherheitsaspekten stark eingeschränkt. Eine Vielzahl von aufwändigen und teuren Sicherheitssystemen wie z. B. Metallzäunen, Lichtschranken, Laserscannern oder kombinierten Systemen sind erforderlich, um Werker im Produktionsumfeld von potentiell gefährlichen Maschinen fernzuhalten. Diese Systeme sind nicht in der Lage, den genauen Ort, die Körperhaltung oder das Bewegungsverhalten des Menschen zu erkennen. Sobald sich ein Werker dem Roboter nähert, wird dieser angehalten, und der Produktionspro- zess wird unterbrochen.
[0003] Das fehlende „Wissen" solcher Sicherheitssysteme über das überwachte Produktionsumfeld ist insofern besonders nachteilig, als dass die Fertigungsprozesse von einer engen Zusammenarbeit von Mensch und Maschine in hohem Maße profitieren würden. Während sich der Mensch flexibel und anpassungsfähig verhält, bei sich wiederholenden Arbeitsvorgängen jedoch zu Fehlern neigt, arbeiten Maschinen zwar schnell und exakt, hierbei jedoch statisch und wenig flexibel. Beispielsweise muss bei einer aus mehreren kooperierenden Robotern bestehenden vollautomatischen Fertigungseinheit der Produkti- onsprozess angehalten werden, wenn ein einziger der kooperierenden Roboter schadhaft ist . Wünschenswert wäre hier, den schadhaften Roboter temporär durch einen menschlichen Werker zu ersetzen, der mit den verbleibenden Robotern zusammenarbeitet, so dass die Produktion fortgesetzt werden kann. Effizienz, Flexibilität und Qualität der industriellen Fertigung können durch enge Zusammenarbeit von Menschen und Maschinen im Sinne teilautomatisierter Prozesse deutlich gesteigert werden .
[0004] Derzeitige Sicherheitssysteme im industriellen Produktionsumfeld bestehen meist aus Metallzäunen, Lichtschranken und/oder Laserscannern. Es gibt erste Ansätze zur bildverar- beitungsbasierten Absicherung von Roboter-Schutzbereichen, die in [1] und [2] eingehender beschrieben werden. Das in [1] beschriebene Verfahren detektiert mittels Stereo-Bildanalyse, ob sich ein Objekt im Schutzbereich des Roboters befindet, ohne hierbei Informationen über die Natur des Objekts (z. B. Mensch oder Gegenstand) oder sein Bewegungsverhalten zu extrahieren. In [2] wird eine Person ausschließlich anhand der Hautfarbe der Hände erkannt, was bei nicht-konstanten Beleuchtungsbedingungen (variable Farbtemperatur) zu Problemen hinsichtlich der Erkennungssicherheit führen wird; bei Verwendung von Arbeitshandschuhen ist das beschriebene Verfahren überhaupt nicht einsetzbar. Diese Verfahren, ebenso wie der in [1] dargelegte Stand der Technik, beschreiben Methoden, welche keine Informationen über die Art des Objekts extrahieren. Auch erkennen sie in dem Falle, dass es sich um eine Person handelt, ihre Körperteile und deren Bewegungsverhalten nicht. Derartige Systeme sind daher zwar fähig, einen Roboter beim Eindringen einer Person in seinen Schutzbereich abzuschalten, aber nicht in der Lage, bei einer in unmittelbarer Nähe zum Roboter befindlichen Person zu erkennen, ob eine Kollision droht oder ob Mensch und Maschine regulär und ohne Gefahr kooperieren.
[0005] Im Bereich der Erkennung von Personen werden gemäß dem Übersichtsartikel [3] die entsprechenden Ansätze in zweidimensionale Methoden, mit expliziten Formmodellen bzw. modell- frei, und in dreidimensionale Methoden eingeteilt. In [4] werden Fenster unterschiedlicher Größe über das Ausgangsbild geschoben; die entsprechenden Bildbereiche werden einer Haar- Wavelet-Transformation unterzogen. Die entsprechenden Wave- let-Koeffizienten ergeben sich durch Anwendung von Differentialoperatoren unterschiedlicher Skalierung und Orientierung an unterschiedlichen Positionen der Bildregion. Aus diesem unter Umständen recht großen Satz von Merkmalen wird eine kleine Untermenge der Koeffizienten basierend auf ihrem Betrag und ihrer lokalen Verteilung im Bild „von Hand" ausgewählt. Dieser reduzierte Satz von Merkmalen wird einer Support-Vektor-Maschine (SVM) zur Klassifikation zugeführt. Zur Detektion werden Fenster unterschiedlicher Größe über das Bild geschoben und aus diesen Bildbereichen die entsprechenden Merkmale extrahiert; die SVM entscheidet anschließend, ob das entsprechende Fenster eine Person enthält oder nicht . In
[5] werden zeitliche Sequenzen von zweidimensionalen Haar- Wavelet-Merkmalen zu hochdimensionalen Merkmalsvektoren zu- sammengefasst und diese mit SVMs klassifiziert, was in einem Gewinn an Erkennungsleistung gegenüber dem reinen Einzelbildansatz resultiert. In [6] wird die Methode des Chamfer- Matching auf die Detektion von Fußgänger-Umrissen im Straßenverkehrs-Szenario bei nicht-stationärer Kamera angewandt. In [7] wird die Technik des Chamfer-Matching mit einem Stereo- Bildverarbeitungssystem und einem als Textur-Klassifikator verwendeten neuronalen Netzwerk mit lokalen rezeptiven Feldern gemäß [8] kombiniert, um ein sicheres und robustes Klassifikationsergebnis zu erzielen.
[0006] Andere Methoden verwenden statistische Formmodelle, um Personen zu detektieren und zu verfolgen. In [9] handelt es sich hierbei um mittels einer Trainingsphase erhaltene Modelle, in denen Beispielkonturen durch Positionen von Merkmalspunkten beschrieben werden. Zur Reduktion des Parametersatzes dient eine Hauptkomponentenanalyse (PCA) , wodurch sich zusätzlich zu einer Verringerung des Rechenaufwandes eine gewisse Verallgemeinerungsfähigkeit ergibt. Dies ist beim Verfolgen einer solchen deformierbaren Kontur, z. B. eines gehenden Fußgängers, über die Zeit von Nutzen, da mit dem Lernset nicht konsistente Parametersätze von vornherein vermieden werden. Nicht nur die Umrisse ganzer Personen, sondern auch die einer Hand können detektiert und die entsprechenden Bewegungen erkannt werden. Bei diesem Ansatz müssen allerdings alle Merkmale zu jeder Zeit vorliegen, weshalb Verdeckungen nicht erlaubt sind. Des Weiteren ist nicht ausgeschlossen, dass die durch die Trainingsphase ermittelte Parametrisierung physikalisch unmögliche Zustände erlaubt. In [10] ist die Formrepräsentation durch B-Splines gegeben. Unter Annahme einer stationären Kamera wird die Person durch Differenzbildanalyse aus dem Hintergrund heraussegmentiert ; der Tracking- Algorithmus arbeitet mit Kaiman-Filtern.
[0007] An anderer Stelle wird zur Detektion von Personen in Bildsequenzen, die mit bewegter Kamera aufgenommen werden, die Technik des Farbclusterflusses verwendet [11] . Sogar bei teilweiser Verdeckung der Person ist es damit recht zuverlässig möglich, Personen zu detektieren und über die Zeit zu verfolgen. Diese Detektionsstufe wird mit dem in [8] ausführlich beschriebenen TDNN-Klassifikationsansatz kombiniert.
[0008] Neuere Arbeiten bezüglich eines vollständigen, realzeitfähigen Systems zur Erkennung von Fußgängern in Straßenverkehrsszenen, bestehend aus einer Detektionsstufe, einer Tracking-Stufe und einer Objektklassifikations-Stufe, sind in
[12] beschrieben.
[0009] Eine andere Gruppe von Verfahren zur Personendetektion sind modellbasierte Techniken, bei denen explizites Vorwissen über das Aussehen von Personen in Form eines Modells verwendet wird. Da hierbei Verdeckungen von Teilen des Körpers problematisch sind, setzen viele Systeme zusätzlich Vorwissen über die Art der zu erkennenden Bewegungen und den Blickwinkel der Kamera voraus. Die Personen werden z. B. durch Subtraktion des Hintergrundes heraussegmentiert , was eine stationäre Kamera sowie einen nicht oder nur langsam veränderlichen Hintergrund voraussetzt. Die verwendeten Modelle bestehen z. B. aus geraden Stäben („Strichmännchen"), wobei die einzelnen Körperteile durch Ellipsoide angenähert werden
[13-16] .
[0010] Ein Beispiel für die gleichzeitige Verwendung der sehr unterschiedlichen Merkmale Intensität, Kanten, Entfernung und Bewegung im Sinne eines Multi-Cue-Ansatzes zur Erkennung von lateral zur Kamera ausgerichtet stehenden oder sich bewegenden Personen ist in [17] beschrieben. Dieser Ansatz ist „objektorientiert" dahingehend, dass für eine bestimmte Anwendung generische Objekte definiert (z. B. Person, Hintergrund, Boden, Lichtquelle) und zugehörige Methoden zur Verfügung gestellt werden, diese Objekte im Bild zu detektieren. Sind einige Objekteigenschaften aus dem Bild extrahiert worden, werden die Objekte instantiiert , so dass anschließend weitere, spezialisierte Methoden angewandt werden können.
[0011] Kommerzielle Systeme zur dreidimensionalen Bestimmung der Postur (Ort und Haltung der Körperteile) von Personen basieren auf der Detektion von am Körper angebrachten Marken. Eine leistungsfähige Methode zur markerlosen dreidimensionalen Bestimmung der Postur ist in [18] beschrieben.
[0012] Ein Großteil der Arbeiten zur Erkennung der Postur von Personen konzentriert sich auf die 3D-Rekonstruktion der Hände. In [19] wird die Hand durch ein artikuliertes Modell mit kinematischen Einschränkungen insbesondere hinsichtlich der physikalisch möglichen Gelenkwinkel beschrieben. Diese Einschränkungen erlauben eine Bestimmung der dreidimensionalen Lage, Postur und Bewegung der Hand. Ein Verfahren zur Erkennung von Bewegungsabläufen der Hände (Handgesten) , das auf einer Konturanalyse, einer Tracking-Stufe sowie einem auf Hidden-Markov-Modellen (HMM) basierenden Klassifikator für die Bewegungen basiert, wird in [20] beschrieben. Das in [21] beschriebene GREFIT-System ist in der Lage, die Dynamik von Handposturen auf Basis von Grauwertbildern anhand eines artikulierten Modells der Hand zu klassifizieren. In einer ersten Stufe lokalisiert ein hierarchisches System von neuronalen Netzwerken die 2D-Position der Fingerspitzen in den Bildern der Sequenz. In der zweiten Stufe transformiert ein weiteres neuronales Netzwerk diese Werte in die am besten passende 3D- Konfiguration des artikulierten Handmodells. In [22] erfolgt die Erkennung von Handposturen direkt durch Labein entsprechender Bilder mittels einer selbstorganisierenden Karte (Seif-Organising Map, SOM) und durch anschließendes Trainieren mit einem neuronalen Netzwerk.
[0013] Die Erkennung von „manipulativen Gesten" (Handbewegungen, die dem Greifen oder Verschieben von Objekten dienen) wird in [23] eine auf einem Partikelfilter basierende Trajek- torienanalyse verwendet, in die symbolisches Objektwissen mit einbezogen wird. Dieser Ansatz wird in [24] im Kontext der Mensch-Roboter- Interaktion dahingehend erweitert, dass die Klassifikation der Handtrajektorie durch ein Hidden-Markov- Modell in Kombination mit einem Bayes-Netzwerk und einem Partikelfilter erfolgt. Ein Ansatz zur Klassifikation von Konstruktionshandlungen (z. B. Zusammenbau von Teilen) durch A- nalyse von Bewegungsmustern mit dem Partikelfilter-Ansatz wird in [25] beschrieben. In [26] wird beschrieben, wie in einen Ansatz zur Erkennung von aus einzelnen Elementen zusammengesetzten Bauteilen die Ergebnisse der Analyse der Handbewegungen mit dem Ziel einer sichereren Objekterkennung integriert werden. In diesem Kontext wird in [27] ein ansichtsba- siertes System dargestellt, in dem die Erkennung von Objekten mittels neuronaler Netzwerke geschieht, die online, d. h. während der Betriebsphase, nachtrainiert werden können.
[0014] Ein Verfahren zur 3D-Modellierung einer Person ausgehend von 2D-Bilddaten wird in [30] beschrieben. Hierbei werden mit Hilfe eines Mehrkamerasystems Bilddaten einer Person erfasst und deren Körperteile, insbesondere mittels eines Template-Matchings, in den 2D-Bilddaten identifiziert. Die so identifizierten Körperteile werden sodann durch dynamisches Template-Matching mittels 3D-Templates modelliert. Auf diese Weise wird erreicht, dass die Personen auch dann schnell und fortlaufend identifiziert werden können, wenn sie teilweise verdeckt sind oder zeitweise durch das Mehrkamerasystem nicht erfasst werden konnten. Unter Zuhilfenahme eines kinematischen Bewegungsmodells sowie von Kaiman-Filtern werden die erkannten Personen sodann in den Bilddaten verfolgt.
[0015] Eine Identifikation von Personen und deren Körperteilen innerhalb von in den 3D-Raum transformierten Bilddaten wird in [31] beschrieben. Ausgehend von den von einem Mehrkamerasystem erzeugten Bilddaten werden 3D-Voxeldaten erzeugt. Ausgehend hiervon werden Körperteilen entsprechende Templates mittels spezifischer Anpassungsalgorithmen angepasst . Auch hier wird wie bereits bei [30] auch auf ein kinematisches Körpermodell zurückgegriffen.
[0016] Bei den in [32] beschriebenen Arbeiten wird neben der Generierung von 3D-Personenmodellen aus 2D-Bilddaten und deren allgemeinen Bewegungsanalyse zusätzlich ein erster Ansatz zur Analyse des Biometrischen Verhaltens der beobachteten Personen, insbesondere deren Gesten (, Handheben um den Wunsch einer Fragestellung zu signalisieren') aufgezeigt.
[0017] Der im Vorangegangenen beschriebene Stand der Technik zeigt, dass eine Vielfalt von bildverarbeitungsbasierten Verfahren zur Erkennung von Personen in unterschiedlich komplexen Umfeldern, zur Erkennung von Körperteilen und ihren Bewegungsabläufen, sowie zur Erkennung komplexer, aus Einzelteilen zusammengesetzter Objekte und der entsprechenden Zusammenbau-Tätigkeiten bekannt sind. Die Anwendbarkeit dieser Algorithmen wird jedoch häufig nur anhand rein akademischer Applikationen beschrieben. [0018] Die Aufgabe der Erfindung ist eine kamerabasierte Personenerkennung und -modellierung einer Nutzung in einem industriellen Umfeld zugänglich zu machen.
[0019] Die Aufgabe wird durch Verfahren gemäß der Patentansprüche 1 und 3 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden durch die Unteransprüche beschrieben.
[0020] Um möglichst detaillierte Informationen über die Position und Ausrichtung einer Person, insbesondere auch in Bezug auf deren Körperteile, in einem industriellen Umfeld zu erhalten, werden mittels eines Mehrkamerasystems Bilddaten der Person erfasst . Diese Bilddaten werden sodann hinsichtlich der Abbildung einer Person untersucht, so dass dann, wenn eine Person in den Bilddaten detektiert wurde, dieser Personen- Hypothese ein artikuliertes, virtuelles 3D-Modell des menschlichen Körpers angepasst wird. Nachfolgend wird dieses virtuelle Körpermodell fortlaufend an das Bewegungsverhalten der in den Bilddaten detektierten Person angepasst.
[0021] In einer ersten erfinderischen Ausgestaltung der Personenbeobachtung in einem industriellen Umfeld wird die Position und/oder das Bewegungsverhaltens einer im Umfeld der Person befindlichen Maschine oder eines Maschinenelementes ermittelt. Ausgehend hiervon kann dann in Kenntnis der Position und des Bewegungsverhaltes des virtuellen Körpermodells im Raum ein Gefährdungspotential ermittelt werden. Das so ermittelte Gefährdungspotential wird einem Schwellwertvergleich unterzogen, um bei Überscheiten dieses Schwellwertes auf die Bewegungssteuerung der Maschine oder des Maschinenteils einzuwirken. [0022] In besonders vorteilhafter Weise wird dieses Einwirken auf die Bewegungssteuerung der Maschine oder des Maschinenteils dessen Abschaltung oder dessen Bewegungsverlangsamung bewirken. Wird nur eine Bewegungsverlangsamung bewirkt, ist für die Maschine oder deren bewegliches Maschinenelement die Möglichkeit gegeben, bei gleichzeitiger Verringerung des Gefahrenpotentials den Arbeitsvorgang fortzusetzen.
[0023] Durch diese erfinderische Art der Personenbeobachtung wird in besonders vorteilhafter Weise eine Anwendung des Verfahrens zur Gefahrenabsicherung im Kontext einer sicheren Mensch-Maschine- Interaktion möglich. Hierdurch wird es möglich den überwachten Raumbereichen, abhängig von der aktuellen Position und dem aktuellen Bewegungszustand einer Maschine oder eines Maschinenelementes sowie der beobachteten Person, einen orts- und zeitabhängigen variablen Gefährdungsgrad zuzuweisen.
[0024] In der alternativen erfinderischen Ausgestaltung der Personenbeobachtung in einem industriellen Umfeld werden fortlaufend abhängig von der aktuellen Form und Position des virtuellen Körpermodells hiervon Daten abgeleitet, die mit den Daten einer Datenbank korreliert werden. Dabei enthält die Datenbank eine Vielzahl von Daten, welche vorab ausgehend von Form und Position eines Körpermodells während einer Vielzahl von einen Bewegungsablauf einer Person beschreibenden Bewegungsphasen ermittelt wurden. Dabei werden im Rahmen des Verfahrens dann diejenigen Bewegungsphasen durch die beobachtete Person als eingenommen angesehen, wenn die von deren aktuellem Körpermodell abgeleiteten Daten ein gewisses Maß an Ähnlichkeit mit den zu dieser Bewegungsphase in der Datenbank abgelegten Daten aufweisen. Wird dabei eine bestimmte Abfolge von in der Datenbank abgelegten Bewegungsphasen erkannt, dann wird der Bewegungsablauf als durch die beobachtete Person als vollständig durchgeführt angesehen. Wird jedoch der Bewegungsablauf als nicht vollständig durchgeführt beurteilt, erfolgt eine diesbezügliche Signalisierung.
[0025] Durch diese erfinderische Art der Personenbeobachtung wird in gewinnbringender Weise eine Anwendung des Verfahrens zur Überprüfung von Bewegungs- und Arbeitsabläufen im industriellen Produktionsumfeld möglich. Hierbei wird beispielsweise ein komplexer manueller Montageablauf während seiner Ausführung daraufhin überprüft, ob die entsprechenden Arbeiten vollständig und in der richtigen Reihenfolge durchgeführt werden. Sollte der beobachtete vom erwarteten Bewegungsablauf abweichen, kann dies signalisiert werden. Insbesondere bei hochkomplexen Baugruppen wie zum Beispiel Aggregaten ist diese Ar der Qualitätsprüfung wesentliche effektiver als eine Überprüfung nach dem Zusammenbau mit eventueller anschießender Nacharbeit, da im letzteren Fall eine vollständige oder teilweise Demontage der Baugruppe erforderlich sein kann, die wiederum mit hohem Zeit- und Kostenaufwand verbunden ist.
[0026] Ein weiteres vorteilhaftes Anwendungsgebiet dieser alternativen Ausgestaltung der Erfindung ist die Überwachung von neu eingelerntem Bedienpersonal . Viele Fehler in der Produktion entstehen beispielsweise dann, wenn in der Ferienzeit neue Arbeitskräfte kurzfristig angelernt werden müssen. Mittels der Erfindung lassen sich die Arbeitsabläufe neu eingelernten Bedienpersonals beobachten. Es kann sodann ein Hinweis erfolgen, wenn erkannt wird, dass innerhalb eines zu tätigenden Bewegungsablaufs notwendige Bewegungsphasen nicht eingenommen wurden, so dass davon ausgegangen werden muss, dass ein Arbeitsvorgang nicht korrekt durchgeführt wurde. [0027] In besonders vorteilhafter Weise wird im Rahmen der Signalisierung eines als unvollständig beurteilten Bewegungsablaufes ein Hinweis auf wenigstens eine der Bewegungsphasen gegeben, welche im Rahmen der Überprüfung einer korrekten Abfolge bezüglich des Bewegungsablaufs als nicht eingenommen angesehen wird. Auf diese Weise ist es für die beobachtete Person besonders einfach, die Fehler in ihrem Bewegungsablauf beziehungsweise in ihrer Arbeitsausführung zu erkennen. Andererseits kann ein Trainer erkennen, welche Abschnitte der gelehrten Tätigkeit dem Angewiesenen noch schwer fallen und gegebenenfalls zusätzlichen Erklärungsbedarf oder weiteres Training benötigen.
[0028] Durch eine statistische Erfassung der nicht als eingenommen erkannten Bewegungsphasen können in gewinnbringender Weise auch ergonomisch problematische Bewegungsphasen innerhalb eines gesamten Bewegungsablaufes erkannt und gegebenenfalls durch Umstellung der Abfolge der Bewegungsphasen oder durch Modifikationen an den durch die beobachtete Person zu bedienenden Anlagen oder Objekten optimiert werden.
[0029] Um für die Datenbank an die Daten zu den einzelnen Bewegungsphasen und/oder des Bewegungsablaufs zu gelangen, bietet es sich an, diese mittels einer Mehrzahl von Trainingsabläufen zu gewinnen, während der mittels des Mehrkamerasystems Bildaufnahmen des zu beobachtenden Raums, der Person oder der Maschine erfasst werden. Alternativ oder ergänzend ist es a- ber sehr wohl auch denkbar, die Daten der Datenbank durch Simulation des Bewegungsablaufs und der diesbezüglich zu erwartenden Bildinformation auf einem Rechnersystem zu erzeugen. So wird es auch gewinnbringend möglich mittels der durch Simulation ermittelten Daten das Beobachtungssystem werksseitig bereits parallel zum Systementwurf und dessen Realisierung vorzuinitialisieren.
[0030] In besonders vorteilhafter Weise kann die in der Datenbank zu verwaltende Datenmenge, sowie der Verarbeitungsaufwand, auch dadurch reduziert werden, dass die darin abgelegten Bilddaten einer Transformation, insbesondere einer Hauptachsentransformation, unterzogen werden. In diesem Sinne wird die Korrelation zur Bestimmung der Ähnlichkeit der aktuell erfassten Bilddaten mit den Daten der Datenbank auf Basis dieser transformierten Bilddaten erfolgen.
[0031] In besonders vorteilhafter Weise erfolgt die Erstellung des 3D-Models der Person auf Basis von 3D-Punktdaten. Diese Punktdaten können durch multiokulare Bildanalyse, insbesondere auch Stereobildanalyse, erstellt werden. Beispielsweise können durch den Einsatz eines auf raumzeitlichen Merkmalen basierenden Stereo-Verfahrens (wie beispielsweise in
[28] beschrieben) Informationen für jeden 3D-Punkt im Raum gewonnen werden, die über dessen Ortskoordinaten (x,y,z) hinausgehen, wie beispielsweise dessen Geschwindigkeit oder Beschleunigung. Die Segmentierung einer Mehrzahl von 3D-Punkt- daten (3D-Punktwolke) erfolgt gewinnbringend mittels eines Clusterverfahrens, insbesondere mittels agglomerativem Clustering. Für jeden extrahierten Cluster von 3D-Punkten wird anschließend die konvexe Hülle bestimmt. Zur Detektion von Personen werden für jeden Cluster zunächst einfache Merkmale, insbesondere dessen Höhe oder Volumen, bestimmt. Auf diese Weise lassen sich sodann, insbesondere ausgehend von a- priori Wissen über die Eigenschaften einer natürlichen Person, ungültige, nicht sinnvolle Cluster verwerfen. Auf gewinnbringende Weise wird es so möglich, benachbarte Cluster zu Personen zusammenzufassen, wenn die einzelnen Cluster nicht überlappen und für das resultierende Gesamtobjekt die entsprechenden Beschränkungen hinsichtlich Form und Größe eingehalten werden.
[0032] Im vorangegangenen Schritt unnötigerweise ausgeschlossenen 3D-Punkte, insbesondere Fußpunkte in der Nähe des Bodens oder Kontaktpunkte mit anderen Objekten, werden vorzugsweise wieder hinzugenommen. Ergebnis dieses ersten Verarbeitungsschritts sind die Personen in der Szene, dargestellt als konvexe Hüllen der sie repräsentierenden Cluster. Über die Zeit lässt sich die so detektierte Person vorteilhafterweise durch Tracking der auf den Boden projizierten konvexen Hülle, welche ein 2D-Polygon ergibt, mittels linearer Prädiktion und Kaiman-Filterung verfolgen. a
[0033] An die so gefundenen Personenhypothesen kann in gewinnbringender Weise ein artikuliertes 3D-Modell des menschlichen Körpers angepasst werden. Vorteilhaft ist es dabei, die Körperteile durch miteinander verbundene Zylinder zu modellieren. Die Postur der Person wird in diesem Modell als Vektor der Gelenkwinkel des Modells gegeben. Die Bewertung einer Postur erfolgt vorzugsweise durch Bestimmung der Abweichung zwischen den aus der 3D-Punktewolke und den Bildern der Szene abgeleiteten Merkmalen und dem Aussehen des Modells bei gegebener Postur, wodurch sich eine Wahrscheinlichkeit dafür ermitteln lässt, dass die gegebene Postur die gemessene Form der Person wiedergibt. Als probabilistischer Ansatz zur Exploration des Suchraums eignet sich besonders ein , Kernelbased Particle Filter' [29] .
[0034] Gewinnbringend werden die detektierten Bewegungen der Körperteile durch Motion-Templates dargestellt. Dabei handelt es sich bei derartigen Motion-Templates um durch 3D- Vermessung typischer menschlicher Bewegungsabläufe enthaltene repräsentative Bewegungsmuster, die den Raum möglicher Gelenkwinkel und Gelenkwinkelgeschwindigkeiten des Personenmodells eingrenzen. Auf diese Weise wird eine in biologischem Sinne realistische Extrapolation der Bewegungen der Person möglich, insbesondere mit dem Ziel der Erkennung einer drohenden Kollision zwischen Mensch und Maschine. Ein Bewegungsvorgang kann hierbei als ein zusammengesetzter Ablauf von Bewegungsphasen angesehen werden.
Literatur
[1] D. Döttling, L. Krüger, W. Progscha, M. Wendler, C. Wöh- ler. Verfahren und Vorrichtung zur Absicherung eines Gefahrenbereichs. Deutsche Offenlegungsschrift DE 10245720 Al.
[2] D. Ebert and D. Henrich. Simero - sichere Mensch-Roboter- Koexistenz. In: Fraunhofer IRB, Hrsg., 2. Workshop für OTS- Systeme in der Robotik - Mensch und Roboter ohne trennende Schutzsysteme, S. 119-134, Stuttgart, 2003
[3] D. Gavrila. The Visual Analysis of Human Movement: A Sur- vey. Computer Vision and Image Understanding, 73(1) :82-- 98, Jan. 1999.
[4] M. Oren, C. Papageorgiou, P. Sinha, E. Osuna, T. Poggio. Pedestrian detection using wavelet templates. IEEE Int. Conf . on Computer Vision and Pattern Recognition, S. 193-199, San Juan, 1997.
[5] C. Papageorgiou, T. Poggio. A Pattern Classification Ap- proach to Dynamical Object Detection. Int. Conf. on Computer Vision, S. 1223-1228, Kerkyra, Griechenland, 1999.
[6] D. M. Gavrila, V. Philomin. Real-time object detection for „smart" vehicles. Int. Conf. on Computer Vision, S. 87- 93, FCerkyra, Griechenland, 1999.
[7] D.M. Gavrila, J. Giebel, S. Münder. Vision-Based Pedestrian Detection: The PROTECTOR, System. IEEE Intelligent Vehicles Symposium, Parma, Italy, 2004.
[8] C. Wöhler, Neuronale Zeitverzögerungsnetzwerke für die Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen Bildverarbeitungssystemen. Dissertationsschrift. Mathematisch-Naturwissenschaftliche Fakultät der Rheinischen Friedrich-Wilhelms-Universität Bonn, 2000. VDI-Fortschritt- Berichte, Reihe 10. Nr. 645, VDI-Verlag, Düsseldorf, 2000. [9] M. J. S. Day, J. S. Payne . A Projection Filter for Use with Parameterised Learning Models. Int. Conf . on Pattern Re- cognition, S. 867-869, Brisbane, 1998.
[10] A. Baumberg, D. Hogg . An Efficient Method for Contour Tracking Using Active Shape Models. IEEE Workshop on Motion of Non-Rigid and Articulated Objects, S. 194-199, Austin, Texas, 1994.
[11] B. Heisele, C. Wöhler. Motion-Based Recognition of Pe- destrians. Int. Conf. on Pattern Recognition, S. 1325-1330, Brisbane, 1998.
[12] D. M. Gavrila, J. Giebel, S. Münder. Vision-Based Pedes- trian Detection: The PROTECTOR, System. Proc . of the IEEE Intelligent Vehicles Symposium, Parma, Italy,
[13] Y. Guo, G. Xu, S. Tsuji. UnderStanding Human Motion Pat- terns. Int. Conf. on Pattern Recognition, S. 325-329, 1994.
[14] I. -C. Chang, C-L. Huang. Ribbon-based Motion Analysis of Human Body Movements. Int. Conf. on Pattern Recognition, S. 436-440, Wien, 1996.
[15] K. Akita. Image Sequence Analysis of Real World Human Motion. Pattern Recognition, Vol. 17, Nr. 1, S. 73-83, 1984.
[16] W. Long, Y. Yang. Log-Tracker, an Attribute-Based Ap- proach to Tracking Human Body Motion. Int. J. Pattern Recog . Artificial Intell., Vol. 5, Nr. 3, S. 439-458, 1991.
[17] R. Kahn, M. Swain, P. Propkowicz, J. Firby. Gesture Recognition Using the Perseus Architecture . IEEE Conference on Computer Vision and Pattern Recognition, S. 734-741, San Francisco, 1996.
[18] B. Rosenhahn, U. G. Kersting, A. W. Smith, J. K. Gurney, T. Brox, R. Klette. A System for Marker-less Human Motion Es- timation. In: W. Kropatsch, R. Sablatnig, A. Hanbury (eds.). Pattern Recognition. Proc. 27th DAGM Symposium, Vienna, Austria. Lecture Notes in Computer Seience 3663, pp. 176-183, Springer-Verlag Berlin Heidelberg, 2005.
[19] S. U. Lee, I. Cohen. 3D Hand Reconstruction from a Mono- cular View. Int. Conf . on Pattern Recognition, Cambridge, UK, 2004.
[20] A. Ramamoorthy, N. Vaswani, S. Chaudhury, S. Banerjee. Recognition of dynamic hand gestures. Pattern Recognition, Vol. 36, S. 2069-2081, 2003.
[21] C. Nölker, H. Ritter. Visual Recognition of Continuous Hand Postures . IEEE Transactions on Neural Networks, Special Issue Multimedia, 2002.
[22] G. Heidemann, H. Bekel , I. Bax, A. Saalbach. Hand Gesture Recognition: Seif-Organising Maps as a Graphical User Interface for the Partitioning of Large Training Data Sets. Int. Conf. on Pattern Recognition, Cambridge, UK, 2004.
[23] J. Fritsch, N. Hofemann, G. Sagerer. Combining Sensory and Symbolic Data for Manipulative Gesture Recognition. Int. Conf. on Pattern Recognition, Cambridge, UK, 2004.
[24] Z. Li, N. Hofemann, J. Fritsch, G. Sagerer. Hierarchical Modelling and Recognition of Manipulative Gesture. In Proc . IEEE ICCV, Workshop on Modeling People and Human Interaction, Beijing, China, 2005.
[25] J. Fritsch, F. Lömker, M. Wienecke, G. Sagerer. Erkennung von Konstruktionshandlungen aus Bildfolgen. In: Mustererkennung 2000, 22. DAGM-Symposium, Informatik aktuell, S. 389-396, Kiel, 2000.
[26] E. Braun, J. Fritsch, G. Sagerer. Incorporating Process Knowledge into Object Recognition for Assemblies. IEEE Conf. on Computer Vision, S. 726-732, Vancouver.
[27] H. Bekel, I. Bax, G. Heidemann, H. Ritter. Adaptive Computer Vision: Online Learning for Object Recognition. In: C. E. Rasmussen, H. H. Bülthoff, M. A. Giese, B. Schölkopf (eds.). Pattern Recognition. Proc . 26th DAGM Symposium, Tubingen, Germany. Lecture Notes in Computer Science 3175, pp . 447-454, Springer-Verlag Berlin Heidelberg, 2004.
[28] C. Wöhler, L. Krüger. Verfahren und Vorrichtung zur Korrespondenzbestimmung, vorzugsweise zur dreidimensionalen Rekonstruktion einer Szene; nachveröffentlichte deutsche Patentanmeldung DE 102006013598.9.
[29] C. Chang, R. Ansari, A. Khokhar. Multiple object track- ing with kernel particle filter. IEEE Int. Conf . on Computer Vision and Pattern Recognition, Vol. 1, S. 566-573, 2005.
[30] Horprasert, T. Haritaoglu, I., Harwood, D., et al . Realtime 3D motion capture . In Proc. Perceptual User Interfaces, pages 87-90, November 1998.
[31] I. Mikic, M. Trivedi , E. Hunter, and P. Cosman. Human body model acquisition and tracking using voxel data. International Journal on Computer Vision, 53(3) :199--223, Juli 2003.
[32] M. Pardäs et al . , Body detection, tracking and analysis, WP5 partners first focus meeting, 1-2 Dezember 2005, Rocquen- court, slides, http://www-rocq.inria.fr/imedia/Muscle/WP5/ WP5-FFM-docs/E-TEAM-BODY-3.ppt.

Claims

Patentansprüche
Verfahren zur Beobachtung einer Person in einem industriellen Umfeld, bei welchem mittels eines Mehrkamerasystems Bilddaten der Person erfasst werden, bei welchem die Bilddaten hinsichtlich der Abbildung einer Person untersucht werden, bei welchem dann, wenn eine Person in den Bilddaten detektiert wurde dieser Personen-Hypothese ein artikuliertes, virtuelles 3D-Modell des menschlichen Körpers angepasst wird, und bei welchem das virtuelle Körpermodell fortlaufend an das Bewegungsverhalten der in den Bilddaten detektierten Person angepasst wird, dadurch gekennzeichnet, dass die Position und/oder das Bewegungsverhalten einer im Umfeld der Person befindlichen Maschine oder eines Maschinenelementes ermittelt wird, dass hiervon ausgehend in Kenntnis der Position und des Bewegungsverhaltens des virtuellen Körpermodells im Raum ein Gefährdungspotential ermittelt wird, so dass dann, wenn das Gefährdungspotential eine gewisse Schwelle überschreitet auf die Bewegungssteuerung der Maschine oder des Maschinenteils eingewirkt wird.
2. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, dass das Einwirken auf die Bewegungssteuerung der Maschine oder des Maschinenteils dessen Abschaltung oder dessen Bewegungsverlangsamung bewirkt .
3. Verfahren zur Beobachtung einer Person in einem industriellen Umfeld, bei welchem mittels eines Mehrkamerasystems Bilddaten der Person erfasst werden, bei welchem die Bilddaten hinsichtlich der Abbildung einer Person untersucht werden, bei welchem dann, wenn eine Person in den Bilddaten detektiert wurde dieser Personen-Hypothese ein artikuliertes, virtuelles 3D-Modell des menschlichen Körpers angepasst wird, und bei welchem das virtuelle Körpermodell fortlaufend an das Bewegungsverhalten der in den Bilddaten detektierten Person angepasst wird, dadurch gekennzeichnet, dass fortlaufend abhängig von der aktuellen Form und Position des virtuellen Körpermodells Daten abgeleitet werden, die mit den Daten einer Datenbank korreliert werden, wobei die Datenbank eine Vielzahl von Daten enthält, welche vorab ausgehend von Form und Position eines Körpermodells während einer Vielzahl von einen Bewegungsablauf einer Person beschreibenden Bewegungsphasen ermittelt wurden, dass eine Bewegungsphase durch die beobachtete Person dann als eingenommen angesehen wird, wenn die von deren aktuellen Körpermodell abgeleiteten Daten ein gewisses Maß an Ähnlichkeit mit den zu dieser Bewegungsphase in der Datenbank abgelegten Daten aufweisen, dass dann ein Bewegungsablauf als durch die beobachtete Person als vollständig durchgeführt beurteilt wird, wenn eine bestimmte Abfolge von in der Datenbank abgelegten Bewegungsphasen erkannt wurde, und dass dann wenn ein Bewegungsablauf als unvollständig durchgeführt beurteilt wird eine diesbezügliche Signalisierung erfolgt.
4. Verfahren nach Patentanspruch 3 , dadurch gekennzeichnet, dass im Rahmen der Signalisierung eines als unvollständig beurteilten Bewegungsablaufes ein Hinweis auf wenigstens eine der Bewegungsphasen gegeben wird, welche im Rahmen der Überprüfung einer korrekten Abfolge bezüglich des Bewegungsablaufs, als nicht eingenommen angesehen wird.
5. Verfahren nach einem der Patentansprüche 3 oder 4, dadurch gekennzeichnet, dass eine statistische Erfassung der als nicht eingenommen beurteilten Bewegungsphasen erfolgt.
6. Verfahren nach einem der Patentansprüche 3 bis 5, dadurch gekennzeichnet, dass die Daten zu den einzelnen Bewegungsphasen und/oder des Bewegungsablaufs, die in der Datenbasis abgelegt sind, mittels einer Mehrzahl von Trainingsabläufen und/oder mittels Simulation generiert werden.
7. Verfahren nach einem der Patentansprüche 3 bis 6, dadurch gekennzeichnet, dass die in der Datenbank abgelegten Bilddaten einer Transformation, insbesondere einer Hauptachsentransformation unterzogen wurden, und dass die Korrelation zur Bestimmung der Ähnlichkeit der. aktuell erfassten Bilddaten mit den Daten der Datenbank auf Basis transformierter Bilddaten erfolgt.
8. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Erstellung des 3D-Modells der Person auf Basis von 3D-Punktdaten erfolgt, deren Information über die reine Information bezüglich ihrer Ortskoordinaten hinausgeht .
9. Verfahren nach Patentanspruch 8, dadurch gekennzeichnet, dass die 3D-Punktdaten in einem Cluster unter Beachtung von personen-spezifischen Grenzwerten zusammengefasst werden .
10. Verfahren nach Patentanspruch 9, dadurch gekennzeichnet, dass benachbarte Cluster zu einem gemeinsamen, eine Person abbildenden Cluster zusammengefasst werden, wenn die einzelnen Cluster nicht überlappen und das resultierende gemeinsame Cluster die personen-spezifischen Grenzwerte einhält .
11. Verfahren nach einem der Patentansprüche 9 bis 10, dadurch gekennzeichnet, dass zur fortlaufenden Anpassung des Körpermodells an das Bewegungsverhalten der in den Bilddaten detektierten Person, die Projektion der Cluster oder deren konvexen Hüllen auf dem Boden des industriellen Umfeldes, insbesondere mittels linearer Pädiktion und Kaiman-Filterung, verfolgt wird.
12. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass nach der Anpassung eines artikulierten, virtuellen 3D-Modells des menschlichen Körpers an die eine Person repräsentierenden Bilddaten ermittelt wird, mit welcher Wahrscheinlichkeit eine gegebene Postur des Körpermodells die gemessene Form der Person wiedergibt .
PCT/EP2007/003037 2006-08-02 2007-04-04 Verfahren zur beobachtung einer person in einem industriellen umfeld WO2008014831A2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2007800332128A CN101511550B (zh) 2006-08-02 2007-04-04 用于观测工业环境中的人员的方法
EP07723978A EP2046537A2 (de) 2006-08-02 2007-04-04 Verfahren zur beobachtung einer person in einem industriellen umfeld
JP2009522108A JP2009545789A (ja) 2006-08-02 2007-04-04 工業環境中で人間を観察する方法
US12/362,745 US8154590B2 (en) 2006-08-02 2009-01-30 Method for observation of a person in an industrial environment

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102006036400.7 2006-08-02
DE102006036400 2006-08-02
DE102006048166A DE102006048166A1 (de) 2006-08-02 2006-10-10 Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
DE102006048166.6 2006-10-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/362,745 Continuation US8154590B2 (en) 2006-08-02 2009-01-30 Method for observation of a person in an industrial environment

Publications (2)

Publication Number Publication Date
WO2008014831A2 true WO2008014831A2 (de) 2008-02-07
WO2008014831A3 WO2008014831A3 (de) 2008-04-03

Family

ID=38885059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/003037 WO2008014831A2 (de) 2006-08-02 2007-04-04 Verfahren zur beobachtung einer person in einem industriellen umfeld

Country Status (6)

Country Link
US (1) US8154590B2 (de)
EP (1) EP2046537A2 (de)
JP (1) JP2009545789A (de)
CN (1) CN101511550B (de)
DE (1) DE102006048166A1 (de)
WO (1) WO2008014831A2 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients
WO2011051285A1 (de) * 2009-10-28 2011-05-05 Ifm Electronic Gmbh System und verfahren für eine interaktion zwischen einer person und einer maschine
DE102013110905A1 (de) * 2013-10-01 2015-04-02 Daimler Ag MRK Planungs- und Überwachungstechnologie
EP2838698B1 (de) 2012-07-10 2016-05-04 Siemens Aktiengesellschaft Roboteranordnung und verfahren zum steuern eines roboters
US9604360B2 (en) 2014-02-17 2017-03-28 Fanuc Corporation Robot system for preventing accidental dropping of conveyed objects
EP3865257A1 (de) 2020-02-11 2021-08-18 Ingenieurbüro Hannweber GmbH Einrichtung und verfahren zur überwachung und steuerung eines technischen arbeitssystems
US11314971B2 (en) 2017-09-27 2022-04-26 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
US11373076B2 (en) 2017-02-20 2022-06-28 3M Innovative Properties Company Optical articles and systems interacting with the same

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070134652A1 (en) * 2005-11-09 2007-06-14 Primera Biosystems, Inc. Multiplexed quantitative detection of pathogens
FR2927444B1 (fr) * 2008-02-12 2013-06-14 Cliris Procede pour generer une image de densite d'une zone d'observation
WO2010063319A1 (en) * 2008-12-03 2010-06-10 Abb Research Ltd. A robot safety system and a method
AT508094B1 (de) 2009-03-31 2015-05-15 Fronius Int Gmbh Verfahren und vorrichtung zur bedienung einer mit einem handbetätigten arbeitsgerät verbundenen stromquelle
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
KR101650799B1 (ko) * 2009-05-11 2016-08-24 게스티곤 게엠베하 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US9143843B2 (en) 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
US9189949B2 (en) 2010-12-09 2015-11-17 Sealed Air Corporation (Us) Automated monitoring and control of contamination in a production area
US9406212B2 (en) 2010-04-01 2016-08-02 Sealed Air Corporation (Us) Automated monitoring and control of contamination activity in a production area
DE102010017857B4 (de) 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
US9011607B2 (en) 2010-10-07 2015-04-21 Sealed Air Corporation (Us) Automated monitoring and control of cleaning in a production area
DE102010061382B4 (de) * 2010-12-21 2019-02-14 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US20130070056A1 (en) * 2011-09-20 2013-03-21 Nexus Environmental, LLC Method and apparatus to monitor and control workflow
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
KR101560516B1 (ko) * 2012-01-13 2015-10-14 미쓰비시덴키 가부시키가이샤 리스크 측정 시스템
DE102012102236A1 (de) 2012-03-16 2013-09-19 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Absichern eines gefährlichen Arbeitsbereichs einer automatisiert arbeitenden Maschine
DE102012103163A1 (de) * 2012-04-12 2013-10-17 Steinel Gmbh Vorrichtung zur Steuerung eines Gebäudeaggregats
EP2890529A2 (de) * 2012-08-31 2015-07-08 Rethink Robotics Inc. Systeme und verfahren für sicheren betrieb eines roboters
US10776734B2 (en) * 2012-09-10 2020-09-15 The Boeing Company Ergonomic safety evaluation with labor time standard
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US9804576B2 (en) * 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9393695B2 (en) 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9427871B2 (en) 2013-05-06 2016-08-30 Abb Technology Ag Human safety provision in mobile automation environments
DE102014209337A1 (de) 2013-05-17 2014-11-20 Ifm Electronic Gmbh System und Verfahren zur Erfassung eines Gefährdungsbereichs
US20150092040A1 (en) * 2013-10-01 2015-04-02 Broadcom Corporation Gesture-Based Industrial Monitoring
US9452531B2 (en) 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
DE102014202733B4 (de) * 2014-02-14 2022-09-01 Homag Plattenaufteiltechnik Gmbh Verfahren zum Betreiben einer Maschine, insbesondere einer Plattenaufteilanlage
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
US10198706B2 (en) * 2015-07-31 2019-02-05 Locus Robotics Corp. Operator identification and performance tracking
US10414047B2 (en) 2015-09-28 2019-09-17 Siemens Product Lifecycle Management Software Inc. Method and a data processing system for simulating and handling of anti-collision management for an area of a production plant
DE102015225587A1 (de) * 2015-12-17 2017-06-22 Volkswagen Aktiengesellschaft Interaktionssystem und Verfahren zur Interaktion zwischen einer Person und mindestens einer Robotereinheit
DE102016200455A1 (de) * 2016-01-15 2017-07-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sicherheitsvorrichtung und -verfahren zum sicheren Betrieb eines Roboters
US10924881B2 (en) * 2016-03-03 2021-02-16 Husqvarna Ab Device for determining construction device and worker position
US10865522B2 (en) * 2016-05-18 2020-12-15 Bobst Grenchen Ag Control system for a functional section of a paper processing device
DE102016212694A1 (de) * 2016-05-31 2017-11-30 Siemens Aktiengesellschaft Verfahren zur Orientierung eines Industrieroboters und Industrieroboter
JP6703691B2 (ja) * 2016-06-02 2020-06-03 コマツ産機株式会社 コントローラ、鍛圧機械、および制御方法
WO2018018574A1 (zh) * 2016-07-29 2018-02-01 罗伯特·博世有限公司 人员保护系统及其运行方法
US11000953B2 (en) * 2016-08-17 2021-05-11 Locus Robotics Corp. Robot gamification for improvement of operator performance
US11518051B2 (en) 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US10882185B2 (en) 2017-02-07 2021-01-05 Veo Robotics, Inc. Dynamically determining workspace safe zones with speed and separation monitoring
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
US11541543B2 (en) 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
DE102017221305A1 (de) * 2017-11-23 2019-05-23 Robert Bosch Gmbh Verfahren zum Betreiben eines kollaborativen Roboters
DE102018109320A1 (de) * 2018-04-19 2019-10-24 Gottfried Wilhelm Leibniz Universität Hannover Verfahren zur Erkennung einer Intention eines Partners gegenüber einer mehrgliedrigen aktuierten Kinematik
JP2019200560A (ja) * 2018-05-16 2019-11-21 パナソニックＩｐマネジメント株式会社 作業分析装置および作業分析方法
CN108846891B (zh) * 2018-05-30 2023-04-28 广东省智能制造研究所 一种基于三维骨架检测的人机安全协作方法
DE102018114156B3 (de) * 2018-06-13 2019-11-14 Volkswagen Aktiengesellschaft Verfahren zur Steuerung eines Roboters, insbesondere eines Industrieroboters, sowie Vorrichtung zur Steuerung des Roboters
WO2020031333A1 (ja) * 2018-08-09 2020-02-13 株式会社Ｆｕｊｉ シミュレーション方法およびシミュレーションシステム
KR102085168B1 (ko) * 2018-10-26 2020-03-04 오토아이티(주) 인체추적 기반 위험지역 안전관리 방법 및 장치
DE102019103349B3 (de) 2019-02-11 2020-06-18 Beckhoff Automation Gmbh Industrierobotersystem und Verfahren zur Steuerung eines Industrieroboters
SG11202111352XA (en) * 2019-04-12 2021-11-29 Univ Iowa Res Found System and method to predict, prevent, and mitigate workplace injuries
DE102019207144A1 (de) * 2019-05-16 2020-11-19 Robert Bosch Gmbh Verfahren zur Erkennung eines Bedieners einer Arbeitsmaschine
EP3761193A1 (de) * 2019-07-04 2021-01-06 Siemens Aktiengesellschaft Sicherheitsanalyse von technischen systemen mit menschlichen objekten
DE102019216405A1 (de) * 2019-10-24 2021-04-29 Robert Bosch Gmbh Verfahren zur Verhinderung von Personenschäden bei einem Betrieb einer mobilen Arbeitsmaschine
IT201900021108A1 (it) * 2019-11-13 2021-05-13 Gamma System S R L Sistema di sicurezza per un macchinario industriale
CN113033242A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 动作识别方法及系统
CN111275941A (zh) * 2020-01-18 2020-06-12 傲通环球环境控制（深圳）有限公司 工地安全管理系统
CN111553264B (zh) * 2020-04-27 2023-04-18 中科永安(安徽)科技有限公司 一种适用于中小学生的校园非安全行为检测及预警方法
CN111726589B (zh) * 2020-07-07 2022-01-28 山东天原管业股份有限公司 一种阀体的生产加工方法
EP4016376A1 (de) * 2020-12-18 2022-06-22 Toyota Jidosha Kabushiki Kaisha Computerimplementiertes prozessüberwachungsverfahren
AT17459U1 (de) * 2021-01-21 2022-05-15 Altendorf Gmbh Sicherheitseinrichtung für Werkzeugmaschinen
CN112936267B (zh) * 2021-01-29 2022-05-27 华中科技大学 一种人机协作智能制造方法及系统
EP4170438A1 (de) * 2022-06-07 2023-04-26 Pimu Llc Sicherheitssteuerungssystem
EP4401045A1 (de) 2023-01-10 2024-07-17 Sick Ag Konfiguration eines 3d-sensors für eine sichere objektverfolgung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10245720A1 (de) 2002-09-24 2004-04-01 Pilz Gmbh & Co. Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs
DE102006013598A1 (de) 2005-09-01 2007-03-15 Daimlerchrysler Ag Verfahren und Vorrichtung zur Korrespondenzbestimmung, vorzugsweise zur dreidimensionalen Rekonstruktion einer Szene

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0901105A1 (de) * 1997-08-05 1999-03-10 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung
EP1061487A1 (de) * 1999-06-17 2000-12-20 Istituto Trentino Di Cultura Verfahren und Vorrichtung zur automatischen Kontrolle einer Raumregion
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6980690B1 (en) * 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US7729511B2 (en) 2002-09-24 2010-06-01 Pilz Gmbh & Co. Kg Method and device for safeguarding a hazardous area
ATE335958T1 (de) * 2002-09-24 2006-09-15 Pilz Gmbh & Co Kg Verfahren und vorrichtung zum absichern eines gefahrenbereichs
DE10259698A1 (de) * 2002-12-18 2004-07-08 Pilz Gmbh & Co. Darstellungsbereich eines automobilen Nachtsichtsystems
JP4066168B2 (ja) * 2003-03-13 2008-03-26 オムロン株式会社 侵入物監視装置
ITUD20030118A1 (it) * 2003-05-29 2004-11-30 Casagrande Spa Dispositivo di sicurezza per macchine operatrici e metodo di riconoscimento della presenza di persone, utilizzante tale dispositivo di sicurezza.
US6956469B2 (en) * 2003-06-13 2005-10-18 Sarnoff Corporation Method and apparatus for pedestrian detection
US6950733B2 (en) * 2003-08-06 2005-09-27 Ford Global Technologies, Llc Method of controlling an external object sensor for an automotive vehicle
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
JP4811019B2 (ja) * 2005-01-17 2011-11-09 株式会社豊田中央研究所 衝突挙動制御装置
KR100722229B1 (ko) * 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
KR100682987B1 (ko) * 2005-12-08 2007-02-15 한국전자통신연구원 선형판별 분석기법을 이용한 3차원 동작인식 장치 및 그방법
GB0603106D0 (en) * 2006-02-16 2006-03-29 Virtual Mirrors Ltd Design and production of garments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10245720A1 (de) 2002-09-24 2004-04-01 Pilz Gmbh & Co. Verfahren un Vorrichtung zum Absichern eines Gefahrenbereichs
DE102006013598A1 (de) 2005-09-01 2007-03-15 Daimlerchrysler Ag Verfahren und Vorrichtung zur Korrespondenzbestimmung, vorzugsweise zur dreidimensionalen Rekonstruktion einer Szene

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
A.RAMAMOORTHY; N.VASWANI; S.CHAUDHURY; S.BANERJEE.: "Recognition of dynamic hand gestures.", PATTERN RECOGNITION., vol. 36, 2003, pages 2069 - 2081
C.CHANG; R.ANSARI; A.KHOKHAR.: "Multiple object tracking with kernel particle filter.", vol. 1, 2005, IEEE INT. CONF. ON COMPUTER VISION AND PATTERN RECOGNITION., pages 566 - 573
C.PAPAGEORGIOU; T.POGGIO.: "A Pattern Classification Approach to Dynamical Object", 1999, INT. CONF. ON COMPUTER VISION, KERKYRA, GRIECHENLAND, pages 1223 - 1228
I.MIKIC; M.TRIVEDI; E.HUNTER; P.COSMAN.: "Human body model acquisition and tracking using voxel data.", INTERNATIONAL JOURNAL ON COMPUTER VISION., vol. 53, no. 3, July 2003 (2003-07-01), pages 199 - 223
K.AKITA: "Image Sequence Analysis of Real World Human Motion.", PATTERN RECOGNITION., vol. 17, no. 1, 1984, pages 73 - 83
M.OREN; C.PAPAGEORGIOU; P.SINHA; E.OSUNA; T.POGGIO.: "Pedestrian detection using wavelet templates.", 1997, IEEE INT. CONF. ON COMPUTER VISION AND PATTERN RECOGNITION, SAN JUAN., pages 193 - 199
See also references of EP2046537A2
T.HORPRASERT;I.HARITAOGLU; D.HARWOOD ET AL.: "Realtime 3D motion capture.", PRO. PERCEPTUAL USER INTERFACES., November 1998 (1998-11-01), pages 87 - 90
W.LONG; Y.YANG;: "Log-Tracker, an Attribute-Based Approach to Tracking Human Body Motion.", INT. J. PATTERN RECOG. ARTIFICIAL INTELL., vol. 5, no. 3, 1991, pages 439 - 458

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients
WO2011051285A1 (de) * 2009-10-28 2011-05-05 Ifm Electronic Gmbh System und verfahren für eine interaktion zwischen einer person und einer maschine
EP2838698B2 (de) † 2012-07-10 2020-01-01 Siemens Aktiengesellschaft Roboteranordnung und verfahren zum steuern eines roboters
EP2838698B1 (de) 2012-07-10 2016-05-04 Siemens Aktiengesellschaft Roboteranordnung und verfahren zum steuern eines roboters
US9694497B2 (en) 2012-07-10 2017-07-04 Siemens Aktiengesellschaft Robot arrangement and method for controlling a robot
DE102013110905A1 (de) * 2013-10-01 2015-04-02 Daimler Ag MRK Planungs- und Überwachungstechnologie
US9604360B2 (en) 2014-02-17 2017-03-28 Fanuc Corporation Robot system for preventing accidental dropping of conveyed objects
DE102015001579B4 (de) * 2014-02-17 2020-06-18 Fanuc Corporation Robotersystem mit Vermeidung unbeabsichtigten Abwurfs geförderter Gegenstände
US11373076B2 (en) 2017-02-20 2022-06-28 3M Innovative Properties Company Optical articles and systems interacting with the same
US11651179B2 (en) 2017-02-20 2023-05-16 3M Innovative Properties Company Optical articles and systems interacting with the same
US11314971B2 (en) 2017-09-27 2022-04-26 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
US11682185B2 (en) 2017-09-27 2023-06-20 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
EP3865257A1 (de) 2020-02-11 2021-08-18 Ingenieurbüro Hannweber GmbH Einrichtung und verfahren zur überwachung und steuerung eines technischen arbeitssystems

Also Published As

Publication number Publication date
US20090237499A1 (en) 2009-09-24
US8154590B2 (en) 2012-04-10
DE102006048166A1 (de) 2008-02-07
EP2046537A2 (de) 2009-04-15
CN101511550A (zh) 2009-08-19
CN101511550B (zh) 2013-12-18
JP2009545789A (ja) 2009-12-24
WO2008014831A3 (de) 2008-04-03

Similar Documents

Publication Publication Date Title
WO2008014831A2 (de) Verfahren zur beobachtung einer person in einem industriellen umfeld
DE102014105351B4 (de) Detektion von menschen aus mehreren ansichten unter verwendung einer teilumfassenden suche
EP3682367B1 (de) Gestensteuerung zur kommunikation mit einem autonomen fahrzeug auf basis einer einfachen 2d kamera
EP2344980B1 (de) Vorrichtung, verfahren und computerprogramm zur erkennung einer geste in einem bild, sowie vorrichtung, verfahren und computerprogramm zur steuerung eines geräts
DE102006048163B4 (de) Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung
DE102014106210A1 (de) Probabilistische Personennachführung unter Verwendung der Mehr- Ansichts-Vereinigung
DE102014106211A1 (de) Sichtbasierte Mehrkamera-Fabriküberwachung mit dynamischer Integritätsbewertung
DE19831413C2 (de) Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
WO2009003793A2 (de) Vorrichtung zur erkennung und/oder klassifizierung von bewegungsmustern in einer bildsequenz von einer überwachungsszene, verfahren sowie computerprogramm
DE102007007576A1 (de) Verfahren und Vorrichtung zum Sichern eines Arbeitsraums
DE10325762A1 (de) Bildverarbeitungssystem für ein Fahrzeug
EP1586805A1 (de) Verfahren zur Überwachung eines Überwachungsbereichs
Putro et al. Real-time face tracking for human-robot interaction
DE10215885A1 (de) Automatische Prozesskontrolle
DE102019211770B3 (de) Verfahren zur rechnergestützten Erfassung und Auswertung eines Arbeitsablaufs, bei dem ein menschlicher Werker und ein robotisches System wechselwirken
Morales-Álvarez et al. Automatic analysis of pedestrian’s body language in the interaction with autonomous vehicles
DE102009026091A1 (de) Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
DE102008060768A1 (de) Verfahren zur Klassifizierung von detektierten artikulierten Objekten und/oder Teilen des artikulierten Objektes
DE102009031804A1 (de) Verfahren zur Objekterkennung und Objektverfolgung
WO2007048674A1 (de) System und verfahren für ein kamerabasiertes tracking
CN117935358A (zh) 人机协作方法、装置、智能终端及存储介质
DE102019009080A1 (de) Einrichten von Sensororten in kamerabasierten Sensoren
EP3968298A1 (de) Modellierung einer situation
DE102020209983A1 (de) Verfahren zum Erkennen eines Objekts aus Eingabedaten unter Verwendung von relationalen Attributen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780033212.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2009522108

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007723978

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU