WO2007019842A2 - Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit - Google Patents

Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit Download PDF

Info

Publication number
WO2007019842A2
WO2007019842A2 PCT/DE2006/001437 DE2006001437W WO2007019842A2 WO 2007019842 A2 WO2007019842 A2 WO 2007019842A2 DE 2006001437 W DE2006001437 W DE 2006001437W WO 2007019842 A2 WO2007019842 A2 WO 2007019842A2
Authority
WO
WIPO (PCT)
Prior art keywords
eye
instance
face
finder
target area
Prior art date
Application number
PCT/DE2006/001437
Other languages
English (en)
French (fr)
Other versions
WO2007019842A3 (de
Inventor
Alexander Schwerdtner
Original Assignee
Seereal Technologies Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seereal Technologies Gmbh filed Critical Seereal Technologies Gmbh
Priority to CN2006800301394A priority Critical patent/CN101243693B/zh
Priority to EP06791307A priority patent/EP1915874A2/de
Priority to KR1020087006455A priority patent/KR101278430B1/ko
Priority to JP2008526370A priority patent/JP5054008B2/ja
Priority to DE112006002752T priority patent/DE112006002752A5/de
Priority to CA002619155A priority patent/CA2619155A1/en
Priority to BRPI0616547-8A priority patent/BRPI0616547A2/pt
Priority to US12/064,078 priority patent/US7950802B2/en
Publication of WO2007019842A2 publication Critical patent/WO2007019842A2/de
Publication of WO2007019842A3 publication Critical patent/WO2007019842A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/05—Means for tracking the observer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the input data includes imagery as a sequence of digital video frames acquired by one or more image sensors.
  • the invention serves to detect the eye positions in a large target area, allows rapid movement of the viewer and determines the coordinate the depth in a large area of for example 0.5 to 3.5 meters.
  • An important field of application of the invention resides in a device for recognizing and tracking the eye positions of observers of autostereoscopic displays. Such displays provide the viewer with a stereoscopic image impression without the need for aids such as polarization glasses.
  • Other applications of the invention include, for example, the video holography and implementations in the field of person, face or gaze direction detection.
  • Autostereoscopic displays in which the display is tracked by a so-called tracking device, provide multiple viewers a large freedom of movement in a large viewer area. The error-free detection and tracking of eyes, eye positions or pupils is also an essential interface between human and machine in these areas of image presentation.
  • a reliable and error-free tracking device is usually not perceived by a viewer. In many applications, however, errors of the tracking system lead to undesirable side effects, which lead to poor reproduction or crosstalk, for example in the area of the 3D representation.
  • a tracking device requires high accuracy, reliability and accuracy. The system must also be sufficiently efficient and accurate to track the significant movements, allowing the viewer maximum freedom of movement in all three spatial directions.
  • Zhiwei Zhu Qiang Ji describes a method for non-contact detection of eyes in real time, which essentially comprises a step for eye detection and a Includes eye tracking step.
  • Eye detection includes a combination of the active illumination method and pattern recognition. After the eyes of a viewer are first recognized, the eyes are followed, this step involving the combination and synthesis of several algorithms and techniques.
  • combination and Synthesis of various means remains the problem that larger and faster head movements in all three coordinate directions can not be tracked in real time and that the delay between delivery of the position data and image acquisition can prevent real-time processing. This concerns in particular the determination of the eye position in depth in unfavorable environmental conditions.
  • the driver's face is always within a predictable range of the dashboard.
  • even small changes occur in vertical and horizontal directions.
  • the real range of motion in the depth is very small, so that usually when using a single camera, the depth position can be extrapolated with sufficient accuracy.
  • the depth should preferably cover a wide range from 0.5 to at least 3.5 meters.
  • To determine the depth on the one hand, several separately arranged cameras are necessary in order to be able to generate images from different directions from the target area.
  • the detection of the eyes at a distance of up to several meters requires a very high resolution of the cameras, resulting in a large amount of data per camera and per video frame.
  • the invention has the object to provide a method which allows to determine the eye positions of several observers, even with larger and abrupt head movements in all three coordinate directions in real time.
  • the method is intended to detect the detection of the eye positions in a large target area, to compensate for rapid movements of the observer and to determine the coordinate of the depth in a large area.
  • the response time between the video recording, ie the reading of a video frame and the result delivery, ie the provision of the eye positions should be sustainably reduced.
  • the method should also allow for high-resolution cameras error-free results in real-time mode can be achieved.
  • the method is used to detect and track reference points of multiple viewer's eyes in real time.
  • the input data includes image data as a sequence of digital video frames acquired by one or more image sensors, such as cameras.
  • the reference points of the eyes are the positions of the pupils and / or the corner of the eye.
  • the method comprises the interaction of a face finder instance for finding faces, subsequently and hierarchically subordinate an eye finder instance for finding areas of the eyes, and an eye tracker Instance used to detect and track eye points.
  • the Eye Tracker instance is hierarchically subordinate to the Eye Finder instance.
  • the invention is based on the idea that the position determination of the eyes is implemented within a hierarchical sequence with the goal that
  • Search range starting from an entire video image successively restrict.
  • the real-time behavior is realized by the hierarchical successive restriction and nesting of the search area from the complete video frame for the face finder instance to the restricted face target area for the eye finder or eye tracker instance.
  • an instance or a group of instances is executed in parallel on a separate computing unit within separate processes.
  • the Face Finder instance searches the head or face position for each viewer in the area of an entire video frame. For each face, the instance determines a significantly smaller amount of data from the data of the entire video frame, representing the corresponding face-target area, and passes that restricted area to the Eye-Finder instance.
  • the eye finder instance is hierarchically subordinate to the face finder instance and only needs to process a very limited amount of data from the data of the passed face target area.
  • the instance determines the eyes or eye positions in this data area and, in turn, defines a much smaller data volume of the face / target area than the eye / target area, whereby this limited search area is then transferred to a subsequent and hierarchically subordinate eye tracker instance.
  • the Eye Tracker Instance determines the sought reference points of the eyes in this highly constrained amount of data of the eye search area at an increased speed.
  • the Eye Tracker instance is highly effective and fast.
  • the instances face-finder and eye-finder / eye tracker should each be executed in parallel independently of each other within separate processes.
  • the parallelization by assigning an instance or a group of instances to its own computing units can be implemented in several variants.
  • a face-Finder instance is performed on a separate computing unit for each camera. Subsequently, each observer, who finds a face finder instance, is assigned an own arithmetic unit for the realization of an eye finder and subsequently an eye tracker instance. If a newly detected face is determined by a face finder instance, an instance of the eye finder and the eye tracker is immediately commissioned or initialized and these instances are executed on their own assigned arithmetic unit. Even for briefly lost and rediscovered faces an immediate tracking is delegated after detection of the face.
  • a significant advantage of the invention is that a face-Finder instance, since now the subordinate instances are executed on their own arithmetic units, is in no way blocked or obstructed.
  • the Face Finder instance continues to search for faces in the data of the current video frame, while preserving the computational resources. Determined intermediate and partial results are transferred to a control entity for further processing / distribution, or they are taken over by partial results of the eye tracker / eye finder instances in order to be able to extrapolate the facial target areas in a positive control loop.
  • the immediate realization of the instances shortens the response time of the process and provides the first basis for real-time behavior.
  • the real-time behavior is provided by the hierarchical successive restriction and nesting of the search area from the complete video frame for the Underpinned Face Finder instance to the restricted face target area for the Eye Finder or Eye Tracker instance.
  • real-time behavior is further underpinned and secured by the implementation of an instance or a group of instances in parallel within separate processes on a separate computing unit.
  • a face finder instance and an eye finder / eye tracker instance can each be executed on a separate arithmetic unit.
  • a face finder / eye finder instance and an eye tracker instance can be executed on a separate arithmetic unit.
  • An implementation of the Eye Finder instance on its own arithmetic unit also seems conceivable. However, this is an instance which requires a comparatively short computing time, so that it is advantageously allocated to a computing unit of the two computing intensive face finders or eye tracker instances.
  • both the flow of the instances and their data exchange is controlled and monitored by a control entity.
  • this instance controls the assignment of the found faces, or face target areas, to the eye finder / eye tracker instances on the individual arithmetic units.
  • the data exchange essentially comprises the
  • Initialization of the instances by assigning the search areas, the exchange of partial and final results of the instances and the transfer of the resulting reference points for the eyes to an external interface.
  • the control instance updates and re-initializes the associated instances of the Eye Finder and the Eye Tracker for an already tracked face.
  • the tax authority selects, verifies and evaluates the confidence of the found face and eye target areas.
  • Corresponding evaluation parameters are determined by the instances in the course of the procedure and serve the control entity also for an optimal execution coordination of the instances and as well as an allocation of the existing calculation units.
  • the method according to the invention allows the eye positions of several observers even with larger and abrupt head movements in all three To determine coordinate directions in real time.
  • the method can also achieve results in the real-time mode for the data volume of high-resolution camera systems.
  • Fig. 1 is a schematic representation of the nested, restricted
  • Fig. 3 is a schematic representation of the circuit arrangement and a flowchart of the parallelization of the hierarchically structured instances of the method according to the invention.
  • Fig. 1 shows the interleaved, restricted search areas of the instances of the method.
  • image material is acquired as a sequence of digital video frames VF from a plurality of image sensors, for example a stereo infrared camera.
  • a section of the entire video frame VF is shown schematically in the figure by the coordinate system.
  • a first face finder instance analyzes the data of the entire video frame VF and recognizes the faces of the viewers throughout the video frame. In the figure, the data of two faces are shown. The first face on the left is obviously close to the camera, while the second right one has a higher distance to the camera.
  • the face finder instance determines from the data of the entire video frame VF a limited data area of the facial Target area GZ corresponds.
  • the indices refer to the first face shown in the figure on the left.
  • the determined face target area GZ now represents the restricted search area for subsequent Eye Finder instance.
  • the Eye Finder instance determines the eye positions and, as a result, restricts the data volume of the target area GZ to a much smaller amount of data Eye Target Range AZ equals, one.
  • the data of the eye target area AZ with the eye positions are the input data for a subsequent eye tracker instance ET, which is now in the eye target area AZ for the current video frame and in the subsequent video frames according to the already determined motion sequence in the guided eye target area AZ finally determined reference points for the eyes as a result.
  • the eye target area AZ is tracked, updated and the areas for the current and the coming frames are extrapolated. If the observer moves into the depth, a scaling of the image content may additionally be necessary.
  • the eye-target area can disintegrate into several non-contiguous subregions.
  • the target areas are irregular, but preferably convex, depending on the observer's head position and viewing direction.
  • the regions are represented by a list of parameterized geometric surfaces, such as ellipses, circles, or rectangles.
  • Fig. 2 builds on the last embodiment and shows a flowchart of the parallelization of the instances.
  • the figure describes the hierarchical structuring of the instances of face finder FF, eye finder and eye tracker ET and the assignment to own calculation units R1 to R2.
  • a first arithmetic unit R1 is provided for the face finder instance FF. This finds the face of a first observer in the data of a video frame and thereby determines the facial target area GZ.
  • the facial Zi ⁇ l Symposium is immediately assigned its own arithmetic unit R1 for performing an eye finder EF and subsequently an eye tracker instance ET.
  • the figure shows the data flow of the data of the restricted target areas, ie facial target area GZ and eye target area AZ to the respective subsequent instance.
  • An eye tracker instance ET supplies the data of the reference points of eyes to a superordinate control instance (not shown) or to an external interface.
  • the information of the reference points determined in the past video frames is used to track the eye target area AZ during a movement of the observer and to extrapolate for the coming frames.
  • the data of the current eye target area as well as the areas of past frames are therefore returned to the Eye Tracker instance as shown.
  • an eye-finder eye-tracker instance is preferably realized analogously for each observer, that is to say a face-target area, as independent processes running in parallel, in which case several processes naturally run on one common arithmetic unit.
  • FIGS. 1 and 2 show a circuit arrangement and a flowchart of the parallelization of the hierarchically structured instances a parallelization of the method based on the image data of several cameras different positions
  • the cameras are each based on a method analogous to the above examples.
  • a camera is thus associated with a parallelization of the instances analogous to FIGS. 1 and 2.
  • the left system determines from the left image data VFL (Video Frame Left) by a face finder instance FF on a first of the arithmetic unit R1 the face target area GZ1-L of the first observer.
  • the associated Eye-Finder EF / Eye Tracker ET instances are executed on the arithmetic unit R2.
  • these arithmetic units are usually implemented as CPUs or DSPs.
  • a second group of instances on the arithmetic unit R3 is assigned to a second observer.
  • the remaining instances and arithmetic units shown in the figure refer to the right and the associated instances or elements of the circuit arrangement, characterized by VFR (Video Frame Right) and the index "R".
  • One and possibly also implemented control unit assumes in the process the task of controlling the individual processes and controls the data exchange.
  • the data exchange takes place in particular within those arithmetic units which are assigned to a viewer. For example, one uses the already available information in the left, in the right, whose content is not significantly different from the left, to determine the position in the right image with a certain tolerance and to extrapolate in knowledge of. From the xy pixel position of the eye in the left, the distance of the observer, which was determined from the previous depth calculation, and the camera parameters is a
  • the circuit arrangement essentially comprises communicating, programmable logic modules, processors, ROMs and RAMs.
  • the arithmetic units are optimized and configured exclusively for the intended task, in particular for the named instances.
  • the circuit arrangement also contains independent arithmetic units for performing auxiliary processes, such as scaling, gamma correction or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Schaltungsanordnung zum kontaktfreien Erkennen und Verfolgen von Augenpositionen mehrerer Betrachtern in Echtzeit, wobei die Eingangsdaten eine Sequenz digitaler Videoframes umfassen. Das Verfahren umfasst das Zusammenwirken einer Face-Finder-Instanz zum Auffinden von Gesichtern, einer Eye-Finder-Instanz zum Auffinden von Bereichen der Augen, sowie eine Eye-Tracker-Instanz, die zum Erkennen und Verfolgen von Referenzpunkten der Augen dient. Der Erfindung liegt der Gedanke zugrunde, dass die Positionsf indung der Augen innerhalb eines hierarchischen Ablaufs der Instanzen mit dem Ziel umgesetzt wird, die zu verarbeitende Datenmenge ausgehend von der Datenmenge des gesamten Videoframes (VF) zu einem Gesichts-Zielbereich (GZ) und nachfolgend einem Augen-Zielbereich (AZ) sukzessive einzuschränken. Im Weiteren wird eine Instanz oder eine Gruppe von Instanzen jeweils auf einer eigenen Recheneinheit parallel ablaufend durchgeführt. Anwendungsgebiet der Erfindung liegt im Verfolgen der Augenpositionen von Betrachtern autostereoskopischer Displays und in der Videoholographie.

Description

Verfahren und Schaltungsanordnung zum Erkennen und Verfolgen von Augen mehrerer Betrachter in Echtzeit
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren und eine Schaltungsanordnung für ein kontaktfreies Erkennen und Verfolgen von Augenpositionen oder Pupillen von mehreren Betrachtern im Echzeit-Modus.
Die Eingangsdaten umfassen Bildmaterial als Sequenz digitaler Videoframes, die von einem oder mehreren Bildsensoren akquiriert werden.
Es können Referenzpunkte der Augen mehrerer Betrachter ermittelt werden, ohne dass weitere Hilfsmittel, wie beispielsweise Brillen, Helme oder Spots erforderlich sind.
Im Gegensatz zu stationären Anwendungen, beispielsweise der Überwachung von Fahrern und Piloten, wo der Bewegungsbereich insbesondere in der Tiefe stark eingeschränkt und somit nahezu stationär ist, dient die Erfindung der Erfassung der Augenpositionen in einem großen Zielbereich, erlaubt rasche Bewegungen der Betrachter und ermittelt die Koordinate der Tiefe in einem großen Bereich von zum Beispiel 0.5 bis 3.5 Metern.
Die effiziente und genaue Realisierung der Augenerkennung in Echtzeit ist eine wichtige Schnittstelle zwischen Mensch und Maschine. Ein bedeutendes Anwendungsgebiet der Erfindung liegt in einer Einrichtung zum Erkennen und Verfolgen der Augenpositionen von Betrachtern autostereoskopischer Displays. Derartige Displays bieten den Betrachtern einen stereoskopischen Bildeindruck ohne dass Hilfsmittel wie etwa Polarisationsbrillen erforderlich sind. Weitere Anwendungen der Erfindung umfassen beispielsweise die Videoholographie sowie Implementierungen im Bereich der Personen-, Gesichts- oder Blickrichtungserkennung. Autostereoskopische Displays, bei denen die Darstellung durch eine so genannte Tracking-Einrichtung nachgeführt wird, bieten mehreren Betrachtern einen großen Bewegungsfreiraum in einen großen Betrachterbereich. Die fehlerfreie Erkennung und Verfolgung von Augen, Augenpositionen beziehungsweise Pupillen ist auch in diesen Bereichen der Bilddarstellung eine wesentliche Schnittstelle zwischen Mensch und Maschine.
Ein verlässlich und fehlerfrei arbeitende Tracking-Einrichtung wird von einem Betrachter in der Regel nicht wahrgenommen. Bei vielen Anwendungen führen jedoch Fehler des Tracking-Systems zu unerwünschten Nebeneffekten, welche beispielsweise im Bereich der 3D-Darstellung zu einer mangelhaften Wiedergabe oder zu Übersprechen führen. Von einer Tracking-Einrichtung wird hohe Genauigkeit, Verlässlichkeit und Treffsicherheit verlangt. Das System muss auch ausreichend effizient und genau sein, um die wesentlichen Bewegungen verfolgen zu können und dem Betrachter so eine größtmögliche Bewegungsfreiheit in alle drei Raumrichtungen erlauben.
Stand der Technik
Kontaktfreie Tracking-Systeme sind in verschiedenen Varianten kommerziell verfügbar. Einfache Ausführungen bieten in der Regel eine grundlegende Applikations-Software für Standard-Betriebssysteme und verfügen über hard- und softwaremäßig standardisierte Schnittstellen.
Das Dokument WO 03/079 902 A1 , "Real-Time eye-detection and tracking under various light conditions", Zhiwei Zhu Qiang Ji beschreibt ein Verfahren zur kontaktfreien Erkennung von Augen in Echt-Zeit, welches im Wesentlichen einen Schritt zur Augenerkennung und einen Schritt zur Verfolgung der Augen umfasst. Die Augenerkennung beinhaltet eine Kombination der Methode der aktiven Beleuchtung und eine Mustererkennung. Nach dem die Augen eines Betrachters erstmals erkannt wurden, erfolgt das Verfolgen der Augen, wobei dieser Schritt die Kombination und Synthese mehrerer Algorithmen und Techniken umfasst. Trotz Kombination und Synthese verschiedener Mittel bleibt die Problematik bestehen, dass größere und rasche Kopfbewegungen in allen drei Koordinatenrichtungen nicht in Echtzeit verfolgt werden können und dass durch die Verzögerung zwischen Lieferung der Positionsdaten und der Bildaufnahme eine Echtzeit-Verarbeitung verhindert sein kann. Dies betrifft insbesondere die Ermittlung der Augenposition in der Tiefe bei unvorteilhaften Umgebungsbedingungen.
In einem Fahrzeug ist beispielsweise das Gesicht des Fahrers immer innerhalb eines vorhersehbaren Bereichs vom Armaturenbrett entfernt. Außerdem treten auch nur kleine Änderungen Bewegungen in vertikaler und horizontaler Richtung auf.
Insbesondere ist der reale Bewegungsbereich in der Tiefe sehr gering, so dass in der Regel auch bei der Verwendung einer einzelnen Kamera die Tiefenposition hinreichend genau extrapoliert werden kann.
Es ist die die Aufgabe der vorliegenden Erfindung in allen drei Dimensionen eines Betrachterraums bei geringen Rechenzeiten einen großen Bewegungsbereich bereit zu stellen. Im Gegensatz zum genannten Stand der Technik ist es notwendig, die Augen in allen drei Dimensionen, also inklusive der Tiefe zu erfassen. Die Tiefe soll vorzugsweise einen großen Bereich von 0.5 bis mindestens 3.5 Meter umfassen. Zur Ermittlung der Tiefe sind einerseits mehrere getrennt angeordnete Kameras notwendig, um vom Zielbereich Aufnahmen aus unterschiedlichen Richtungen generieren zu können. Überdies erfordert die Ermittlung der Augen im Abstand bis zu mehreren Metern eine sehr hohe Auflösung der Kameras, woraus eine große Datenmenge pro Kamera und pro Videoframe resultiert.
Die Problematik der Verarbeitung einer großen Datenmenge in Echtzeit wird verschärft, wenn es gilt, mehrere Betrachter zu erkennen. Insbesondere sind sehr rechenintensive Verfahrensschritte erforderlich, um durch Beleuchtungseffekte, Reflexionen oder Brillengläser schwierig erkennbare Betrachter ermitteln zu können. Die Erfahrung zeigt, dass oftmals die Erkennung einer dritten oder vierten Person, die teilweise verdeckt oder abseits steht, nur mit einem hohen, zeitintensiven Rechenaufwand erreicht werden kann. Der erforderliche Rechenaufwand für jenen Betrachter, welcher momentan am schlechtesten erfassbar ist und welcher nur mit großem Aufwand zu erkennen ist, darf jedoch die Verfolgung in Echtzeit der anderen Betrachter nicht beeinträchtigen.
Probleme beim Erkennen von Augenpositionen führen dazu, dass die eingehenden Videoframes nicht mehr permanent im Echt-Zeit-Modus verarbeitet werden können. Eine maximal zulässige Berechnungszeit pro Person und pro Frame kann überschritten werden, wenn beispielsweise Brillengläser oder Brillenbügel die Augen verdecken oder sich ein Betrachter rasch, aber nur kurzzeitig von den Kameras abwendet.
In Kenntnis der Nachteile des Standes der Technik liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zu schaffen, welches erlaubt, die Augenpositionen mehrerer Betrachter auch bei größeren und abrupten Kopfbewegungen in allen drei Koordinatenrichtungen in Echtzeit zu bestimmen. Das Verfahren soll Erfassung der Augenpositionen in einem großen Zielbereich erfassen, rasche Bewegungen der Betrachter kompensieren und die Koordinate der Tiefe in einem großen Bereich ermitteln. Bei gleichzeitiger Fehlerminimierung soll überdies die Antwortzeit zwischen der Videoaufnahme, also dem Einlesen eines Videoframes und der Ergebnisabgabe, also dem Bereitstellen der Augenpositionen, nachhaltig verringert werden. Das Verfahren soll überdies erlauben, dass auch für hoch auflösende Kameras fehlerfreie Resultate im Echt-Zeit-Modus erzielt werden können.
Zusammenfassung der Erfindung
Das Verfahren dient zum Erkennen und Verfolgen von Referenzpunkten von Augen mehrerer Betrachter in Echtzeit. Die Eingangsdaten umfassen Bilddaten als Sequenz digitaler Videoframes, die von einem oder mehreren Bildsensoren, beispielsweise Kameras, akquiriert werden. Die Referenzpunkte der Augen sind die Positionen der Pupillen und/oder der Augenwinkel. Das Verfahren umfasst das Zusammenwirken einer Face-Finder-Instanz zum Auffinden von Gesichtern, nachfolgend und hierarchisch untergeordnet eine Eye- Finder-Instanz zum Auffinden von Bereichen der Augen, sowie eine Eye-Tracker- Instanz, die zum Erkennen und Verfolgen von Referenzpunkten der Augen dient. Die Eye-Tracker-Instanz ist der Eye-Finder-Instanz hierarchisch untergeordnet.
Der Erfindung liegt der Gedanke zugrunde, dass die Positionsfindung der Augen innerhalb eines hierarchischen Ablaufs mit dem Ziel umgesetzt wird, den
Suchbereich ausgehend von einem gesamten Videobild sukzessive einzuschränken. Das Echtzeit-Verhalten wird durch die hierarchische sukzessive Einschränkung und Verschachtelung des Suchbereichs ausgehend vom kompletten Videoframe für die Face-Finder-Instanz zum eingeschränkten Gesichts-Zielbereich für die Eye-Finder- beziehungsweise Eye-Tracker-Instanz realisiert. Im Weiteren wird eine Instanz oder eine Gruppe von Instanzen jeweils auf einer eigenen Recheneinheit parallel innerhalb separater Prozesse ablaufend durchgeführt.
Die Face-Finder-Instanz sucht im Bereich eines gesamten Videoframes die Kopf- beziehungsweise Gesichtsposition für jeden Betrachter. Die Instanz ermittelt dabei für jedes Gesicht eine wesentlich kleinere Datenmenge aus den Daten des gesamten Videoframes, die den entsprechenden als Gesichts-Zielbereich darstellen und übergibt diesen eingeschränkten Bereich an die Eye-Finder-Instanz.
Die Eye-Finder-Instanz ist der Face-Finder-Instanz hierarchisch untergeordnet und muss aus den Daten des übergebenen Gesichts-Zielbereichs nur mehr eine stark eingeschränkte Datenmenge verarbeiten. Die Instanz ermittelt in diesem Datenbereich die Augen beziehungsweise Augenpositionen und legt wiederum eine wesentlich kleinere Datenmenge des Gesichts-Zielbereichs als Augen-Zielbereich fest, wobei nun dieser eingeschränkte Suchbereich an eine nachfolgende und hierarchisch untergeordnete Eye-Tracker-Instanz übergeben wird.
Danach ermittelt die Eye-Tracker-Instanz in dieser stark einschränkten Datenmenge des Augen-Suchbereichs mit erhöhter Geschwindigkeit die gesuchten Referenzpunkte der Augen. Mit der hierarchischen Einschränkung der Suchbereiche und der Verringerung der Datenmenge ist die Eye-Tracker-Instanz hoch effektiv und schnell. Erfindungsgemäß soll zur Reduzierung der Gesamtverzögerungszeit des Verfahrens die Instanzen Face-finder und Eye-Finder / Eye-Tracker jeweils innerhalb separater Prozesse unabhängig voneinander parallel ausgeführt werden. Die Parallelisierung durch Zuordnung einer Instanz oder einer Gruppe von Instanzen auf eine eigene Recheneinheiten kann in mehreren Ausführungsvarianten implementiert werden.
In einer besonders bevorzugten Ausführungsform der Erfindung wird für jede Kamera eine Face-Finder-Instanz auf einer eigenen Recheneinheit durchgeführt. Anschließend wird jedem Betrachter, den eine Face-Finder-Instanz findet, eine eigene Recheneinheit zur Realisierung einer Eye-Finder- und nachfolgend einer Eye- Tracker-Instanz zugeordnet. Wird von einer Face-Finder-Instanz ein neu erkanntes Gesicht ermittelt, so wird unverzüglich eine Instanz des Eye-Finders und des Eye- Trackers beauftragt beziehungsweise initialisiert und diese Instanzen auf einer eigenen zugewiesenen Recheneinheit ausgeführt. Auch für kurzzeitig verlorene und wieder erkannte Gesichter wird ein sofortiges Tracking nach Erkennung des Gesichts delegiert.
Ein wesentlicher Vorteil der Erfindung besteht darin, dass eine Face-Finder-Instanz, da nunmehr die untergeordneten Instanzen auf eigenen Recheneinheiten ausgeführt werden, in keiner Weise blockiert oder behindert ist. Die Face-Finder-Instanz setzt unter voller Wahrung der Rechenressourcen das Aufsuchen von Gesichtern in den Daten des aktuellen Videoframes fort. Ermittelte Zwischen- und Teilergebnisse werden an eine Steuerinstanz zur weiteren Verarbeitung/Verteilung übergeben, beziehungsweise von ihr Teilergebnisse der Eye-Tracker/Eye-Finder-Instanzen übernommen, um so in einem positiven Regelkreis die Gesichts-Zielbereiche extrapolieren zu können.
Die sofortige Realisierung der Instanzen verkürzt die Reaktionszeit des Verfahrens nachhaltig und legt die erste Grundlage für ein Echtzeit- Verhalten. Das Echtzeit-Verhalten wird durch die hierarchische sukzessive Einschränkung und Verschachtelung des Suchbereichs ausgehend vom kompletten Videoframe für die Face-Finder-Instanz zum eingeschränkten Gesichts-Zielbereich für die Eye-Finder- beziehungsweise Eye-Tracker-Instanz weiterführend untermauert.
Schließlich wird durch die erfindungsgemäße Durchführung einer Instanz oder einer Gruppe von Instanzen jeweils parallel innerhalb separater Prozesse auf einer eigenen Recheneinheit das Echtzeit-Verhalten weiter untermauert und abgesichert realisiert. Zur Parallelität der Instanzen sind weitere Varianten denkbar. Wie oben genannt, kann jeweils eine Face-Finder-Instanz und eine Eye-Finder/Eye-Tracker- Instanz auf einer eigenen Recheneinheit durchgeführt werden. Im Weiteren kann jeweils eine Face-Finder/Eye-Finder-Instanz und eine Eye-Tracker-Instanz auf einer eigenen Recheneinheit durchgeführt werden. Eine Durchführung der Eye-Finder- Instanz auf einer eigenen Recheneinheit erscheint ebenso denkbar. Es handelt sich hier jedoch um eine Instanz, welche eine vergleichsweise kurze Rechenzeit beansprucht, so dass sie vorteilhafterweise einer Recheneinheit der beiden rechen intensiven Face-Finder bzw. Eye-Tracker-Instanzen zugeordnet wird.
Vorzugsweise wird sowohl der Ablauf der Instanzen und als auch deren Datenaustausch von einer Steuerinstanz gesteuert und überwacht. Insbesondere steuert diese Instanz die Zuordnung der gefundenen Gesichter, beziehungsweise Gesichts-Zielbereiche, zu den Eye-Finder/Eye-Tracker-Instanzen auf den einzelnen Recheneinheiten. Der Datenaustausch umfasst im Wesentlichen die Re-
Initialisierung der Instanzen durch Zuweisung der Suchbereiche, den Austausch von Teil- und Endergebnissen der Instanzen sowie die Übergabe der resultierenden Referenzpunkte für die Augen an eine externe Schnittstelle. Die Steuerinstanz beispielsweise für ein bereits verfolgtes Gesicht die zugehörigen Instanzen des Eye -Finders und des Eye-Trackers aktualisiert und re-initialisieren. Die Steuerinstanz selektiert, verifiziert und bewertet die Konfidenz der gefundenen Gesichts- und Augen-Zielbereiche. Entsprechende Bewertungsparameter werden von den Instanzen im Zuge des Verfahrens ermittelt und dienen der Steuerinstanz auch für eine optimale Ablaufkoordination der Instanzen und sowie einer Zuweisung der vorhandenen Recheneinheiten.
Das Verfahren gemäß der Erfindung erlaubt, die Augenpositionen mehrerer Betrachter auch bei größeren und abrupten Kopfbewegungen in allen drei Koordinatenrichtungen in Echtzeit zu bestimmen. Überdies konnte untermauert werden, dass das Verfahren auch für die Datenmenge hoch auflösender Kamerasysteme Resultate im Echt-Zeit-Modus erzielen kann.
Kurze Beschreibung der Figuren
Die folgenden Figuren erläutern Ausführungsbeispiele der erfindungsgemäßen Verfahrens als Bestandteil einer Tracking-Einrichtung für ein autostereoskopische Display und zeigen in Fig. 1 eine Schemadarstellung die verschachtelten, eingeschränkten
Suchbereiche der Instanzen Face-Finder, Eye-Finder und Eye-Tracker,
Fig. 2 einen Ablaufplan der Parallelisierung der hierarchisch strukturierten Instanzen des erfindungsgemäßen Verfahrens, sowie
Fig. 3 eine Schemadarstellung der Schaltungsanordnung und einen Ablaufplan der Parallelisierung der hierarchisch strukturierten Instanzen des erfindungsgemäßen Verfahrens.
Bevorzugte Ausführungen der Erfindung
Fig. 1 zeigt die verschachtelten, eingeschränkten Suchbereiche der Instanzen des Verfahrens. Als Eingangsdaten wird Bildmaterial als Sequenz digitaler Videoframes VF von mehreren Bildsensoren, beispielsweise einer Stereo- Infrarotkamera akquiriert. Ein Ausschnitt aus dem gesamten Videoframe VF ist in der Figur durch das Koordinatensystem schematisiert dargestellt. Eine erste Face-Finder-Instanz analysiert die Daten des gesamten Videoframes VF und erkennt im gesamten Videoframe die Gesichter der Betrachter. In der Figur sind die Daten von zwei Gesichtern dargestellt. Das erste Gesicht links befindet sich offensichtlich nahe an der Kamera, während das zweite rechte einen höheren Abstand zur Kamera aufweist.
Für jedes erkannte Gesicht ermittelt die Face-Finder-Instanz aus den Daten des gesamten Videoframes VF einen eingeschränkten Datenbereich der dem Gesichts- Zielbereich GZ entspricht. Die Indices beziehen sich auf das erste, in der Figur links dargestellte Gesicht. Der ermittelte Gesichts-Zielbereich GZ stellt nun den eingeschränkten Suchbereich für nachfolgende Eye-Finder-Instanz dar. In diesem Suchbereich ermittelt die Eye-Finder-Instanz die Augenpositionen und schränkt als Resultat die Datenmenge des Zielbereichs GZ in eine wesentlich kleinere Datenmenge, die dem den Augen-Zielbereich AZ entspricht, ein. Die Daten des Augen-Zielbereichs AZ mit den Augenpositionen sind die Eingangsdaten für eine nachfolgende Eye-Tracker-Instanz ET, welche nun im Augen-Zielbereich AZ für den aktuellen Videoframe und in den nachfolgenden Videoframes gemäß der bereits ermittelten Bewegungsfolge im nach geführten Augen-Zielbereich AZ schließlich Referenzpunkte für die Augen als Resultat ermittelt.
Mit den Informationen der Referenzpunkte der vergangenen Videoframes wird gemäß der Bewegung des Betrachters der Augen-Zielbereich AZ nachgeführt, aktualisiert und die Bereiche für den aktuellen und die kommenden Frames extrapoliert. Bei Bewegung des Betrachters in die Tiefe kann zusätzlich eine Skalierung des Bildinhaltes erforderlich sein.
Wie aus der Figur ersichtlich kann der Augen-Zielbereich in mehrere nicht zusammenhängende Teilbereiche zerfallen. Wie ebenso in der Figur dargestellt, sind die Zielbereiche je nach Kopfposition des Betrachters und dessen Blickrichtung unregelmäßige, jedoch vorzugsweise konvexe Gebiete. In einer einfachen Ausführung sind die Bereiche durch eine Liste parametrisierter geometrischen Flächen, wie etwa Ellipsen, Kreise oder Rechtecke repräsentiert.
Fig. 2 baut auf das letzte Ausführungsbeispiel auf und zeigt einen Ablaufplan der Parallelisierung der Instanzen. Die Figur beschreibt die hierarchische Strukturierung der Instanzen Face-Finder FF, Eye-Finder und Eye-Tracker ET und die Zuweisung auf eigene Recheneinheiten R1 bis R2.
In diesem Ausführungsbeispiel stehen drei Recheneinheiten R1 bis R3 zur Verfügung. Eine erste Recheneinheit R1 ist für die Face-Finder-Instanz FF vorgesehen. Diese findet das Gesicht eines ersten Betrachters in den Daten eines Videoframes und ermittelt dabei den Gesichts-Zielbereich GZ. Dem Gesichts- Ziθlbereich wird sofort eine eigene Recheneinheit R1 zur Durchführung einer Eye- Finder EF -und nachfolgend einer Eye-Tracker-Instanz ET zugeordnet.
Die Figur zeigt den Datenfluss der Daten der eingeschränkten Zielbereiche, also Gesichts-Zielbereich GZ und Augen-Zielbereich AZ an die jeweils nachfolgende Instanz. Eine Eye-Tracker-Instanz ET liefert jeweils die Daten der Referenzpunkte von Augen an eine übergeordnete Steuerinstanz (ohne Abbildung) oder an eine externe Schnittstelle. Gleichzeitig wird die Information der in den vergangenen Videoframes ermittelten Referenzpunkte verwendet, um bei einer Bewegung des Betrachters den Augen-Zielbereich AZ nachzuführen und für die kommenden Frames zu extrapolieren. Die Daten des aktuelle Augen-Zielbereichs sowie der Bereiche vergangener Frames gehen also, wie dargestellt, wieder in die Eye- Tracker-Instanz ein.
Die Realisierung der Erkennung und Verfolgung des zweiten Betrachters verläuft analog. Sind mehr Betrachter als Recheneinheiten vorhanden, so werden vorzugsweise für jeden Betrachter, also Gesichts-Zielbereich, analog eine Eye- Finder- Eye-Tracker-Instanz als eigenständige, parallel ablaufende Prozesse realisiert, wobei hier naturgemäß mehrere Prozesse auf einer gemeinsamen Recheneinheit ablaufen.
Fig. 3 zeigt Schaltungsanordnung und einen Ablaufplan der Parallelisierung der hierarchisch strukturierten Instanzen eine Parallelisierung des Verfahrens anhand der Bilddaten mehrerer Kameras verschiedenen Positionen Zur Erkennung und Verfolgung der Augen ist den Kameras jeweils ein Verfahren analog der oberen Beispiele zugrunde gelegt. Einer Kamera ist somit eine Parallelisierung der Instanzen analog zu Fig. 1 und Fig. 2 zugeordnet.
Das linke System ermittelt ausgehend von den linken Bilddaten VFL-(Video-Frame Left) durch eine Face-Finder-Instanz FF auf einer ersten der Recheneinheit R1 den Gesichts-Zielbereich GZ1-L des ersten Betrachters. Auf der Recheneinheit R2 werden die zugehörigen Eye-Finder EF / Eye-Tracker ET-Instanzen ausgeführt. Für die Schaltungsanordnung sind diese Recheneinheiten in der Regel als CPUs oder DSPs implementiert. Eine zweite Gruppe von Instanzen auf der Recheneinheit R3 ist einem zweiten Betrachter zugeordnet. Die übrigen in der Figur dargestellten Instanzen und Recheneinheiten beziehen sich, gekennzeichnet durch VFR-(Video Frame Right) und den Index "R", auf das rechte und die zugehörigen Instanzen beziehungsweise Elemente der Schaltungsanordnung.
Eine und gegebenenfalls auch implementierte Steuereinheit, welche in der Figur nicht dargestellt ist, übernimmt im Verfahren die Aufgabe der Steuerung der einzelnen Prozesse und steuert den Datenaustausch. Der Datenaustausch findet insbesondere innerhalb jener Recheneinheiten statt, die einem Betrachter zugeordnet sind. Beispielsweise nutzt man die schon zur Verfügung stehenden Informationen im linken , um im rechten , dessen Inhalt sich nicht wesentlich vom linken unterscheidet, die Position im rechten Bild mit einer gewissen Toleranz zu bestimmen und in Kenntnis der zu extrapolieren. Aus der xy- Pixelposition des Auges im linken , der Entfernung des Betrachters, welche aus der vorhergehenden Tiefenberechnung ermittelt wurde, sowie den Kamera-Parametern ist eine
Transformation der Teilergebnisse möglich. Beispielsweise werden die Daten eines im linken Halbbild gefundenen Augenbereichs AZ1-L als Eingangsgrößen für das rechte Halbbild AZ1-R festgelegt, gegebenenfalls transformiert, wobei nun die Möglichkeit besteht, andere Algorithmen beziehungsweise andere steuernde Parameter als für den linken Prozess zu verwenden.
Schließlich werden aus den und Die für diese Berechnung umfassen im Wesentlichen die Auflösung Kameras, deren Pixelpitch, die Brennweite des Objektivs, den Bildabstand des Objektivs zur Kamera, sowie den Abstand und Orientierung der Kameras. Die Schaltungsanordnung umfasst im Wesentlichen kommunizierende, programmierbare Logikbausteine, Prozessoren, ROMs und RAMs. Vorzugsweise sind die Recheneinheiten ausschließlich für die zugedachte Aufgabe, insbesondere für die genannten Instanzen optimiert und konfiguriert. In einer weiteren bevorzugten Ausführungsform enthält die Schaltungsanordnung ebenso eigenständige Recheneinheiten zur Durchführung von Hilfsprozessen, wie etwa die Skalierung, Gamma-Korrektur oder dergleichen.

Claims

Patentansprüche
1. Verfahren zum Erkennen und Verfolgen von Referenzpunktpositionen (EP1 ,..,EPn) von Augen mehrerer Betrachter in Bilddaten von Videoframes (VF), die von mindestens einem Bildsensor akquiriert werden, gekennzeichnet durch eine
- Face-Finder-Instanz (FF) zum Erkennen der Positionen von Gesichtern in
Videoframes (VF), welche für jedes Gesicht einen wesentlich kleineren Teilbereich des gesamten Videoframes als Gesichts-Zielbereich (GZ) extrahiert, um Information zum Gesichts-Zielbereich (GZ) an mindestens eine nachfolgende
- Eye-Finder-Instanz (EF) zum Erkennen von Augenpositionen weiterzuleiten, welche aus jedem Gesichts-Zielbereich (GZ) einen weiteren wesentlich kleineren Teilbereich des Gesichts-Zielbereichs als Augen-Zielbereich (AZ) extrahiert, um Information zum Augen-Zielbereich (AZ) an eine nachfolgende
- Eye-Tracker-Instanz (ET) zum Verfolgen der Augenpositionen zu übergeben, welche nun im Augen-Zielbereich (AZ) für den aktuellen Videoframe und in den nachfolgenden Videoframes durch Referenzpunktpositionen (EP1 ,..,EPn) der Augen definieren und Information für eine Nachführeinrichtung generieren, wobei eine Instanz oder eine Gruppe von Instanzen jeweils auf einer zugeordneten Recheneinheit parallel ablaufend durchgeführt wird.
2. Verfahren nach Anspruch 1, wobei die Koordinaten der Referenzpunktpositionen (EP1 ,..,EPn) horizontale und vertikale Position sind.
3. Verfahren nach Anspruch 2, wobei ausgehend von zweidimensionalen Referenzpunktpositionen (EP1 ,..,EPn) mehrerer Bildsensoren die Koordinaten der Tiefe der Augen ermittelt werden.
4. Verfahren nach Anspruch 3, wobei jeweils eine Face-Finder-Instanz und eine kombinierte Eye-Finder/Eye-Tracker-Instanz oder jeweils eine kombinierte Face- Finder/Eye-Finder-Instanz und eine Eye-Tracker-Instanz auf einer eigenen Recheneinheit durchgeführt werden.
5. Verfahren nach Anspruch 3, bei für jedes erkannte Gesicht auf mindestens einer zugewiesenen Recheneinheit eine Instanz des Eye-Finders und des Eye-
Trackers initialisiert und ausgeführt wird.
6. Verfahren nach Anspruch 3, wobei den Betrachtern und / oder den resultierenden Zielpositionen der Augen eine Wertungsreihenfolge zugeordnet ist, anhand derer die Recheneinheiten zugeordnet werden.
7. Verfahren nach Anspruch 3, wobei eine oder mehrere Face-Finder-Instanzen permanent ausgeführt werden und sie die jeweils zugeordneten Eye-Finder/Eye- Tracker-Instanzen reinitialisieren.
8. Verfahren nach Anspruch 1 mit einer Steuerinstanz, welche erkennt, ob ein von der Face-Finder-Instanz erkannter Gesichts-Zielbereich aus einem bereits verfolgten oder aus einem neu erkannten Gesicht resultiert, und welche die Eye- Tracker- oder Eye-Finder/Eye-Tracker-Instanzen auf die vorhandenen Recheneinheiten zuordnet, initialisiert und den Ablauf aller Instanzen synchronisiert.
9. Verfahren nach einem oder mehreren der vorgenannten Ansprüche wobei Bilddaten von mehreren Bildsensoren akquiriert werden und je Betrachter und Bildsensor eine Eyefinder-Instanz, eine Eye-Tracker-Instanz oder eine kombinierte Eye-Finder/Eye-Tracker-Instanz auf einer eigenen Recheneinheit durchgeführt wird, wobei zwischen den einem Betrachter zugeordneten Instanzen die resultierenden Teil- und/oder Endergebnisse ausgetauscht und verarbeitet werden.
10. Verfahren nach Anspruch 9, wobei in Kenntnis der Position der Bildsensoren und des Betrachters sowie von Parametern der Bildsensoren die Teil- und/oder Endergebnisse der Instanzen eines Bildsensors für die Instanzen eines anderen Bildsensors transformiert und auf dessen Blickwinkel angepasst werden.
11. Verfahren nach Anspruch 1 , wobei die Referenzpunktpositionen (EP1 ,...,EPn) der Augen die Position der Pupillen und/oder der Augenwinkel sind.
12. Schaltungsanordnung zum Erkennen und Verfolgen von
Referenzpunktpositionen (EP1 ,..,EPn) von Augen mehrerer Betrachter in Bilddaten von Videoframes (VF) mit mehreren kommunizierenden Recheneinheiten (RI 1... ,Rn) mit einer Face-Finder-Instanz (FF), einer Eye-Finder-Instanz (EF) und einer Eye- Tracker-Instanz (ET), wobei die - Face-Finder-Instanz (FF) zum Erkennen der Positionen von Gesichtern in
Videoframes (VF) dient und für jedes Gesicht einen wesentlich kleineren Teilbereich des gesamten Videoframes als Gesichts-Zielbereich (GZ) extrahiert, um Information zum Gesichts-Zielbereich (GZ) an mindestens eine nachfolgende - Eye-Finder-Instanz (EF) zum Erkennen von Augenpositionen weiterzuleiten, welche aus jedem Gesichts-Zielbereich (GZ) einen weiteren wesentlich kleineren Teilbereich des Gesichts-Zielbereichs als Augen-Zielbereich (AZ) extrahiert, um Information zum Augen-Zielbereich (AZ) an eine nachfolgende - Eye-Tracker-Instanz (ET) zum Verfolgen der Augenpositionen zu übergeben, welche nun im Augen-Zielbereich (AZ) für den aktuellen Videoframe und in den nachfolgenden Videoframes Referenzpunktpositionen (EP1 ,..,EPn) der Augen definieren und Information für eine Nachführeinrichtung generieren, wobei eine Instanz oder eine Gruppe der Instanzen jeweils auf einer zugeordneten Recheneinheit parallel ablaufend durchgeführt wird.
13. Schaltungsanordnung nach Anspruch 12, mit eigenen Rechenmittel für die Normierung oder Korrektur der Bilddaten für Skalierung, Gamma-Korrektur, Helligkeitsregelung oder dergleichen.
14. Schaltungsanordnung nach Anspruch 12, mit Rechenmittel, welche aus den von mindestens zweier Bildsensoren ermittelten Referenzpunkten (EP1 ,..,EPn) die Koordinaten der Tiefe errechnet.
15. Schaltungsanordnung nach Anspruch 12, wobei eine Recheneinheit eine CPU oder DSP oder dergleichen ist.
PCT/DE2006/001437 2005-08-17 2006-08-16 Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit WO2007019842A2 (de)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN2006800301394A CN101243693B (zh) 2005-08-17 2006-08-16 用于实时探测及跟踪多个观察者眼睛的方法和电路布置
EP06791307A EP1915874A2 (de) 2005-08-17 2006-08-16 Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit
KR1020087006455A KR101278430B1 (ko) 2005-08-17 2006-08-16 실시간으로 몇몇 사람들의 눈을 인식하고 추적하기 위한 방법 및 회로 장치
JP2008526370A JP5054008B2 (ja) 2005-08-17 2006-08-16 複数の観察者の眼のトラッキングとリアルタイム検出のための方法と回路
DE112006002752T DE112006002752A5 (de) 2005-08-17 2006-08-16 Verfahren und Schaltungsanordnung zum Erkennen und Verfolgen von Augen mehrerer Betrachter in Echtzeit
CA002619155A CA2619155A1 (en) 2005-08-17 2006-08-16 Method and circuit arrangement for recognising and tracking eyes of several observers in real time
BRPI0616547-8A BRPI0616547A2 (pt) 2005-08-17 2006-08-16 método e sistema de reconhecimento e rastreamento, em tempo real, da posição ocular de múltiplos usuários
US12/064,078 US7950802B2 (en) 2005-08-17 2006-08-16 Method and circuit arrangement for recognising and tracking eyes of several observers in real time

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005040598 2005-08-17
DE102005040598.3 2005-08-17

Publications (2)

Publication Number Publication Date
WO2007019842A2 true WO2007019842A2 (de) 2007-02-22
WO2007019842A3 WO2007019842A3 (de) 2007-11-29

Family

ID=37654754

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2006/001437 WO2007019842A2 (de) 2005-08-17 2006-08-16 Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit

Country Status (10)

Country Link
US (1) US7950802B2 (de)
EP (1) EP1915874A2 (de)
JP (1) JP5054008B2 (de)
KR (1) KR101278430B1 (de)
CN (1) CN101243693B (de)
BR (1) BRPI0616547A2 (de)
CA (1) CA2619155A1 (de)
DE (1) DE112006002752A5 (de)
RU (1) RU2408162C2 (de)
WO (1) WO2007019842A2 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259218A1 (en) * 2007-04-20 2008-10-23 Sony Corporation Apparatus and method of processing image as well as apparatus and method of generating reproduction information
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
EP2299728A3 (de) * 2009-09-16 2011-07-13 FUJIFILM Corporation Stereoskopische Bildanzeigevorrichtung
CN101681145B (zh) * 2007-05-21 2013-08-21 视瑞尔技术公司 具有用于重建的追踪装置的全息重建系统

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
US8314832B2 (en) 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
ES2746378T3 (es) * 2009-07-16 2020-03-05 Tobii Ab Unidad de detección ocular que usa flujo de datos paralelo
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
WO2012131816A1 (ja) * 2011-03-28 2012-10-04 日本電気株式会社 人物追跡装置、人物追跡方法および人物追跡プログラムを格納した非一時的なコンピュータ可読媒体
US10595014B2 (en) * 2011-09-28 2020-03-17 Koninklijke Philips N.V. Object distance determination from image
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
KR102175853B1 (ko) * 2013-02-22 2020-11-06 삼성전자주식회사 동작 제어 방법 및 그 전자 장치
RU2530660C1 (ru) * 2013-02-26 2014-10-10 Владимир Николаевич Антипов Способ выявления диапазона условий восприятия глубины образов плоскостных изображений
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
RU2541922C2 (ru) * 2013-05-14 2015-02-20 Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" Способ и устройство определения направленности взгляда
KR102093455B1 (ko) * 2013-10-04 2020-03-25 한국전자통신연구원 하이브리드 카메라에 기초한 동공 추적을 이용한 홀로그램 표시 장치 및 방법
TWI522257B (zh) * 2014-07-09 2016-02-21 原相科技股份有限公司 車用安全系統及其運作方法
CN104661012B (zh) * 2014-11-28 2017-12-01 深圳市魔眼科技有限公司 个人全息三维显示方法及设备
CN104581126A (zh) * 2014-12-16 2015-04-29 青岛歌尔声学科技有限公司 一种头戴显示设备的画面显示处理方法和处理装置
CN107837089B (zh) * 2017-12-05 2018-11-23 清华大学 一种基于脑电波的视频卡顿极限值测量方法
US10951875B2 (en) 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
US10930183B2 (en) 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
US11619825B2 (en) 2019-04-10 2023-04-04 Electronics And Telecommunications Research Institute Method and apparatus for displaying binocular hologram image
WO2021087450A1 (en) 2019-11-01 2021-05-06 Raxium, Inc. Light field displays incorporating eye trackers and methods for generating views for a light field display using eye tracking information
US11699242B2 (en) 2020-02-25 2023-07-11 Electronics And Telecommunications Research Institute System and method for digital hologram synthesis and process using deep learning
US11532122B2 (en) 2020-03-05 2022-12-20 Electronics And Telecommunications Research Institute Method and apparatus for processing holographic image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
GB2363273A (en) * 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147477A (ja) * 1994-09-20 1996-06-07 Fujitsu Ltd 局所領域画像追跡装置
DE69524204T2 (de) * 1995-03-31 2002-08-22 Hitachi Europe Ltd., Maidenhead Gesichtsbildverarbeitung
EP0735509B1 (de) * 1995-03-31 1999-01-27 Hitachi Europe Limited Bildverarbeitungsverfahren zur Ermittlung von Gesichtsmerkmalen
US5867587A (en) * 1997-05-19 1999-02-02 Northrop Grumman Corporation Impaired operator detection and warning system employing eyeblink analysis
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
CN1225375C (zh) * 2003-07-02 2005-11-02 北京交通大学 基于多特征融合的困倦驾驶检测方法
JP2005099953A (ja) * 2003-09-22 2005-04-14 Fuji Xerox Co Ltd 画像処理装置、それを備えるオブジェクト追跡システム、画像処理方法及び画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
GB2363273A (en) * 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BENTON S A ET AL: "MICROPOLARIZER-BASED MULTIPLE-VIEWER AUTOSTEREOSCOPIC DISPLAY" PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, Bd. 3639, 25. Januar 1998 (1998-01-25), Seiten 76-83, XP008018564 ISSN: 0277-786X *
CHEW L T ET AL: "Transputer implementation of a multiple agent model for object tracking" PATTERN RECOGNITION LETTERS, NORTH-HOLLAND PUBL. AMSTERDAM, NL, Bd. 16, Nr. 11, November 1995 (1995-11), Seiten 1197-1203, XP004002773 ISSN: 0167-8655 *
FIELDING ET AL: "Disparity maps for dynamic stereo" PATTERN RECOGNITION, ELSEVIER, KIDLINGTON, GB, Bd. 34, Nr. 3, März 2001 (2001-03), Seiten 531-545, XP004321285 ISSN: 0031-3203 *
GONCALVES L M G ET AL: "Pipeline stereo matching in binary images" COMPUTER GRAPHICS, IMAGE PROCESSING, AND VISION, 1998. PROCEEDINGS. SIBGRAPI '98. INTERNATIONAL SYMPOSIUM ON RIO DE JANEIRO, BRAZIL 20-23 OCT. 1998, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 20. Oktober 1998 (1998-10-20), Seiten 426-433, XP010309834 ISBN: 0-8186-9215-4 *
POLLARD S B ET AL: "A 3D vision system for robotics" DESIGN AND APPLICATION OF PARALLEL DIGITAL PROCESSORS, 1988., INTERNATIONAL SPECIALIST SEMINAR ON THE LISBON, PORTUGAL, LONDON, UK,IEE, UK, 1988, Seiten 43-47, XP006518503 ISBN: 0-85296-366-1 *
SIEGMUND PASTOOR ET AL: "An Experimental Multimedia System Allowing 3-D Visualization and Eye-Controlled Interaction Without User-Worn Devices" IEEE TRANSACTIONS ON MULTIMEDIA, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, Bd. 1, Nr. 1, März 1999 (1999-03), XP011036280 ISSN: 1520-9210 *
TETSUTANI N ET AL: "A STUDY ON A STEREOSCOPIC DISPLAY SYSTEM EMPLOYING EYE-POSITION TRACKING FOR MULTI-VIEWERS" PROCEEDINGS OF THE SPIE, SPIE, BELLINGHAM, VA, US, Bd. 2177, 8. Februar 1994 (1994-02-08), Seiten 135-142, XP000764890 ISSN: 0277-786X *
VELIPASALAR S ET AL: "SCCS: a scalable clustered camera system for multiple object tracking communicating via message passing interface" 2006 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (IEEE CAT. NO. 06TH8883C) IEEE PISCATAWAY, NJ, USA, 12. Juli 2006 (2006-07-12), Seite 4 pp., XP002441596 ISBN: 1-4244-0366-9 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259218A1 (en) * 2007-04-20 2008-10-23 Sony Corporation Apparatus and method of processing image as well as apparatus and method of generating reproduction information
US8743290B2 (en) * 2007-04-20 2014-06-03 Sony Corporation Apparatus and method of processing image as well as apparatus and method of generating reproduction information with display position control using eye direction
CN101681145B (zh) * 2007-05-21 2013-08-21 视瑞尔技术公司 具有用于重建的追踪装置的全息重建系统
DE102007056528B3 (de) * 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
WO2009062945A1 (de) * 2007-11-16 2009-05-22 Seereal Technologies S.A. Verfahren und vorrichtung zum auffinden und verfolgen von augenpaaren
US20100303294A1 (en) * 2007-11-16 2010-12-02 Seereal Technologies S.A. Method and Device for Finding and Tracking Pairs of Eyes
JP2011508289A (ja) * 2007-11-16 2011-03-10 シーリアル テクノロジーズ ソシエテ アノニム 両眼の検出および追跡する方法、及び装置
US8477996B2 (en) 2007-11-16 2013-07-02 Seereal Technologies S.A. Method and device for finding and tracking pairs of eyes
EP2299728A3 (de) * 2009-09-16 2011-07-13 FUJIFILM Corporation Stereoskopische Bildanzeigevorrichtung
EP2429200A3 (de) * 2009-09-16 2012-07-04 FUJIFILM Corporation Stereoskopische Bildanzeigevorrichtung

Also Published As

Publication number Publication date
US7950802B2 (en) 2011-05-31
KR101278430B1 (ko) 2013-06-24
EP1915874A2 (de) 2008-04-30
CN101243693B (zh) 2013-07-31
JP2009505247A (ja) 2009-02-05
KR20080047392A (ko) 2008-05-28
US20080231805A1 (en) 2008-09-25
CN101243693A (zh) 2008-08-13
RU2408162C2 (ru) 2010-12-27
JP5054008B2 (ja) 2012-10-24
DE112006002752A5 (de) 2008-08-28
CA2619155A1 (en) 2007-02-22
WO2007019842A3 (de) 2007-11-29
BRPI0616547A2 (pt) 2011-06-21
RU2008110044A (ru) 2009-09-27

Similar Documents

Publication Publication Date Title
WO2007019842A2 (de) Verfahren und schaltungsanordnung zum erkennen und verfolgen von augen mehrerer betrachter in echtzeit
DE69707886T2 (de) Verfahren und gerät zum lokalisieren einer sich bewegenden zone und bestimmung der schnellheit und richtung der bewegung eines gebietes von relativer bewegung in einer szene
DE102016212405B4 (de) Fahrzeugbildverarbeitungsvorrichtung und Fahrzeugbildverarbeitungssystem
DE102012219834B4 (de) Spurverfolgungssystem
DE112018001050T5 (de) System und verfahren zur virtuell erweiterten visuellen gleichzeitigen lokalisierung und kartographierung
DE102015209822A1 (de) Erfassungseinrichtung, Erfassungsprogramm, Erfassungsverfahren, mit Erfassungseinrichtung ausgerüstetes Fahrzeug, Parameterberechnungseinrichtung, Parameter berechnende Parameter, Parameterberechnungsprogramm, und Verfahren zum Berechnen von Parametern
DE102018215344A1 (de) System und verfahren für fahrzeugkonvois
EP2406769B1 (de) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder
EP2005361A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102012104302A1 (de) Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
DE102009019399B4 (de) Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
DE102012223481A1 (de) Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs
WO2012097802A2 (de) Verfahren und vorrichtung zur stereobasis-erweiterung von stereoskopischen bildern und bildfolgen
EP2192550A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102015205868A1 (de) Verfahren und Vorrichtung zum Betreiben einer Anzeigevorrichtung in einem Kraftfahrzeug
DE102021206608A1 (de) Kamerasystem sowie Verfahren für ein Kamerasystem
DE112019002126T5 (de) Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür
DE112019003579T5 (de) Informationsverarbeitungseinrichtung, programm undinformationsverarbeitungsverfahren
DE102019201633A1 (de) Kalibrierung eines Sensors für ein Fahrzeug basierend auf objektseitigen und bildseitigen Identifikationsindizes eines Referenzobjektes
DE102015205077B4 (de) Abstandserkennungsvorrichtung für ein Fahrzeug
EP4246268B1 (de) Verfahren zum sicheren bestimmen eines flugpfads eines unbemannten fluggeräts und unbemanntes fluggerät
EP3568737A1 (de) Verfahren zum betreiben eines anzeigesystems mit einer datenbrille in einem kraftfahrzeug
DE102016225082A1 (de) Verfahren und Vorrichtung zum Betreiben einer Datenbrille
DE102018200312B4 (de) Verfahren, Vorrichtung und Computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug mit einer solchen Vorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2619155

Country of ref document: CA

Ref document number: 2008526370

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12064078

Country of ref document: US

Ref document number: 200680030139.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2006791307

Country of ref document: EP

Ref document number: 1852/DELNP/2008

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2008110044

Country of ref document: RU

Ref document number: 1020087006455

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2006791307

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1120060027522

Country of ref document: DE

REF Corresponds to

Ref document number: 112006002752

Country of ref document: DE

Date of ref document: 20080828

Kind code of ref document: P

ENP Entry into the national phase

Ref document number: PI0616547

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20080215