WO2017032562A1 - System zur kalibrierung der blickrichtungserfassung - Google Patents

System zur kalibrierung der blickrichtungserfassung Download PDF

Info

Publication number
WO2017032562A1
WO2017032562A1 PCT/EP2016/068360 EP2016068360W WO2017032562A1 WO 2017032562 A1 WO2017032562 A1 WO 2017032562A1 EP 2016068360 W EP2016068360 W EP 2016068360W WO 2017032562 A1 WO2017032562 A1 WO 2017032562A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
display
calibration
sight
viewing direction
Prior art date
Application number
PCT/EP2016/068360
Other languages
English (en)
French (fr)
Inventor
Felix Schwarz
Julian Eichhorn
Matthias Roland KAUFMANN
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2017032562A1 publication Critical patent/WO2017032562A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Definitions

  • the invention relates to methods and systems for calibrating the viewing direction detection.
  • sight line detection systems which are able to measure the viewing direction of a person. It is usually with a camera, the head of the person and their eyes recorded. From the images of the camera is closed to the line of sight of the person.
  • the person's head or at least the eyes
  • the viewing direction is then determined by reflection of the infrared light source in the user's eye (glint).
  • glint Such systems are known in the art.
  • the recognized viewing direction can serve, for example, in human-machine interfaces to make a selection on a screen.
  • Eye tracking systems require the automatic detection of an object viewed by the user (eg in the environment, in a vehicle or on a screen) (1) the position of the sight line detection system relative to these objects and (2) a calibration in which the person-specific measurement the viewing direction is compared with the position of the objects and the calculation of the view vector is adapted from the sensor data.
  • an object viewed by the user eg in the environment, in a vehicle or on a screen
  • a calibration in which the person-specific measurement the viewing direction is compared with the position of the objects and the calculation of the view vector is adapted from the sensor data.
  • several defined calibration points have been successively measured in an explicit calibration process, whereby the user fixes these points with his eyes.
  • the calibration is time-consuming, demanding for the user, must be explained to the user and is required at least once, or over a period of time (eg after putting on a pair of glasses or by thermally induced deformation of the sensor or its attachment), in order to maximize to provide precise measurement of the viewing direction or determination of the viewing direction.
  • the present invention is therefore based on the task of making the calibration of a viewing direction detection more comfortable for the user.
  • the invention comprises a method for calibrating a viewing direction detection: continuous detection of the viewing direction of a user; Changing the appearance of an object; Determining the viewing direction of the user, which was detected in time in connection with the change in the representation of the object; Determine the calibration of sight line detection based on the particular line of sight and the location of the changed view.
  • the object can be displayed on a display of a vehicle, wherein the display is a freely programmable display and / or a display with predetermined symbols, in particular an instrument cluster of a vehicle.
  • the object can give the user information about a technical system, in particular give warnings or instructions about the technical condition of a vehicle to the driver.
  • the accept / decline indication may be used as a latent calibration point.
  • Other examples include an illuminated tank warning lamp, remaining range indicator or street signs. In this case, every time an item of information appears at one point on a region and a corresponding gaze reaction takes place, this point is measured as the calibration point and the calibration is learned or iteratively corrected.
  • the invention thus achieves that no initial / one-off / explicit calibration is necessary.
  • the calibration is continuously optimized. Automatic calibration adjustment to changing conditions (e.g. In many implementations, higher precision of gaze detection is achieved. Avoiding an explicit calibration or a shorter calibration sequence saves time for the user. Overall, the invention achieves a higher acceptance of the user or a higher probability of use with simultaneously higher sight-direction detection quality.
  • the object may be displayed purely for the sake of calibration but without a prompt or explanation to the user.
  • This object must be designed so that it automatically attracts the attention of the user, e.g. a light point that flashes briefly at a defined point.
  • Another aspect of the invention relates to a method for calibrating a line of sight detection, comprising: continuously detecting the viewing direction of a user; Changing the appearance of an object; Receiving a user input treatment; Determining the viewing direction of the user that was detected in time with the user input treatment; Determining the representation of the object that was in temporal relation to the user input treatment; Determine the calibration of sight line detection based on the particular line of sight and the particular view.
  • the object is typically a marker of individual entries of a list; wherein the user input treatment is an input for selecting the highlighted entry.
  • the last object fixed before confirmation of a menu item was the selected menu item.
  • the position of the last selected contact is used as the calibration point for the line of sight measured just before the selection is confirmed.
  • the calibration in the horizontal can be restricted with the aid of this method.
  • the viewing direction can be evaluated for a certain period of time before confirmation of the selection, for example to record the beginning of a reading action of the operator. The viewing direction at the beginning of the reading action may be related to the position of the beginning of the text to improve the horizontal calibration.
  • a third aspect of the invention relates to a method for calibrating a line of sight recognition, comprising: continuously detecting the viewing directions of a user including the recorded viewing directions for a predetermined period of time (0.5s, 1s, 2s, 5s, 10s, 15s, 30s, 1) min); Providing location information determined by body text or menus displayed on a display; Determine the calibration based on the recorded directions of sight and the locations.
  • the location information is the margins of the body text or menu; wherein the calibration is determined on the basis of a comparison of the detected viewing directions and the location information.
  • the characteristic (relative) positions within a defined range are used for calibration:
  • the viewing direction can be calibrated at the distances between and at the edges of the text field or the menu entries.
  • the viewing directions are recorded and analyzed with regard to the expected movements and orientations on the basis of the flow text or menu. From this can be deduced the calibration.
  • the calibration does not really take place "online” (ie directly after the detection of a single line of sight), but rather somewhat delayed (namely after the detection of several directions of view) a certain period of time). It uses the gaze directions taken by the user over a period of time to determine the calibration.
  • a fourth aspect of the invention relates to a method for calibrating a gaze detection, comprising: continuously detecting the gaze direction of a user; Evaluating the recorded directions of vision in terms of their frequency; Providing a location, the location specifying the frequency with which individual elements of a display are viewed by a user; Determine the calibration taking into account the most frequently detected direction of sight and the location.
  • the display is typically a head-up display or instrument cluster of a vehicle.
  • FIG. 1 shows schematically a gaze detection system according to an embodiment.
  • Fig. 1 shows schematically a gaze detection system according to an embodiment.
  • a camera 2 is firmly installed in the headliner and takes on the driver's head and eyes 5, the sitting in a seat 4.
  • the on-board computer monitors the condition of the vehicle. For example, if the level of a tank or the state of charge of a battery falls below a predetermined level, an indication will be issued.
  • the line of sight detection system uses the camera 2 and processing means (not shown) to monitor the user's line of sight and record the line of sight for a given elapsed time, such as the last 3 minutes.
  • the on-board computer transmits the view direction detection the time when the indication of the fill level is displayed.
  • the viewing direction recognition then examines the recorded viewing directions to determine whether the viewing direction was changed at or after this point in time in such a way that a fixation of the clue can be assumed. This may be the case, for example, when the viewing direction has moved shortly after the appearance of the clue (which is frequently accompanied by a sound) into the area of the clue or is making a major change.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Offenbart wird ein Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend: Fortlaufendes Erfassen der Blickrichtung eines Benutzers; Verändern der Darstellung eines Objektes; Bestimmen der Blickrichtung des Benutzers, die zeitlich im Zusammenhang mit der Veränderung der Darstellung des Objektes erkannt wurde; Ermitteln der Kalibrierung der Blickrichtungserkennung basierend auf der bestimmten Blickrichtung und dem Ort der veränderten Darstellung.

Description

System zur Kalibrierung der Blickrichtungserfassung
Die Erfindung betrifft Verfahren und Systeme zur Kalibrierung der Blickrichtungserfassung.
Heutzutage sind Blickrichtungserfassungssysteme bekannt, die in der Lage sind, die Blickrichtung einer Person zu messen. Dabei wird meist mit einer Kamera der Kopf der Person und ihre Augen aufgenommen. Aus den Aufnahmen der Kamera wird auf die Blickrichtung der Person geschlossen. In manchen Systemen wird der Kopf (oder zumindest die Augen) der Person mit einer Infrarotlichtquelle beleuchtet. In solchen Systemen wird dann mithilfe einer Reflexion der Infrarotlichtquelle im Auge des Benutzers (glint) die Blickrichtung bestimmt. Derartige Systeme sind im Stand der Technik bekannt.
Die erkannte Blickrichtung kann beispielsweise in Mensch-Maschine-Schnittstellen dazu dienen, eine Auswahl auf einem Bildschirm zu tätigen.
Blickerfassungssysteme benötigen zur automatischen Erkennung eines vom Nutzer angesehenen Objekts (z.B. in der Umwelt, in einem Fahrzeug oder auf einem Bildschirm) (1 ) die Information über die Position des Blickrichtungserfassungssystems relativ zu diesen Objekten und (2) eine Kalibrierung, in der die personenspezifische Messung der Blickrichtung mit der Position der Objekte abgeglichen und die Berechnung des Blickvektors aus den Sensordaten angepasst wird. Zur Kalibrierung wer- den bisher in einem expliziten Kalibrierungsprozess nacheinander mehrere definierte Kalibrierungspunkte vermessen, indem der Nutzer diese Punkte mit seinem Blick fixiert.
Die Kalibrierung ist zeitaufwändig, für den Nutzer beanspruchend, muss dem Nutzer erklärt werden und ist mindestens einmal initial, bzw. über einen Zeitraum mehrmals (z.B. nach dem Aufsetzen einer Brille oder durch thermisch bedingte Verformung von Sensor oder dessen Befestigung) erforderlich, um eine möglichst präzise Messung der Blickrichtung bzw. Bestimmung der Blickrichtung zu liefern.
Der vorliegenden Erfindung liegt deshalb die Aufgabe zugrunde die Kalibrierung einer Blickrichtungserfassung für den Benutzer komfortabler zu gestalten. In einem ersten Aspekt umfasst die Erfindung ein Verfahren zur Kalibrierung einer Blickrichtungserkennung: Fortlaufendes Erfassen der Blickrichtung eines Benutzers; Verändern der Darstellung eines Objektes; Bestimmen der Blickrichtung des Benutzers, die zeitlich im Zusammenhang mit der Veränderung der Darstellung des Ob- jektes erkannt wurde; Ermitteln der Kalibrierung der Blickrichtungserkennung basierend auf der bestimmten Blickrichtung und dem Ort der veränderten Darstellung. Das Objekt kann auf einer Anzeige eines Fahrzeugs dargestellt werden, wobei die Anzeige eine frei programmierbare Anzeige und/oder eine Anzeige mit vorgegebenen Symbolen, insbesondere eine Instrumentenkombination eines Fahrzeugs, ist. Das Objekt kann insbesondere dem Benutzer eine Information über ein technisches System geben, insbesondere Warnungen oder Hinweise über den technischen Zustand eines Fahrzeugs an den Fahrer geben.
Es wird somit auf einen zeitlichen Zusammenhang zwischen der Veränderung (beispielsweise Erscheinen oder Verschwinden eines Icons auf einer Anzeige eines Fahrzeugs) eines Objekts und einer Blickbewegung in die entsprechende Richtung abgestellt. Das Objekt wird auf einer Anzeige dargestellt, wobei das Verändern der Darstellung ein Erscheinen des Objektes umfasst. Beispielsweise kann jedes Mal, wenn ein Anruf im Fahrzeugtelefon eingeht, die Anzeige zum Annehmen-/ Ablehnen als latenter Kalibrierungspunkt verwendet werden. Weitere Beispiele sind eine auf- leuchtende Tankwarnlampe, Restreichweitenanzeige oder Straßenschilder. Dabei wird jedes Mal, wenn sich eine Information punktuell auf einem Bereich erscheint und eine entsprechende Blickreaktion erfolgt, dieser Punkt als Kalibrierungspunkt gemessen und die Kalibrierung angelernt, bzw. iterativ korrigiert.
Vorgeschlagen wird hierin also, die Kalibrierung latent und automatisch durchzufüh- ren. Dies kann permanent erfolgen und somit sowohl die erstmalige, als auch folgende Kalibrierungen ersetzen. Dabei werden nicht explizit in einer Kalibrierungsroutine angezeigte Kalibrierungspunkte genutzt, sondern natürliche vorhandene bzw. auftauchende Objekte oder Muster mit bekannter Position genutzt wie beispielsweise Tachonadel, Kontrollleuchten, Bildschirm-Pop-Ups, Symbole in einem Head-Up Display aber auch Objekte außerhalb des Fahrzeugs, die durch die nach außen gerichtete Sensorik erfasst werden wie z.B. Straßenschilder. Da das System bei einer automatischen und für den Fahrer nicht bemerkbaren Kalibrierung in man- chen Implementierungen nie sicher weiß, welches Objekt der Fahrer zu einem bestimmten Zeitpunkt tatsächlich fixiert, können verschiedene Heuristiken genutzt werden, die einen Rückschluss darauf zulassen. Diese Heuristiken erfordern meist eine grobe, kalibrierungsfreie Erkennung des fixierten Bereichs. Innerhalb dieses Be- reichs kann durch die Heuristik das tatsächlich fixierte Objekt ermittelt und die Kalibrierung daran optimiert bzw. korrigiert werden. Mithilfe dieses Kalibrierungsverfahrens können typischerweise Genauigkeiten der Kalibrierung von 2 bis 4 Grad erreicht werden. In manchen Fällen sogar bessere Genauigkeiten.
Die Erfindung erreicht somit, dass keine initiale/einmalige/explizite Kalibrierung not- wendig ist. Die Kalibrierung wird fortlaufend optimiert. Es ist eine automatische Anpassung der Kalibrierung an wechselnde Bedingungen (z.B. Aufsetzen einer Brille) möglich. In vielen Implementierungen wird eine höhere Präzision der Blickrichtungserkennung erreicht. Der Verzicht auf eine explizite Kalibrierung oder eine kürzere Kalibrierungssequenz spart dem Benutzer Zeit. Insgesamt wird durch die Erfindung eine höhere Akzeptanz des Nutzers bzw. eine höhere Nutzungswahrscheinlichkeit bei gleichzeitig höherer Blickrichtungserfassungsqualität erreicht.
In manchen Implementierungen kann das Objekt rein zum Zweck der Kalibrierung, aber ohne eine Aufforderung oder Erklärung für den Nutzer angezeigt wird. Dieses Objekt muss so gestaltet sein, dass es die Aufmerksamkeit des Nutzers automa- tisch auf sich zieht wie z.B. ein Lichtpunkt, der kurz an einer definierten Stelle blinkt.
Ein anderer Aspekt der Erfindung betrifft ein Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend: Fortlaufendes Erfassen der Blickrichtung eines Benutzers; Verändern der Darstellung eines Objektes; Empfangen einer Benutzereingabehandlung; Bestimmen der Blickrichtung des Benutzers, die zeitlich im Zusam- menhang mit der Benutzereingabehandlung erkannt wurde; Bestimmen der Darstellung des Objektes, die in zeitlichem Zusammenhang mit der Benutzereingabehandlung vorlag; Ermitteln der Kalibrierung der Blickrichtungserkennung basierend auf der bestimmten Blickrichtung und der bestimmten Darstellung. Das Objekt ist typischerweise eine Markierung einzelner Einträge einer Liste; wobei die Benutzerein- gabehandlung eine Eingabe zur Auswahl des markierten Eintrags ist. Dieser Aspekt der Erfindung ermöglicht eine Kalibrierung während der Bedienung eines Menüs: Über einen oder mehrere Bedienschritte wird der Zeitverlauf der erkannten Blickrichtungen erstellt. Es wird davon ausgegangen, dass das jeweils zuletzt vor der Bestätigung eines Menüeintrags fixierte Objekt, der danach ausge- wählte Menüeintrag war. Zum Beispiel wird in einer Kontaktliste die Position des zuletzt ausgewählten Kontakts als Kalibrierungspunkt für die kurz vor Bestätigung der Auswahl gemessene Blickrichtung verwendet. In manchen Fällen kann aufgrund der graphischen Darstellung des Menüeintrags die Kalibrierung in der Horizontalen mit- hilfe dieses Verfahrens eingeschränkt sein. Falls der Listeneintrag im Wesentlichen durch Text gekennzeichnet ist, kann die Blickrichtung für einen gewissen Zeitraum vor Bestätigung der Auswahl ausgewertet werden, um beispielsweise den Beginn einer Leseaktion des Bedieners zu erfassen. Die Blickrichtung zum Beginn der Leseaktion kann mit der Position des Beginns des Textes in Zusammenhang gebracht werden, um die Kalibrierung in der Horizontalen zu verbessern. Ein dritter Aspekt der Erfindung betrifft ein Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend: Fortlaufendes Erfassen der Blickrichtungen eines Benutzers inklusive des Aufzeichnend der erfassten Blickrichtungen für einen vorbestimmten Zeitraum (0,5s; 1 s; 2s; 5s; 10s; 15s; 30s; 1 min); Bereitstellen von Ortsangaben, die anhand von auf einer Anzeige angezeigtem Fließtext oder Menüs be- stimmt werden; Bestimmen der Kalibrierung basierend auf den aufgezeichneten Blickrichtungen und den Orten. Typischerweise sind die Ortsangaben die Ränder des Fließtextes bzw. des Menüs; wobei das Bestimmen der Kalibrierung anhand eines Vergleichs der erfassten Blickrichtungen und den Ortsangaben erfolgt.
Hierin werden somit die charakteristischen (relativen) Positionen innerhalb eines de- finierten Bereichs zur Kalibrierung verwendet: Innerhalb eines auf einem Display angezeigten Fließtext bzw. Menüs kann die Blickrichtung an den Abständen zwischen und an den Rändern des Textfelds bzw. der Menüeinträge kalibriert werden. In manchen Implementierungen werden dazu die Blickrichtungen aufgezeichnet und hinsichtlich der zu erwartenden Bewegungen und Ausrichtungen aufgrund des Fließ- textes oder Menüs analysiert. Hieraus kann auf die Kalibrierung rückgeschlossen werden. In diesem konkreten Fall findet die Kalibrierung sozusagen nicht wirklich „online" (also direkt nach der Erfassung einer einzelnen Blickrichtung) statt sondern etwas zeitlich verzögert (nämlich nach dem Erfassen mehrerer Blickrichtungen über einen gewissen Zeitraum). Es werden die vom Benutzer über einen Zeitraum hinweg eingenommenen Blickrichtungen verwendet, um die Kalibrierung zu bestimmen.
Ein vierter Aspekt der Erfindung betrifft ein Verfahren zur Kalibrierung einer Blick- richtungserkennung, umfassend: Fortlaufendes Erfassen der Blickrichtung eines Benutzers; Auswerten der erfassten Blickrichtungen hinsichtlich ihrer Häufigkeit; Bereitstellen einer Ortsangabe, wobei die Ortsangabe die Häufigkeit berücksichtigt, mit der einzelne Elemente einer Anzeige von einem Benutzer angeblickt werden; Bestimmen der Kalibrierung unter Berücksichtigung der am häufigsten erfassten Blick- richtung und der Ortsangabe. Die Anzeige ist typischerweise ein Head-up Display oder eine Instrumentenkombination eines Fahrzeugs.
Hierin wird somit vorgeschlagen, charakteristische (relative) Muster innerhalb eines definierten Bereichs zur Kalibrierung zu verwenden: Innerhalb des Anzeigebereichs des Head-Up Displays kann davon ausgegangen werden, dass das über einen län- geren Zeitraum gemessen am häufigsten angesehene Objekt die Geschwindigkeitsanzeige ist. Innerhalb des Bereichs des Kombi-Instruments kann davon ausgegangen werden, dass das über einen längeren Zeitraum gemessen am häufigsten angesehene Objekt die Spitze der Tachonadel an der jeweils zu dem Zeitpunkt angezeigten Geschwindigkeit ist. Typischerweise wird von dem Verfahren dann eine Auswertung dahingehend vorgenommen, dass die am häufigsten in einem Bereich liegende Blickrichtungen einem Element zugeordnet wird. Darauf basierend wird die Kalibrierung ausgeführt.
KURZE BESCHREIBUNG DER ZEICHNUNG
Fig. 1 zeigt schematisch ein Blickerfassungssystem gemäß einem Ausführungsbei- spiel.
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
Fig. 1 zeigt schematisch ein Blickerfassungssystem gemäß einem Ausführungsbeispiel. In einem Fahrzeug 1 (nur der Umriss ist dargestellt) ist eine Kamera 2 im Dachhimmel fest verbaut und nimmt den Kopf und die Augen 5 des Fahrers auf, der in einem Sitz 4 sitzt. Im Betrieb wird vom Fahrzeugbordcomputer der Zustand des Fahrzeugs überwacht. Fällt beispielsweise der Füllstand eines Tankes oder der Ladezustand einer Batterie unter ein vorgegebenes Niveau wird ein Hinweis hierauf ausgegeben. Das Blickrichtungserfassungssystem überwacht mithilfe der Kamera 2 und Verarbeitungsmitteln (nicht dargestellt) die Blickrichtung des Benutzers und zeichnet die Blickrichtungen für eine vorgegebene vergangene Zeit auf, beispielswiese die jeweils letzten 3 Minuten. Der Bordcomputer übermittelt der Blickrichtungserkennung den Zeitpunkt, wann der Hinweis auf den Füllstand angezeigt wird. Die Blickrich- tungserkennung untersucht daraufhin die aufgezeichneten Blickrichtungen darauf, ob zu oder nach diesem Zeitpunkt die Blickrichtung derart verändert wurde, dass von einer Fixierung des Hinweises ausgegangen werden kann. Dies kann zum Beispiel dann vorliegen, wenn sich die Blickrichtung kurz nach dem Erscheinen des Hinweises (der häufig von einem Ton begleitet wird) in den Bereich des Hinweises bewegt hat oder eine größere Änderung vornimmt.
Nun ist die Blickrichtung und die Position des Hinweises bekannt (sowie die Verbauposition und Ausrichtung der Kamera) und die Kalibrierung der Blickrichtungserkennung kann errechnet werden.

Claims

ANSPRUCHE
1 . Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend:
Fortlaufendes Erfassen der Blickrichtung eines Benutzers;
Verändern der Darstellung eines Objektes;
Bestimmen der Blickrichtung des Benutzers, die zeitlich im Zusammenhang mit der Veränderung der Darstellung des Objektes erkannt wurde;
Ermitteln der Kalibrierung der Blickrichtungserkennung basierend auf der bestimmten Blickrichtung und dem Ort der veränderten Darstellung.
Verfahren nach Anspruch 1 , wobei das Objekt auf einer Anzeige dargestellt wird und wobei das Verändern der Darstellung ein Erscheinen des Objektes umfasst.
Verfahren nach Anspruch 2, wobei die Anzeige eine frei programmierbare Anzeige und/oder eine Anzeige mit vorgegebenen Symbolen, insbesondere eine Instrumentenkombination eines Fahrzeugs, ist.
Verfahren nach einem der vorhergehenden Ansprüche, ferner umfassend:
Überwachen des technischen Zustandes eines Fahrzeugs;
Ausgeben einer Warnung oder eines Hinweises bezogen auf den technischen Zustand des Fahrzeugs, falls dieser von vorgegebenen Sollwerten abweicht;
Wobei das Verändern der Darstellung des Objektes das Ausgeben der Warnung umfasst.
5. Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend: Fortlaufendes Erfassen der Blickrichtung eines Benutzers; Verändern der Darstellung eines Objektes; Empfangen einer Benutzereingabehandlung;
Bestimmen der Blickrichtung des Benutzers, die zeitlich im Zusammenhang mit der Benutzereingabehandlung erkannt wurde;
Bestimmen der Darstellung des Objektes, die in zeitlichem Zusammenhang mit der Benutzereingabehandlung vorlag;
Ermitteln der Kalibrierung der Blickrichtungserkennung basierend auf der bestimmten Blickrichtung und der bestimmten Darstellung.
Verfahren nach Anspruch 5, wobei das Objekt eine Markierung einzelner Einträge einer Liste ist; wobei die Benutzereingabehandlung eine Eingabe zur Auswahl des markierten Eintrags ist.
Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend:
Fortlaufendes Erfassen und Aufzeichnen der Blickrichtungen eines Benutzers;
Bereitstellen von Ortsangaben, die anhand von auf einer Anzeige angezeigtem Fließtext oder Menüs bestimmt werden;
Bestimmen der Kalibrierung basierend auf den aufgezeichneten Blickrichtungen und den Orten.
Verfahren nach Anspruch 7, wobei die Ortsangaben die Ränder des Fließtextes bzw. des Menüs beschreiben; wobei das Bestimmen der Kalibrierung anhand eines Vergleichs der erfassten Blickrichtungen und den Ortsangaben erfolgt. Verfahren zur Kalibrierung einer Blickrichtungserkennung, umfassend:
Fortlaufendes Erfassen der Blickrichtung eines Benutzers;
Auswerten der erfassten Blickrichtungen hinsichtlich ihrer Häufigkeit;
Bereitstellen einer Ortsangabe, wobei die Ortsangabe die Häufigkeit berücksichtigt, mit der einzelne Elemente einer Anzeige von einem Benutzer angeblickt werden;
Bestimmen der Kalibrierung unter Berücksichtigung der am häufigsten erfassten Blickrichtung und der Ortsangabe.
Verfahren nach Anspruch 9, wobei die Anzeige ein Head-up Display oder eine Instrumentenkombination eines Fahrzeugs ist.
Blickrichtungserfassung, umfassend Mittel zur Bestimmung der Blickrichtung, insbesondere eine Kamera; eine Anzeige und Verarbeitungsmittel; wobei die Blickrichtungserfassung zur Ausführung eines Verfahrens gemäß den vorgehenden Ansprüchen eingerichtet ist.
PCT/EP2016/068360 2015-08-21 2016-08-02 System zur kalibrierung der blickrichtungserfassung WO2017032562A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015215994.9A DE102015215994A1 (de) 2015-08-21 2015-08-21 System zur Kalibrierung der Blickrichtungserfassung
DE102015215994.9 2015-08-21

Publications (1)

Publication Number Publication Date
WO2017032562A1 true WO2017032562A1 (de) 2017-03-02

Family

ID=56787424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/068360 WO2017032562A1 (de) 2015-08-21 2016-08-02 System zur kalibrierung der blickrichtungserfassung

Country Status (2)

Country Link
DE (1) DE102015215994A1 (de)
WO (1) WO2017032562A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017214546B4 (de) 2017-08-21 2023-02-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
JP6720951B2 (ja) 2017-11-15 2020-07-08 オムロン株式会社 運転者状態判定装置とその方法およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007259931A (ja) * 2006-03-27 2007-10-11 Honda Motor Co Ltd 視線検出装置
DE102013019117A1 (de) * 2013-11-15 2015-05-21 Audi Ag Verfahren zum Kalibrieren einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug, Kalibrierungseinrichtung und Kraftfahrzeug

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEN PFEUFFER ET AL: "Pursuit calibration", PROCEEDINGS OF THE 26TH ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY, UIST '13, 1 January 2013 (2013-01-01), New York, New York, USA, pages 261 - 270, XP055202298, ISBN: 978-1-45-032268-3, DOI: 10.1145/2501988.2501998 *
YAMASHIRO K ET AL: "Automatic calibration of an in-vehicle gaze tracking system using driver's typical gaze behavior", INTELLIGENT VEHICLES SYMPOSIUM, 2009 IEEE, IEEE, PISCATAWAY, NJ, USA, 3 June 2009 (2009-06-03), pages 998 - 1003, XP031489980, ISBN: 978-1-4244-3503-6 *

Also Published As

Publication number Publication date
DE102015215994A1 (de) 2017-02-23

Similar Documents

Publication Publication Date Title
DE112014006382B4 (de) Anzeigesteuervorrichtung, Anzeigesteuerverfahren der Anzeigesteuervorrichtung, Augen-Blickrichtungs-Detektionssystem und Kalibrations-Steuerverfahren von Augen-Blickrichtungs-Detektionssystem
DE102012212217B4 (de) Steuersystem für ein Fahrzeug
DE102014113308A1 (de) Adaptive Instrumentenanzeige mit Blickerfassung
EP3164756B1 (de) Lokalisierung eines hmd im fahrzeug
DE112010006067B4 (de) Kartenanzeigevorrichtung und Navigationsvorrichtung
DE102012219280A1 (de) Fahrerassistenzsystem und Verfahren
DE102011050942A1 (de) Rekonfigurierung einer Anzeige basierend auf Gesichts-/Eyetracking
DE102011056714A1 (de) Systembereitschaftsschalter für ein Mensch-Maschine-Interaktionssteuerungssystem mit Augenverfolgung
DE102015204281A1 (de) Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
EP3160326B1 (de) Verfahren für eine sehschärfebestimmung
EP3029510A2 (de) Augennahe anzeigesysteme und verfahren zum verifizieren von flugzeugkomponenten
DE102014226185A1 (de) Verfahren zum Bestimmen einer Blickrichtung einer Person
DE102014216208A1 (de) Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
DE102015214116A1 (de) Verfahren und Einrichtung zum Schätzen einer Blickrichtung eines Fahrzeuginsassen, Verfahren und Einrichtung zum Bestimmen eines für einen Fahrzeuginsassen spezifischen Kopfbewegungsverstärkungsparameters und Verfahren und Vorrichtung zum Blickrichtungsschätzen eines Fahrzeuginsassen
EP3725597A1 (de) Überwachungssystem und -verfahren für zielkörper auf einem fahrzeug und fahrzeug
DE102011084552A1 (de) Erkennung des Vigilanzzustandes einer Person durch ein mobiles Gerät
WO2017032562A1 (de) System zur kalibrierung der blickrichtungserfassung
DE102017216328B3 (de) Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
WO2017067732A1 (de) Schutzhelm, verfahren zur erfassung einer blickrichtung, verfahren zur fahrerunterstützung, insbesondere zur warnung, verfahren zur menüsteuerung
DE102016214047A1 (de) Fahrzeug mit einstellbarem Head-up-Display
WO2019091688A1 (de) System und verfahren zum bestimmen einer pose einer augmented-reality-brille, system und verfahren zum einmessen einer augmented-reality-brille, verfahren zum unterstützen einer posenbestimmung einer augmented-reality-brille und für das verfahren geeignetes kraftfahrzeug
DE102017214546B4 (de) Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem
DE102017212446A1 (de) Verfahren zum Überwachen einer Anzeigevorrichtung
DE102020129068A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Einbaupose einer Inertialsensorik in einer Datenbrille sowie eine Datenbrille
EP2750913B1 (de) Verfahren zum betreiben einer steuervorrichtung für ein display eines fahrzeugs und entsprechend arbeitende steuervorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16754422

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16754422

Country of ref document: EP

Kind code of ref document: A1