WO2009049975A1 - Visual triggering of processes in a motor vehicle - Google Patents

Visual triggering of processes in a motor vehicle Download PDF

Info

Publication number
WO2009049975A1
WO2009049975A1 PCT/EP2008/062123 EP2008062123W WO2009049975A1 WO 2009049975 A1 WO2009049975 A1 WO 2009049975A1 EP 2008062123 W EP2008062123 W EP 2008062123W WO 2009049975 A1 WO2009049975 A1 WO 2009049975A1
Authority
WO
WIPO (PCT)
Prior art keywords
operating element
motor vehicle
vehicle occupant
triggering
camera
Prior art date
Application number
PCT/EP2008/062123
Other languages
German (de)
French (fr)
Inventor
Oliver Gerundt
Ulrich Kappenstein
Carolin Scholler
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2009049975A1 publication Critical patent/WO2009049975A1/en

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • B60K2360/149
    • B60K2360/21

Definitions

  • the invention relates to a method and a device for the visual triggering of a process in a motor vehicle by viewing the gaze of a vehicle occupant.
  • Driver assistance systems for motor vehicles are known.
  • driver assistance systems which make a viewing direction detection of a vehicle occupant, in particular a driver of a motor vehicle, and evaluate data thus obtained.
  • These use different display devices, in particular for the projection of image images directly onto the retina of a user, such as DE 198 02 220 A1 such projection eyewear for forming a display device as part of an occupant information system in a motor vehicle.
  • the desired information is provided here to detect the eye movements of the driver or a passenger by sensors, these sensors are mounted on the projection goggles and control by means of an associated evaluation the composition of the information displayed depending on the eye movement of the driver.
  • a disadvantage of these systems is that only information is prepared and offered. In order to bring about the behavior of the motor vehicle and / or a change of operating conditions in or on the motor vehicle, a manual actuation of switches or switching devices or a voice-controlled (acoustic) actuation via a suitable voice control system is still necessary.
  • Such speech control systems are susceptible to error in unfavorable operating conditions, as in motor vehicles there is an increased noise level, the must be filtered out, and also voice control systems must be trained, such that they can reliably distinguish and recognize or evaluate linguistic statements of one or more vehicle occupants. In particular, linguistic barriers hinder this, which is why such systems must be provided in any relevant language.
  • the object of the invention is to provide a method for the visual triggering of operations in a motor vehicle, which avoids the disadvantages described, and allows the triggering of such processes by mere viewing direction detection and their evaluation.
  • a method for the visual triggering of a process in a motor vehicle by viewing the gaze of a vehicle occupant is proposed, wherein it is provided that the process is carried out as an operation of an operating element of a motor vehicle and that the vehicle occupant views the operating element for triggering a predetermined period of time.
  • the viewing of the operating element to be operated as a control just this control element is evaluated via a sight detection, if the vehicle occupant to control this user controls a period of time, the predetermined is and stored for example in an electronic control unit.
  • the driver To operate such a control manually, the driver must look at this at least a short time to recognize his respective position and arrangement in the motor vehicle relative to the hand performing the operation and adjust his movements thereto, in particular to coordinate his hand movement such that the to be used control element is hit and pressed. If the viewing or viewing of the operating element is then extended beyond a certain period of time, the viewing direction detection or a device connected to it recognizes Evaluation that just this control is operated or operated to be triggered.
  • the operation of the operating element is performed as a switching of a switch.
  • a specific switch for example to switch on the driving light
  • the viewing direction detection is performed by means of at least one camera or the like.
  • the viewing direction detection takes place here by means of a camera or similar sensors that make a detection of the eye area and / or the face of the vehicle occupant, in particular namely the driver, and determine the viewing direction of the vehicle occupant by known from the prior art evaluation algorithms.
  • the use of a camera or similar sensors in this case allows a greater freedom for the vehicle occupant than is possible, for example, when using a known from the prior art projection goggles with built-in sensors.
  • the detection can take place in a relatively large spatial area, so that the vehicle occupant of can be different body size and stature and the direction of vision detection by previous detection of a part of the face and reduction to the eye area is done.
  • the proposed viewing direction detection by means of a camera or similar sensors is therefore much more universal and more convenient for the vehicle occupants.
  • the data coming from the camera are fed to a data processing system which has information about the arrangement position of the operating element.
  • the data processing system is part of the evaluation device for the data that are detected by the camera with respect to the vehicle occupant.
  • the data processing system has information about where the control element, for example in the interior of the motor vehicle, exactly located, so where is its exact arrangement position. In this case, it is preferably provided that all operating elements to be operated in this manner are deposited with regard to their arrangement position in the data processing system.
  • Vehicle occupants are derived for operating the operating element. Since the arrangement positions of the operating elements are stored in the data processing system or are stored for operation in the data processing system, the method can be used in different vehicles and models or also outside of vehicles in suitable environments, since the arrangement positions with respect to the operating elements always as data sets in relation to the respective environment in which the method is to be executed can be deposited. For example, it is possible in a very simple way to take account of different equipment lines of motor vehicles with regard to the method execution by the arrangement positions of the different vehicle types and equipment lines different controls are each stored in the data processing system, for example, read as data records.
  • a constructive operating element and / or an optically illustrated operating element is used as the operating element. It is therefore possible, the operation of constructive controls, ie those that exist as existing in the broadest sense mechanically in the vehicle controls, as well as those that only visually represented, for example, be reflected on a head-up display on the windshield to use by the method.
  • This allows an extremely universal and wide application of the method, wherein especially in optically illustrated controls depending on the operating condition of the motor vehicle, a more or less automated selection or influencing of the available optical controls can be done by known driver assistance systems.
  • a control element shown on a screen or a control element mirrored into a windshield of the motor vehicle is used as the optically illustrated control element.
  • control element As a visually represented control element are therefore those controls that are displayed on a screen, as these are commonly used in modern motor vehicles, among other things, as multi-function and / or navigation displays, or such controls that are reflected in a windshield of the motor vehicle, for example, by means of a head-up display.
  • optical controls allow a particularly advantageous embodiment and selection, for example, via an actuation feedback by, for example, short-term color deposit in terms of an acknowledgment display of controls, as required in a possible driving situation or to a possible operating state of the motor vehicle and / or useful are.
  • a device for the visual triggering of an operation in a motor vehicle by viewing the direction of a vehicle occupant, which is provided by means of at least one camera, a viewing direction detection of the vehicle occupant and that the process takes place as an operation of an operating element of the motor vehicle when the vehicle occupant the control element for triggering a predetermined period of time looks.
  • the detection of the line of sight of the vehicle occupant takes place via the at least one camera, the device accordingly comprises the camera for detecting the direction of sight of the vehicle occupant and an evaluation device which receives the information from the camera evaluated data and triggers the process, namely the operation of the control.
  • the device has a further operating element, in particular a further constructive operating element, for confirming the visual triggering by the vehicle occupant.
  • the further operating element in particular as a further constructive operating element, is hereby understood as a kind of universal switch or universal operating element, which as it were receives the acknowledgment or confirmation of the visual triggering.
  • a switch can be provided at an easily accessible, central location such as on a center tunnel, a center console or the steering wheel, which - logically - is connected in series for visual triggering.
  • the device has an electronic data processing system to which data from the camera and information about the arrangement position of the operating element are supplied.
  • the data processing system has information about the arrangement position of the operating element or many operating elements, as found in the motor vehicle and for the purpose of visual triggering are provided on. The data processing system can thus evaluate the data supplied by the camera about the driver's line of sight with respect to such arrangement positions and recognize by means of a time measuring device the reputation over a certain, predetermined period of time and then cause the triggering of the operation, ie the operation of the operating element.
  • Figure 1 is a schematic representation of the device for visual
  • Figure 2 is a schematic representation of the procedure for the visual triggering of an operation
  • Figure 3 is a schematic representation of the same method with a confirmation stage.
  • Figure 1 shows an example and schematically a device 1 for visually operating a light switch 2 by evaluating a line of sight 3 of a vehicle occupant 4.
  • the light switch 2 is a switch 5 for electrically switching a circuit 6, with a closed circuit 6 a lamp 7 should shine.
  • a relay 8 is connected, which is controlled via an evaluation device 9, which is or has a data processing system 10.
  • the evaluation device is preceded by a camera 11, which performs a viewing direction detection 12 with respect to the vehicle occupant 4.
  • the camera 11 is essentially aligned with the vehicle occupant 4 and detects its face 13, in particular its eye area 14. In the case of movements of the vehicle occupant 4 in FIG.
  • Detection area 15 of the camera 11 can be reduced to the face 13 or to the eye area 14 using the evaluation device 9, so that the ultimately relevant eye area 14 is always present in a suitable for the evaluation device 9 representation and / or resolution.
  • the relay 8 is actuated via the evaluation device 9 and the circuit 6 is closed, which leads to the change of state of the lamp 7 (thus, for example, when the lamp 7 has previously been switched off, or turning off the lamp 7 if it has previously lit).
  • the light switch 2 is, as mentioned, designed as a switch 5, and thus as an operating element 17, in particular a constructive operating element 18 is formed.
  • the vehicle occupant 4 can therefore operate the light switch both because of its design as a constructive control element 18 both manually, as well as by viewing 16 with the line of sight 3, wherein the evaluation device 9 via supplied by the camera 11 data by means of sight detection 12 this view 16 notes and when exceeded the predetermined time T, the relay 8 is actuated, so that the circuit 6 is thereby closed.
  • the light switch 2 itself is actuated by a corresponding facial expression or by actuators, for example by mechanical actuators, which are not shown here for the sake of clarity.
  • Such controls can also optical not shown here
  • Be control elements ie those that are not designed as constructive controls 18, so not physically available, but only displayed on a screen or mirrored example.
  • the evaluation device 9 in particular the data processing device 10, evaluates the respective viewing direction 3 depending on how such operating elements 17, which are not constructive operating elements 18, are respectively displayed and arranged, that is to say depending on whether they are even displayed and where.
  • the point at which a relevant operating element 17 is located is its arrangement position 19; About arrangement positions 19 of controls 17 are information in the data processing system 10 before.
  • the device 1 may be equipped with a further constructional control element 20, for example a confirmation switch 21.
  • a further constructional control element 20 for example a confirmation switch 21.
  • This is to be pressed by the vehicle occupant parallel to the viewing 16 of an operating element 17 to be actuated, for example to press to prevent inadvertent operation of the prestigious control element 17.
  • the vehicle occupant 4 could inadvertently view an operating element 17 for longer than the predetermined period of time, which would be interpreted by the viewing direction detection 12 in conjunction with the evaluation device 9 as the operating intention with respect to precisely this operating element 17, so that an unintentional actuation of the operating element 17 would take place.
  • the further constructive control element 20 may be arranged, for example, in a convenient position to the vehicle occupant 4, so that it can use the other constructive control element 20 as confirmation switch 21 universal.
  • the evaluation device 9 the further constructive control element 20 is connected, as Control request of the vehicle occupant 4 in terms of the control element 17 values.
  • FIG. 2 shows a schematic representation of the procedure for the visual triggering of such an operation.
  • a detection start 22 with respect to the viewing direction detection 12 will take place.
  • the viewing direction detection 12 is continuously performed, namely an input 23 of data from the camera 11. These are then evaluated in an evaluation step 24, namely as to whether the camera has data relating to a viewing direction 3 of the vehicle occupant 4 (reference numerals not in FIG. 2) are shown, refer to the illustration in Figure 1). If such are found, it is checked in a relevance checking step 25 whether a viewing direction 3 is present with regard to an operating element 17. If this is not the case, the viewing direction detection 12 is traced back. If this is the case, there is a timer start 26.
  • a subsequent timing step 27 it is checked whether the time t, in which the viewing direction 3 of the vehicle occupant 4 relates to the operating element 17, is equal to a predetermined period of time T. Then, if appropriate, another viewing direction detection 12 is performed and subsequently an evaluation step 24 with a comparison step 28. In comparison step 28, it is checked whether the viewing direction 3 is the same as that detected in the relevance checking step that led to the timer start 26. If this is the case, a branch is made back to the time-measuring step 27. If this is not the case, the system returns to input 23.
  • a process 29 is triggered when the time t of the predetermined time span T, that is to say logic affirmative, is reached while the viewing direction 3 of the vehicle occupant 4 remains constant, namely the operation of the operating element 17, not shown here, on which the viewing direction 3 detected in the method of the vehicle occupant 4 refers. Then branched back to the start 22 back.
  • FIG. 3 shows the same method as FIG. 2, with a further one
  • Confirmation check step 30 if affirmative of the time measuring step 27, it is subsequently checked in the confirmation check step 30 whether a further constructive operating element 20 is actuated by the driver to acknowledge the desired actuation of the operating element 17. If this is not the case, the previous time measurement is rejected as irrelevant and to the detection start 22nd Branched back. If this is the case, however, the process 29 is triggered and subsequently branched back to the acquisition start 22.

Abstract

The invention relates to a method for visually triggering a process in a motor vehicle by detecting the line of sight of a vehicle passenger. According to the invention, the process involves operating a control element of the motor vehicle, the eyes of the vehicle passenger being directed to the control element during a predefined period of time for triggering same. Furthermore, the invention relates to a device for visually triggering a process in a motor vehicle by detecting the line of sight of a vehicle passenger, in particular for carrying out the method according to one or more of the preceding claims. According to the invention, the detection of the line of sight (12) of the vehicle passenger (4) is performed by at least one camera (11) and the process is achieved by operating a control element (17) of the motor vehicle when the eyes of the vehicle passenger (4) are directed to the control element (17) during a predefined period of time for triggering same.

Description

Beschreibung description
Titel Visuelles Auslösen von Vorgängen in einem KraftfahrzeugTitle Visual triggering of operations in a motor vehicle
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum visuellen Auslösen eines Vorganges in einem Kraftfahrzeug durch Blickrichtungserfassung eines Fahrzeuginsassen.The invention relates to a method and a device for the visual triggering of a process in a motor vehicle by viewing the gaze of a vehicle occupant.
Stand der TechnikState of the art
Fahrerassistenzsysteme für Kraftfahrzeuge sind bekannt. Insbesondere sind Fahrerassistenzsysteme bekannt, die eine Blickrichtungserfassung eines Fahrzeuginsassen, insbesondere eines Fahrers eines Kraftfahrzeugs, vornehmen und so gewonnene Daten auswerten. Diese verwenden verschiedene Anzeigevorrichtungen, insbesondere zur Projektion von Bilddarstellungen direkt auf die Augennetzhaut eines Benutzers, wie beispielsweise die DE 198 02 220 A1 eine solche Projektionsbrille zur Ausbildung einer Anzeigevorrichtung als Teil eines Insasseninformationssystems in einem Kraftfahrzeug verschlägt. Zur Auswahl und Gewichtung der gewünschten Informationen ist hierbei vorgesehen, durch Sensoren die Augenbewegungen des Fahrers oder auch eines Beifahrers zu erfassen, wobei diese Sensoren an der Projektionsbrille angebracht sind und mittels einer zugehörigen Auswerteeinrichtung die Zusammensetzung der eingeblendeten Informationen abhängig von der Augenbewegung des Fahrers steuern.Driver assistance systems for motor vehicles are known. In particular, driver assistance systems are known which make a viewing direction detection of a vehicle occupant, in particular a driver of a motor vehicle, and evaluate data thus obtained. These use different display devices, in particular for the projection of image images directly onto the retina of a user, such as DE 198 02 220 A1 such projection eyewear for forming a display device as part of an occupant information system in a motor vehicle. To select and weight the desired information is provided here to detect the eye movements of the driver or a passenger by sensors, these sensors are mounted on the projection goggles and control by means of an associated evaluation the composition of the information displayed depending on the eye movement of the driver.
An diesen Systemen ist nachteilig, dass lediglich Informationen aufbereitet und angeboten werden. Um das Verhalten des Kraftfahrzeugs und/oder eine Änderung von Betriebszuständen in oder an dem Kraftfahrzeug herbeizuführen, ist nach wie vor eine manuelle Betätigung von Schaltern oder Schalteinrichtungen oder aber eine sprachgesteuerte (akustische) Betätigung über ein geeignetes Sprachsteuerungssystem notwendig. Derartige Sprachsteuerungssysteme sind bei ungünstigen Betriebsbedingungen fehleranfällig, da in Kraftfahrzeugen ein erhöhter Geräuschpegel herrscht, der ausgefiltert werden muss, und zudem Sprachsteuerungssysteme trainiert werden müssen, dergestalt, dass sie sprachliche Äußerungen eines oder mehrerer Fahrzeuginsassen zuverlässig unterscheiden und erkennen beziehungsweise auswerten können. Insbesondere hinderlich sind hierbei sprachliche Barrieren, weshalb solche Systeme in jeder relevanten Sprache vorgesehen werden müssen.A disadvantage of these systems is that only information is prepared and offered. In order to bring about the behavior of the motor vehicle and / or a change of operating conditions in or on the motor vehicle, a manual actuation of switches or switching devices or a voice-controlled (acoustic) actuation via a suitable voice control system is still necessary. Such speech control systems are susceptible to error in unfavorable operating conditions, as in motor vehicles there is an increased noise level, the must be filtered out, and also voice control systems must be trained, such that they can reliably distinguish and recognize or evaluate linguistic statements of one or more vehicle occupants. In particular, linguistic barriers hinder this, which is why such systems must be provided in any relevant language.
Offenbarung der ErfindungDisclosure of the invention
Aufgabe der Erfindung ist es, ein Verfahren zum visuellen Auslösen von Vorgängen in einem Kraftfahrzeug bereitzustellen, das die beschriebenen Nachteile vermeidet, und das Auslösen solcher Vorgänge durch bloße Blickrichtungserfassung und deren Auswertung gestattet.The object of the invention is to provide a method for the visual triggering of operations in a motor vehicle, which avoids the disadvantages described, and allows the triggering of such processes by mere viewing direction detection and their evaluation.
Hierzu wird ein Verfahren zum visuellen Auslösen eines Vorganges in einem Kraftfahrzeug durch Blickrichtungserfassung eines Fahrzeuginsassen vorgeschlagen, wobei vorgesehen ist, dass der Vorgang als ein Bedienen eines Bedienelements eines Kraftfahrzeugs durchgeführt wird und dass der Fahrzeuginsasse das Bedienelement zum bedienenden Auslösen eine vorgegebene Zeitspanne ansieht. Ausgehend von in dem Kraftfahrzeug ohnehin vorhandenen Bedienelementen, die beispielsweise manuell betätigt werden, wird also vorgeschlagen, dass über eine Blickrichtungserfassung das Ansehen des zu bedienenden Bedienelements als Bedienen eben dieses Bedienelements ausgewertet wird, sofern der Fahrzeuginsasse dieses zu bedienende Bedienelement eine Zeitspanne ansieht, die vorgegeben ist und beispielsweise in einem elektronischen Steuergerät hinterlegt ist. Um ein solches Bedienelement manuell zu betätigen, muss der Fahrer dieses zumindest eine kurze Zeit anschauen, um seine jeweilige Position und Anordnung im Kraftfahrzeug relativ zu der die Bedienung ausführenden Hand zu erkennen und seine Bewegungen hierauf einzustellen, insbesondere seine Handbewegung derart zu koordinieren, dass das zu bedienende Bedienelement getroffen und betätigt wird. Wird nun das Anschauen beziehungsweise Ansehen des Bedienelement über eine bestimmte Zeitspanne hinaus ausgedehnt, erkennt die Blickrichtungserfassung beziehungsweise eine an diese angeschlossene Auswerteeinrichtung, dass eben dieses Bedienelement bedient beziehungsweise bedienend ausgelöst werden soll.For this purpose, a method for the visual triggering of a process in a motor vehicle by viewing the gaze of a vehicle occupant is proposed, wherein it is provided that the process is carried out as an operation of an operating element of a motor vehicle and that the vehicle occupant views the operating element for triggering a predetermined period of time. Starting from in the motor vehicle anyway existing controls that are operated manually, for example, it is proposed that the viewing of the operating element to be operated as a control just this control element is evaluated via a sight detection, if the vehicle occupant to control this user controls a period of time, the predetermined is and stored for example in an electronic control unit. To operate such a control manually, the driver must look at this at least a short time to recognize his respective position and arrangement in the motor vehicle relative to the hand performing the operation and adjust his movements thereto, in particular to coordinate his hand movement such that the to be used control element is hit and pressed. If the viewing or viewing of the operating element is then extended beyond a certain period of time, the viewing direction detection or a device connected to it recognizes Evaluation that just this control is operated or operated to be triggered.
In einer weiteren Verfahrensausbildung wird das Bedienen des Bedienelements als ein Schalten eines Schalters durchgeführt. Will also beispielsweise der Fahrzeuginsasse einen bestimmten Schalter betätigen, beispielsweise das Fahrlicht einschalten, so wird er, ausgehend von der vorstehend beschriebenen Verfahrensausbildung, den Fahrlichtschalter eine bestimmte Zeitspanne anschauen. Ist diese Zeitspanne länger als die vorgegebene Zeitspanne, wird diese Zeitüberschreitung von der Blickrichtungserfassung beziehungsweise von einer an diese angeschlossenen Auswerteeinrichtung erkannt und das Fahrlicht eingeschaltet. Der Fahrzeuginsasse muss demzufolge den Fahrlichtschalter nicht manuell betätigen, ein bloßes Ansehen über die vorgegebene Zeitspanne hinaus reicht aus.In a further embodiment of the method, the operation of the operating element is performed as a switching of a switch. Thus, for example, if the vehicle occupant wishes to actuate a specific switch, for example to switch on the driving light, he will, on the basis of the process training described above, look at the driving light switch for a certain period of time. If this time span is longer than the predetermined period of time, this timeout is detected by the viewing direction detection or by an evaluation device connected thereto and the driving light is switched on. Consequently, the vehicle occupant does not have to manually operate the driving light switch, merely looking beyond the given period of time suffices.
In einer weiteren Verfahrensausbildung wird die Blickrichtungserfassung mittels mindestens einer Kamera oder dergleichen durchgeführt. Die Blickrichtungserfassung geschieht hierbei mittels einer Kamera oder ähnlicher Sensorik, die eine Erfassung der Augenpartie und/oder des Gesichts des Fahrzeuginsassen, insbesondere nämlich des Fahrers, vornehmen und durch aus dem Stand der Technik bekannte Auswertealgorithmen die Blickrichtung des Fahrzeuginsassen ermitteln. Die Verwendung einer Kamera oder ähnlicher Sensorik erlaubt hierbei einen größeren Freiraum für den Fahrzeuginsassen, als dies beispielsweise bei Verwendung einer aus dem Stand der Technik bekannten Projektionsbrille mit eingebauter Sensorik möglich ist. Zum Einen ist es hierbei nicht erforderlich, dass der Fahrer eine solche Projektionsbrille trägt, was im laufenden Betrieb als durchaus störend empfunden werden kann, zum Anderen kann bei geeigneter Auswahl der Auswertungsalgorithmen die Erfassung in einem relativ großen räumlichen Bereich erfolgen, so dass der Fahrzeuginsasse von unterschiedlicher Körpergröße und -Statur sein kann und die Blickrichtungserfassung durch vorhergehende Erfassung einer Gesichtspartie und Reduktion auf die Augenpartie erfolgt. Die vorgeschlagene Blickrichtungserfassung mittels einer Kamera oder ähnlicher Sensorik ist daher deutlich universeller und für den Fahrzeuginsassen bequemer. Nach einer bevorzugten Verfahrensausbildung werden die von der Kamera kommenden Daten einer Datenverarbeitungsanlage zugeführt, die Informationen über die Anordnungsposition des Bedienelements besitzt. Die Datenverarbeitungsanlage ist hierbei Teil der Auswerteeinrichtung für die Daten, die von der Kamera bezüglich des Fahrzeuginsassen erfasst werden. Die Datenverarbeitungsanlage besitzt Informationen darüber, wo sich das Bedienelement, beispielsweise im Innenraum des Kraftfahrzeugs, genau befindet, wo also seine genaue Anordnungsposition ist. Bevorzugt ist hierbei vorgesehen, dass sämtliche auf diese Weise zu bedienenden Bedienelemente hinsichtlich ihrer Anordnungsposition in der Datenverarbeitungsanlage hinterlegt sind. Durch Inbezugsetzung dieser Informationen über die Anordnungsposition des Bedienelements zu den aus den von der Kamera kommenden Daten und den gewonnenen Werten über die Blickrichtung und die Zeitdauer, in der diese Blickrichtung aufrecht erhalten wird, kann in sicherer Weise auf das Ansehen des Bedienelements geschlossen werden und hieraus der Wille desIn a further method training, the viewing direction detection is performed by means of at least one camera or the like. The viewing direction detection takes place here by means of a camera or similar sensors that make a detection of the eye area and / or the face of the vehicle occupant, in particular namely the driver, and determine the viewing direction of the vehicle occupant by known from the prior art evaluation algorithms. The use of a camera or similar sensors in this case allows a greater freedom for the vehicle occupant than is possible, for example, when using a known from the prior art projection goggles with built-in sensors. On the one hand, it is not necessary for the driver to wear such projection goggles, which can be quite annoying during operation, and secondly, if the evaluation algorithms are selected appropriately, the detection can take place in a relatively large spatial area, so that the vehicle occupant of can be different body size and stature and the direction of vision detection by previous detection of a part of the face and reduction to the eye area is done. The proposed viewing direction detection by means of a camera or similar sensors is therefore much more universal and more convenient for the vehicle occupants. According to a preferred method training, the data coming from the camera are fed to a data processing system which has information about the arrangement position of the operating element. The data processing system is part of the evaluation device for the data that are detected by the camera with respect to the vehicle occupant. The data processing system has information about where the control element, for example in the interior of the motor vehicle, exactly located, so where is its exact arrangement position. In this case, it is preferably provided that all operating elements to be operated in this manner are deposited with regard to their arrangement position in the data processing system. By referring to this information about the arrangement position of the operating element on the data coming from the camera and the obtained values on the viewing direction and the time duration in which this viewing direction is maintained, can be safely concluded on the appearance of the control element and from this the will of
Fahrzeuginsassen zum Bedienen des Bedienelements abgeleitet werden. Dadurch, dass die Anordnungspositionen der Bedienelemente in der Datenverarbeitungsanlage hinterlegt sind oder zum Betrieb in dieser hinterlegt werden, kann das Verfahren in unterschiedlichen Fahrzeugen und Modellen oder auch außerhalb von Fahrzeugen in geeigneten Umgebungen eingesetzt werden, da die Anordnungspositionen hinsichtlich der Bedienelemente stets als Datensätze in Bezug auf die jeweilige Umgebung, in der das Verfahren ausgeführt werden soll, hinterlegt werden können. Beispielsweise ist es hierbei auf sehr einfache Weise möglich, unterschiedlichen Ausstattungslinien von Kraftfahrzeugen in Hinblick auf die Verfahrensausführung Rechnung zu tragen, indem die Anordnungspositionen der in verschiedenen Fahrzeugtypen und Ausstattungslinien unterschiedlichen Bedienelemente jeweils in der Datenverarbeitungsanlage hinterlegt werden, beispielsweise als Datensätze eingelesen werden.Vehicle occupants are derived for operating the operating element. Since the arrangement positions of the operating elements are stored in the data processing system or are stored for operation in the data processing system, the method can be used in different vehicles and models or also outside of vehicles in suitable environments, since the arrangement positions with respect to the operating elements always as data sets in relation to the respective environment in which the method is to be executed can be deposited. For example, it is possible in a very simple way to take account of different equipment lines of motor vehicles with regard to the method execution by the arrangement positions of the different vehicle types and equipment lines different controls are each stored in the data processing system, for example, read as data records.
In einer bevorzugten Verfahrensausbildung wird als Bedienelement ein konstruktives Bedienelement und/oder ein optisch dargestelltes Bedienelement verwendet. Es ist demzufolge möglich, das Bedienen von konstruktiven Bedienelementen, also solchen, die als im weitesten Sinne mechanisch in dem Fahrzeug vorhandene Bedienelemente vorliegen, als auch von solchen, die lediglich optisch dargestellt, beispielsweise über ein Headup-Display auf die Windschutzscheibe eingespiegelt werden, mittels des Verfahrens zu bedienen. Dies erlaubt eine außerordentlich universelle und breite Anwendung des Verfahrens, wobei vor allem bei optisch dargestellten Bedienelementen je nach Betriebszustand des Kraftfahrzeugs eine mehr oder minder automatisierte Auswahl oder eine Beeinflussung der zur Auswahl stehenden optischen Bedienelemente durch bekannte Fahrerassistenzsysteme erfolgen kann.In a preferred embodiment of the method, a constructive operating element and / or an optically illustrated operating element is used as the operating element. It is therefore possible, the operation of constructive controls, ie those that exist as existing in the broadest sense mechanically in the vehicle controls, as well as those that only visually represented, for example, be reflected on a head-up display on the windshield to use by the method. This allows an extremely universal and wide application of the method, wherein especially in optically illustrated controls depending on the operating condition of the motor vehicle, a more or less automated selection or influencing of the available optical controls can be done by known driver assistance systems.
In einer weiteren Verfahrensausbildung wird als optisch dargestelltes Bedienelement ein auf einem Bildschirm dargestelltes Bedienelement oder ein in eine Frontscheibe des Kraftfahrzeugs eingespiegeltes Bedienelement verwendet.In a further method training, a control element shown on a screen or a control element mirrored into a windshield of the motor vehicle is used as the optically illustrated control element.
Als optisch dargestelltes Bedienelement kommen also solche Bedienelemente in Betracht, die auf einem Bildschirm dargestellt sind, wie diese bei modernen Kraftfahrzeugen häufig verwendet werden, unter Anderem als Multifunktions- und/oder Navigationsdisplays, oder solche Bedienelemente, die in eine Frontscheibe des Kraftfahrzeugs eingespiegelt werden, beispielsweise mittels eines Headup-Displays. Insbesondere derartige optische Bedienelemente gestatten eine besonders vorteilhafte Ausgestaltung und Auswahl, beispielsweise auch über eine Betätigungsrückmeldung durch beispielsweise kurzzeitige farbliche Hinterlegung im Sinne einer Quittier-Anzeige, von Bedienelementen, wie sie in einer möglichen Fahrsituation oder zu einem möglichen Betriebszustand des Kraftfahrzeugs erforderlich und/oder sinnvoll sind.As a visually represented control element are therefore those controls that are displayed on a screen, as these are commonly used in modern motor vehicles, among other things, as multi-function and / or navigation displays, or such controls that are reflected in a windshield of the motor vehicle, for example, by means of a head-up display. In particular, such optical controls allow a particularly advantageous embodiment and selection, for example, via an actuation feedback by, for example, short-term color deposit in terms of an acknowledgment display of controls, as required in a possible driving situation or to a possible operating state of the motor vehicle and / or useful are.
Weiter wird eine Vorrichtung vorgeschlagen zum visuellen Auslösen eines Vorgangs in einem Kraftfahrzeug durch Blickrichtungserfassung eines Fahrzeuginsassen, wobei vorgesehen ist, dass mittels mindestens einer Kamera eine Blickrichtungserfassung des Fahrzeuginsassen erfolgt und dass der Vorgang als ein Bedienen eines Bedienelements des Kraftfahrzeugs erfolgt, wenn der Fahrzeuginsasse das Bedienelement zum bedienenden Auslösen eine vorgegebene Zeitspanne ansieht. Über die mindestens eine Kamera erfolgt, wie vorstehend beschrieben, die Erfassung der Blickrichtung des Fahrzeuginsassen, die Vorrichtung weist demzufolge die Kamera zur Blickrichtungserfassung des Fahrzeuginsassen auf und eine Auswerteeinrichtung, die die von der Kamera gelieferten Daten auswertet und den Vorgang auslöst, nämlich das Bedienen des Bedienelements.Further, a device is proposed for the visual triggering of an operation in a motor vehicle by viewing the direction of a vehicle occupant, which is provided by means of at least one camera, a viewing direction detection of the vehicle occupant and that the process takes place as an operation of an operating element of the motor vehicle when the vehicle occupant the control element for triggering a predetermined period of time looks. As described above, the detection of the line of sight of the vehicle occupant takes place via the at least one camera, the device accordingly comprises the camera for detecting the direction of sight of the vehicle occupant and an evaluation device which receives the information from the camera evaluated data and triggers the process, namely the operation of the control.
In einer weiteren Ausführungsform weist die Vorrichtung ein weiteres Bedienelement, insbesondere ein weiteres konstruktives Bedienelement auf, zur Bestätigung des visuellen Auslösens durch den Fahrzeuginsassen. Das weitere Bedienelement, insbesondere nämlich als weiteres konstruktives Bedienelement, wird hierbei als eine Art Universalschalter oder Universalbedienelement verstanden, dem gewissermaßen die Quittierung beziehungsweise Bestätigung des visuellen Auslösens zukommt. Beispielsweise kann an gut erreichbarer, zentraler Stelle wie beispielsweise auf einem Mitteltunnel, einer Mittelkonsole oder am Lenkrad ein Schalter vorgesehen sein, der - logisch betrachtet - in Serie zum visuellen Auslösen geschaltet ist. Das visuelle Auslösen durch das Ansehen des zu bedienenden Bedienelements über die vorgegebene Zeitspanne hinaus genügt demzufolge zum Bedienen dieses Bedienelements nicht, sondern es muss gleichzeitig die Betätigung des weiteren Bedienelements, also beispielsweise eben des Universalbedienelements, hinzutreten, wodurch sichergestellt wird, dass der Fahrzeuginsasse nicht versehentlich eine bestimmte Zeit ein bestimmtes Bedienelement angesehen hat (das er in Wahrheit gar nicht betätigen wollte), sondern dass dieses Ansehen über die vorgegebeneIn a further embodiment, the device has a further operating element, in particular a further constructive operating element, for confirming the visual triggering by the vehicle occupant. The further operating element, in particular as a further constructive operating element, is hereby understood as a kind of universal switch or universal operating element, which as it were receives the acknowledgment or confirmation of the visual triggering. For example, a switch can be provided at an easily accessible, central location such as on a center tunnel, a center console or the steering wheel, which - logically - is connected in series for visual triggering. The visual triggering by watching the control element to be operated over the predetermined period of time therefore does not suffice for operating this control element, but it must simultaneously actuate the further control element, so for example just the universal control element, thereby ensuring that the vehicle occupant is not accidentally a certain time has looked at a particular control (which he really did not want to press), but that reputation over the given
Zeitspanne hinaus tatsächlich zum Zwecke des Bedienens des Bedienelements erfolgte. Eine Fehlbedienung oder eine versehentliche Bedienung durch zu langes Ansehen (beispielsweise dann, wenn der Fahrzeuginsasse in Gedanken ist oder aus anderen Gründen das Bedienelement ansieht) ist hierdurch ausgeschlossen. Das angesehene Bedienelement wird nämlich nur dann bedient, wenn gleichzeitig auch das weitere Bedienelement betätigt wird.Period of time actually made for the purpose of operating the control. A misoperation or accidental operation by watching too long (for example, when the vehicle occupant is in thought or for other reasons, the control looks) is excluded. The prestigious control is namely only served if at the same time the other control is pressed.
In einer weiteren Ausführungsform weist die Vorrichtung eine elektronische Datenverarbeitungsanlage auf, der Daten von der Kamera und Informationen über die Anordnungsposition des Bedienelements zugeführt werden. Um eine entsprechende Auswertung der von der Kamera gelieferten Daten zum Zwecke der Blickrichtungserfassung vornehmen zu können, weist die Datenverarbeitungsanlage Informationen über die Anordnungsposition des Bedienelementes beziehungsweise vieler Bedienelemente, wie sie in dem Kraftfahrzeug vorgefunden und zum Zwecke des visuellen Auslösens vorgesehen sind, auf. Die Datenverarbeitungsanlage kann die von der Kamera gelieferten Daten über die Blickrichtung des Fahrers folglich in Hinblick auf solche Anordnungspositionen auswerten und mittels einer Zeitmesseinrichtung das Ansehen über eine bestimmte, vorgegebene Zeitspanne hinaus erkennen und dann das Auslösen des Vorgangs, also das Bedienen des Bedienelements, veranlassen.In a further embodiment, the device has an electronic data processing system to which data from the camera and information about the arrangement position of the operating element are supplied. In order to be able to carry out a corresponding evaluation of the data supplied by the camera for the purpose of sight line detection, the data processing system has information about the arrangement position of the operating element or many operating elements, as found in the motor vehicle and for the purpose of visual triggering are provided on. The data processing system can thus evaluate the data supplied by the camera about the driver's line of sight with respect to such arrangement positions and recognize by means of a time measuring device the reputation over a certain, predetermined period of time and then cause the triggering of the operation, ie the operation of the operating element.
Weitere vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen und aus Kombinationen derselben.Further advantageous embodiments will become apparent from the dependent claims and combinations thereof.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Die Erfindung wird nachfolgend anhand von Figuren näher erläutert, wobei die Erfindung jedoch nicht auf diese Ausführungsbeispiele beschränkt ist.The invention will be explained in more detail with reference to figures, but the invention is not limited to these embodiments.
Es zeigenShow it
Figur 1 eine schematische Darstellung der Vorrichtung zum visuellenFigure 1 is a schematic representation of the device for visual
Betätigen eines Lichtschalters;Actuating a light switch;
Figur 2 eine schematische Darstellung des Verfahrensablaufs zum visuellen Auslösen eines Vorgangs undFigure 2 is a schematic representation of the procedure for the visual triggering of an operation and
Figur 3 eine schematische Darstellung desselben Verfahrens mit einer Bestätigungsstufe.Figure 3 is a schematic representation of the same method with a confirmation stage.
Ausführungsform(en) der ErfindungEmbodiment (s) of the invention
Figur 1 zeigt beispielhaft und schematisch eine Vorrichtung 1 zum visuellen Betätigen eines Lichtschalters 2 durch Auswertung einer Blickrichtung 3 eines Fahrzeuginsassen 4. Der Lichtschalter 2 ist ein Schalter 5 zum elektrischen Schalten eines Stromkreises 6, wobei bei geschlossenem Stromkreis 6 eine Lampe 7 leuchten soll. Elektrisch parallel zum Lichtschalter 2 ist ein Relais 8 geschaltet, das über eine Auswerteeinrichtung 9, die eine Datenverarbeitungsanlage 10 ist oder aufweist, angesteuert wird. Der Auswerteeinrichtung vorgeschaltet ist eine Kamera 11 , die eine Blickrichtungserfassung 12 in Bezug auf den Fahrzeuginsassen 4 vornimmt. Hierzu ist die Kamera 11 im Wesentlichen auf den Fahrzeuginsassen 4 ausgerichtet und erfasst dessen Gesicht 13, insbesondere nämlich seine Augenpartie 14. Bei Bewegungen des Fahrzeuginsassen 4 imFigure 1 shows an example and schematically a device 1 for visually operating a light switch 2 by evaluating a line of sight 3 of a vehicle occupant 4. The light switch 2 is a switch 5 for electrically switching a circuit 6, with a closed circuit 6 a lamp 7 should shine. Electrically parallel to the light switch 2, a relay 8 is connected, which is controlled via an evaluation device 9, which is or has a data processing system 10. Of the The evaluation device is preceded by a camera 11, which performs a viewing direction detection 12 with respect to the vehicle occupant 4. For this purpose, the camera 11 is essentially aligned with the vehicle occupant 4 and detects its face 13, in particular its eye area 14. In the case of movements of the vehicle occupant 4 in FIG
Erfassungsbereich 15 der Kamera 11 kann auf das Gesicht 13 beziehungsweise auf die Augenpartie 14 unter Verwendung der Auswerteeinrichtung 9 reduziert werden, sodass die letztlich relevante Augenpartie 14 stets in einer für die Auswerteeinrichtung 9 geeigneten Darstellung und/oder Auflösung vorliegt.Detection area 15 of the camera 11 can be reduced to the face 13 or to the eye area 14 using the evaluation device 9, so that the ultimately relevant eye area 14 is always present in a suitable for the evaluation device 9 representation and / or resolution.
Wird von der Vorrichtung 1 über die Kamera 11 und die Auswerteeinrichtung 9 erkannt, dass der Fahrzeuginsasse 4 eine Blickrichtung 3 auf den Lichtschalter 2 zeigt, wird über eine hier nicht dargestellte Zeitmessung erfasst, wie lange die Blickrichtung 3 beibehalten wird. Erreicht die gemessene Zeit t eines solchen Ansehens 16 des Lichtschalters 2 eine vorgegebene Zeitspanne T, wird über die Auswerteeinrichtung 9 das Relais 8 betätigt und der Stromkreis 6 geschlossen, was zur Zustandsänderung der Lampe 7 führt (also beispielsweise ein Aufleuchten bei zuvor ausgeschalteter Lampe 7, oder ein Ausschalten der Lampe 7, wenn diese zuvor geleuchtet hat). Der Lichtschalter 2 ist, wie erwähnt, als Schalter 5 ausgebildet, und damit als ein Bedienelement 17, insbesondere ein konstruktives Bedienelement 18 ausgebildet.If it is detected by the device 1 via the camera 11 and the evaluation device 9 that the vehicle occupant 4 points a viewing direction 3 onto the light switch 2, it is detected via a time measurement, not shown here, how long the viewing direction 3 is maintained. If the measured time t of such a reputation 16 of the light switch 2 reaches a predetermined period of time T, the relay 8 is actuated via the evaluation device 9 and the circuit 6 is closed, which leads to the change of state of the lamp 7 (thus, for example, when the lamp 7 has previously been switched off, or turning off the lamp 7 if it has previously lit). The light switch 2 is, as mentioned, designed as a switch 5, and thus as an operating element 17, in particular a constructive operating element 18 is formed.
Der Fahrzeuginsasse 4 kann demzufolge den Lichtschalter eben wegen dessen Ausbildung als konstruktives Bedienelement 18 sowohl manuell betätigen, als auch durch Ansehen 16 mit der Blickrichtung 3, wobei die Auswerteeinrichtung 9 über von der Kamera 11 gelieferte Daten mittels Blickrichtungserfassung 12 dieses Ansehen 16 feststellt und bei Überschreiten der vorgegebenen Zeitspanne T das Relais 8 betätigt, sodass der Stromkreis 6 hierdurch geschlossen wird. Selbstverständlich sind auch konstruktive Ausgestaltungen denkbar, in denen durch eine entsprechende Mimik oder durch Aktoren der Lichtschalter 2 selbst betätigt wird, beispielsweise durch mechanische Stellglieder, die hier der Übersichtlichkeit halber nicht dargestellt sind. Weiter ist denkbar, dass weitere Bedienelemente 17 vorliegen, die in einer geeigneten Weise in dem Umfeld des Fahrzeuginsassen 4 angeordnet sind, sodass ein Ansehen 16 solcher Bedienelemente 17 von der Blickrichtungserfassung 12 im Erfassungsbereich 15 der Kamera 11 erkannt und über die Auswerteeinrichtung 9 ausgewertet wird und in vergleichbarer Weise zu einem Schalten dieser Bedienelemente 17 führt.The vehicle occupant 4 can therefore operate the light switch both because of its design as a constructive control element 18 both manually, as well as by viewing 16 with the line of sight 3, wherein the evaluation device 9 via supplied by the camera 11 data by means of sight detection 12 this view 16 notes and when exceeded the predetermined time T, the relay 8 is actuated, so that the circuit 6 is thereby closed. Of course, constructive embodiments are also conceivable in which the light switch 2 itself is actuated by a corresponding facial expression or by actuators, for example by mechanical actuators, which are not shown here for the sake of clarity. It is also conceivable that further operating elements 17 are present, which are arranged in a suitable manner in the environment of the vehicle occupant 4, so that viewing 16 of such operating elements 17 from the viewing direction detection 12 in FIG Detected area 15 of the camera 11 detected and evaluated by the evaluation device 9 and leads in a comparable manner to a switching of these controls 17.
Solche Bedienelemente können auch hier nicht dargestellte optischeSuch controls can also optical not shown here
Bedienelemente sein, also solche, die nicht als konstruktive Bedienelemente 18 ausgebildet sind, also nicht physisch vorhanden, sondern lediglich auf einem Bildschirm dargestellt oder beispielsweise eingespiegelt. Die Auswerteeinrichtung 9, insbesondere die Datenverarbeitungseinrichtung 10 werten in Hinblick auf solche Bedienelemente 17 die jeweilige Blickrichtung 3 abhängig davon aus, wie solche Bedienelemente 17, die keine konstruktiven Bedienelemente 18 sind, jeweils dargestellt und angeordnet werden, also abhängig davon, ob sie überhaupt dargestellt werden und an welcher Stelle. Die Stelle, an der sich ein relevantes Bedienelement 17 befindet, ist dessen Anordnungsposition 19; über Anordnungspositionen 19 von Bedienelementen 17 liegen Informationen in der Datenverarbeitungsanlage 10 vor.Be control elements, ie those that are not designed as constructive controls 18, so not physically available, but only displayed on a screen or mirrored example. With regard to such operating elements 17, the evaluation device 9, in particular the data processing device 10, evaluates the respective viewing direction 3 depending on how such operating elements 17, which are not constructive operating elements 18, are respectively displayed and arranged, that is to say depending on whether they are even displayed and where. The point at which a relevant operating element 17 is located is its arrangement position 19; About arrangement positions 19 of controls 17 are information in the data processing system 10 before.
Zusätzlich kann die Vorrichtung 1 mit einem weiteren konstruktiven Bedienelement 20 ausgerüstet sein, beispielsweise einem Bestätigungsschalter 21. Dieser ist von dem Fahrzeuginsassen parallel zum Ansehen 16 eines zu betätigenden Bedienelements 17 zu Betätigen, beispielsweise zu drücken, um ein versehentliches Bedienen des angesehenen Bedienelements 17 auszuschließen. Der Fahrzuginsasse 4 könnte versehentlich länger als die vorgegebene Zeitspanne ein Bedienelement 17 ansehen, was von der Blickrichtungserfassung 12 in Verbindung mit der Auswerteeinrichtung 9 als Bedienwunsch hinsichtlich eben dieses Bedienelements 17 interpretiert werden würde, so dass eine ungewollte Betätigung des Bedienelements 17 erfolgen würde. Um dies auszuschließen, kann, gewissermaßen in Serie geschaltet, das weitere konstruktive Bedienelement 20 beispielsweise in griffgünstiger Lage zum Fahrzeuginsassen 4 angeordnet sein, so dass dieser das weitere konstruktive Bedienelement 20 als Bestätigungsschalter 21 universell verwenden kann. Denn nur dann, wenn bei Ansehen 16 eines Bedienelements 17 gleichzeitig der Bestätigungsschalter 21 betätigt ist, wird die Auswerteeinrichtung 9, dem das weitere konstruktive Bedienelement 20 angeschlossen ist, dies als Bedienwunsch des Fahrzeuginsassen 4 hinsichtlich des Bedienelements 17 werten.In addition, the device 1 may be equipped with a further constructional control element 20, for example a confirmation switch 21. This is to be pressed by the vehicle occupant parallel to the viewing 16 of an operating element 17 to be actuated, for example to press to prevent inadvertent operation of the prestigious control element 17. The vehicle occupant 4 could inadvertently view an operating element 17 for longer than the predetermined period of time, which would be interpreted by the viewing direction detection 12 in conjunction with the evaluation device 9 as the operating intention with respect to precisely this operating element 17, so that an unintentional actuation of the operating element 17 would take place. To preclude this, can be arranged in series, so to speak, the further constructive control element 20 may be arranged, for example, in a convenient position to the vehicle occupant 4, so that it can use the other constructive control element 20 as confirmation switch 21 universal. For only if at viewing 16 of a control element 17 at the same time the confirmation switch 21 is actuated, the evaluation device 9, the further constructive control element 20 is connected, as Control request of the vehicle occupant 4 in terms of the control element 17 values.
Figur 2 zeigt eine schematische Darstellung des Verfahrensablaufs zum visuellen Auslösen eines solchen Vorgangs. Zu Beginn des Verfahrens wird ein Erfassungsstart 22 hinsichtlich der Blickrichtungserfassung 12 erfolgen. Es wird laufend die Blickrichtungserfassung 12 durchgeführt, nämlich eine Eingabe 23 von Daten der Kamera 11. Diese werden sodann ausgewertet in einem Auswerteschritt 24, nämlich dahingehend, ob die Kamera Daten betreffend eine Blickrichtung 3 des Fahrzeuginsassen 4 aufweist (Bezugszeichen, die in Figur 2 nicht dargestellt sind, beziehen sich auf die Darstellung in Figur 1 ). Werden solche aufgefunden, wird in einem Relevanzprüfungsschritt 25 überprüft, ob eine Blickrichtung 3 in Hinblick auf ein Bedienelement 17 vorliegt. Ist dies nicht der Fall, wird auf die Blickrichtungserfassung 12 zurückverzeigt. Ist dies der Fall, erfolgt ein Timerstart 26. In einem nachfolgenden Zeitmessschritt 27 wird überprüft, ob die Zeit t, in der die Blickrichtung 3 des Fahrzeuginsassen 4 das Bedienelement 17 betrifft, gleich einer vorgegebenen Zeitspanne T ist. Es erfolgt anschließend verneinendenfalls eine weitere Blickrichtungserfassung 12 und daran anschließend ein Auswerteschritt 24 mit einem Vergleichsschritt 28. Im Vergleichsschritt 28 wird geprüft, ob die Blickrichtung 3 dieselbe ist wie die im Relevanzprüfungsschritt erfasste, die zum Timerstart 26 geführt hat. Ist dies der Fall, wird zum Zeitmessschritt 27 zurück verzweigt. Ist dies nicht der Fall, wird zur Eingabe 23 zurück verzweigt. Im Zeitmessschritt 27 wird bei gleichbleibender Blickrichtung 3 des Fahrzeuginsassen 4 bei Erreichen der Zeit t der vorgegebenen Zeitspanne T, also Logik-bejahendenfalls, ein Vorgang 29 ausgelöst, nämlich das Bedienen des hier nicht dargestellten Bedienelements 17, auf das sich die im Verfahren erfasste Blickrichtung 3 des Fahrzeuginsassen 4 bezieht. Sodann wird an den Start 22 zurück verzweigt.Figure 2 shows a schematic representation of the procedure for the visual triggering of such an operation. At the beginning of the process, a detection start 22 with respect to the viewing direction detection 12 will take place. The viewing direction detection 12 is continuously performed, namely an input 23 of data from the camera 11. These are then evaluated in an evaluation step 24, namely as to whether the camera has data relating to a viewing direction 3 of the vehicle occupant 4 (reference numerals not in FIG. 2) are shown, refer to the illustration in Figure 1). If such are found, it is checked in a relevance checking step 25 whether a viewing direction 3 is present with regard to an operating element 17. If this is not the case, the viewing direction detection 12 is traced back. If this is the case, there is a timer start 26. In a subsequent timing step 27, it is checked whether the time t, in which the viewing direction 3 of the vehicle occupant 4 relates to the operating element 17, is equal to a predetermined period of time T. Then, if appropriate, another viewing direction detection 12 is performed and subsequently an evaluation step 24 with a comparison step 28. In comparison step 28, it is checked whether the viewing direction 3 is the same as that detected in the relevance checking step that led to the timer start 26. If this is the case, a branch is made back to the time-measuring step 27. If this is not the case, the system returns to input 23. In the time measuring step 27, a process 29 is triggered when the time t of the predetermined time span T, that is to say logic affirmative, is reached while the viewing direction 3 of the vehicle occupant 4 remains constant, namely the operation of the operating element 17, not shown here, on which the viewing direction 3 detected in the method of the vehicle occupant 4 refers. Then branched back to the start 22 back.
Figur 3 zeigt dasselbe Verfahren wie Figur 2, mit einem weiterenFIG. 3 shows the same method as FIG. 2, with a further one
Bestätigungsprüfungsschritt 30. Hierbei wird bei Bejahung des Zeitmessschritts 27 anschließend in dem Bestätigungsprüfungsschritt 30 geprüft, ob ein von dem Fahrer zur Quittierung des Betätigungswunsches des Bedienelements 17 das weitere konstruktive Bedienelement 20 betätigt ist. Ist dies nicht der Fall, wird die bisherige Zeitmessung als irrelevant verworfen und an den Erfassungsstart 22 zurück verzweigt. Ist dies jedoch der Fall, wird der Vorgang 29 ausgelöst und nachfolgend an den Erfassungsstart 22 zurück verzweigt. Confirmation check step 30. Here, if affirmative of the time measuring step 27, it is subsequently checked in the confirmation check step 30 whether a further constructive operating element 20 is actuated by the driver to acknowledge the desired actuation of the operating element 17. If this is not the case, the previous time measurement is rejected as irrelevant and to the detection start 22nd Branched back. If this is the case, however, the process 29 is triggered and subsequently branched back to the acquisition start 22.

Claims

Ansprüche claims
1. Verfahren zum visuellen Auslösen eines Vorgangs in einem Kraftfahrzeug durch Blickrichtungserfassung eines Fahrzeuginsassen, dadurch gekennzeichnet, dass der Vorgang als ein Bedienen eines1. A method for visually triggering a process in a motor vehicle by sight line detection of a vehicle occupant, characterized in that the process as an operation of a
Bedienelements des Kraftfahrzeugs durchgeführt wird und dass der Fahrzeuginsasse das Bedienelement zum bedienenden Auslösen eine vorgegebene Zeitspanne ansieht.Operating element of the motor vehicle is performed and that the vehicle occupant views the operating element for triggering a predetermined period of time.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Bedienen des Bedienelements als ein Schalten eines Schalters durchgeführt wird.2. The method according to claim 1, characterized in that the operation of the operating element is performed as a switching of a switch.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Blickrichtungserfassung mittels mindestens einer Kamera oder dergleichen durchgeführt wird.3. The method according to any one of the preceding claims, characterized in that the viewing direction detection is performed by means of at least one camera or the like.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Kamera kommenden Daten einer Datenverarbeitungsanlage zugeführt werden, die Informationen über die4. The method according to any one of the preceding claims, characterized in that the data coming from the camera are fed to a data processing system, the information about the
Anordnungsposition des Bedienelements besitzt.Has arrangement position of the operating element.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bedienelement ein konstruktives Bedienelement und/oder ein optisch dargestelltes Bedienelement verwendet wird.5. The method according to any one of the preceding claims, characterized in that a constructive operating element and / or a visually illustrated operating element is used as the operating element.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als optisch dargestelltes Bedienelement ein auf einem Bildschirm dargestelltes Bedienelement oder ein in eine6. The method according to any one of the preceding claims, characterized in that as a visually illustrated operating element shown on a screen control or in a
Frontscheibe des Kraftfahrzeugs eingespiegeltes Bedienelement verwendet wird.Windscreen of the motor vehicle mirrored control is used.
7. Vorrichtung zum visuellen Auslösen eines Vorgangs in einem Kraftfahrzeug durch Blickrichtungserfassung eines Fahrzeuginsassen, insbesondere zur Durchführung des Verfahrens nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels mindestens einer Kamera (11 ) eine Blickrichtungserfassung (12) des Fahrzeuginsassen (4) erfolgt und dass der Vorgang als ein Bedienen eines Bedienelements (17) des Kraftfahrzeugs erfolgt, wenn der7. A device for visually triggering a process in a motor vehicle by viewing the gaze of a vehicle occupant, in particular for carrying out the method according to one or more of the preceding claims, characterized in that by means of at least one camera (11) a viewing direction detection (12) of the vehicle occupant (4) and that the process takes place as an operation of a control element (17) of the motor vehicle if the
Fahrzeuginsasse (4) das Bedienelement (17) zum bedienenden Auslösen eine vorgegebene Zeitspanne (T) ansieht.Vehicle occupant (4) the operating element (17) for triggering serving a predetermined period of time (T) looks.
8. Vorrichtung nach Anspruch 7, gekennzeichnet durch ein weiteres Bedienelement (17), insbesondere ein weiteres konstruktives8. Apparatus according to claim 7, characterized by a further operating element (17), in particular a further constructive
Bedienelement (20), zur Bestätigung des visuellen Auslösens durch den Fahrzeuginsassen (4).Operating element (20) for confirming the visual actuation by the vehicle occupant (4).
9. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine elektronische Datenverarbeitungsanlage9. Device according to one of the preceding claims, characterized by an electronic data processing system
(10), der Daten von der Kamera (11 ) und Informationen über die Anordnungsposition des Bedienelements (17) zugeführt werden. (10), the data from the camera (11) and information about the arrangement position of the operating element (17) are supplied.
PCT/EP2008/062123 2007-10-17 2008-09-12 Visual triggering of processes in a motor vehicle WO2009049975A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007049710.7 2007-10-17
DE102007049710A DE102007049710A1 (en) 2007-10-17 2007-10-17 Visual triggering of operations in a motor vehicle

Publications (1)

Publication Number Publication Date
WO2009049975A1 true WO2009049975A1 (en) 2009-04-23

Family

ID=40030213

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/062123 WO2009049975A1 (en) 2007-10-17 2008-09-12 Visual triggering of processes in a motor vehicle

Country Status (2)

Country Link
DE (1) DE102007049710A1 (en)
WO (1) WO2009049975A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201502B2 (en) 2012-03-23 2015-12-01 Audi Ag Method for operating an operating device of a motor vehicle using gaze detection
DE102012212217B4 (en) * 2011-07-19 2020-10-29 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Control system for a vehicle

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2390139B1 (en) * 2010-05-31 2012-12-19 Volvo Car Corporation Interior lighting and illumination control
DE102011084217A1 (en) 2011-10-10 2013-04-11 Continental Automotive Gmbh Communication system of a motor vehicle
DE102012215407A1 (en) * 2012-08-30 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Providing an input for a control
DE102012018742B3 (en) * 2012-09-21 2014-03-13 Audi Ag Method and device for adjusting a mirror for a motor vehicle
DE102012217125A1 (en) * 2012-09-24 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Method for transferring of exterior mirror of i.e. passenger car from folded state to unfolded state, involves transferring mirror from folded to unfolded state when detected that view angle of driver is in direction of mirror by camera
DE102013000744A1 (en) 2013-01-17 2014-07-17 Audi Ag Method and system for controlling at least one functional unit and motor vehicle and mobile terminal with such a system
DE102013001380B4 (en) 2013-01-26 2018-04-26 Audi Ag Method for operating at least one display device of a motor vehicle and system having at least one display device and motor vehicles
DE102013001384A1 (en) 2013-01-26 2014-07-31 Audi Ag Method and system for viewing direction-dependent control of a plurality of functional units and motor vehicles and mobile terminal with such a system
DE102013001382A1 (en) 2013-01-26 2014-07-31 Audi Ag Display system and method for viewing direction dependent operation of a display system
DE102013001383B4 (en) 2013-01-26 2016-03-03 Audi Ag Method and system for operating a rear window wiper of a motor vehicle
DE102013008738B4 (en) 2013-05-23 2016-07-21 Audi Ag Method for operating a locking system of a motor vehicle and locking system
DE102013009568B3 (en) * 2013-06-07 2014-12-11 Audi Ag Method for viewing direction-dependent operation of a display system and display system and its use
DE102013015205B3 (en) * 2013-09-13 2015-02-05 Audi Ag Method and system for operating a plurality of display devices of a motor vehicle and motor vehicle with a system for operating a plurality of display devices
DE102013015204B4 (en) * 2013-09-13 2015-06-18 Audi Ag Method and system for operating at least one display device of a motor vehicle and motor vehicles with a system for operating at least one display device
DE102013015634B4 (en) 2013-09-20 2015-06-18 Audi Ag Method and system for operating at least one display device of a motor vehicle and motor vehicles with a system for operating at least one display device
DE102013218917A1 (en) * 2013-09-20 2015-03-26 Bayerische Motoren Werke Aktiengesellschaft Device for controlling devices in vehicles by means of a viewing direction detection
DE102013019263B4 (en) 2013-11-15 2020-03-26 Audi Ag Method for operating an operating device and vehicle with an operating device
DE102013019111B4 (en) * 2013-11-15 2017-07-06 Audi Ag Motor vehicle and method for operating at least one radiation source
DE102013019572A1 (en) 2013-11-22 2015-05-28 Audi Ag Method for operating an infotainment system of a motor vehicle and motor vehicles with an infotainment system
DE102013022035B4 (en) 2013-12-20 2015-11-12 Audi Ag Motor vehicle operating device with graphical user interface, and motor vehicle and method
DE102014203982A1 (en) 2014-03-05 2015-09-10 Bayerische Motoren Werke Aktiengesellschaft Method and correspondingly designed device for visually triggering a process in a motor vehicle
DE102014207381A1 (en) 2014-04-17 2015-10-22 Bayerische Motoren Werke Aktiengesellschaft Method, device, vehicle operating system, computer program for operating a vehicle and computer program product
GB2525655B (en) * 2014-05-01 2018-04-25 Jaguar Land Rover Ltd Dynamic lighting apparatus and method
DE102016212073A1 (en) 2016-07-04 2018-01-04 Bayerische Motoren Werke Aktiengesellschaft Vehicle, device and method for activating a receiving function of an assistant system in a means of locomotion
DE102017113763B4 (en) * 2017-06-21 2022-03-17 SMR Patents S.à.r.l. Method for operating a display device for a motor vehicle and motor vehicle
DE102019004167A1 (en) * 2019-06-12 2020-12-17 Daimler Ag Method for optimizing the operation of a visual display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5621457A (en) * 1994-09-26 1997-04-15 Nissan Motor Co., Ltd. Sighting direction detecting device for vehicle
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
WO1999042315A1 (en) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Method for controlling or operating systems by means of image information and method for detecting image information
DE10121392A1 (en) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Device for controlling devices by viewing direction
EP1562102A2 (en) * 2004-02-06 2005-08-10 Audi Ag Motor vehicle including function actuation by eye tracking

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19802220A1 (en) 1998-01-22 1999-07-29 Bosch Gmbh Robert Information display device used with computer or onboard automobile

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5621457A (en) * 1994-09-26 1997-04-15 Nissan Motor Co., Ltd. Sighting direction detecting device for vehicle
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
WO1999042315A1 (en) * 1998-02-20 1999-08-26 Daimlerchrysler Ag Method for controlling or operating systems by means of image information and method for detecting image information
DE10121392A1 (en) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Device for controlling devices by viewing direction
EP1562102A2 (en) * 2004-02-06 2005-08-10 Audi Ag Motor vehicle including function actuation by eye tracking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012212217B4 (en) * 2011-07-19 2020-10-29 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Control system for a vehicle
US9201502B2 (en) 2012-03-23 2015-12-01 Audi Ag Method for operating an operating device of a motor vehicle using gaze detection

Also Published As

Publication number Publication date
DE102007049710A1 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
WO2009049975A1 (en) Visual triggering of processes in a motor vehicle
WO2002088824A2 (en) Device for controlling equipment by means of a line of vision
EP3108334B1 (en) System having an adjustment device and method for automatically adjusting/switching said adjustment device for a head-up display device
DE102011056714A1 (en) System standby switch for a human-machine interaction control system with eye tracking
DE102012216193A1 (en) Method and device for operating a motor vehicle component by means of gestures
DE102013003059A1 (en) Method for controlling functional unit of motor vehicle, involves automatically detecting whether view of vehicle occupant to given area is directed by view detection unit
EP0832807A2 (en) Method for selecting one of several equivalent operating control elements for controlling the longitudinal and/or lateral dynamics of a vehicle, in particular a motor vehicle
DE102015005222A1 (en) Method for determining at least one traffic light relevant to a vehicle
EP3494021B1 (en) Method for adapting a man-machine interface in a motor vehicle, and motor vehicle
DE102017202051B4 (en) Control device for a motor vehicle and method for operating a control device
DE102012206247A1 (en) Method and device for displaying a hand of an operator of a control element of a vehicle
DE102013003214A1 (en) Method for transferring driving tasks between occupants e.g. driver of motor car, involves terminating autonomous driving by driving assistance system after detecting completed transfer and acquisition of object by other occupant
DE102008004970A1 (en) Operating system for use in cockpit of motor vehicle, has operating unit mechanically moved between position and another position by actuating element when detecting approximation of actuator to operating elements
DE102013217558A1 (en) Method for controlling an information display device and device with an information display device
EP3243688A1 (en) Method and device for the allocation of control commands in a vehicle, as well as vehicle
WO2014053459A1 (en) Method for aligning at least one rear-view mirror of a motor vehicle
DE102013015204B4 (en) Method and system for operating at least one display device of a motor vehicle and motor vehicles with a system for operating at least one display device
DE102012018685A1 (en) System and method for controlling at least one vehicle system by means of gestures carried out by a driver
WO2014111241A1 (en) Method and system for controlling at least one functional unit, and motor vehicle and mobile terminal device having such a system
DE102017206312A1 (en) Support handling of an object located within a passenger compartment and motor vehicle
DE102017011498B4 (en) Method for operating an assistance system and an assistance system for a motor vehicle
DE102013011531B4 (en) Method for operating an assistance system of a motor vehicle and assistance system for a motor vehicle
WO2019025064A1 (en) Method for executing an autonomous driving operation of a vehicle
EP3718810A1 (en) Method and device for operating electronically controllable components of a vehicle
DE102016011141A1 (en) A method of monitoring a condition of at least one occupant of a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08804088

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 08804088

Country of ref document: EP

Kind code of ref document: A1