WO2014064095A1 - Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges - Google Patents

Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges Download PDF

Info

Publication number
WO2014064095A1
WO2014064095A1 PCT/EP2013/072056 EP2013072056W WO2014064095A1 WO 2014064095 A1 WO2014064095 A1 WO 2014064095A1 EP 2013072056 W EP2013072056 W EP 2013072056W WO 2014064095 A1 WO2014064095 A1 WO 2014064095A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
signal
classification
vehicle
measuring
Prior art date
Application number
PCT/EP2013/072056
Other languages
English (en)
French (fr)
Inventor
Stefanie ESSERS
Lisa DIWISCHEK
Original Assignee
Takata AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takata AG filed Critical Takata AG
Priority to US14/437,542 priority Critical patent/US20150258995A1/en
Priority to JP2015537304A priority patent/JP2016500874A/ja
Priority to EP13791942.9A priority patent/EP2909827A1/de
Publication of WO2014064095A1 publication Critical patent/WO2014064095A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver

Definitions

  • Method and support system for supporting a driver of a motor vehicle and measuring method and measuring system for determining a mental state of a driver of a motor vehicle
  • the invention relates to a method for supporting a driver of a motor vehicle according to claim 1, a corresponding support system according to claim 9, a measuring method for determining a mental state of a driver of a motor vehicle according to claim 10 and a corresponding measuring system according to claim 17.
  • Assistance systems for motor vehicles known e.g. Control functions of the vehicle and / or warn a driver of the vehicle from critical driving situations.
  • One danger associated with the presence of a variety of assistance systems in a vehicle is that the driver relies too much on the assistance systems and / or does not respond adequately to information provided by the assistance systems.
  • the problem to be solved by the invention is to improve the safety of a motor vehicle.
  • Generating a signal perceivable by the driver by a driver assistance system of the motor vehicle wherein the signal is selected from a plurality of different signals depending on the classification of the mental state of the driver, or suppressing a signal of the driver assistance system and / or selecting at least one vehicle parameter in dependence Classification of the mental condition of the driver.
  • the method according to the invention therefore provides that signaling of the vehicle, e.g. signaling a driver assistance system that takes into account the driver's mental condition;
  • an individual mental condition is considered, which may be e.g. is an under- or over-demanding condition, an emotional condition (e.g., strong positive or negative arousal), or any other condition of reduced attention.
  • the mental state is determined by the intention of the driver.
  • the classification of the mental state takes place, in particular, on the basis of individually defined limit values for the values of the vital parameter or the driving dynamics variable (s.u.).
  • the signal and / or the vehicle parameter are e.g. a signal or a parameter of a safety device, a driver assistance system (as already mentioned), a device for influencing the driving dynamics and / or a comfort system of the vehicle.
  • a signal for example a signal perceivable by the driver, eg an optical, acoustic and / or haptic signal
  • an assistance system of the vehicle can be selected which the driver does not disturb or whose information content it can capture as quickly and correctly as possible. Warnings to the driver can thus be adapted to his current mental state, whereby, for example, in the case of a driver who has already been determined to be stressed, the warnings are greatly reduced and triggered only with high urgency. It is also conceivable that, for example, in the case of a detected mental state which corresponds to a state of increased stress, ie a state of overworking, signaling of the assistance system or of another system of the vehicle is completely suppressed.
  • the wording that the driver perceivable signal is "selected" depending on the classification means, in particular, that adequate signaling is selected from a plurality of available signals (signaling) Signals the aforementioned optical, acoustic and / or haptic signals, wherein the various available signals relate in particular to the same function of the vehicle and thus in particular transport the same information (such as a warning)
  • Type are available, for example, a plurality of optical signals, including, for example, a first optical signal that responds to the focal visual perception channel of the driver (such as a rather static signal), and a second optical signal that responds to the driver's ambient perception channel (ei about n rather dynamic signal).
  • signaling of the vehicle may also be suppressed, i. Signaling that would have occurred under standard conditions is prevented.
  • standard conditions is meant, in particular, a condition corresponding to a vehicle without the classification according to the invention or a normal mental condition of the driver, ie in particular that the driver is in a reasonably attentive condition
  • the vehicle generates a signal (in particular an electrical signal) that indicates, for example, that a driver's reaction is expected (for example, an indication of insufficient tire pressure), a signal perceptible by the driver is omitted.
  • comfort systems could be placed in the background to provide additional stimuli to the perception of the driver To reduce the driver.
  • a correspondingly designed feedback to the driver can be made and a possibility can be provided to be able to switch on desired systems in the simplest possible way again.
  • data eg, from a diary
  • a vehicle computer may be included, eg, to determine the type of ride and any driver's deadline.
  • a vehicle parameter will be changed depending on the classification of the driver's mental condition, e.g. if a condition of significant over-demand or under-demand is detected, a vehicle parameter will be changed.
  • the driving dynamics of the vehicle or other variables (such as the maximum speed) of the vehicle can be changed.
  • parameters of a (for example passive) safety system of the vehicle be changed.
  • the timing of activating a seatbelt pretensioner of a seatbelt system and / or triggering an airbag of the vehicle could be changed (e.g., advanced).
  • a pre-crash system is triggered at a different (especially earlier) time, e.g. an inflatable element of the pre-crash system is activated and / or the brake pressure increased at a different time and / or an automatic deceleration of the vehicle is initiated.
  • parameters of an active safety system (such as an ESP system) of the vehicle may also be changed depending on the classification of the mental state, e.g. be switched to a higher, more cautious attention level. This allows e.g. Also, a better prevention of false alarms, so incorrectly triggered warnings, since it can be detected whether a driving situation was deliberately caused by the driver or unintentionally developed and thus critical.
  • the method according to the invention can also promote energy-efficient driving. This is e.g. enabled by the inclusion of environmental factors and e.g. Vehicle-to-vehicle communication ("Car-2-X communication"), for example, can be detected as to how far a green traffic light can still be driven over, or better an early, slow braking - of course, taking into account the traffic flow - By classifying the driver's condition, an improved response to other road users could also be made possible, and it would also be possible to identify which drivers are stressed on a predefined route and to redirect traffic accordingly or to pay particular attention to these drivers ,
  • Car-2-X communication Vehicle-to-vehicle communication
  • an expected range of values subdivided into at least one first and one second classification range is determined for the vital parameter and / or the vehicle dynamics quantity used to classify the driver's mental condition, the classification ranges respectively being different mental states of the driver Driver correspond and the measured value of the vital parameter or the vehicle dynamics quantity are assigned to the first or the second classification range.
  • the subdivision of the value range is carried out in particular individually (relative to a specific driver), whereby, as already mentioned above, individual class limit values are defined which delimit the classification ranges from one another.
  • the definition of the class limit values can be made by calibrating the measuring device used to determine the vital parameter and / or the driving dynamics variable to a specific driver. For example, the calibration may be e.g. be updated regularly.
  • the mental state associated with the first classification area corresponds to an under-demand of the driver and the mental state of the driver assigned to the second classification area corresponds to an excessive demand of the driver.
  • the classification areas other mental states (see above) are assigned.
  • more than two classification ranges can be used to allow the most accurate classification of the mental state.
  • the selection of a signaling takes place in that at least a first signal perceivable by the driver and the second classification region is assigned to the first classification region at least a second signal perceptible by the driver (the first signal of the second signal is different), wherein the first signal is generated when the measured value of the vital parameter has been assigned to the first classification range, and the second signal is generated when the measured value of the vital parameter has been assigned to the second classification range.
  • the first and the second signal can be different types of signals or variants of the same signal type, for example an optical signal, for example a first signal which responds to the driver's focal visual channel a second signal that responds to the driver's ambient perception channel.
  • the value of the vital parameter is e.g. by determining the electrodermal activity, by means of an electrocardiogram, a gaze motion measurement and / or a pupillometric measurement.
  • the possibly recorded driving dynamics quantity is e.g. to accelerate the vehicle, e.g. is determined with sensors of an ESP system of the vehicle.
  • a standard deviation from the lateral position, a number of steering movements, a mean difference between an allowed and the actually driven speed, and / or a steering angle are used as vehicle dynamics quantities.
  • the invention also relates to a support system for assisting a driver of a motor vehicle, in particular for carrying out a method as described above
  • a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the mental state of the driver;
  • a classification device for classifying the driver's mental condition based on the measured value of the vital parameter or the vehicle dynamics quantity; and a device for selecting a signal perceptible by the driver or suppressing a signaling of the vehicle and / or selecting at least one vehicle parameter as a function of the classification of the mental state of the driver.
  • the invention relates to a measuring method for determining a mental state of a driver of a motor vehicle, comprising the steps:
  • the measuring method can serve, in particular, to determine the mental load that arises on a driver by signaling the vehicle (in particular a driver assistance system). It is conceivable to carry out the above-described inventive assistance method on the basis of these measurements, assigning appropriate driver assistance system signals (or signals from another vehicle system) to different driver mental states, of which, depending on the classification of the driver's mental condition Driver's one is selected.
  • the measurements made using the measurement method of the present invention indicate that an optical signal that predominantly addresses the driver's focal visual perception channel generates less driver stress than other signals (eg, as a visually perceptible signal representing the driver's ambient perception channel) at- speaking), such a visual signal could be assigned to a mental override condition in order to generate the least possible additional mental load on the driver.
  • the measuring method is carried out with the aid of a driving simulator, which uses different signals, e.g. typically generated by driver assistance systems can generate.
  • the first and / or the second signal of the measuring method is a signal which the driver perceives visually, audibly, tactually and / or olfactorily.
  • the first and the second signal may well consist of a language information that is transmitted to a subject; e.g. a task given to him acoustically (for example by loudspeaker) or visually (for example by display on a display).
  • steps a) to c) can be performed several times, wherein the type of the first signal and / or the type of the second signal are different in each implementation.
  • the repetitions serve to determine the mental stress of a plurality of combinations of the signals.
  • steps a) to c) wherein in the first implementation as the first and / or second signal, a visually perceptible signal and in the second implementation of an acoustic signal is used.
  • a visually perceptible signal of a second type is used as the first and / or second signal of a first type and in the second implementation.
  • the visually perceptible signal of the first type is a signal which responds to the driver's focal visual perception channel
  • the visually perceptible signal of the second type is a signal representing the driver's ambient perceptual channel responds. It is conceivable, of course, e.g. also that different acoustic signals are used. Possible signals and possible types of expected actions are summarized in Table 1 below.
  • the value of the at least one vital parameter is determined, for example, by determining the electrodermal activity, by means of an electrocardiogram, an eye movement measurement and / or a pillometric measurement.
  • the vital parameters of the driver used are, for example, the following: an electrodermal activity (EDA);
  • ECG electrocardiogram
  • Measures such as the direction of vision, the number of fixations on specific target areas ("Areas of Interest" - AOI), fixation duration on AOI, fixation site, number of saccades, saccade duration, lid closure frequency;
  • ICA index of cognitive activity
  • the measuring device comprises at least one electrode which is arranged on a steering wheel rim of the steering wheel.
  • the at least one vehicle dynamics quantity correlated with the driver's mental condition is e.g. by a standard deviation from the lateral position, the number of steering movements, the mean difference between a permitted and actually driven speed and / or the steering angle.
  • these variables result from the driving simulator data.
  • covariables can influence the result of the measuring process.
  • these are e.g. also recorded and controlled.
  • covariables of test drivers are examined: gender, age, driving experience, possibly simulator experience, last hand wash, last sporting activity, drug and caffeine consumption, current mental state (eg tired or recovered), time, temperature, noise, road conditions , Road conditions, season, humidity, wind, vehicle type and / or traffic density.
  • the measuring procedure is carried out, for example, as follows: EDA & ECG measuring probes are applied to the test person. In order to identify so-called “non-responders" (about 5% of the population), ie persons, in which no EDA signal can be detected Invite subjects to take a deep breath and hold their breath. This will also generate and measure a baseline level of EDA and ECG.
  • an eye movement measuring apparatus and a pupillometry apparatus are calibrated.
  • the test person is enabled, for example, to drive in the driving simulator or in the real vehicle.
  • a basic level of the mileage and the respective driving dynamics parameters is recorded.
  • different tasks i. actions anticipated by the driver (by the subject).
  • the tasks are designed to test different input and output modalities of the subject's perception.
  • the subject is presented with a visual stimulus as the first perceptible signal (eg, a flashing LED) to which the subject should respond verbally (eg, "yes") ("expected first action").
  • the test person is also presented with a visual stimulus as the first perceptible signal (eg also a flashing LED), to which it has to respond by motor (eg by pressing a button).
  • the subject is given a cognitive task by means of a visual second signal (eg, an ad on a display) that must verbally (“expected second action”), eg, by directional instructions.
  • the test subject is e.g. Also on a display give a cognitive task that they can operate by operation via buttons or directly on a touch screen motor.
  • the test person has to react verbally (eg with "yes") to a first signal in the form of an acoustic stimulus (via loudspeaker), in the sixth case by motor by pressing a button
  • the test person is informed by means of a second signal in Form of an acoustic signal (also via loudspeaker) presented a task that she must work through verbal answer (for example, the solution of the task to be spoken).
  • the test person is again acoustically (via loudspeaker) presented a task by means of a second signal in the form of an acoustic signal, the solution of which is to be entered via a display by means of keys or a touch surface ("expected second action") a stimulus ("first signal”) simultaneously visually and acoustically presented (eg an ad appears on a display and it is simultaneously an instruction by loudspeaker), the test person should respond verbally to this first signal (eg with "yes").
  • a visual and audible first signal is also presented (eg a display appears again on a display and an instruction is also given by loudspeaker), whereby the test person is to respond to this by motor (eg by pressing a button).
  • a task is presented by a second signal in the form of both a visual and an audible signal (eg, by the mentioned combination of a display on a display and an instruction by loudspeaker), the expected second action being for the subject to test Solution of the task should say aloud.
  • a task is also presented visually and acoustically at the same time, whereby the test person solves the problem as an expected second action via keys or directly on a touch sensitive disc.
  • the variants compiled in the table can be combined with each other.
  • the first signals and first actions contained therein can be combined with the second signals and second actions mentioned in the table.
  • the second signals are generated in particular temporally after the first signals.
  • the acoustic first and / or second signals may e.g. in the form of the following acoustically or visually transmitted tasks (Table 2):
  • the type of task transmitted by means of the first and / or second signal consists either in a task that requires only a reaction of the test person or a mentally demanding task (cognitively).
  • the tasks are transmitted to the test person either acoustically (in particular by loudspeaker announcement), visually (in particular by display on a display) or acoustically-visually (in particular both by loudspeaker and via an indication on a display).
  • the tasks transmitted by the first and / or second signals are e.g. sufficiently practiced with the subject until fully understood and mastered to avoid learning effects or misunderstandings.
  • the aim is in particular to classify the exact individual pattern with different demands of the driver.
  • Individual patterns are the expression of the stresses in the physiological data (EDA, ECG, eye movement, pupillometry), which vary greatly depending on the individual.
  • the objective is to recognize the driving ability on the basis of these patterns and to carry out a correspondingly appropriate adaptation of the vehicle (assistance systems and comfort functions), as described above in relation to the first aspect of the invention.
  • the measuring method according to the invention could therefore also be implemented in a production vehicle.
  • the maximum possible span of the EDA signal can be tested.
  • This can be done, for example, by the so-called "shockpattern method", whereby an involuntary reaction of the subject is caused by a loud bang (eg in which the experimenter beats the table)
  • the test person fills in the questionnaires NASA-TLX and SAM again.
  • the invention also relates to a measuring system for determining a mental state of a driver of a motor vehicle, with
  • a generating device for generating a first signal perceivable by the driver, which signals to the driver that a first action is expected from him, and for generating a second signal perceptible by the driver, which signals to the driver that a second predetermined action is expected from him, the first signal from the second signal and / or the expected first action being different from the expected second action;
  • a measuring device for measuring at least one value of at least one vital parameter of the driver correlated with the mental state of the driver and / or at least one value of at least one driving dynamics variable correlated with the driver's mental state during the generation of the first signal and / or the performance of the first action by the driver as well as during the generation of the second signal and / or the driver performing the second action.
  • the measuring system according to the invention is in particular part of a driving simulator or works together with a driving simulator.
  • the measuring system is arranged in a vehicle (for example, also in a production vehicle).
  • the measuring device of the measuring system can be integrated in a steering wheel.
  • electrodes and / or other sensors for carrying out an EDA and / or ECG measurement are integrated in the steering wheel in the steering wheel.
  • Fig. 1 the Wickens cube
  • FIG. 2 shows a steering wheel for carrying out the measuring method according to the invention.
  • the Wickens model presented with this cube connects different aspects (modalities, involved sensory channels, codes and levels) of information processing.
  • the aspects (resources) are each regarded as dichotomous. Basically, human behavior is divided into the phases of "perception”, “storage and processing” (cognitive work) and the production of a response.
  • perceptual modalities are subdivided into visual, auditory or tactile information, assuming that these different modalities are processed differently, and within the visual modality are two visual sensory channels, namely a focal and an ambient channel
  • the main task of the focal channel is object recognition, while the ambience channel is responsible for the perception of movement and orientation.
  • the different "codes” are understood to be the spatial, analogous storage of information and the verbal, symbolic or pictorial storage.
  • Levels refer to different processing resource levels.
  • the aid of the measuring method according to the invention it is possible in a determination of a mental state of a driver of a motor vehicle between the pure stimulus recording (based on a "first signal” presented to the driver) and the cognitive processing (based on a "second signal” presented to the driver). ) to distinguish.
  • a distinction can be made between information received in different modalities (in particular, visual, auditory or tactile).
  • the findings obtained with the aid of the measuring method according to the invention can be used in particular to adapt the signaling of a vehicle (for example a driver assistance system) (for example driver-individual), as explained above.
  • a steering wheel 1 which comprises a measuring device 2, which is part of a measuring system according to the invention (not shown) for carrying out the measuring method explained above.
  • the remaining components of the measuring system could be integrated together with the steering wheel 1 in a vehicle.
  • the steering wheel could be installed as part of the support system according to the invention in a production vehicle.
  • the measuring device 2 is designed to determine various vital parameters ("psychophysiological parameters") which correlate with the mental state of a driver,
  • the measuring device has electrodes 21, 22 which each serve as an ECG and / or EDA electrode
  • the electrodes 21, 22 are, for example, dry electrodes Electrodes 21, 22 together extend over nearly the entire outer periphery of the steering wheel rim to ensure that the driver is in contact with at least one of the electrodes.
  • the electrodes 21, 22 have a large surface area; For example, they also extend (eg at least approximately completely) around a skeleton of the steering wheel rim, ie they extend over a large part of the circumference of the steering wheel skeleton, which lies in a plane oriented perpendicular to the outer circumference.
  • the electrodes 21, 22 have a particularly large area, in particular at the usual gripping points of a steering wheel.
  • the current mental state of the driver will be reflected in (in particular driver-specific) EDA and / or ECG values which, on the one hand, can be used to determine the effects of different stimuli on his mental state or in a production vehicle within the scope of the measuring method according to the invention to classify the driver's mental condition and to adapt signaling of the vehicle based on the classification, as explained above.
  • the measuring device integrated in the steering wheel 1 also has an evaluation unit 23, which detects and evaluates the electrical signals received by the electrodes 21, 22.
  • the evaluation unit 23 detects a heart rate of the driver.
  • the source of the human heartbeat is an electrical impulse generated by a cluster of cells within the heart. Since this pulse is transmitted via the bloodstream, it can be detected as a potential difference between two points on the body.
  • the electrodes 21, 22 of the steering wheel 1 are designed so that the heart activity of the driver can be detected as a potential difference between the two hands of the driver.
  • the electrodes 21, 22 each consist of two segments, and the evaluation unit 23 has a differential amplifier in order to be able to register very small potential differences, as well as a processing unit for filtering out interference signals.
  • the electrodes 21, 22 also serve as temperature sensors, with which the skin temperature can be determined as another vital parameter.
  • Body temperature (and thus skin temperature) is considered to be an indicator of the driver's mental condition and is controlled by the central nervous system as thermoregulation.
  • the normal skin temperature of the hand varies in the range between 20 ° C and 40 ° C.
  • the central nervous system By controlling the central nervous system, the Body temperature can be regulated by the sweat ß process.
  • the activity of the sweat glands provides feedback on the sympathetic nervous system and is a feature to assess the condition of the driver.
  • Ekkrine sweat glands have a wide spread throughout the body, especially on the hands, feet and forehead. Their density on hand is over 2000 / cm 2 . Ekkriner sweat consists of water and salts, with which the glands are either filled or not. Therefore, the activity of the sweat glands can be measured electrically as a change in the conductivity of the skin. In general, the change in conductivity of human skin is in the range between 0 and 50 or equivalent to the resistance of human skin between 20kQ and infinity. Accordingly, the electrodes 21, 22 may be configured to measure the conductivity of the driver's skin.
  • conductivity measurement is based on the voltage divider principle which requires two contacts on the skin.
  • a pole is e.g. set to a DC voltage of 0.5 V, and the other is the potential measurement, which is dependent on the glandular activity.
  • the resistance value of the voltage dividing resistor is set to e.g. 180kQ. This means in particular that a voltage is applied to the resistor, which varies between 0 V and 0.25 V.
  • This signal is e.g. Amplified 8 times and in particular a low pass with a cutoff frequency of e.g. 10 Hz for filtering out the EDA signal over it.
  • a DC voltage of 0.5V is not dangerous to humans.
  • the maximum allowable voltage is 0.7V to prevent nerve cell excitation.
  • the temperature range for the operation of the steering wheel and the electrodes 21, 2 is e.g. between -40 ° C and + 85 ° C.
  • the bearing of the steering wheel is e.g. at temperatures between -40 ° C and + 125 ° C possible, in which temperature range, a relative humidity between 5 and 95% is expected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Steering Controls (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und ein Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges, wobei das Verfahren die Schritte aufweist: - Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße; - Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und - Erzeugen eines vom Fahrer wahrnehmbaren Signals durch ein Fahrerassistenzsystem des Kraftfahrzeuges, wobei das Signal aus einer Mehrzahl verschiedener Signale in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers ausgewählt wird, oder Unterdrücken eines Signals des Fahrerassistenzsystems und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers. Die Erfindung betrifft auch ein Messverfahren und ein Messsystem zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges.

Description

Verfahren und Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges sowie Messverfahren und Messsystem zum Bestimmen eines mentalen Zustan- des eines Fahrers eines Kraftfahrzeuges
Beschreibung
Die Erfindung betrifft ein Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeuges gemäß Anspruch 1 , ein entsprechendes Unterstützungssystem gemäß Anspruch 9, ein Messverfahren zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges gemäß Anspruch 10 sowie eine entsprechende Messsystem nach Anspruch 17.
Aus dem Stand der Technik sind Assistenzsysteme für Kraftfahrzeuge bekannt, die z.B. Funktionen des Fahrzeugs steuern und/oder einen Fahrer des Kraftfahrzeuges vor kritischen Fahrsituationen warnen. Eine Gefahr, die das Vorhandensein einer Vielzahl von Assistenzsystemen in einem Fahrzeug mit sich bringt, besteht darin, dass der Fahrer sich zu sehr auf die Assistenzsysteme verlässt und/oder nicht adäquat auf Informationen, die die Assistenzsysteme bereitstellen, reagiert.
Das von der Erfindung zu lösende Problem besteht darin, die Sicherheit eines Kraftfahrzeuges zu verbessern.
Dieses Problem wird durch das Verfahren mit den Merkmalen gemäß Anspruch 1 , das entsprechendes Unterstützungssystem mit den Merkmalen des Anspruchs 9, das Messverfahren gemäß Anspruch 10 sowie durch das entsprechende Messsystem mit den Merkmalen des Anspruchs 17 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. Danach wird ein Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeuges bereitgestellt, das die folgenden Schritte aufweist:
Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;
Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und
Erzeugen eines vom Fahrer wahrnehmbaren Signals durch ein Fahrerassistenzsystem des Kraftfahrzeuges, wobei das Signal aus einer Mehrzahl verschiedener Signale in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers ausgewählt wird, oder Unterdrücken eines Signals des Fahrerassistenzsystems und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers.
Das erfindungsgemäße Verfahren sieht demnach vor, dass eine Signalisierung des Fahrzeugs, z.B. eine Signalisierung eines Fahrerassistenzsystems, den mentalen Zustand des Fahrers berücksichtigt; insbesondere wird ein individueller mentaler Zustand berücksichtigt, bei dem es sich z.B. um einen Unter- oder Überforderungszustand, einen emotionalen Zustand (z.B. starke positive oder negative Erregung) oder einen sonstigen Zustand reduzierter Aufmerksamkeit handelt. Möglich ist auch, dass der mentale Zustand von der Intention des Fahrers bestimmt wird. Das Klassifizieren des mentalen Zustands erfolgt insbesondere anhand von individuell festgelegten Grenzwerten für die Werte des Vitalparameters oder der Fahrdynamikgröße (s.u.).
Bei dem Signal und/oder dem Fahrzeugparameter handelt es sich z.B. um ein Signal oder einen Parameter einer Sicherheitseinrichtung, eines Fahrerassistenzsystems (wie bereits erwähnt), einer Einrichtung zum Beeinflussen der Fahrdynamik und/oder eines Komfortsystems des Fahrzeugs.
In Abhängigkeit von dem ermittelten mentalen Zustand des Fahrers kann z.B. ein Signal (etwa ein vom Fahrer wahrnehmbares Signal, z.B. ein optisches, akustisches und/oder haptisches Signal) eines Assistenzsystems des Fahrzeugs ausgewählt werden, das der Fahrer nicht als störend empfindet oder dessen Informationsgehalt er möglichst schnell und korrekt erfassen kann. Warnungen an den Fahrer können somit seinem aktuellen mentalen Zustand entsprechend ange- passt werden, wobei z.B. bei einem schon als gestresst determinierten Fahrer die Warnungen stark zurückgefahren und etwa nur bei hoher Dringlichkeit ausgelöst werden. Denkbar ist auch, dass etwa bei einem erfassten mentalen Zustand, der einem Zustand erhöhten Stresses, d.h. einem Überforderungszustand, entspricht, eine Signalisierung des Assistenzsystems oder eines sonstigen Systems des Fahrzeugs ganz unterdrückt wird.
Es wird angemerkt, dass die Formulierung, dass das vom Fahrer wahrnehmbare Signal in Abhängigkeit von der Klassifizierung„ausgewählt" wird, insbesondere bedeutet, dass aus einer Mehrzahl zur Verfügung stehenden Signalen (Signalisierungen) eine adäquate Signalisierung ausgewählt wird. Beispielsweise umfassen die zur Verfügung stehenden Signale die erwähnten optischen, akustischen und/oder haptischen Signale, wobei sich die verschiedenen zur Verfügung stehenden Signale insbesondere auf dieselbe Funktion des Fahrzeugs beziehen und somit insbesondere dieselbe Information transportieren (etwa einen Warnhinweis). Denkbar ist auch, dass jeweils mehrere Varianten von Signalen einer Art bereitstehen, z.B. mehrere optische Signale, worunter sich z.B. ein erstes optisches Signal befindet, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht (etwa ein eher statisches Signal), und ein zweites optisches Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht (etwa ein eher dynamisches Signal).
Anstelle des Auswählens eines Signals kann eine Signalisierung des Fahrzeugs auch unterdrückt werden, d.h. eine Signalisierung, die unter Standardbedingungen erfolgt wäre, wird unterbunden. Unter„Standardbedingungen" ist insbesondere ein Zustand zu verstehen, der einem Fahrzeug ohne die erfindungsgemäße Klassifizierung entspricht oder einem normalen mentalen Zustand des Fahrers, d.h. insbesondere, dass sich der Fahrer in einem angemessen aufmerksamen Zustand befindet. Insbesondere beinhaltet das Unterdrücken der Signalisierung, dass das Fahrzeug zwar ein Signal (insbesondere ein elektrisches Signal) generiert, das z.B. anzeigt, dass eine Reaktion des Fahrers erwartet wird (etwa ein Hinweis auf zu geringen Reifendruck), eine durch den Fahrer wahrnehmbare Signalisierung jedoch unterbleibt.
Ebenso könnten bei einer festgestellten höheren mentalen Beanspruchung des Fahrers Komfortsysteme in den Hintergrund geschaltet werden, um zusätzliche Reize der Wahrnehmung des Fahrers zu reduzieren. Dabei kann eine entsprechend ausgelegte Rückmeldung an den Fahrer erfolgen und eine Möglichkeit bereitgestellt werden, gewünschte Systeme auf möglichst einfache Weise wieder zuschalten zu können. Bei einer Veränderung von Parametern eines Komfortsystems spielt z.B. die Erkennung einer Intention des Fahrers eine Rolle. Deshalb können bei der Klassifizierung des mentalen Zustandes Daten (z.B. aus einem Terminkalender) aus einem Fahrzeugcomputer einfließen, z.B. um die Art der Fahrt und einen etwaigen Termindruck des Fahrers zu determinieren.
Darüber hinaus kann in Abhängigkeit von der vorgenommenen Klassifizierung des mentalen ZuStandes des Fahrers, z.B. wenn ein Zustand deutlicher Überforderung oder Unterforderung festgestellt wird, ein Fahrzeugparameter verändert werden. Beispielsweise können die Fahrdynamik des Fahrzeugs oder sonstige Größen (etwa die Höchstgeschwindigkeit) des Fahrzeugs verändert werden. Denkbar ist auch, dass Parameter eines (z.B. passiven) Sicherheitssystems des Fahrzeugs verändert werden. Beispielsweise könnte der Zeitpunkt des Aktivierens eines Gurtstraffers eines Sicherheitsgurtsystems und/oder des Auslösens eines Airbags des Fahrzeugs verändert (z.B. vorverlegt) werden. Möglich ist auch, dass ein Pre-Crash-System zu einem anderen (insbesondere früheren) Zeitpunkt ausgelöst wird, wobei z.B. ein aufblasbares Element des Pre-Crash- Systems aktiviert und/oder der Bremsdrucks zu einem veränderten Zeitpunkt erhöht und/oder ein automatisches Abbremsen des Fahrzeugs eingeleitet wird.
Darüber hinaus können auch Parameter eines aktiven Sicherheitssystems (etwa eines ESP-Sys- tems) des Fahrzeugs abhängig von der Klassifizierung des mentalen Zustands verändert werden, z.B. auf eine höhere, vorsichtigere Aufmerksamkeitsstufe geschaltet werden. Dies ermöglicht z.B. auch eine bessere Vermeidung von Fehlalarmen, also fälschlich ausgelösten Warnmeldungen, da erkannt werden kann, ob eine Fahrsituation vom Fahrer bewusst herbeigeführt wurde oder ungewollt entstanden und somit kritisch ist.
Denkbar ist auch, dass basierend auf der Klassifizierung des mentalen Zustand des Fahrers feststellt wird, ob und wenn ja in welchem Maße der Fahrer eine Automatisierung des Fahrens wünscht. In manchen Situationen möchte ein Fahrer gezielt Aufgaben abgeben, in anderen aber auch gern selbst das Auto führen und diese Fahrt genießen. Das Bestimmen (die Klassifizierung) des mentalen Zustands des Fahrers ermöglicht z.B. das bessere Erkennen, was vom Fahrer erwünscht ist, und somit z.B. fließendere Übergänge zwischen unterschiedlichen Stufen einer Fahrautomatisierung.
Das erfindungsgemäße Verfahren kann zudem ein energieeffizientes Fahren fördern. Dies wird z.B. ermöglicht durch das Einbeziehen von Umweltfaktoren und z.B. einer Fahrzeug-zu-Fahr- zeug-Kommunikation („Car-2-X-Kommunikation"). Beispielsweise kann erkannt werden, inwiefern eine grüne Ampel noch überfahren werden kann, oder besser eine frühe, langsame Bremsung - natürlich unter Berücksichtigung des Verkehrsflusses - eingeleitet werden soll. Durch die Klassifizierung des Fahrerzustandes könnte zudem eine verbesserte Reaktion auf andere Verkehrsteilnehmer ermöglicht werden. Denkbar wäre auch, zu erkennen, welche Fahrer auf einer vorgebbaren Route gestresst sind, und den Verkehr dementsprechend umzuleiten oder besondere Rücksicht gegenüber diesen Fahrern walten zu lassen.
Gemäß einer Ausgestaltung der Erfindung werden für den Vitalparameter und/oder der Fahrdynamikgröße, die zur Klassifizierung des mentalen Zustandes des Fahrers herangezogen werden, jeweils ein in mindestens einen ersten und einen zweiten Klassifizierungsbereich unterteilter zu erwartender Wertebereich bestimmt, wobei die Klassifizierungsbereiche jeweils unterschiedlichen mentalen Zuständen des Fahrers entsprechen und der gemessene Wert des Vitalparameters oder der Fahrdynamikgröße dem ersten oder dem zweiten Klassifizierungsbereich zugeordnet werden. Die Unterteilung der Wertebereich erfolgt insbesondere individuell (bezogen auf einen bestimmten Fahrer), wobei, wie oben bereits angesprochen, individuelle Klassengrenzwerte festgelegt werden, die die Klassifizierungsbereiche voneinander abgrenzen. Die Festlegung der Klassengrenzwerte kann durch Kalibrierung der zur Bestimmung des Vitalparameters und/oder der Fahrdynamikgröße verwendeten Messvorrichtung auf einen bestimmten Fahrer erfolgen. Beispielsweise kann die Kalibrierung z.B. regelmäßig aktualisiert werden.
Beispielsweise entspricht der dem ersten Klassifizierungsbereich zugeordnete mentale Zustand einer Unterforderung des Fahrers und der dem zweiten Klassifizierungsbereich zugeordnete mentale Zustand des Fahrers einer Überforderung des Fahrers. Möglich ist natürlich auch, dass den Klassifizierungsbereichen andere mentale Zustände (s.o.) zugeordnet werden. Natürlich können auch mehr als zwei Klassifizierungsbereiche verwendet werden, um eine möglichst genaue Klassifizierung des mentalen Zustands zu ermöglichen. Gemäß einer Weiterbildung dieser Ausgestaltung der Erfindung erfolgt das Auswählen einer Signalisierung (eines Signals) dadurch, dass dem ersten Klassifizierungsbereich mindestens ein erstes von dem Fahrer wahrnehmbares Signal und dem zweiten Klassifizierungsbereich mindestens ein zweites von dem Fahrer wahrnehmbares Signal zugeordnet ist (wobei das erste Signal von dem zweiten Signal verschieden ist), wobei das erste Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem ersten Klassifizierungsbereich zugeordnet wurde, und das zweite Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem zweiten Klassifizierungsbereich zugeordnet wurde. Wie oben bereits angedeutet, kann es sich bei dem ersten und dem zweiten Signal um unterschiedliche Arten Signalen oder um Varianten derselben Signalart handeln, etwa jeweils um ein optisches Signal, z.B. um ein erstes Signal, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht bzw. um ein zweites Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht.
Der Wert des Vitalparameters wird z.B. durch Bestimmen der elektrodermalen Aktivität, mittels eines Elektrokardiogramms, einer Blickbewegungsmessung und/oder einer pupillometrischen Messung bestimmt wird. Bei der ggf. erfassten Fahrdynamikgröße handelt es sich z.B. um eine Beschleunigung des Fahrzeugs, die z.B. mit Sensoren eines ESP-Systems des Fahrzeugs bestimmt wird. Des Weiteren können z.B. eine Standardabweichung von der lateralen Position, eine Anzahl von Lenkbewegungen, eine mittlere Differenz zwischen einer erlaubten und der tatsächlich gefahrenen Geschwindigkeit und/oder ein Lenkwinkel als Fahrdynamikgrößen verwendet werden.
Die Erfindung betrifft auch ein Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges, insbesondere zum Durchführen eines wie oben beschriebenen Verfahrens, mit
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;
- einer Klassifizierungsvorrichtung zum Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und - einer Vorrichtung zum Auswählen eines vom Fahrer wahrnehmbaren Signals oder Unterdrücken einer Signalisierung des Fahrzeugs und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers.
Gemäß einem weiteren Aspekt betrifft die Erfindung ein Messverfahren zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, mit den Schritten:
a) Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird;
b) Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und
c) Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeu- gens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer.
Das Messverfahren kann insbesondere dazu dienen, die mentale Belastung, die auf einen Fahrer durch Signalisierungen des Fahrzeugs (insbesondere eines Fahrerassistenzsystems) entsteht, zu bestimmen. Denkbar ist, das oben beschriebene erfindungsgemäße Unterstützungsverfahren auf Basis dieser Messungen durchzuführen, wobei etwa verschiedenen mentalen Zuständen eines Fahrers jeweils adäquate Fahrerassistenzsystemsignale (oder Signale eines anderen Fahrzeugsystems) zugeordnet werden, von denen in Abhängigkeit von der mit dem erfindungsgemäßen Unterstützungsverfahren vorgenommenen Klassifizierung des mentalen Zustandes des Fahrers eines ausgewählt wird.
Sollten die mit Hilfe des erfindungsgemäßen Messverfahrens durchgeführten Messungen z.B. ergeben, dass ein optisches Signal, das vorwiegend den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht, ein geringere Belastung des Fahrers erzeugt als andere Signale (z.B. als ein visuell wahrnehmbares Signal, das den ambienten Wahrnehmungskanal des Fahrers an- spricht), könnte einem mentalen Überforderungszustand ein derartiges optisches Signal zugeordnet werden, um eine möglichst geringe zusätzliche mentale Belastung des Fahrers zu erzeugen.
Das Messverfahren wird insbesondere mit Hilfe eines Fahrsimulators durchgeführt, der unterschiedliche Signale, wie sie z.B. typischerweise von Fahrerassistenzsystemen erzeugt werden, generieren kann. Beispielsweise handelt es sich bei dem ersten und/oder dem zweiten Signal des Messverfahrens um ein von dem Fahrer visuell, auditiv, taktil und/oder olfaktorisch wahrnehmbares Signal. Es wird darauf hingewiesen, dass das erste und das zweite Signal durchaus aus einer Sprachinformation bestehen kann, die einer Testperson übermittelt wird; z.B. eine ihm etwa akustisch (z.B. per Lautsprecher) oder visuell (etwa per Anzeige auf einem Display) übermittelte Aufgabenstellung.
Darüber hinaus können die Schritte a) bis c) mehrfach durchgeführt werden, wobei die Art des ersten Signals und/oder die Art des zweiten Signals bei jeder Durchführung verschieden sind. Die Wiederholungen dienen dazu, die mentale Belastung von einer Mehrzahl von Kombinationen der Signale zu bestimmen. Beispielsweise erfolgen mindestens zwei Durchführungen der Schritte a) bis c), wobei bei der ersten Durchführung als erstes und/oder zweites Signal ein visuell wahrnehmbares Signal und bei der zweiten Durchführung ein akustisches Signal verwendet wird. Denkbar ist auch, dass bei der ersten Durchführung als erstes und/oder zweites Signal eines ersten Typs und bei der zweiten Durchführung ein visuell wahrnehmbares Signal eines zweiten Typs verwendet wird. Gemäß einer Weiterbildung dieser Variante handelt es sich bei dem bei dem visuell wahrnehmbares Signal des ersten Typs um ein Signal, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht, und bei dem visuell wahrnehmbares Signal des zweiten Typs um ein Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht. Denkbar ist natürlich z.B. auch, dass unterschiedliche akustische Signale verwendet werden. Mögliche Signale und mögliche Arten von zu erwartenden Handlungen sind unten in Tabelle 1 zusammengestellt.
Der Wert des mindestens einen Vitalparameters wird z.B. durch Bestimmen der elektrodermalen Aktivität, mittels eines Elektrokardiogramms, einer Blickbewegungsmessung und/oder einer pu- pillometrischen Messung bestimmt. Die herangezogenen Vitalparameter des Fahrers sind entsprechend z.B. die Folgenden: - eine elektrodermale Aktivität (EDA);
- mit Hilfe eines Elektrokardiogramms (EKG) bestimmte Größen wie nicht-spezifische Fluktuationen, ein tonisches Level, die Herzrate, die Herzratenvariabilität (0.1 -Komponente), wobei auch ein Referenz EDA und EKG (nicht-spezifische Fluktuationen, tonisches Level, Herzrate, Herzratenvariabilität (0.1 -Komponente) bestimmt werden kann;
- mit Hilfe einer Blickbewegungsmessung bestimmte Größen wie Blickrichtung, Fixationsanzahl auf bestimmten Zielgebieten („Areas of interest" - AOI), Fixationsdauer auf AOI, Fixationsort, Sakkadenanzahl, Sakkadendauer, Lidschlussfrequenz;
- mit Hilfe der Pupillometrie bestimmte Größen wie die Amplitude der Veränderungen in phasischen Pupillenerweiterungen (z.B. zwischen 0,1 - 0,6 mm),„Index of cognitive activity (ICA)" - Index der kognitiven Aktivität
Einige der o.g. Vitalparameter können mittels einer Messvorrichtung bestimmt werden, die in ein Lenkrad eines Fahrzeugs integriert ist. Beispielweise umfasst die Messvorrichtung mindestens eine Elektrode, die an einem Lenkradkranz des Lenkrades angeordnet ist.
Bei der mindestens einen mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße handelt es sich z.B. um eine Standardabweichung von der lateralen Position, die Anzahl der Lenkbewegungen, die mittlere Differenz zwischen einer erlaubten und der tatsächlich gefahrenen Geschwindigkeit und/oder den Lenkwinkel. Bei Durchführung des erfindungsgemäßen Verfahrens mit Hilfe eines Fahrsimulator ergeben sich diese Größen aus den Fahrsimulatordaten.
Da eine Anzahl von unterschiedlichen Einflussparametern (Kovariabeln) das Ergebnis des Messverfahrens beeinflussen können, werden diese z.B. ebenfalls erfasst und kontrolliert. Beispielsweise werden folgende Kovariabeln der Testfahrer (Testpersonen) untersucht: Geschlecht, Alter, Fahrerfahrung, ggf. Simulatorerfahrung, letzte Handwäsche, letzte sportliche Aktivität, Drogen- und Koffeinkonsum, aktueller mentaler Zustand (z.B. müde oder erholt), Uhrzeit, Temperatur, Lärm, Fahrbahnbeschaffenheit, Straßenzustand, Jahreszeit, Luftfeuchtigkeit, Wind, Fahrzeugtyp und/oder Verkehrsdichte.
Die Durchführung des Messverfahrens erfolgt beispielweise folgendermaßen: Es werden EDA & EKG Messsonden an die Testperson angelegt. Um sog.„non-responder" (ca. 5% der Bevölkerung), also Personen, bei denen sich kein EDA-Signal erfassen lässt, zu identifizieren, werden die Testpersonen aufgefordert, einen tiefen Atemzug zu nehmen und den Atem anzuhalten. Damit wird ebenfalls ein Basislevel von EDA und EKG erzeugt und gemessen.
Darauf folgend werden z.B. zwei Fragebögen ausgefüllt (z.B. gemäß„NASA Task Load Index" - NASA-TLX - NASA-Belastungsindex und/oder„SAM" - Self-Assessment Manikin - Selbstein- schätzungs-Manikin), um die Grundbeanspruchung und das allgemeine Erregtheitslevel der Testperson zu erfassen. Dann wird der Testperson beispielsweise ein demographischer Fragebogen vorgelegt, insbesondere um die oben bereits erwähnten Kovariabeln Geschlecht, Alter, Fahrerfahrung, Simulator Erfahrung, letzte Handwäsche, letzte sportliche Aktivität, Drogen- und Koffeinkonsum und den aktuellen mentalen Zustand zu erfassen. Der Versuchsleiter füllt derweil einen Versuchsprotokollbogen zu Uhrzeit, Temperatur, Lärm, Fahrbahnbeschaffenheit, Straßenzustand, Jahreszeit, Luftfeuchtigkeit Wind und Fahrzeugtyp aus. Die Verkehrsdichte und eventuell auftretende Lärmstörungen werden während des Versuchs protokolliert.
Daraufhin werden eine Blickbewegungsmessungsapparatur und eine Pupillometrieapparatur kalibriert. Danach wird den der Testperson etwa ermöglicht, im Fahrsimulator oder im Realfahrzeug Probe zu fahren. Nach einiger Übungszeit wird ein Basislevel der Fahrleistung und der betreffenden Fahrdynamikgrößen erfasst. Bei der eigentlichen Durchführung einer Messung kommen je nach Zielrichtung der Messung unterschiedliche Aufgaben, d.h. vom Fahrer (von der Testperson) erwartete Handlungen zum Tragen. Die Aufgaben sind insbesondere dazu ausgelegt, unterschiedliche Input- und Outputmodalitäten der Wahrnehmung der Testperson zu prüfen.
Des Weiteren kann zwischen der Überprüfung einer reinen Reaktionsleistung (z.B. die Anforderung,„Ja" zu sagen, wenn ein Stimuli in Form des ersten Signals präsentiert wird) und den unterschiedlichen Ebenen einer kognitiv beanspruchenden Aufgabe (z.B. leicht, mittel und schwer) unterschieden werden. Aufgaben, die nicht unmittelbar relevant für die Fahraufgabe (d.h. die „erste Handlung") sind, werden als Sekundäraufgaben („zweite Handlung") bezeichnet. Sekundäraufgaben dienen dazu, durch unterschiedliche Beanspruchungsgrade (d.h. insbesondere durch Ausgestaltungen des„zweiten Signals") die Inanspruchnahme des Fahrers in den Fahrdaten durch seine Fahrleistung deutlich zu machen. Es können z.B. die in der folgenden Tabelle 1 zusammengestellten ersten und zweiten Signale bzw. erste und zweite Handlungen verwendet werden, die zur Erfassung einer mentalen Beanspruchung insbesondere miteinander kombiniert werden:
Figure imgf000013_0001
Im Fall von Nr. 1 wird der Testperson ein visueller Reiz als erstes wahrnehmbares Signal (z.B. eine aufleuchtende LED) dargeboten, auf den die Testperson verbal (z.B. mit„Ja") reagieren soll ("erwartete erste Handlung"). Im zweiten Fall wird der Testperson ebenfalls ein visueller Reiz als erstes wahrnehmbares Signal (z.B. ebenfalls eine aufleuchtende LED) dargeboten, auf den sie motorisch (z.B. durch Drücken einer Taste) reagieren muss. Im dritten Fall wird der Testperson eine kognitive Aufgabe gestellt und zwar mittels eines visuellen zweiten Signals (z.B. eine Anzeige auf einem Display), die sie verbal („erwartete zweite Handlung"), z.B. durch Richtungsanweisungen, erledigen muss.
Im vierten Fall wird der Testperson z.B. ebenfalls auf einem Display eine kognitive Aufgabe geben, die sie durch Bedienung über Tasten oder direkt auf einem Touchdisplay motorisch bearbeiten kann. Im fünften Fall muss die Testperson auf ein ersten Signal in Form eines akustischen Reizes (über Lautsprecher) verbal (z.B. mit„Ja") reagieren, im sechsten Fall motorisch durch das Drücken einer Taste. Im siebten Fall wird der Testperson mittels eines zweiten Signals in Form eines akustischen Signals (ebenfalls über Lautsprecher) eine Aufgabe dargeboten, die sie durch verbales Beantworten bearbeiten muss (beispielsweise soll die Lösung der Aufgabe gesprochen werden).
Im achten Fall wird der Testperson wiederum mittels eines zweiten Signals in Form eines akustischen Signals akustisch (über Lautsprecher) eine Aufgabe dargeboten, deren Lösung sie über ein Display mittels Tasten oder einer Touchoberfläche eingeben soll („erwartete zweite Handlung"). Im neunten Fall wird ein Reiz („erstes Signal") gleichzeitig visuell und akustisch dargeboten (z.B. erscheint eine Anzeige auf einem Display und es erfolgt gleichzeitig eine Anweisung per Lautsprecher), wobei die Testperson auf dieses erste Signal verbal (z.B. mit„Ja") reagieren soll.
Im zehnten Fall wird ebenfalls ein visuell und akustisches erstes Signal dargeboten (z.B. erscheint wieder eine Anzeige auf einem Display und es erfolgt zudem eine Anweisung per Lautsprecher), wobei die Testperson darauf motorisch (z.B. durch Drücken einer Taste) reagieren soll. Im elften Fall wird eine Aufgabe durch ein zweite Signal in Form eines sowohl visuellen als auch akustischen Signals dargeboten (z.B. durch die erwähnte Kombination einer Anzeige auf einem Display und einer Anweisung per Lautsprecher), wobei die erwartete zweite Handlung darin besteht, dass die Testperson die Lösung der Aufgabe laut sagen soll. Im zwölften Fall wird eine Aufgabe gleichzeitig ebenfalls visuell und akustisch dargeboten, wobei die Testperson die Lösung der Aufgabe als erwartete zweite Handlung über Tasten oder direkt auf einem berührungsempfindlichen Dis- play (Touchdisplay) motorisch eingeben soll. Wie erwähnt, können die in der Tabelle zusammengestellten Varianten miteinander kombiniert werden. Insbesondere können die dort enthaltenen ersten Signale und ersten Handlungen mit den in der Tabelle genannten zweiten Signalen und zweiten Handlungen kombiniert werden. Die zweiten Signale werden insbesondere zeitlich nach den ersten Signalen erzeugt.
Die akustischen ersten und/oder zweiten Signale können z.B. in Form der folgenden akustisch bzw. visuell übermittelten Aufgabenstellungen ausgestaltet sein (Tabelle 2):
Figure imgf000015_0001
Die Art der mittels des es ersten und/oder zweiten Signals übermittelten Aufgabenstellung besteht entweder in einer lediglich eine Reaktion der Testperson erfordernden oder einer mental beanspruchenden Aufgabe (kognitiv). Die„N-back"-Aufgabe ist eine spezifische Beanspruchungsaufgabe, die eine leichte, mittlere und schwere Stufe hat. Dabei muss in der leichten Stufe eine Versuchsperson eine Zahl wiederholen, die ihm in der akustischen Modalität präsentiert wurde (Beispiel: Präsentation = 3, Versuchsperson antwortet„3"), in der mittleren muss die Versuchsperson die Zahl nennen, die vor der letzten Zahl präsentiert wurde (Beispiel: Präsentation = 3 - 5 - 2 - 1 , Versuchsperson antwortet„-",„3",„5",„2"), dies schließt also Gedächtnisaufwand mit ein, und in der schweren Stufe muss die Versuchsperson die Zahl nennen, die vor der vorletzten Zahl präsentiert wurde (Beispiel: Präsentation = 3 - 5 - 2- 1 , Versuchsperson antwortet„-",„-", „N-Back mit Schnittstelleninteraktion" bedeutet, dass die Testperson nicht verbal antwortet, sondern per Eingabemittel (z.B. Schalter oder Touchscreen) die Zahl auswählt und damit manuell über eine Schnittstelle (zu einer Maschine) ausgibt. Deshalb entspricht dies der Ausgabemodalität„motorisch" in Tabelle 1 .
Die Aufgaben werden der Testperson entweder akustisch (insbesondere per Lautsprecherdurchsage), visuell (insbesondere per Anzeige auf einem Display) oder akustisch-visuell (insbesondere sowohl per Lautsprecher als auch über eine Anzeige auf einem Display) übermittelt.
Die per erstem und/oder zweitem Signal übermittelten Aufgaben werden z.B. mit der Testperson ausreichend geübt, bis sie vollständig verstanden und beherrscht werden, um Lerneffekte oder Missverständnisse auszuschließen. Ziel dabei ist es insbesondere, die genauen individuellen Muster bei unterschiedlichen Beanspruchungen des Fahrers zu klassifizieren. Mit individuellem Mustern sind die Ausprägungen der Beanspruchungen in den physiologischen Daten (EDA, EKG, Blickbewegung, Pupillometrie) gemeint, die je nach Individuum starken Schwankungen unterliegen. Es ist Ziel, anhand dieser Muster die Fahrfähigkeit zu erkennen und eine dementsprechend passende Anpassung des Fahrzeugs (Assistenzsysteme und Komfortfunktionen) vorzunehmen, wie oben in Bezug auf den ersten Erfindungsaspekt beschrieben. Das erfindungsgemäße Messverfahren könnte daher auch in einem Serienfahrzeug implementiert sein.
Am Ende der Testung (d.h. nach Beendigung des erfindungsgemäßen Messverfahrens, insbesondere nach Beendigung mehrerer Durchläufe des erfindungsgemäßen Messverfahrens) kann zudem die maximal mögliche Spannweite des EDA-Signals getestet werden. Dies kann etwa durch die sogenannte„Shockpattern-Methode" durchgeführt werden, wobei z.B. durch einen lauten Knall (z.B. in dem der Versuchsleiter auf den Tisch schlägt) eine unwillkürliche Reaktion der Testperson hervorgerufen wird. Selbstverständlich muss eine Methode gewählt werden, die schadensfrei und harmlos für den Probanden ist. Am Ende des Messverfahrens füllt die Testperson z.B. nochmals die Fragebögen NASA-TLX und SAM aus.
Die Erfindung betrifft auch Messsystem zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, mit
- einer Erzeugungsvorrichtung zum Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird, und zum Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeugens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer.
Das erfindungsgemäße Messsystem ist insbesondere Teil eines Fahrsimulators oder arbeitet mit einem Fahrsimulator zusammen. Denkbar ist allerdings auch, dass das Messsystem in einem Fahrzeug (z.B. auch in einem Serienfahrzeug) angeordnet ist. In beiden Fällen kann die Messvorrichtung des Messsystems in ein Lenkrad integriert sein. Denkbar ist z.B., dass in das Lenkrad Elektroden und/oder andere Sensoren zur Durchführung einer EDA- und/oder EKG-Messung in das Lenkrad integriert sind.
Die Erfindung wird im Folgenden anhand von Ausführungsbeispielen unter Bezugnahme auf die Figuren näher erläutert. Es zeigen:
Fig. 1 den Wickens-Würfel; und
Fig. 2 ein Lenkrad zur Durchführung des erfindungsgemäßen Messverfahrens.
Ein bekanntes Modell der menschlichen Informationsaufnahme und -Verarbeitung und der Reaktion auf eine Information ist der in Fig. 1 dargestellte sog. Wickens-Würfel. Das mit diesem Würfel dargestellte Wickens-Modell setzt unterschiedliche Aspekte (Modalitäten, involvierte Sinneskanäle, Codes und Stufen) der Informationsverarbeitung miteinander in Verbindung. Die Aspekte (Ressourcen) werden insbesondere jeweils als dichotom angesehen. Grundsätzlich wird das menschliche Verhalten in die Phasen„Wahrnehmung",„Speicherung und Verarbeitung" (kognitive Arbeit) und das Produzieren einer Antwortreaktion eingeteilt. Die Wahrnehmungsformen („Wahrnehmungsmodalitäten") werden in visuelle, auditive oder taktile Informationen unterteilt, wobei davon ausgegangen wird, dass diese unterschiedlichen Modalitäten unterschiedlich verarbeitet werden. Innerhalb der visuellen Modalität befinden sich zudem zwei visuelle Sinneskanäle, nämlich ein fokaler und ein ambienter Kanal. Die hauptsächliche Aufgabe des fokalen Kanals ist die Objekterkennung, während der ambiente Kanal für die Wahrnehmung von Bewegung und der Orientierung zuständig ist. Unter den unterschiedlichen„Codes" versteht man zum einen die spatiale, analoge Speicherung von Informationen und zum anderen die verbalen, symbol- oder bildhaften Speicherung. Als„Stufen" werden unterschiedliche Verarbeitungsressourcenebenen bezeichnet.
Mit Hilfe des erfindungsgemäßen Messverfahrens ist es möglich, bei einer Bestimmung eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges zwischen der reinen Reizaufnahme (basierend auf einem dem Fahrer präsentierten„ersten Signal") und der kognitiven Verarbeitung (basierend auf einem dem Fahrer präsentierten„zweiten Signal") zu unterscheiden. Darüber hinaus kann bei einer Untersuchung der Auswirkung der aufgenommenen Information auf den mentalen Zustand des Fahrers zwischen Informationen, die in unterschiedlichen Modalitäten (insbesondere visuell, auditiv oder taktil) aufgenommenen werden, unterschieden werden. Die mit Hilfe des erfindungsgemäßen Messverfahrens gewonnenen Erkenntnisse können insbesondere dazu verwendet werden, die Signalisierung eines Fahrzeuges (etwa eines Fahrerassistenzsystems) anzupassen (z.B. fahrerindividuell), wie oben erläutert.
In Fig. 2 ist ein Lenkrad 1 dargestellt, das eine Messvorrichtung 2 umfasst, die Bestandteil eines erfindungsgemäßen Messsystems (nicht dargestellt) zur Durchführung des oben erläuterten Messverfahrens ist. Die übrigen Bestandteile des Messsystems könnten zusammen mit dem Lenkrad 1 in ein Fahrzeug integriert sein. Insbesondere könnte das Lenkrad als Bestandteil des erfindungsgemäßen Unterstützungssystems auch in einem Serienfahrzeug eingebaut sein.
Die Messvorrichtung 2 ist dazu ausgebildet, verschiedene Vitalparameter („psychophysiologischen Parameter"), die mit dem mentalen Zustand eines Fahrers korrelieren, zu bestimmen. Insbesondere weist die Messvorrichtung Elektroden 21 , 22 auf, die jeweils als EKG- und/oder EDA- Elektrode dienen. Bei den Elektroden 21 , 22 handelt es sich z.B. um Trockenelektroden. Die Elektroden 21 , 22 erstrecken sich zusammen über nahezu den gesamten äußeren Umfang des Lenkradkranzes, um sicherzustellen, dass der Fahrer sich in Kontakt mit zumindest einer der Elektroden befindet. Des Weiteren weisen die Elektroden 21 , 22 eine große Oberfläche auf; z.B. erstrecken sie sich auch (z.B. zumindest näherungsweise vollständig) um ein Skelett des Lenkradkranzes herum, d.h. sie erstrecken sich über einen Großteil des Umfanges des Lenkradskeletts, der in einer senkrecht zum äußeren Umfang orientierten Ebene liegt. Die Elektroden 21 , 22 besitzen insbesondere an den üblichen Griffstellen eines Lenkrads eine besonders große Fläche.
Der aktuelle mentale Zustand des Fahrers wird sich in (insbesondere fahrerspezifischen) EDA- und/oder EKG-Werten niederschlagen, die zum einen dazu genutzt werden können, im Rahmen des erfindungsgemäßen Messverfahrens die Auswirkungen verschiedener Reize auf seinen mentalen Zustand zu bestimmen oder in einem Serienfahrzeug den mentalen Zustand des Fahrers zu klassifizieren und anhand der Klassifizierung eine Signalisierung des Fahrzeugs anzupassen, wie oben erläutert.
Die in das Lenkrad 1 integrierte Messvorrichtung weist zudem eine Auswerteeinheit 23 auf, die die von den Elektroden 21 , 22 aufgenommenen elektrischen Signale erfasst und auswertet. Beispielsweise erfasst die Auswerteeinheit 23 eine Herzrate des Fahrers. Die Quelle des menschlichen Herzschlags ist ein elektrischer Impuls, der durch ein Cluster von Zellen innerhalb des Herzens erzeugt wird. Da dieser Impuls über den Blutstrom übertragen wird, kann sie als Potentialdifferenz zwischen zwei Punkten auf dem Körper nachgewiesen werden. Die Elektroden 21 , 22 des Lenkrades 1 sind so ausgebildet, dass die Herzaktivität des Fahrers als Potentialdifferenz zwischen beiden Händen des Fahrers erfasst werden kann. Die Elektroden 21 , 22 bestehen hierfür jeweils aus zwei Segmenten und die Auswerteeinheit 23 weist einen Differenzverstärker, um sehr kleine Potentialdifferenzen registrieren zu können, sowie eine Verarbeitungseinheit zum Herausfiltern von Störsignalen auf.
Die Elektroden 21 , 22 dienen zudem als Temperatursensoren, mit denen die Hauttemperatur als weiterer Vitalparameter bestimmt werden kann. Die Körpertemperatur (und damit die Hauttemperatur) gilt als ein Indikator für den mentalen Zustand des Fahrers und wird als Thermoregulation durch das zentrale Nervensystem gesteuert. Die normale Hauttemperatur der Hand variiert im Bereich zwischen 20 ° C und 40 ° C. Durch Steuerung des zentralen Nervensystems kann die Körpertemperatur durch den Schwei ß-Prozess reguliert werden. So gibt die Aktivität der Schweißdrüsen eine Rückmeldung über das sympathische Nervensystem und ist ein Merkmal, um den Fahrerzustand zu beurteilen.
Ekkrine Schweißdrüsen haben eine weite Verbreitung im ganzen Körper, vor allem an den Händen, Füßen und Stirn. Ihre Dichte auf der Hand beträgt über 2000/cm2. Ekkriner Schweiß besteht aus Wasser und Salzen, mit dem die Drüsen entweder gefüllt sind oder nicht. Deshalb kann die Aktivität der Schweißdrüsen elektrisch als Leitfähigkeitsänderung der Haut gemessen werden. Im Allgemeinen ist die Leitfähigkeitsänderung der menschlichen Haut im Bereich zwischen 0 und 50 oder äquivalent der Widerstand der menschlichen Haut zwischen 20kQ und unendlich. Entsprechend können die Elektroden 21 , 22 zur Messung der Leitfähigkeit der Haut des Fahrers ausgebildet sein.
Die Leitfähigkeitsmessung erfolgt insbesondere auf der Grundlage des Spannungsteilerprinzips, bei dem zwei Kontakte auf der Haut erforderlich sind. Ein Pol ist z.B. auf eine Gleichspannung von 0,5 V eingestellt, und der andere dient der Potentialmessung, die von der Drüsenaktivität abhängig ist. Der Widerstandswert des Spannungsteilerwiderstands ist eingestellt auf z.B. 180kQ. Das bedeutet insbesondere, dass eine Spannung an dem Widerstand anliegt, die zwischen 0 V und 0,25 V variiert. Dieses Signal wird z.B. 8-fach verstärkt und insbesondere ein Tiefpass mit einer Grenzfrequenz von z.B. 10 Hz zur Ausfilterung des EDA-Signals darüber gelegt.
Es wird angemerkt, dass eine Gleichspannung von 0.5V nicht gefährlich für den Menschen ist. Die maximal zulässige Spannung beträgt 0.7V, um Nervenzellenanregung zu verhindern. Auch können keine Zellen Schäden durch Erhitzen oder Verbrennen nehmen, da die maximale Eingangsstromstärke z.B. 0,5V x 0,5V x δθμβ = 12.5 μΑ ist.
Der Temperaturbereich für den Betrieb des Lenkrads und die Elektroden 21 , 2 liegt z.B. zwischen -40 ° C und +85 ° C. Die Lagerung des Lenkrades ist z.B. bei Temperaturen zwischen -40 ° C und +125 ° C möglich, wobei in diesem Temperaturbereich eine relative Luftfeuchtigkeit zwischen 5 und 95% zu erwarten ist.

Claims

Patentansprüche
1 . Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeuges, mit den Schritten:
- Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;
- Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und
- Erzeugen eines vom Fahrer wahrnehmbaren Signals durch ein Fahrerassistenzsystem des Kraftfahrzeuges, wobei das Signal aus einer Mehrzahl verschiedener Signale in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers ausgewählt wird, oder Unterdrücken eines Signals des Fahrerassistenzsystems und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass es sich bei dem Signal und/oder dem Fahrzeugparameter um ein Signal oder einen Parameter einer Sicherheitseinrichtung, eines Fahrerassistenzsystems, einer Einrichtung zum Beeinflussen der Fahrdynamik und/oder eines Komfortsystems des Fahrzeugs handelt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass für den Vitalparameter und/oder der Fahrdynamikgröße jeweils ein in mindestens einen ersten und einen zweiten Klassifizierungsbereich unterteilter zu erwartender Wertebereich bestimmt wird, wobei die Klassifizierungsbereiche jeweils unterschiedlichen mentalen Zuständen des Fahrers entsprechen und der gemessene Wert des Vitalparameters oder der Fahrdynamikgröße dem ersten oder dem zweiten Klassifizierungsbereich zugeordnet werden.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der zu erwartende Wertebereich in mehr als zwei Klassifizierungsbereiche unterteilt wird.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass der dem ersten Klassifizierungsbereich zugeordnete mentale Zustand einer Unterforderung des Fahrers und der dem zweiten Klassifizierungsbereich zugeordnete mentale Zustand des Fahrers einer Überforderung des Fahrers entspricht.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Kraftfahrzeug ein Signal erzeugt, das signalisiert, dass eine Handlung des Fahrers erwartet wird, wobei dieses Signal in Abhängigkeit von der Klassifizierung des mentalen Zustands des aus einer Mehrzahl von dem Kraftfahrzeug bereitgestellter Signale ausgewählt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Signal des Fahrzeugs durch ein Fahrerassistenzsystem und/oder ein Komfortsystem des Fahrzeugs erzeugt wird.
8. Verfahren nach einem der vorhergehenden Ansprüche soweit rückbezogen auf Anspruch 3, dadurch gekennzeichnet, dass
- dem ersten Klassifizierungsbereich mindestens ein erstes von dem Fahrer wahrnehmbares Signal und dem zweiten Klassifizierungsbereich mindestens ein zweites von dem Fahrer wahrnehmbares Signal zugeordnet ist, wobei das erste Signal von dem zweiten Signal verschieden ist,
- und wobei das erste Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem ersten Klassifizierungsbereich zugeordnet wurde, und das zweite Signal erzeugt wird, wenn der gemessene Wert des Vitalparameters dem zweiten Klassifizierungsbereich zugeordnet wurde.
9. Unterstützungssystem zum Unterstützen eines Fahrers eines Kraftfahrzeuges, insbesondere zum Durchführen eines Verfahrens gemäß einem der Ansprüche 1 bis 8, mit
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße;
- einer Klassifizierungsvorrichtung zum Klassifizieren des mentalen Zustands des Fahrers anhand des gemessenen Wertes des Vitalparameters oder der Fahrdynamikgröße; und
- einer Vorrichtung zum Auswählen eines vom Fahrer wahrnehmbaren Signals oder Unterdrücken einer Signalisierung des Fahrzeugs und/oder Auswählen mindestens eines Fahrzeugparameters in Abhängigkeit von der Klassifizierung des mentalen Zustands des Fahrers.
10. Messverfahren zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, mit den Schritten:
a) Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird;
b) Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und
c) Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeugens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer.
1 1. Messverfahren nach Anspruch 10, dadurch gekennzeichnet, dass es sich bei dem ersten und/oder dem zweiten Signal um von dem Fahrer visuell, auditiv, taktil und/oder olfaktorisch wahrnehmbares Signal handelt.
12. Messverfahren nach Anspruch 10 oder 1 1 , dadurch gekennzeichnet, dass die Schritte a) bis c) mehrfach durchgeführt werden, wobei bei jeder Durchführung verschiedene erste und/oder zweite Signale verwendet werden.
13. Messverfahren nach Anspruch 12, dadurch gekennzeichnet, dass mindestens zwei Durchführungen der Schritte a) bis c) erfolgten, wobei bei der ersten Durchführung als erstes und/oder zweites Signal ein visuell wahrnehmbares Signal eines ersten Typs und bei der zweiten Durchführung ein visuell wahrnehmbares Signal eines zweiten Typs verwendet wird.
14. Messverfahren nach Anspruch 13, dadurch gekennzeichnet, dass es sich bei dem visuell wahrnehmbares Signal des ersten Typs um ein Signal handelt, das den fokalen visuellen Wahrnehmungskanal des Fahrers anspricht, und bei dem visuell wahrnehmbares Signal des zweiten Typs um ein Signal, das den ambienten Wahrnehmungskanal des Fahrers anspricht.
15. Messverfahren nach einem der Ansprüche 10 bis 14, dadurch gekennzeichnet, dass der Wert des Vitalparameters durch Bestimmen der elektrodermalen Aktivität, mittels eines Elektrokardiogramms, einer Blickbewegungsmessung und/oder einer pupillometrischen Messung bestimmt wird.
16. Messverfahren nach einem der Ansprüche 10 bis 15, dadurch gekennzeichnet, dass für den mindestens einen Vitalparameter ein in mindestens einen ersten und einen zweiten Klassifizierungsbereich unterteilter zu erwartender Wertebereich bestimmt wird, wobei die Klassifizierungsbereiche jeweils unterschiedlichen mentalen Zuständen des Fahrers entsprechen und der gemessene Wert des Vitalparameters dem ersten oder dem zweiten Klassifizierungsbereich zugeordnet werden.
17. Messsystem zum Bestimmen eines mentalen Zustandes eines Fahrers eines Kraftfahrzeuges, insbesondere zum Durchführen eines Messverfahrens gemäß einem der Ansprüche 10 bis 16, mit
- einer Erzeugungsvorrichtung zum Erzeugen eines von dem Fahrer wahrnehmbaren ersten Signals, das dem Fahrer signalisiert, dass von ihm eine erste Handlung erwartet wird, und zum Erzeugen eines von dem Fahrer wahrnehmbaren zweiten Signals, das dem Fahrer signalisiert, dass von ihm eine zweite vorgegebene Handlung erwartet wird, wobei das erste Signal von dem zweiten Signal und/oder die erwartete erste Handlung verschieden ist von der erwarteten zweiten Handlung; und
- einer Messvorrichtung zum Messen mindestens eines Wertes mindestens eines mit dem mentalen Zustand des Fahrers korrelierten Vitalparameters des Fahrers und/oder mindestens eines Wertes mindestens einer mit dem mentalen Zustand des Fahrers korrelierten Fahrdynamikgröße während des Erzeugens des ersten Signals und/oder des Vornehmens der ersten Handlung durch den Fahrer sowie während des Erzeugens des zweiten Signals und/oder des Vornehmens der zweiten Handlung durch den Fahrer.
18. Messsystem nach Anspruch 17, dadurch gekennzeichnet, dass die Messvorrichtung (2) in ein Lenkrad (1 ) eines Kraftfahrzeuges integriert ist.
PCT/EP2013/072056 2012-10-22 2013-10-22 Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges WO2014064095A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/437,542 US20150258995A1 (en) 2012-10-22 2013-10-22 Method and Assistance System for Assisting a Driver of a Motor Vehicle as well as Measuring Method and Measuring System for Determining a Mental State of a Driver of a Motor Vehicle
JP2015537304A JP2016500874A (ja) 2012-10-22 2013-10-22 自動車両の運転者を支援する方法及び支援システム並びに自動車両の運転者の精神状態を決定する測定方法及び測定システム
EP13791942.9A EP2909827A1 (de) 2012-10-22 2013-10-22 Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012110059.4 2012-10-22
DE102012110059 2012-10-22

Publications (1)

Publication Number Publication Date
WO2014064095A1 true WO2014064095A1 (de) 2014-05-01

Family

ID=49585357

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/072056 WO2014064095A1 (de) 2012-10-22 2013-10-22 Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges

Country Status (4)

Country Link
US (1) US20150258995A1 (de)
EP (1) EP2909827A1 (de)
JP (1) JP2016500874A (de)
WO (1) WO2014064095A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170485A (ja) * 2015-03-11 2016-09-23 株式会社リコー 警告装置、移動体及び警告方法
DE102016221873A1 (de) * 2016-11-08 2018-05-09 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführung in Abhängigkeit eines Insassen
WO2019162739A1 (en) * 2018-02-23 2019-08-29 Pavani Das Vehicles turn enhancement system

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US12076149B2 (en) 2010-06-07 2024-09-03 Affectiva, Inc. Vehicle manipulation with convolutional image processing
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US9296299B2 (en) * 2011-11-16 2016-03-29 Autoconnect Holdings Llc Behavioral tracking and vehicle applications
CN106427570A (zh) * 2015-08-13 2017-02-22 华邦电子股份有限公司 行动载具安全装置及其安全监控方法
JP6729482B2 (ja) * 2017-05-08 2020-07-22 トヨタ自動車株式会社 車両用制御装置
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US20180357580A1 (en) * 2017-06-09 2018-12-13 Ford Global Technologies, Llc Vehicle driver workload management
EP3416147B1 (de) * 2017-06-13 2020-01-15 Volvo Car Corporation Verfahren zur bereitstellung von schläfrigkeitsalarmen in fahrzeugen
US11620419B2 (en) 2018-01-24 2023-04-04 Toyota Research Institute, Inc. Systems and methods for identifying human-based perception techniques
US10578456B2 (en) * 2018-03-28 2020-03-03 Intel Corporation Safety enhanced computer assisted driving method and apparatus
KR102485441B1 (ko) * 2018-09-03 2023-01-06 현대자동차주식회사 차량 및 차량 시스템
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11944420B2 (en) * 2020-08-26 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Electrodermal activity acquisition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10103401A1 (de) * 2001-01-26 2002-08-01 Daimler Chrysler Ag Gefahrenabwendungssystem für ein Fahrzeug

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6013853B2 (ja) * 1974-03-05 1985-04-10 株式会社日本自動車部品総合研究所 ドライバアシスタント方式
JPH04122242A (ja) * 1990-09-12 1992-04-22 Mazda Motor Corp 覚醒状態判定装置
JP2000062635A (ja) * 1998-08-18 2000-02-29 Mitsubishi Motors Corp 衝突警報装置
KR100382154B1 (ko) * 2000-02-22 2003-05-01 박원희 운전자 상태 감시장치
JP2004050888A (ja) * 2002-07-17 2004-02-19 Mitsuba Corp 眠気覚醒装置
JP4882499B2 (ja) * 2006-05-10 2012-02-22 株式会社デンソー 速度情報提供装置及びプログラム
JP4259587B2 (ja) * 2007-03-30 2009-04-30 株式会社デンソー データベース装置、注意喚起装置及び運転支援装置
JP4492652B2 (ja) * 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP4992959B2 (ja) * 2009-11-30 2012-08-08 株式会社デンソー 衝突回避支援装置、および衝突回避支援プログラム
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10103401A1 (de) * 2001-01-26 2002-08-01 Daimler Chrysler Ag Gefahrenabwendungssystem für ein Fahrzeug

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016170485A (ja) * 2015-03-11 2016-09-23 株式会社リコー 警告装置、移動体及び警告方法
DE102016221873A1 (de) * 2016-11-08 2018-05-09 Bayerische Motoren Werke Aktiengesellschaft Fahrzeugführung in Abhängigkeit eines Insassen
WO2019162739A1 (en) * 2018-02-23 2019-08-29 Pavani Das Vehicles turn enhancement system

Also Published As

Publication number Publication date
EP2909827A1 (de) 2015-08-26
US20150258995A1 (en) 2015-09-17
JP2016500874A (ja) 2016-01-14

Similar Documents

Publication Publication Date Title
WO2014064095A1 (de) Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges
Wang et al. A novel real-time driving fatigue detection system based on wireless dry EEG
EP2457511B1 (de) Signalerfassungsvorrichtung zur Erfassung eines Differenzsignals für eine elektrische Messung eines Vitalparameters eines Lebewesens und Verfahren
DE102018207069B4 (de) Verfahren und Steuereinheit zum Betreiben eines autonomen Fahrzeugs
DE19983911B4 (de) Wachsamkeitsüberwachungssystem
Wang et al. The sensitivity of different methodologies for characterizing drivers’ gaze concentration under increased cognitive demand
Almahasneh et al. Deep in thought while driving: An EEG study on drivers’ cognitive distraction
DE102011016772B4 (de) 12.04.2021Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102019200412A1 (de) Sitzsystem mit einer Erfassung und Stimulation eines Insassen
DE102014220759B4 (de) Überwachung eines Aufmerksamkeitsgrads eines Fahrers eines Fahrzeugs
Collet et al. Measuring workload with electrodermal activity during common braking actions
US20200241525A1 (en) Computer-based apparatus system for assessing, predicting, correcting, recovering, and reducing risk arising from an operator?s deficient situation awareness
DE102017008280A1 (de) Fahrzeugsitz
DE102014207807A1 (de) Personenbezogene Fahrerunterstützung
DE102015200775A1 (de) Unabhängigen Beurteilung eines emotionalen Zustandes und einer kognitiven Belastung
Haring et al. Age-related differences in enhancement and suppression of neural activity underlying selective attention in matched young and old adults
DE102017216328B3 (de) Verfahren zum Überwachen eines Aufmerksamkeitszustandes einer Person, Verarbeitungseinrichtung, Speichermedium, und Kraftfahrzeug
EP3025581A1 (de) Verfahren zur erkennung von sprengstoffen und anderen zielsubstanzen
DE102020127613A1 (de) Vorrichtung und Verfahren zum Erzeugen eines Fahrer-Erfahrungs-Fahrmodells mittels Fehlerüberwachung
Kerautret et al. Detecting driver stress and hazard anticipation using real‐time cardiac measurement: A simulator study
DE102019208970A1 (de) Steuergerät zum Einsatz in einem Kraftfahrzeug
DE102009050763A1 (de) Verfahren zur Unterstützung der Aufmerksamkeit eines Fahrzeugfahrers
Stojmenova et al. Methods for assessment of cognitive workload in driving tasks
DE102015224889A1 (de) Verfahren zur Müdigkeitsermittlung
Marcos Challenges in Partially Automated Driving: A Human Factors Perspective

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13791942

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013791942

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015537304

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14437542

Country of ref document: US