WO2013023738A1 - Verfahren und vorrichtung zur überwachung zumindest eines fahrzeuginsassen und verfahren zum betrieb zumindest einer assistenzvorrichtung - Google Patents

Verfahren und vorrichtung zur überwachung zumindest eines fahrzeuginsassen und verfahren zum betrieb zumindest einer assistenzvorrichtung Download PDF

Info

Publication number
WO2013023738A1
WO2013023738A1 PCT/EP2012/003145 EP2012003145W WO2013023738A1 WO 2013023738 A1 WO2013023738 A1 WO 2013023738A1 EP 2012003145 W EP2012003145 W EP 2012003145W WO 2013023738 A1 WO2013023738 A1 WO 2013023738A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
determined
vehicle occupant
vital
images
Prior art date
Application number
PCT/EP2012/003145
Other languages
English (en)
French (fr)
Inventor
Michael Schrauf
Michael Simon
Galia Weidl
Ralf Herrtwich
Ulrich Kressel
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to US14/238,922 priority Critical patent/US20140221781A1/en
Publication of WO2013023738A1 publication Critical patent/WO2013023738A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/029—Measuring or recording blood output from the heart, e.g. minute volume
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4824—Touch or pain perception evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/091—Measuring volume of inspired or expired gases, e.g. to determine lung capacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload

Definitions

  • the invention relates to a method for monitoring at least one vehicle occupant according to the features of the preamble of claim 1, a device for
  • a method for warning a driver of a vehicle is known.
  • vehicle sensors detect a critical situation.
  • an attention of the driver is determined, wherein a picture of the driver is detected by a camera device and the image is processed by a computing unit. From the image, an attention of the driver is determined, wherein the computing unit a viewing direction of the driver is determined. In the case of a determined high attention of the driver, the warning is not issued. If there are several warnings to be issued at the same time, a first warning of a critical situation lying in the driver's line of sight is issued only after a second warning of a critical situation that is outside the driver's line of sight.
  • the driver assistance system includes a fatigue detection system for detecting driver fatigue. In a detected by the fatigue detection system fatigue of the driver a hazard warning light of the vehicle is activated to warn other road users.
  • Room light conditions of recorded video sequences of faces of persons the heart rate of the persons is determined.
  • the brightness differences of the light reflected from the skin are measured and evaluated.
  • the positions of faces in the field of view of the camera are identified, the video image in this section is broken down into red, green and blue parts and analyzed.
  • the blood vessels - especially the arteries - expand slightly as the pressure increases. This expansion causes an increase in optical absorption and therefore a decrease in the intensity of the light reflected from the face.
  • the invention is based on the object, an improved method and an improved device for monitoring at least one vehicle occupant in a vehicle and an improved method for operating at least one
  • Specify assistance device of a vehicle Specify assistance device of a vehicle.
  • the object is achieved by a method for monitoring at least one vehicle occupant in a vehicle with the features of claim 1, a device for monitoring at least one vehicle occupant in a vehicle with the features of claim 8 and a method for operating at least one
  • Vehicle occupants recorded and evaluated by means of an image processing unit.
  • vital parameters of the vehicle occupant are determined by the image analysis of the captured images, wherein a pulse rate, a respiratory rate and a tidal volume are determined as vital parameters and from this a
  • Heart rate variability is determined. Heart rate variability, also as
  • Heart rate variability is about the respiratory sinus arrhythmia, which describes a breath-synchronous fluctuation of the heart rate, in
  • the determination of the vital parameters makes it possible to obtain a vital state of the
  • the assistance device can, for example, to a current
  • Driver's condition or adapted to capabilities of the driver the capabilities of which can be assessed, for example, based on a stress level or the emotional state of the driver.
  • the image capture unit is preferably one already in the vehicle,
  • Vehicle occupant preferably directed to a driver imaging unit.
  • Vehicle occupants are all detected at the same time or all data are simultaneously recorded, from which by means of an image evaluation, the vital parameters of the respective
  • Vehicle occupants can be determined.
  • image capture units are installed, for example, for attention recognition of the driver in the vehicle.
  • a video camera with a low resolution is already sufficient for carrying out the method, for example a so-called CCD camera.
  • special lighting devices are not required, but in the vehicle usual ambient lighting, for example, daylight is already sufficient.
  • a robustness of a signal detection of the image acquisition unit is characterized by partially redundant information, for example in an RGB color signal of
  • Image acquisition unit and in particular by the possibility of signal detection with a black and white camera for dark driving sections, d. H. for a dark environment, for example when driving through a tunnel or during a night ride, significantly improved.
  • a signal detection takes place in the so-called
  • Infrared light source For example, this is not a separate image capture unit required, but the existing image capture unit is switched to a black and white mode. This is advantageously carried out automatically depending on the respective ambient light conditions.
  • Pain conditions of the vehicle occupant determined. Based on the vital parameters, for example, further diagnostic parameters can be determined or detected, for example, tachycardia, brachycardia and / or viral infections based on heart rate variability, respiration, d. H. the respiratory rate and / or the
  • Vehicle inmates such as the driver, or on a looming or already occurred unconsciousness or severe health problems can be closed.
  • the determined vital parameters are recorded and stored in the vehicle, so that they are available, for example, in an emergency situation in the case of medical care.
  • they may be transmitted to a hospital or emergency center together with an automatically initiated emergency call message so that prompt and adequate assistance can be initiated.
  • the vital parameters are detected by detecting an optical
  • blood vessels especially arteries, expand slightly as pressure in the blood vessels increases. This expansion causes an increase in the optical absorption and therefore also a decrease in the intensity of the reflected light which is reflected by the skin area.
  • At least one region suitable for image evaluation is searched for in each of the images, and only this region is evaluated.
  • This area is an area in the pictures in which a sufficiently large
  • Skin area of the vehicle occupant is shown.
  • an area of the images suitable for image evaluation is searched and evaluated, which includes the face of the vehicle occupant, since in this area a sufficiently large, evaluable skin area is available and in particular already installed in the vehicle imaging units, which for example
  • Attention detection are used, are directed to the face of the vehicle occupant, in particular the driver.
  • One or more vital parameters of a plurality of vehicle occupants can also be determined simultaneously with the method, wherein the image areas are determined in which the faces of the vehicle occupants are located and evaluated separately from one another.
  • color images are captured as images of the vehicle occupant, in particular so-called RGB images, wherein the region of the images suitable for image evaluation is split into individual color channels and at least one color channel is evaluated to determine the at least one vital parameter.
  • the area suitable for image evaluation is divided into red, green and blue components, i. H. Divided color channels.
  • the green component or color channel is preferably evaluated in particular, since the accuracy of the results obtained is highest there.
  • Oxygen saturation and the blood pressure of the vehicle occupant can be determined.
  • Brightness differences of the reflected light from the skin area over time and from the or the vital parameters are determined.
  • the vital parameters determined in this way can also be combined with values of the vehicle occupants determined in a different manner, thereby obtaining a better overall picture of a state of the vehicle occupants.
  • a fatigue or inattention of the driver can be detected early and with a low error rate.
  • the driver can be determined, which may indicate restlessness, stress or onset fatigue. This can be combined, for example, with the determined pulse rate and / or with other determined vital parameters in order to obtain a better assessment.
  • a device for monitoring at least one vehicle occupant in a vehicle in particular for carrying out the method for monitoring at least one vehicle occupant in a vehicle, by means of at least one
  • Image capture unit images of the vehicle occupant detectable and by means of a
  • Image processing unit evaluable.
  • Image acquisition unit by image evaluation of the captured images vital parameters of the vehicle occupant can be determined, wherein as vital parameters a pulse rate, a
  • Respiratory rate and a tidal volume can be determined and from it a
  • Heart rate variability can be determined. This makes it possible to monitor at least one of the methods that can be carried out by means of the device
  • At least one function of the assistance device of the vehicle is activated when a determined value of at least one vital parameter of one
  • the assistance device can be bad or worsening
  • an intervention in a function of the assistance device an intervention in a
  • the vehicle for example, as described in the applicant's DE 10 2009 016 936 A1, the entire contents of which is hereby incorporated by reference, for example, by a corresponding intervention in the steering device, brake device and / or the drive train of the vehicle, for example, automatically one
  • the intervention in the steering device, brake device and / or in the drive train of the vehicle can be carried out such that the vehicle is autonomously controlled to a nearest emergency aid, for example, to an emergency room
  • warning devices of the vehicle can be activated, for example external warning devices in the form of a hazard warning system and / or a horn of the vehicle to warn other road users, and / or warning devices can be activated in a vehicle interior to the or the vehicle occupant warn, for example, to wake a dormant driver or other vehicle occupants on a bad or yourself
  • At least one comfort function and / or emergency call function is expediently activated as a function of the assistance device.
  • a massage function of a vehicle seat for example, an interior ventilation and / or a climate function of the vehicle.
  • a massage function of a vehicle seat for example, an interior ventilation and / or a climate function of the vehicle.
  • essential oils or other refreshing agents may also be introduced into the interior of the vehicle.
  • the relevant vehicle occupant can be informed by optical, acoustic and / or haptic means of his current vital situation, preferably combined with a recommendation to appropriate
  • Countermeasures for example, to take a rest, to regular exercise and / or to a sufficient fluid intake.
  • the vehicle occupant can be reminded in this way, for example, of a required drug intake.
  • Vital parameters identified increased levels of stress that are specifically activated to assist the driver in assisting and / or calming the vehicle;
  • a navigation device or an audio system of the vehicle d. H. for example, a car radio.
  • the or the vehicle occupants can also be warned of imminent health hazards, for example, impending cardiovascular complaints. It is particularly advantageous to determine the vital parameters of the vehicle occupant or persons, for example the driver, over longer periods of time, for example several days or weeks, and to analyze their course, so that they too can be slowed down
  • Deterioration can be determined. Particularly in the case of older and / or health-endangered or impaired vehicle occupants, in particular vehicle drivers, their sense of safety and well-being is thereby considerably increased.
  • an automatic emergency call can be initiated, preferably the recorded vital parameters to a medical emergency.
  • Fig. 1 is a schematic representation of a vehicle with a
  • Fig. 3 is a detail view of a portion of Figure 2 and
  • Fig. 4 is a schematic representation of coefficients of a detected
  • Figure 1 shows a schematic representation of a vehicle 1 with a
  • Heart rate variability also referred to as heart rate variability (HRV)
  • HRV heart rate variability
  • Heart rate variability may also be determined by additional vital signs or vital signs or health risks such as exercise tolerance, stress tolerance, cardiovascular risk and other health risks as well as positive and negative emotional states such as pleasure, stress or anger.
  • additional vital signs or vital signs or health risks such as exercise tolerance, stress tolerance, cardiovascular risk and other health risks as well as positive and negative emotional states such as pleasure, stress or anger.
  • a skin temperature and / or a pumping power of the heart and / or a blood pressure and / or an oxygen concentration in the blood of the vehicle occupant 2, also referred to as oxygen saturation, and / or autonomous bodily functions, in particular functions of an autonomous nervous system of the vehicle occupant 2 and / or pain conditions of the vehicle occupant 2 are determined.
  • a vital state of the vehicle occupant 2 and a change in the vital state can be assessed.
  • further diagnostic parameters can be determined or detected, for example, tachycardia, brachycardia and / or viral infections based on heart rate variability, respiration, d. H. the respiratory rate and / or the tidal volume and / or the skin temperature.
  • tachycardia for example, tachycardia, brachycardia and / or viral infections based on heart rate variability, respiration, d. H. the respiratory rate and / or the tidal volume and / or the skin temperature.
  • Vehicle occupant 2 are optimized so that, where appropriate, for example, an inattentiveness of the vehicle occupant 2, for example, the driver, or an imminent or already occurred unconsciousness or severe
  • the image acquisition unit 3 is preferably already installed in the vehicle 1, for example, as shown here, in the region of a steering column and on the
  • Vehicle occupant 2 in the example shown here to a vehicle driver directed imaging unit 3.
  • a video camera with low resolution for example, a so-called CCD camera.
  • special lighting devices are not required, but a usual in the vehicle 1 ambient lighting, for example, daylight is already sufficient.
  • the vital parameters of the vehicle occupant 2 are all recorded simultaneously or all data are simultaneously recorded, from which the vital parameters of the patient are determined by means of an image evaluation
  • Vehicle occupant 2 can be determined.
  • a robustness of a signal detection of the image acquisition unit 3 is achieved by partially redundant information, for example in an RGB color signal of
  • Image detection unit 3 and in particular by the possibility of signal detection with a black and white camera for dark sections, ie for a dark environment, for example, when driving through a tunnel or at night, significantly improved.
  • a signal detection takes place in the so-called HSB black and white signal, if necessary by means of a lighting by a
  • Infrared light source for example, no separate image capture unit 3 is required, but the existing image capture unit 3 is in a
  • Switched black and white mode This is advantageously carried out automatically depending on the respective ambient light conditions.
  • the vital parameters are determined by detecting an optical absorption value and / or an intensity value of reflected light of a skin area of the skin
  • Vehicle occupant 2 and / or determined by determining a change in this optical absorption value and / or this intensity value.
  • Heartbeat dilates blood vessels, especially arteries, easily, as a pressure in the blood vessels increases. This expansion causes an increase in the optical absorption and therefore also a decrease in the intensity of the reflected light which is reflected by the skin area. By determining differences in brightness of the light reflected from the skin area over time, vital signs of the
  • Vehicle occupant 2 in particular the pulse rate or heart rate and the respiratory rate and the tidal volume are determined.
  • This method is also called photoplethysmography.
  • the principles of the method are described, for example, in the article by Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, Automated Cardiac Pulse Measurements using Video Imaging and Blind Source
  • At least one region suitable for image evaluation is searched in each of the images by means of suitable methods, and only this region is evaluated.
  • This area is an area in the pictures in which one
  • a region suitable for image evaluation a region of the images is searched for and
  • Method also simultaneously one or more vital parameters of several
  • Vehicle occupant 2 are determined when a plurality of vehicle occupants 2 are detected by the image acquisition unit 3, wherein the image areas are determined, in which the faces of the vehicle occupants 2 are located, and are evaluated separately from each other.
  • RGB images As images of the vehicle occupant 2 color images are suitably detected, in particular so-called RGB images, the image suitable for image evaluation area of the images is split into individual color components or channels, in RGB images in the corresponding RGB color channels, d. H. in a red color channel R, a green color channel G and a blue color channel B, as shown in Figure 2, and for determining the at least one vital parameter at least one color channel RGB is evaluated.
  • the green component i. H. evaluated the green color channel G, as this is the highest accuracy of the results obtained.
  • FIG. 2 shows these curves of the color channels RGB over the time t
  • FIG. 3 shows the high-frequency oscillations HS of a single low-frequency oscillation NS of one of the color channels RGB.
  • a spectral power density of the color channel RGB to be evaluated of the area suitable for image evaluation is determined. On the basis of the determined spectral power density then the
  • Brightness differences of the light reflected from the skin area over time and from the or the vital parameters of the vehicle occupant or 2 are determined.
  • FIG. 4 shows coefficients KR, KG, KB of the color signal of a skin part of the vehicle occupant 2, for example its face, split into the three color channels RGB. From a phase shift and / or an amplitude change between the coefficients KR, KG, KB of the RGB color signal, the skin temperature, the Blood pressure and the oxygen saturation of the blood of the vehicle occupant 2 are determined.
  • the method is due to the image acquisition unit 3, which has to have only a low resolution, as well as due to the performance under normal
  • Determining the vital parameters is sufficiently accurate in order to be able to determine the vital condition of the vehicle occupant 2 and a change in the vital state sufficiently accurately on the basis of the determined vital parameter, so that a vital state which indicates, for example, an acute emergency situation and
  • Vital parameters of the vehicle occupant 2, in particular of the vehicle driver, can be used in a method for operating at least one assistance device of the vehicle 1.
  • at least one function of the assistance device is activated when a determined value of at least one vital parameter deviates from a predetermined value or value range for this vital parameter.
  • the assistant device can be in bad or off
  • the assistance device can be adapted, for example, to a current driver's condition or to capabilities of the driver, with its capabilities being able to be evaluated, for example, on the basis of a stress level of the vehicle driver.
  • an intervention in a function of the assistance device an intervention in a
  • the vehicle 1 as for example in DE 10 2009 016 936 A1 of Applicant described, the entire contents of which is hereby incorporated by reference, for example, automatically by a corresponding intervention in the steering device, brake device and / or the drive train of the vehicle 1 to a
  • the engagement in the steering device, brake device and / or in the drive train of the vehicle 1 can take place such that the vehicle 1 autonomously to a
  • nearest emergency aid is controlled, for example, to a
  • warning devices of the vehicle 1 can be activated, for example external warning devices in the form of a hazard warning device and / or a horn of the vehicle 1, to warn other road users, and / or warning devices can be activated in a vehicle interior, around the or Warn vehicle occupants 2, for example, a fallen
  • deteriorating vital parameters of the driver which may indicate a worsening health condition, so that they can operate, for example, the steering wheel and / or a handbrake of the vehicle 1 to decelerate the vehicle 1 and / or to control the edge of the road.
  • At least one comfort function and / or emergency call function is expediently activated as a function of the assistance device.
  • Vital parameters of the vehicle occupant or 2 are improved, for example, if the one or more determined vital parameters on a fatigue in particular of
  • Interior ventilation and / or a climate function of the vehicle 1 are activated.
  • the relevant vehicle occupant 2 can be made aware of his current vital situation by optical, acoustic and / or haptic means, preferably connected with a recommendation on suitable
  • Countermeasures for example, to take a break, to more regular Exercise and / or to a sufficient fluid intake.
  • the vehicle occupant 2 can be reminded in this way, for example, of a required medication intake.
  • the vehicle driver can be specifically activated to activate and / or calming devices of the vehicle 1, for example a navigation device or an audio system of the vehicle
  • Vehicle 1 d. H. for example, a car radio.
  • the vehicle occupants 2 can also be warned of imminent health hazards, for example, impending cardiovascular complaints. It is particularly advantageous, the vital parameters of the or the vehicle occupant 2,
  • an automatic emergency call can also be initiated, wherein preferably the recorded and stored vital parameters are transmitted to an emergency call center or a hospital, so that rapid and adequate medical assistance can be initiated.
  • current position data of the vehicle 1 are determined and forwarded with the emergency call.
  • the vital parameters ascertained by means of the monitoring method can also be combined with values of the vehicle occupant 2 or persons determined in another way, thereby obtaining a better overall picture of a state of the vehicle occupant 2 or passengers.
  • a fatigue or inattention of the driver can be detected early and with a low error rate.
  • the inattention recognition function for which the image capture unit 3 is originally installed in the vehicle 1 can also be used. Additional values of the vehicle occupant 2 determined in this way can be combined, for example, with the ascertained pulse rate and / or with other vital parameters determined in order to obtain a better assessment of the vital state of the person or persons

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem Fahrzeug (1), wobei mittels zumindest einer Bilderfassungseinheit (3) Bilder des Fahrzeuginsassen (2) erfasst und mittels einer Bildverarbeitungseinheit ausgewertet werden. Erfindungsgemäß werden durch die Bildauswertung der erfassten Bilder Vitalparameter des Fahrzeuginsassen (2) ermittelt, wobei als Vitalparameter eine Pulsfrequenz, eine Atemfrequenz und ein Atemzugvolumen ermittelt werden und daraus eine Herzfrequenzvariabilität ermittelt wird. Des Weiteren betrifft die Erfindung ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs (1).

Description

Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
Die Erfindung betrifft ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen nach den Merkmalen des Oberbegriffs des Anspruchs 1 , eine Vorrichtung zur
Überwachung zumindest eines Fahrzeuginsassen nach den Merkmalen des Oberbegriffs des Anspruchs 8 und ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung nach den Merkmalen des Oberbegriffs des Anspruchs 9.
Aus dem Stand der Technik ist, wie in der EP 1 182 089 B2 beschrieben, ein Verfahren zur Warnung eines Fahrers eines Fahrzeugs bekannt. Dabei wird von Fahrzeugsensoren eine kritische Situation erfasst. Des Weiteren wird eine Aufmerksamkeit des Fahrers ermittelt, wobei durch eine Kameravorrichtung ein Bild des Fahrers erfasst wird und das Bild von einer Recheneinheit verarbeitet wird. Aus dem Bild wird eine Aufmerksamkeit des Fahrers ermittelt, wobei durch die Recheneinheit eine Blickrichtung des Fahrers ermittelt wird. Bei einer ermittelten hohen Aufmerksamkeit des Fahrers wird auf die Ausgabe der Warnung verzichtet. Bei mehreren gleichzeitig auszugebenden Warnungen wird eine erste Warnung vor einer kritischen Situation, die in der Blickrichtung des Fahrers liegt, erst nach einer zweiten Warnung vor einer kritischen Situation, die außerhalb der Blickrichtung des Fahrers liegt, ausgegeben.
In der DE 10 2009 016 936 A1 der Anmelderin, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, wird ein Fahrassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs bei Ermüdung beschrieben. Das Fahrassistenzsystem umfasst ein Müdigkeitserkennungssystem zum Erkennen einer Ermüdung des Fahrers. Bei einer mittels des Müdigkeitserkennungssystems erkannten Ermüdung des Fahrers wird ein Warnblinklicht des Fahrzeugs zum Warnen weiterer Verkehrsteilnehmer aktiviert.
Des Weiteren wird in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source Separation," Opt. Express 18, 10762-10774 (2010), dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird, ein Verfahren beschrieben, in welchem auf Grundlage mittels niedrigauflösender Videokameras unter normalen
Raumlichtbedingungen erfasster Videosequenzen von Gesichtern von Personen die Herzfrequenz der Personen ermittelt wird. Dabei werden die Helligkeits-Unterschiede des von der Haut reflektierten Lichtes gemessen und ausgewertet. Es werden zunächst die Positionen von Gesichtern im Blickfeld der Kamera identifiziert, das Videobild in diesem Ausschnitt in rote, grüne und blaue Anteile herunter gebrochen und analysiert. Während eines Herzschlags dehnen sich die Blutgefäße - vor allem die Arterien - leicht aus, da der Druck steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des Lichtes, das vom Gesicht reflektiert wird.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug und ein verbessertes Verfahren zum Betrieb zumindest einer
Assistenzvorrichtung eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug mit den Merkmalen des Anspruchs 1 , eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug mit den Merkmalen des Anspruchs 8 und ein Verfahren zum Betrieb zumindest einer
Assistenzvorrichtung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 gelöst.
Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
In einem Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug werden mittels zumindest einer Bilderfassungseinheit Bilder des
Fahrzeuginsassen erfasst und mittels einer Bildverarbeitungseinheit ausgewertet.
Erfindungsgemäß werden durch die Bildauswertung der erfassten Bilder Vitalparameter des Fahrzeuginsassen ermittelt, wobei als Vitalparameter eine Pulsfrequenz, eine Atemfrequenz und ein Atemzugvolumen ermittelt werden und daraus eine
Herzfrequenzvariabilität ermittelt wird. Die Herzfrequenzvariabilität, auch als
Herzratenvariabilität (HRV) bezeichnet, steht über die respiratorische Sinusarrhythmie, welche eine atemsynchrone Schwankung der Herzfrequenz beschreibt, in
Zusammenhang mit der Herzfrequenz und der Atmung, d. h. der Atemfrequenz und dem Atemzugvolumen. Aus der Herzfrequenzvariabilität können auch zusätzliche
Vitalfunktionen bzw. Vitalparameter oder Gesundheitsrisiken wie Belastbarkeit,
Stresstoleranz, ein Herz-Kreislauf-Risiko und weitere Gesundheitsrisiken sowie positive und negative emotionale Zustände wie Freude, Stress oder Ärger ermittelt werden.
Die Ermittlung der Vitalparameter ermöglicht es, einen Vitalzustand des
Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder
gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung kann beispielsweise an einen aktuellen
Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus oder des emotionalen Zustandes des Fahrzeugführers bewertet werden können.
Als Bilderfassungseinheit dient dabei vorzugsweise eine bereits im Fahrzeug,
beispielsweise im Bereich einer Lenksäule installierte und auf den oder die
Fahrzeuginsassen, bevorzugt auf einen Fahrzeugführer gerichtete Bilderfassungseinheit. Mittels dieser Bilderfassungseinheit werden die Vitalparameter des jeweiligen
Fahrzeuginsassen alle gleichzeitig erfasst bzw. es werden alle Daten gleichzeitig erfasst, aus welchen mittels einer Bildauswertung die Vitalparameter des jeweiligen
Fahrzeuginsassen ermittelt werden können. Derartige Bilderfassungseinheiten sind beispielsweise zur Aufmerksamkeitserkennung des Fahrzeugsführers im Fahrzeug installiert. Zur Durchführung des Verfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend. Eine Robustheit einer Signaldetektion der Bilderfassungseinheit wird durch teilweise redundante Informationen beispielsweise in einem RGB-Farbsignal der
Bilderfassungseinheit und insbesondere durch die Möglichkeit der Signaldetektion mit einer Schwarzweißkamera für dunkle Fahrabschnitte, d. h. für eine dunkle Umgebung, zum Beispiel bei einer Fahrt durch einen Tunnel oder bei einer Nachtfahrt, deutlich verbessert. Dabei erfolgt eine Signaldetektion im so genannten
HSB-Schwarzweiß-Signal, gegebenenfalls mittels einer Beleuchtung durch eine
Infrarotlichtquelle. Dazu ist beispielsweise keine separate Bilderfassungseinheit erforderlich, sondern die vorhandene Bilderfassungseinheit wird in einen Schwarzweißmodus umgeschaltet. Dies erfolgt zweckmäßigerweise automatisch in Abhängigkeit von jeweiligen Umgebungslichtverhältnissen.
Zweckmäßigerweise werden als weitere Vitalparameter insbesondere eine
Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen, auch als
Sauerstoffsättigung bezeichnet, und/oder autonome Körperfunktionen, insbesondere Funktionen eines autonomen Nervensystems des Fahrzeuginsassen und/oder
Schmerzzustände des Fahrzeuginsassen ermittelt. Anhand der Vitalparameter können beispielsweise weitere diagnostische Parameter ermittelt bzw. erkannt werden, beispielsweise eine Tachykardie, Brachykardie und/oder Virusinfektionen anhand der Herzfrequenzvariabilität, der Atmung, d. h. der Atemfrequenz und/oder des
Atemzugvolumens und/oder der Hauttemperatur. Anhand dieser weiteren Vitalparameter kann eine Beurteilung des aktuellen Vitalzustandes des Fahrzeuginsassen optimiert werden, so dass gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des
Fahrzeuginsassen, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann.
Vorteilhafterweise werden die ermittelten Vitalparameter im Fahrzeug aufgezeichnet und gespeichert, so dass sie beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung stehen. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann.
Vorzugsweise werden die Vitalparameter durch eine Erfassung eines optischen
Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines
Hautbereiches des Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von
Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter, insbesondere die Pulsfrequenz, die Atemfrequenz und das Atemzugvolumen, ermittelt werden. Dieses Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von
Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source Separation," Opt. Express 18, 10762-10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.
Vorzugsweise wird während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchem ein ausreichend großer
Hautbereich des Fahrzeuginsassen abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da insbesondere bereits im Fahrzeug installierte Bilderfassungseinheiten, welche beispielsweise zur
Aufmerksamkeitserkennung eingesetzt werden, auf das Gesicht des Fahrzeuginsassen, insbesondere des Fahrzeugführers gerichtet sind. Es können mit dem Verfahren auch gleichzeitig ein oder mehrere Vitalparameter von mehreren Fahrzeuginsassen ermittelt werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen befinden, und getrennt voneinander ausgewertet werden.
Zweckmäßigerweise werden als Bilder des Fahrzeuginsassen Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal ausgewertet wird. Beispielsweise wird der zur Bildauswertung geeignete Bereich in rote, grüne und blaue Anteile, d. h. Farbkanäle unterteilt. Dabei wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist.
Aus einer Kombination der Farbkanäle, genauer gesagt aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Farbkanälen bzw. Farbsignalen können beispielsweise die Hauttemperatur, die Sauerstoffkonzentration bzw.
Sauerstoffsättigung und der Blutdruck des Fahrzeuginsassen ermittelt werden.
Vorzugsweise wird mittels schneller Fourier-Transformation eine spektrale
Leistungsdichte des Farbkanals des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die
Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter ermittelt werden.
Die auf diese Weise ermittelten Vitalparameter können auch mit auf andere Weise ermittelten Werten der Fahrzeuginsassen kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes der Fahrzeuginsassen zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können beispielsweise durch Sensoren in einem Fahrzeugsitz Bewegungen des jeweiligen Fahrzeuginsassen, insbesondere des Fahrzeugführers ermittelt werden, welche auf Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Dies kann beispielsweise mit der ermittelten Pulsfrequenz und/oder mit anderen ermittelten Vitalparametern kombiniert werden, um eine bessere Einschätzung zu erhalten.
Bei einer Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug, insbesondere zur Durchführung des Verfahrens zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug, sind mittels zumindest einer
Bilderfassungseinheit Bilder des Fahrzeuginsassen erfassbar und mittels einer
Bildverarbeitungseinheit auswertbar. Erfindungsgemäß sind mittels der
Bilderfassungseinheit durch Bildauswertung der erfassten Bilder Vitalparameter des Fahrzeuginsassen ermittelbar, wobei als Vitalparameter eine Pulsfrequenz, eine
Atemfrequenz und ein Atemzugvolumen ermittelbar sind und daraus eine
Herzfrequenzvariabilität ermittelbar ist. Dies ermöglicht es, wie bereits zum mittels der Vorrichtung durchführbaren Verfahren zur Überwachung zumindest eines
Fahrzeuginsassen in einem Fahrzeug beschrieben, einen Vitalzustand des
Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder
gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern.
In einem Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs unter Verwendung des Verfahrens zur Überwachung zumindest eines Fahrzeuginsassen wird erfindungsgemäß zumindest eine Funktion der Assistenzvorrichtung des Fahrzeugs aktiviert, wenn ein ermittelter Wert zumindest eines Vitalparameters von einem
vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht. Auf diese Weise kann die Assistenzvorrichtung bei schlechten oder sich verschlechternden
Vitalparametern des oder der Fahrzeuginsassen, insbesondere eines Fahrzeugführers, unterstützend eingreifen, um beispielsweise auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern.
Vorzugsweise wird als Funktion der Assistenzvorrichtung ein Eingriff in eine
Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs und/oder eine optische, akustische und/oder haptische Warneinrichtung aktiviert. Auf diese Weise kann das Fahrzeug, wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs zum Beispiel automatisch an einen
Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs derart erfolgen, dass das Fahrzeug autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines
nächstgelegenen Krankenhauses.
Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs, um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen zu warnen, beispielsweise um einen eingeschlafenen Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen auf einen schlechten oder sich
verschlechternden Vitalzustand des Fahrzeugführers hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs betätigen können oder diese durch Aktuatoren autonom betätigt werden, um das Fahrzeug abzubremsen und/oder an den Fahrbahnrand zu steuern. Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können
Vitalparameter des oder der Fahrzeuginsassen verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameter auf eine Ermüdung insbesondere des
Fahrzeugführers hindeuten. Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs aktiviert werden. Dabei können zur Erfrischung der Fahrzeuginsassen beispielsweise auch ätherische öle oder andere erfrischende Mittel in den Innenraum des Fahrzeugs eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten
Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse kann auf diese Weise beispielsweise auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der
Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs gezielt aktiviert werden,
beispielsweise eine Navigationseinrichtung oder eine Audioanlage des Fahrzeugs, d. h. beispielsweise ein Autoradio.
Zudem können der oder die Fahrzeuginsassen auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die Vitalparameter des oder der Fahrzeuginsassen, beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und deren Verlauf zu analysieren, so dass auch langsame
Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten Vitalparameter an eine
Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs ermittelt und mit dem Notruf weitergeleitet. Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einem
Fahrzeuginsassen und einer auf diesen gerichteten Bilderfassungseinheit,
Fig. 2 eine schematische Darstellung von drei Farbkanälen,
Fig. 3 eine Detailansicht eines Bereichs aus Figur 2 und
Fig. 4 eine schematische Darstellung von Koeffizienten eines erfassten
Farbsignals.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Figur 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem
Fahrzeuginsassen 2 und einer auf diesen gerichteten Bilderfassungseinheit 3 als
Vorrichtung zur Überwachung des Fahrzeuginsassen 2. In einem Verfahren zur
Überwachung des Fahrzeuginsassen 2 werden mittels der Bilderfassungseinheit 3 Bilder des Fahrzeuginsassen 2 erfasst, beispielsweise in Form einer Videosequenz, und mittels einer nicht näher dargestellten Bildverarbeitungseinheit ausgewertet, um auf diese Weise Vitalparameter des Fahrzeuginsassen 2 zu ermitteln, insbesondere eine Pulsfrequenz, eine Atemfrequenz und ein Atemzugvolumen, woraus eine Herzfrequenzvariabilität ermittelt wird. Die Herzfrequenzvariabilität, auch als Herzratenvariabilität (HRV) bezeichnet, steht über die respiratorische Sinusarrhythmie, welche eine atemsynchrone Schwankung der Herzfrequenz beschreibt, in Zusammenhang mit der Herzfrequenz und der Atmung, d. h. der Atemfrequenz und dem Atemzugvolumen. Aus der
Herzfrequenzvariabilität können auch zusätzliche Vitalfunktionen bzw. Vitalparameter oder Gesundheitsrisiken wie Belastbarkeit, Stresstoleranz, ein Herz-Kreislauf-Risiko und weitere Gesundheitsrisiken sowie positive und negative emotionale Zustände wie Freude, Stress oder Ärger ermittelt werden. Des Weiteren können beispielsweise eine Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen 2, auch als Sauerstoffsättigung bezeichnet, und/oder autonome Körperfunktionen, insbesondere Funktionen eines autonomen Nervensystems des Fahrzeuginsassen 2 und/oder Schmerzzustände des Fahrzeuginsassen 2 ermittelt werden. Mittels der ermittelten Vitalparameter des Fahrzeuginsassen 2 können ein Vitalzustand des Fahrzeuginsassen 2 und eine Veränderung des Vitalzustandes beurteilt werden.
Anhand der Vitalparameter können beispielsweise weitere diagnostische Parameter ermittelt bzw. erkannt werden, beispielsweise eine Tachykardie, Brachykardie und/oder Virusinfektionen anhand der Herzfrequenzvariabilität, der Atmung, d. h. der Atemfrequenz und/oder des Atemzugvolumens und/oder der Hauttemperatur. Anhand dieser weiteren Vitalparameter kann eine Beurteilung des aktuellen Vitalzustandes des
Fahrzeuginsassen 2 optimiert werden, so dass gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des Fahrzeuginsassen 2, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere
gesundheitliche Probleme geschlossen werden kann.
Die Bilderfassungseinheit 3 ist vorzugsweise eine bereits im Fahrzeug 1 , beispielsweise, wie hier dargestellt, im Bereich einer Lenksäule installierte und auf den
Fahrzeuginsassen 2, im hier dargestellten Beispiel auf einen Fahrzeugführer gerichtete Bilderfassungseinheit 3. Zur Durchführung des Überwachungsverfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug 1 übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend. Mittels dieser Bilderfassungseinheit 3 werden die Vitalparameter des Fahrzeuginsassen 2 alle gleichzeitig erfasst bzw. es werden alle Daten gleichzeitig erfasst, aus welchen mittels einer Bildauswertung die Vitalparameter des
Fahrzeuginsassen 2 ermittelt werden können.
Eine Robustheit einer Signaldetektion der Bilderfassungseinheit 3 wird durch teilweise redundante Informationen beispielsweise in einem RGB-Farbsignal der
Bilderfassungseinheit 3 und insbesondere durch die Möglichkeit der Signaldetektion mit einer Schwarzweißkamera für dunkle Fahrabschnitte, d. h. für eine dunkle Umgebung, zum Beispiel bei einer Fahrt durch einen Tunnel oder bei einer Nachtfahrt, deutlich verbessert. Dabei erfolgt eine Signaldetektion im so genannten HSB-Schwarzweiß-Signal, gegebenenfalls mittels einer Beleuchtung durch eine
Infrarotlichtquelle. Dazu ist beispielsweise keine separate Bilderfassungseinheit 3 erforderlich, sondern die vorhandene Bilderfassungseinheit 3 wird in einen
Schwarzweißmodus umgeschaltet. Dies erfolgt zweckmäßigerweise automatisch in Abhängigkeit von jeweiligen Umgebungslichtverhältnissen.
Die Vitalparameter werden durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des
Fahrzeuginsassen 2 und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt. Während eines
Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter des
Fahrzeuginsassen 2, insbesondere die Pulsfrequenz bzw. Herzfrequenz sowie die Atemfrequenz und das Atemzugvolumen ermittelt werden. Dieses Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using Video imaging and blind source
Separation," Opt. Express 18, 10762-10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.
Während der Bildverarbeitung wird mittels geeigneter Methoden zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich wird ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchen ein
ausreichend großer Hautbereich des Fahrzeuginsassen 2 abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und
ausgewertet, welcher das Gesicht des Fahrzeuginsassen 2 beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da insbesondere bereits im Fahrzeug 1 installierte Bilderfassungseinheiten 3, welche beispielsweise zur Aufmerksamkeitserkennung eingesetzt werden, wie auch im hier dargestellten Beispiel auf das Gesicht des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers gerichtet sind. Das Auffinden derartiger zur Bildauswertung geeigneter Bereiche ist beispielsweise mittels Methoden zur Gesichtserkennung in Bildern möglich. Es können mit dem
Verfahren auch gleichzeitig ein oder mehrere Vitalparameter von mehreren
Fahrzeuginsassen 2 ermittelt werden, wenn mehrere Fahrzeuginsassen 2 von der Bilderfassungseinheit 3 erfasst werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen 2 befinden, und getrennt voneinander ausgewertet werden.
Als Bilder des Fahrzeuginsassen 2 werden zweckmäßigerweise Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbanteile oder Farbkanäle aufgespalten wird, bei RGB-Bildern in die entsprechenden RGB-Farbkanäle, d. h. in einen roten Farbkanal R, einen grünen Farbkanal G und einen blauen Farbkanal B, wie in Figur 2 dargestellt, und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal RGB ausgewertet wird. Dabei wird vorzugsweise insbesondere der grüne Anteil, d. h. der grüne Farbkanal G ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist. In Figur 2 sind diese Verläufe der Farbkanäle RGB über die Zeit t dargestellt
Durch Auswertung der niederfrequenten Schwingungen NS der Farbsignale bzw.
Farbkanäle RGB wird die Atemfrequenz ermittelt, durch Auswertung der Amplituden A der niederfrequenten Schwingungen NS wird das Atemzugvolumen ermittelt und durch Auswertung der hochfrequenten Schwingungen HS wird die Herzfrequenz ermittelt. In Figur 3 sind die hochfrequenten Schwingungen HS einer einzelnen niederfrequenten Schwingung NS eines der Farbkanäle RGB dargestellt.
Mittels schneller Fourier-Transformation wird eine spektrale Leistungsdichte des auszuwertenden Farbkanals RGB des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die
Helligkeitsunterschiede des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter des oder der Fahrzeuginsassen 2 ermittelt werden.
In Figur 4 sind Koeffizienten KR, KG, KB des in die drei Farbkanäle RGB aufgespaltenen Farbsignals einer Hautpartie des Fahrzeuginsassen 2, zum Beispiel von dessen Gesicht dargestellt. Aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Koeffizienten KR, KG, KB des RGB-Farbsignals können die Hauttemperatur, der Blutdruck und die Sauerstoffsättigung des Blutes des Fahrzeuginsassen 2 ermittelt werden.
Das Verfahren ist aufgrund der Bilderfassungseinheit 3, welche lediglich eine geringe Auflösung aufweisen muss, sowie aufgrund der Durchführung unter normalen
Umgebungslichtbedingungen, d. h. ohne zusätzliche spezielle Lichtquellen, sehr einfach und kostengünstig im Fahrzeug 1 zu implementieren und durchzuführen. Zudem ist das Verfahren sehr robust gegenüber unterschiedlichen Hautfarben sowie gegenüber
Bewegungen des oder der Fahrzeuginsassen 2 während der Bilderfassung. Die
Ermittlung der Vitalparameter ist dabei ausreichend exakt, um den Vitalzustand des oder der Fahrzeuginsassen 2 sowie eine Veränderung des Vitalzustandes anhand des oder der ermittelten Vitalparameter ausreichend genau bestimmen zu können, so dass ein Vitalzustand, welcher beispielsweise auf eine akute Notsituation hindeutet und
medizinische Hilfe erfordert oder welcher beispielsweise Auswirkungen auf das sichere Führen des Fahrzeugs 1 haben könnte, mit einer hohen Sicherheit erkennbar ist.
Das Überwachungsverfahren bzw. der oder die auf diese Weise ermittelten
Vitalparameter des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, können in einem Verfahren zum Betrieb zumindest einer Assistenzvorrichtung des Fahrzeugs 1 verwendet werden. Dabei wird zumindest eine Funktion der Assistenzvorrichtung aktiviert, wenn ein ermittelter Wert zumindest eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht.
Auf diese Weise kann die Assistenzvorrichtung bei schlechten oder sich
verschlechternden Vitalparametern des oder der Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, unterstützend eingreifen, um beispielsweise einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen 2 zu steigern, um dadurch den Vitalzustand zu verbessern. D. h. die Assistenzvorrichtung kann beispielsweise an einen aktuellen Fahrzeugführerzustand bzw. an Fähigkeiten des Fahrzeugführers angepasst werden, wobei dessen Fähigkeiten beispielsweise anhand eines Stressniveaus des Fahrzeugführers bewertet werden können.
Vorzugsweise wird als Funktion der Assistenzvorrichtung ein Eingriff in eine
Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs 1 und/oder eine optische, akustische und/oder haptische Warneinrichtung aktiviert. Auf diese Weise kann das Fahrzeug 1 , wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs 1 zum Beispiel automatisch an einen
Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs 1 derart erfolgen, dass das Fahrzeug 1 autonom zu einer
nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer
Notaufnahme eines nächstgelegenen Krankenhauses.
Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs 1 aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs 1 , um andere Verkehrsteilnehmer zu warnen, und/oder es können Wameinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen 2 zu warnen, beispielsweise um einen eingeschlafenen
Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen 2 auf sich
verschlechternde Vitalparameter des Fahrzeugführers, welche möglicherweise auf einen sich verschlechtern Gesundheitszustand hindeuten, hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs 1 betätigen können, um das Fahrzeug 1 abzubremsen und/oder an den Fahrbahnrand zu steuern.
Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können
Vitalparameter des oder der Fahrzeuginsassen 2 verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameter auf eine Ermüdung insbesondere des
Fahrzeugführers hindeuten.
Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine
Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs 1 aktiviert werden. Dabei können zur Erfrischung des oder der Fahrzeuginsassen 2 beispielsweise auch ätherische Öle oder andere erfrischende Mittel in einen Innenraum des Fahrzeugs 1 eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse 2 durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten
Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse 2 kann auf diese Weise zum Beispiel auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs 1 gezielt aktiviert werden, beispielsweise eine Navigationseinrichtung oder eine Audioanlage des
Fahrzeugs 1 , d. h. beispielsweise ein Autoradio.
Zudem können die Fahrzeuginsassen 2 auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die Vitalparameter des oder der Fahrzeuginsassen 2,
beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und deren Verlauf zu analysieren, so dass auch langsame Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen 2, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten und gespeicherten Vitalparameter an eine Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs 1 ermittelt und mit dem Notruf weitergeleitet.
Die mittels des Überwachungsverfahrens ermittelten Vitalparameter können auch mit auf andere Weise ermittelten Werten des oder der Fahrzeuginsassen 2 kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes des oder der Fahrzeuginsassen 2 zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können zum Beispiel durch Sensoren in einem Fahrzeugsitz Bewegungen des jeweiligen Fahrzeuginsassen 2, insbesondere des Fahrzeugführers ermittelt werden, welche auf Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Zudem kann auch die Unaufmerksamkeitserkennungsfunktion, für welche die Bilderfassungseinheit 3 ursprünglich im Fahrzeug 1 installiert ist, genutzt werden. Auf diese Weise ermittelte zusätzliche Werte des oder der Fahrzeuginsassen 2 können beispielsweise mit der ermittelten Pulsfrequenz und/oder mit anderen ermittelten Vitalparametern kombiniert werden, um eine bessere Einschätzung des Vitalzustandes des oder der
Fahrzeuginsassen 2 zu erhalten.

Claims

Patentansprüche
1. Verfahren zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem
Fahrzeug (1), wobei mittels zumindest einer Bilderfassungseinheit (3) Bilder des Fahrzeuginsassen (2) erfasst und mittels einer Bildverarbeitungseinheit ausgewertet werden,
dadurch gekennzeichnet, dass durch die Bildauswertung der erfassten Bilder Vitalparameter des Fahrzeuginsassen (2) ermittelt werden, wobei als Vitalparameter eine Pulsfrequenz, eine Atemfrequenz und ein Atemzugvolumen ermittelt werden und daraus eine Herzfrequenzvariabilität ermittelt wird.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass aus den Vitalparametern weitere Vitalparameter mit diagnostischem Wert ermittelt werden, insbesondere die respiratorische
Sinusarrhythmie oder Gesundheitsrisiken wie Belastbarkeit, Stresstoleranz, ein Herz-Kreislauf-Risiko oder emotionale Zustände wie Freude, Stress oder Ärger.
3. Verfahren nach Anspruch 2,
dadurch gekennzeichnet, dass als weitere Vitalparameter eine Hauttemperatur oder eine Pumpleistung des Herzens oder ein Blutdruck oder eine
Sauerstoffkonzentration im Blut des Fahrzeuginsassen (2) oder autonome
Körperfunktionen des Fahrzeuginsassen (2) oder Schmerzzustände des
Fahrzeuginsassen (2) ermittelt werden.
4. Verfahren nach Anspruch 1 und 3
dadurch gekennzeichnet, dass anhand der Vitalparameter weitere diagnostische Größen ermittelt werden, wie Tachykardie, Brachykardie oder Virusinfektionen.
5. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass zumindest einer der Vitalparameter durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen (2) und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt wird.
6. Verfahren nach einem der vorangehenden Ansprüche,
dadurch gekennzeichnet, dass während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht wird und nur dieser Bereich ausgewertet wird.
7. Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet wird, welcher das Gesicht des
Fahrzeuginsassen (2) beinhaltet.
8. Verfahren nach Anspruch 6 oder 7,
dadurch gekennzeichnet, dass als Bilder des Fahrzeuginsassen (2) Farbbilder erfasst werden, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal (RGB) ausgewertet wird.
9. Verfahren nach Anspruch 6 oder 7,
dadurch gekennzeichnet, dass aus einer Kombination der Farbkanäle, genauer gesagt aus einer Phasenverschiebung und/oder einer Amplitudenänderung zwischen den Farbkanälen oder Farbsignalen die Hauttemperatur, die
Sauerstoffkonzentration bzw. Sauerstoffsättigung und der Blutdruck des
Fahrzeuginsassen ermittelt werden.
10. Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass mittels schneller Fourier-Transformation eine spektrale Leistungsdichte des Farbkanals (RGB) des zur Bildauswertung geeigneten Bereichs ermittelt wird.
11. Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem Fahrzeug (1), wobei mittels zumindest einer Bilderfassungseinheit (3) Bilder des Fahrzeuginsassen (2) erfassbar und mittels einer Bildverarbeitungseinheit auswertbar sind,
dadurch gekennzeichnet, dass mittels der Bilderfassungseinheit (3) durch
Bildauswertung der erfassten Bilder Vitalparameter des Fahrzeuginsassen (2) ermittelbar sind, wobei als Vitalparameter eine Pulsfrequenz, eine Atemfrequenz und ein Atemzugvolumen ermittelbar sind und daraus eine Herzfrequenzvariabilität ermittelbar ist, zusammen mit Hauttemperatur und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen (2) und/oder autonome Körperfunktionen des
Fahrzeuginsassen (2) und/oder Schmerzzustände des Fahrzeuginsassen (2).
12. Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs (1 ) unter Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass zumindest eine Funktion der Assistenzvorrichtung aktiviert wird, wenn ein ermittelter Wert zumindest eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht.
13. Verfahren nach Anspruch 12,
dadurch gekennzeichnet, dass als Funktion der Assistenzvorrichtung ein Eingriff in eine Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs (1) und/oder eine optische, akustische und/oder haptische
Warneinrichtung und/oder zumindest eine Komfortfunktion und/oder eine
Notruffunktion aktiviert werden bzw. wird.
PCT/EP2012/003145 2011-08-17 2012-07-25 Verfahren und vorrichtung zur überwachung zumindest eines fahrzeuginsassen und verfahren zum betrieb zumindest einer assistenzvorrichtung WO2013023738A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/238,922 US20140221781A1 (en) 2011-08-17 2012-07-25 Method and Device for Monitoring at Least One Vehicle Occupant and Method for Operating at Least One Assistance Device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011110486A DE102011110486A1 (de) 2011-08-17 2011-08-17 Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102011110486.4 2011-08-17

Publications (1)

Publication Number Publication Date
WO2013023738A1 true WO2013023738A1 (de) 2013-02-21

Family

ID=46614419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/003145 WO2013023738A1 (de) 2011-08-17 2012-07-25 Verfahren und vorrichtung zur überwachung zumindest eines fahrzeuginsassen und verfahren zum betrieb zumindest einer assistenzvorrichtung

Country Status (3)

Country Link
US (1) US20140221781A1 (de)
DE (1) DE102011110486A1 (de)
WO (1) WO2013023738A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015990A1 (de) * 2012-07-25 2014-01-30 Audi Ag Verfahren und fahrerassistenzsystem zum betreiben eines fahrzeugs bei einer gesundheitlichen störung eines fahrers
KR20170038797A (ko) * 2014-07-24 2017-04-07 로베르트 보쉬 게엠베하 적어도 하나의 전기 에너지 저장 장치를 구비한 차량의 보조 시스템의 작동 방법
FR3103606A1 (fr) * 2019-11-27 2021-05-28 Psa Automobiles Sa Surveillance de passagers de véhicules par comparaison de valeurs de paramètres physiologiques à des valeurs de référence

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012208822A1 (de) * 2012-05-25 2013-11-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
DE112014000934T5 (de) * 2013-02-21 2016-01-07 Iee International Electronics & Engineering S.A. Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung
US20140310277A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Suspending user profile modification based on user context
US11372936B2 (en) 2013-04-15 2022-06-28 Autoconnect Holdings Llc System and method for adapting a control function based on a user profile
DE102014200783A1 (de) * 2014-01-17 2015-07-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Computerprogrammprodukt zum Betreiben eines Kraftfahrzeugs
US9270825B2 (en) * 2014-03-18 2016-02-23 Xerox Corporation Non-contact stress assessment devices
JP6295924B2 (ja) * 2014-03-18 2018-03-20 株式会社デンソー 車両用報知制御装置、及び車両用報知制御システム
DE102014104465B3 (de) * 2014-03-28 2015-06-11 LifeTAix GmbH Messverfahren zur Erfassung von Vitalparametern am Körper eines Menschen oder eines Tieres und eine Messanordnung
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10185997B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10540723B1 (en) 2014-07-21 2020-01-21 State Farm Mutual Automobile Insurance Company Methods of providing insurance savings based upon telematics and usage-based insurance
JP6432227B2 (ja) * 2014-09-05 2018-12-05 三菱自動車工業株式会社 車両の乗員救護補助システム
US20170245768A1 (en) * 2014-09-05 2017-08-31 Lakeland Ventures Development LLC Method and apparatus for the continous estimation of human blood pressure using video images
DE102015105581A1 (de) * 2014-11-03 2016-05-04 Audi Ag System und Verfahren zur Überwachung des Gesundheitszustandes und/oder des Befindens eines Fahrzeuginsassen
US10266180B1 (en) 2014-11-13 2019-04-23 State Farm Mutual Automobile Insurance Company Autonomous vehicle control assessment and selection
CN105581802A (zh) * 2014-11-17 2016-05-18 天津点康科技有限公司 一种可进行实时情绪波动判定的系统和方法
DE102015002968A1 (de) 2015-03-07 2015-08-27 Daimler Ag Verfahren zum Betrieb eines Fahrzeuges
KR101639804B1 (ko) * 2015-05-15 2016-07-25 주식회사 한글과컴퓨터 구급이 가능한 무인 스마트카 및 그의 운용 방법
US9870649B1 (en) 2015-08-28 2018-01-16 State Farm Mutual Automobile Insurance Company Shared vehicle usage, monitoring and feedback
CN105496369A (zh) * 2015-10-19 2016-04-20 南京邮电大学 一种愤怒驾驶状态检测方法
US9744809B2 (en) * 2015-11-05 2017-08-29 Continental Automotive Systems, Inc. Enhanced sound generation for quiet vehicles
US9426292B1 (en) * 2015-12-29 2016-08-23 International Business Machines Corporation Call center anxiety feedback processor (CAFP) for biomarker based case assignment
DE102016200796B4 (de) * 2016-01-21 2020-10-08 Volkswagen Aktiengesellschaft Verfahren zur Ansteuerung einer Anzeigevorrichtung eines Kraftfahrzeugs und Kraftfahrzeug
US10134278B1 (en) 2016-01-22 2018-11-20 State Farm Mutual Automobile Insurance Company Autonomous vehicle application
US10395332B1 (en) 2016-01-22 2019-08-27 State Farm Mutual Automobile Insurance Company Coordinated autonomous vehicle automatic area scanning
US11441916B1 (en) 2016-01-22 2022-09-13 State Farm Mutual Automobile Insurance Company Autonomous vehicle trip routing
US11242051B1 (en) 2016-01-22 2022-02-08 State Farm Mutual Automobile Insurance Company Autonomous vehicle action communications
US11719545B2 (en) 2016-01-22 2023-08-08 Hyundai Motor Company Autonomous vehicle component damage and salvage assessment
US11119477B1 (en) 2016-01-22 2021-09-14 State Farm Mutual Automobile Insurance Company Anomalous condition detection and response for autonomous vehicles
US10324463B1 (en) 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
CN108702418A (zh) * 2016-02-25 2018-10-23 皇家飞利浦有限公司 用于确定呼叫的优先级水平和/或对话持续时间的设备、系统和方法
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
JP6350977B2 (ja) * 2016-10-19 2018-07-04 マツダ株式会社 運転支援装置
JP6365621B2 (ja) * 2016-10-19 2018-08-01 マツダ株式会社 運転支援装置
US10241511B2 (en) * 2016-11-03 2019-03-26 Ford Global Technologies, Llc Emergency evacuation using autonomous driving
US11505090B2 (en) * 2017-04-03 2022-11-22 Ts Tech Co., Ltd. Arrangement structure for biological sensors
DE102017112538A1 (de) 2017-06-07 2018-12-13 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Kraftfahrzeuginsassenmonitoring mittels Terahertz-Exponierung
WO2019026076A1 (en) * 2017-08-02 2019-02-07 Caaresys Ltd SYSTEM FOR NON-CONTACT DETECTION AND MONITORING OF VITAL SIGNS OF OCCUPANTS OF A VEHICLE
DE102017213714B4 (de) 2017-08-07 2020-01-09 Audi Ag Verfahren zum Ermitteln einer Erkrankungsprognose eines Kraftfahrzeuginsassen sowie Prognoseeinrichtung
DE102017009353A1 (de) * 2017-10-09 2019-04-11 Daimler Ag Varfahran zur Ansteuerung von Fahrzeugfunktion
US10381005B2 (en) 2017-11-28 2019-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining user frustration when using voice control
CN111148469B (zh) * 2017-12-19 2024-04-09 松下知识产权经营株式会社 生物体计测装置、生物体计测方法及判定装置
US11126917B2 (en) * 2017-12-22 2021-09-21 At&T Intellectual Property I, L.P. System and method for estimating potential injuries from a vehicular incident
DE102018001970A1 (de) 2018-03-12 2019-09-12 Daimler Ag Verfahren zum Betreiben eines Regelsystems zur automatisierten Fahrzeugführung
RU184210U1 (ru) * 2018-03-20 2018-10-18 Общество с ограниченной ответственностью "Поликониус" Автоматизированное устройство для контроля и оценки состояния обследуемого субъекта
DE102018218215A1 (de) * 2018-10-24 2020-04-30 Robert Bosch Gmbh Insassenüberwachungssystem für ein Fahrzeug
CN109745030A (zh) * 2019-03-12 2019-05-14 中山安信通机器人制造有限公司 车载智能健康管理设备及其控制方法
US20200398700A1 (en) * 2019-06-21 2020-12-24 Lear Corporation Seat system and method of control
US11524691B2 (en) 2019-07-29 2022-12-13 Lear Corporation System and method for controlling an interior environmental condition in a vehicle
US20210153752A1 (en) * 2019-11-21 2021-05-27 Gb Soft Inc. Method of measuring physiological parameter of subject in contactless manner
DE102019135409A1 (de) * 2019-12-20 2021-06-24 Audi Ag Verfahren sowie Überwachungssystem zum Überwachen eines Wohlbefindens eines Mitfahrers eines Kraftwagens
DE102020114101A1 (de) 2020-05-26 2021-12-02 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Vorrichtung und Verfahren zur Reaktion auf die Feststellung einer erhöhten Körpertemperatur eines Insassen eines Fortbewegungsmittels
DE102022001262A1 (de) 2022-04-12 2023-10-12 Mercedes-Benz Group AG Innenraumüberwachungssystem und Verfahren zu dessen Betrieb sowie Fahrzeug mit einem solchen Innenraumüberwachungssystem

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19631589A1 (de) * 1996-08-05 1998-02-12 Rolf Wadewitz Einrichtung und Verfahren zur Meßwertaufnahme, Signalverarbeitung und Bewertung von Körpersensoren
WO2001019249A1 (en) * 1999-09-14 2001-03-22 Biosys Ab A method and a system for monitoring a person
EP1182089B1 (de) 2000-08-16 2005-03-16 Robert Bosch Gmbh Verfahren zur Warnung eines Fahrers eines Fahrzeugs
US20090209829A1 (en) * 2006-03-24 2009-08-20 Pioneer Corporation Apparatus for detecting driver's mental state and method for detecting mental state
DE102009016936A1 (de) 2009-04-08 2009-11-19 Daimler Ag Fahrassistenzsystem zum Unterstützen eines Fahrers bei Ermüdung
US20100009326A1 (en) * 2007-03-06 2010-01-14 Toyota Jidosha Kabushiki Kaisha Psychological state estimation device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731925B2 (en) * 2001-10-24 2004-05-04 Mouhamad Ahmad Naboulsi Safety control system for vehicles
US9801589B2 (en) * 2006-04-07 2017-10-31 Loewenstein Medical Technology S.A. Device and method for determining a comparison value of biodata and for recording biodata
US10076273B2 (en) * 2006-07-06 2018-09-18 Biorics Nv Real-time monitoring and control of physical and arousal status of individual organisms
US8700111B2 (en) * 2009-02-25 2014-04-15 Valencell, Inc. Light-guiding devices and monitoring devices incorporating same
JP4733242B2 (ja) * 2009-10-15 2011-07-27 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
US8706206B2 (en) * 2009-10-29 2014-04-22 Panasonic Corporation Human fatigue assessment device and human fatigue assessment method
JP5944899B2 (ja) * 2010-08-13 2016-07-05 レスピラトリー・モーシヨン・インコーポレイテツド 呼吸の量、運動、および変化を測定することによる呼吸変動モニタリングのための装置
US8552873B2 (en) * 2010-12-28 2013-10-08 Automotive Research & Testing Center Method and system for detecting a driving state of a driver in a vehicle
DE102010056397A1 (de) * 2010-12-28 2012-06-28 GM Global Technology Operations LLC Fahrerassistenzsystem für ein Kraftfahrzeug, Kraftfahrzeug und Verfahren zum Betreiben eines Fahrerassistenzsystems
WO2012135018A2 (en) * 2011-03-25 2012-10-04 Tk Holdings Inc. System and method for determining driver alertness
DE102011016772B4 (de) * 2011-04-12 2024-04-25 Mercedes-Benz Group AG 12.04.2021Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102011109564B4 (de) * 2011-08-05 2024-05-02 Mercedes-Benz Group AG Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19631589A1 (de) * 1996-08-05 1998-02-12 Rolf Wadewitz Einrichtung und Verfahren zur Meßwertaufnahme, Signalverarbeitung und Bewertung von Körpersensoren
WO2001019249A1 (en) * 1999-09-14 2001-03-22 Biosys Ab A method and a system for monitoring a person
EP1182089B1 (de) 2000-08-16 2005-03-16 Robert Bosch Gmbh Verfahren zur Warnung eines Fahrers eines Fahrzeugs
US20090209829A1 (en) * 2006-03-24 2009-08-20 Pioneer Corporation Apparatus for detecting driver's mental state and method for detecting mental state
US20100009326A1 (en) * 2007-03-06 2010-01-14 Toyota Jidosha Kabushiki Kaisha Psychological state estimation device
DE102009016936A1 (de) 2009-04-08 2009-11-19 Daimler Ag Fahrassistenzsystem zum Unterstützen eines Fahrers bei Ermüdung

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MING-ZHER POH; DANIEL J. MCDUFF; ROSALIND W. PICARD: "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", OPT. EXPRESS, vol. 18, 2010, pages 10762 - 10774
MING-ZHER POH; DANIEL J. MCDUFF; ROSALIND W. PICARD: "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", OPT. EXPRESS, vol. 18, 2010, pages 10762 - 10774, XP002685985 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014015990A1 (de) * 2012-07-25 2014-01-30 Audi Ag Verfahren und fahrerassistenzsystem zum betreiben eines fahrzeugs bei einer gesundheitlichen störung eines fahrers
KR20170038797A (ko) * 2014-07-24 2017-04-07 로베르트 보쉬 게엠베하 적어도 하나의 전기 에너지 저장 장치를 구비한 차량의 보조 시스템의 작동 방법
KR102419243B1 (ko) * 2014-07-24 2022-07-11 로베르트 보쉬 게엠베하 적어도 하나의 전기 에너지 저장 장치를 구비한 차량의 보조 시스템의 작동 방법
FR3103606A1 (fr) * 2019-11-27 2021-05-28 Psa Automobiles Sa Surveillance de passagers de véhicules par comparaison de valeurs de paramètres physiologiques à des valeurs de référence

Also Published As

Publication number Publication date
DE102011110486A1 (de) 2013-02-21
US20140221781A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
WO2013023738A1 (de) Verfahren und vorrichtung zur überwachung zumindest eines fahrzeuginsassen und verfahren zum betrieb zumindest einer assistenzvorrichtung
DE102011016772B4 (de) 12.04.2021Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102011109564B4 (de) Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
DE102012020901B4 (de) Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
EP2877360B1 (de) Verfahren und fahrerassistenzsystem zum betreiben eines fahrzeugs bei einer gesundheitlichen störung eines fahrers
DE102014212746B4 (de) Autonomes fahrzeug mit fahrer-anwesenheits- und physiologischer überwachung
DE19983911B4 (de) Wachsamkeitsüberwachungssystem
DE102015105581A1 (de) System und Verfahren zur Überwachung des Gesundheitszustandes und/oder des Befindens eines Fahrzeuginsassen
EP2359748A1 (de) Detektor für schläfrigkeitssignale
EP2909827A1 (de) Verfahren und unterstützungssystem zum unterstützen eines fahrers eines kraftfahrzeuges sowie messverfahren und messsystem zum bestimmen eines mentalen zustandes eines fahrers eines kraftfahrzeuges
DE102015201790A1 (de) Vorrichtung und Verfahren zur Erfassung eines Fahrerzustands
EP2457511A1 (de) Signalerfassungsvorrichtung zur Erfassung eines Differenzsignals für eine elektrische Messung eines Vitalparameters eines Lebewesens, Elektrodenanordnung und Verfahren
DE102021201498A1 (de) Vorrichtung und Verfahren zur Bestimmung einer Aufmerksamkeit eines Fahrers eines Fahrzeugs
JP2018135002A (ja) 車両用健康診断装置
DE102019003557A1 (de) Verfahren zum Betrieb eines Fahrzeugs
DE102020206972A1 (de) System zum Erkennen und Beeinflussen eines Schlaganfalls eines Fahrzeuginsassen
DE102020212053A1 (de) Vorrichtung und verfahren zur authentifizierung eines benutzers eines mobilitätsmittels mithilfe von gehirnwellen
DE102016005845A1 (de) Verfahren zur Ermittlung eines Gesundheitszustandes
DE102018210593A1 (de) Fahrtüchtigkeitserkennungsvorrichtung für ein Fahrzeug
EP3583540A1 (de) System und verfahren zur erkennung der müdigkeit eines fahrzeugführers
JP2022128481A (ja) 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法
WO2019233534A1 (de) Fahrerstresslevelanalysevorrichtung für ein fahrzeug
DE102014219892A1 (de) Unterstützen der Atmung eines Fahrzeugführers
DE102020210325A1 (de) Vorrichtung zur Linderung von Symptomen der Willis-Ekbom-Krankheit in einem Kraftfahrzeug, Kraftfahrzeug und Computerprogrammprodukt
DE102019218051A1 (de) Verfahren zur Detektion eines Schlafapnoe-Syndroms und entsprechender Reaktion darauf während eines Aufenthaltes von einem Fahrzeuginsassen in einem Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12743380

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14238922

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12743380

Country of ref document: EP

Kind code of ref document: A1