WO2017211527A1 - Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren - Google Patents

Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren Download PDF

Info

Publication number
WO2017211527A1
WO2017211527A1 PCT/EP2017/061084 EP2017061084W WO2017211527A1 WO 2017211527 A1 WO2017211527 A1 WO 2017211527A1 EP 2017061084 W EP2017061084 W EP 2017061084W WO 2017211527 A1 WO2017211527 A1 WO 2017211527A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
person
pattern curve
heart pattern
designed
Prior art date
Application number
PCT/EP2017/061084
Other languages
English (en)
French (fr)
Inventor
Jürgen Brechter
Original Assignee
Jürgen Brechter
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jürgen Brechter filed Critical Jürgen Brechter
Publication of WO2017211527A1 publication Critical patent/WO2017211527A1/de

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23CDAIRY PRODUCTS, e.g. MILK, BUTTER OR CHEESE; MILK OR CHEESE SUBSTITUTES; MAKING THEREOF
    • A23C9/00Milk preparations; Milk powder or milk powder preparations
    • A23C9/12Fermented milk preparations; Treatment using microorganisms or enzymes
    • AHUMAN NECESSITIES
    • A23FOODS OR FOODSTUFFS; TREATMENT THEREOF, NOT COVERED BY OTHER CLASSES
    • A23CDAIRY PRODUCTS, e.g. MILK, BUTTER OR CHEESE; MILK OR CHEESE SUBSTITUTES; MAKING THEREOF
    • A23C9/00Milk preparations; Milk powder or milk powder preparations
    • A23C9/12Fermented milk preparations; Treatment using microorganisms or enzymes
    • A23C9/122Apparatus for preparing or treating fermented milk products
    • A23C9/1226Apparatus for preparing or treating fermented milk products for making set yoghurt in containers without stirring, agitation or transport of the yoghurt or the containers during incubation, heating or cooling; Domestic yoghurt apparatus without agitating means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J41/00Thermally-insulated vessels, e.g. flasks, jugs, jars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/535Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for monitoring, e.g. of user parameters, terminal parameters, application parameters, network parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity

Definitions

  • the present invention relates to a
  • Monitoring device for monitoring a person's physical response to an unforeseen event.
  • the present invention relates to a
  • Vehicle control device and a corresponding
  • Such applications may, for. As video games, medical applications or the like.
  • Vehicle thus extends by 30 m, because the driver of the vehicle is not able to operate the brake pedal or to relieve the gas pedal until the moment of shock has expired.
  • a monitoring device for monitoring a physical reaction in particular a physically unconscious and man-uncontrollable reaction, eg. As a shock, a person to an unforeseen event, ie z. B. a suddenly or unexpectedly appearing in the field of view of the person object.
  • the monitoring device has a detection device for detecting a number, that is to say one or more physical variables relating to the person.
  • an evaluation device which is designed to examine irregularities in the detected physical quantities and to output a warning signal if the amount of the irregularities exceeds a predetermined threshold value.
  • a FahrZeug vomvoroplasty for a vehicle with a monitoring device according to the invention and with a
  • Control device which with the monitoring device coupled and configured to control vehicle functions based on the warning signal.
  • a monitoring method for monitoring a person's physical response to an unforeseen event comprises the following steps: detecting a number of physical variables relating to the person, investigating irregularities in the detected ones
  • Patent application be considered any event that is not expected by the person. In particular, such events can scare the person.
  • the physical response of the person refers to any kind of reaction of the person or body of the person that can be measured or recorded.
  • the reaction refers to unconscious reactions, such. As a pulse change, a widening of the eyes or a flinching of the person.
  • the invention is based on the recognition that the physical reaction of the person in at least one
  • the physical size can be detected, which affects the person.
  • the physical size can be detected directly on the person or z. B. by contactless or
  • reaction is to be understood in particular as a physically unconscious reaction that can not be controlled by humans. Further, the reaction is to be distinguished from a shock following the reaction.
  • the invention uses the fact that the physical quantity deviates from the physical quantity in the event of an unforeseen event without the occurrence of the unforeseen event.
  • the evaluation device determines irregularities in the course of the detected physical
  • the irregularities thus denote the deviations of the physical quantity when the unforeseen event of the physical quantity occurs without occurrence of the unforeseen event.
  • this information can be used to z.
  • Monitoring device can be arranged in a unit. Alternatively, however, the individual elements can also be distributed. Thus, the detection device may be a hardware that z. B. is coupled via data lines or wirelessly with the evaluation.
  • an average value of the frequency for the expression of a start signal can be determined. This can be z. B. by field trials, ie empirically, and / or done by statistical evaluations.
  • the Schreckse Hsignal refers to the section of the signal
  • the warning signal can then also be output by means of a fuzzy logic (states between the Boolean 0 and 1).
  • the monitoring device can be a detection device designed as an electronic sensor for detecting the activity of the person's heart
  • Such a sensor may, for. Example, be a heart rate monitor or a sensor for detecting an electrocardiogram of the person. If the monitoring device used in a vehicle, the sensor z. B. be arranged on the steering wheel or the shift knob. In particular, it is also possible to use a plurality of sensors which are arranged at locations which the driver of such a vehicle usually touches with his hand.
  • Such a sensor may, for. B. based on a voltage measurement and similar to a conventional pulse sensor or ECG sensor determine the pulse of the person.
  • the sensor can also be an optical sensor, in which the change of a
  • Optical fiber property of a light guide structure is evaluated by the pulse waves of the pulse of the person.
  • the sensor can z. B. in a so-called. Smartwatch or in a bracelet with integrated sensors or a so-called.
  • Virtual reality glasses can be arranged.
  • the evaluation of the captured heart pattern curve can then z. B. as an application on the smartwatch or a smartphone.
  • the sensor can also in one
  • Gamepad game console or a virtual reality glasses are used.
  • the electronic sensor can, for. B. also be designed as a camera system, which is the person, so z. B. one
  • the image analysis can z.
  • Color change can be detected. From this value also the pulse of the person can be calculated.
  • optical sensors can, for. B. also in
  • Multimedia applications such as As smart TVs are used.
  • a camera of such a smart TV can detect whether the audience is frightening in front of the television.
  • All embodiments of the sensor is common that they can detect both the frequency and the amplitude of the heartbeats of the heart of the person, so the course of the heart pulses.
  • the outputs of the sensor can thus be summarized as a heart pattern curve, which may be a function of time in particular. If the sensor outputs a detected voltage, this can also be called the cardiac voltage curve.
  • the evaluation device determines whether the evaluation device is satisfies the evaluation device.
  • the evaluation of the course can be z. B. refer to characteristic features of a heart pattern curve. Such features can be
  • the frequency with which maxima or minima occur in the heart pattern curve can also represent such a feature.
  • Under the resting heart pattern curve is a heart pattern curve of the person to understand when the person in a
  • the evaluation device determines whether the evaluation device is satisfies the evaluation device.
  • an absolute value ie z.
  • the length of the resting heart sample curve plus the original threshold may be provided.
  • evaluations based on fuzzy logic are possible. In one embodiment, the evaluation device
  • Threshold has a first value and a second value
  • the evaluation device is configured to output the warning signal when the number of maxima and minima is above the first value and the sum of the differences, in particular the relative differences, is above the second value.
  • maxima and minima can be done very easily based on the individual measured values of the heart sample curve. It can, for. For example, a kind of trend may be determined which is 1 if a reading is greater than the previous reading, and 0 if a reading is less than a previous reading. Each time the trend is changed, there is a maximum or a minimum, and the corresponding counter can be incremented. Of course, any other way of detecting maxima and minima can be used.
  • Readings are always the smaller subtracted from the larger one to calculate the difference.
  • the single ones are always the smaller subtracted from the larger one to calculate the difference.
  • the monitoring device may include a learning device configured to detect the person's resting heart pattern curve in a learning mode of operation and to determine the threshold value from the resting heart sample curve. For example, the length of the heart pattern curve can be determined and the threshold based on the
  • the sensor can then detect the resting heart pattern curve. Depending on the type of
  • the monitoring device z. B. used in game consoles or smart TVs, the user can z. B. during its registration or when starting a game are required to behave quietly so that the resting heart pattern curve can be detected.
  • Training device is designed, starting from a second start value, to increment the first value by one, when the second value is above a predetermined maximum value, and to reset the second value to the first start value.
  • sample intervals can correspond to the windows already mentioned above.
  • the algorithm described here evaluates indirectly or
  • the sample interval z. B. about 90 ms long (eg at a sampling rate of 333Hz).
  • the second value may be for the sum of the relative differences z. B. have a start value of 0.5 and a maximum value of 1.0.
  • the given value can z. B. 0.01.
  • the second starting value z. B. 8 be.
  • a maximum value can be specified, the z. B. 11 may be.
  • the respective suitable values can, for. B. be determined experimentally.
  • the monitoring device may comprise an identification device which is designed to identify the person and to determine the threshold value for the identified person from a number (ie one or more) of stored measured values.
  • the identification device can be any type of device or sensor that can identify a person.
  • Identification of the person eg. As the input / selection of a name or a pin done.
  • the person can also be recognized passively without the person's active involvement.
  • a camera can pick up the person and then identify them using image processing algorithms.
  • the pulse of a person is unique, similar to the iris.
  • the person can thus z. B. also be identified by the analysis of the pulse.
  • the identification of the person can not only be active
  • the monitoring device may be a detection device designed as an optical sensor for
  • movement refers to z.
  • the movement can therefore z. B. be the movement of the person in itself, so z. B. a flinching of the entire body of the person.
  • the movement can also be a movement or change of a single body part of the person, so z. As a width of the pupil, tearing the eyes or lifting the eyelids, opening the mouth or the like.
  • the optical sensor may be designed to detect such movements in particular as a camera, which is directed to the person to be monitored.
  • the camera z. B. be a camera in the rearview mirror or in the
  • the camera can z. B. also for several driver assistance systems, such as a fatigue detection or the like, are used.
  • the evaluation device can have a
  • Image recognition device can, for. B. in the optical sensor or another system for image recognition. With the help of image recognition z. B. the face of a
  • the driver of a vehicle detects and monitors whether his eyes suddenly widen sharply. Other notes for one
  • Frightening the driver can z. B. jerky movements of the head or wince, so jerky movements of the
  • Torsos his. It is understood that the same also z. B. applies to players on a game console.
  • the above embodiments and developments can, if appropriate, combine with each other as desired.
  • Fig. 1 is a block diagram of an embodiment of a monitoring device according to the invention.
  • Fig. 2 is a block diagram of an embodiment of a vehicle control device according to the invention.
  • FIG. 3 shows a flow chart of an embodiment of a method according to the invention
  • Fig. 4 is a diagram of a heart pattern curve without one
  • Fig. 5 is a diagram of a heart sample curve with a
  • Fig. 6 is a flow chart of an embodiment of the invention
  • FIG. 7 shows a flowchart of a further embodiment of a method according to the invention.
  • the same or functionally identical elements and devices - unless otherwise indicated - have been provided with the same reference characters.
  • Event 3 is shown here as the sudden entry of an object into the field of vision of person 2.
  • the event could 3 z. B. be a suddenly einbiegendes on the lane of the vehicle other vehicle.
  • the event 3 can also be any other event by which the person 2 is frightened. For example, an accident, ie stationary vehicles, behind a curve, which the person 2 passes through, be such an event.
  • a detection device 4 which serves to detect a physical quantity 5, which concerns the person 2.
  • the detection device 4 may, for. B. as a pulse sensor 4 or ECG electrode 4 may be formed, which receives a heart pattern curve 33 (see FIG. 5) of the person 2.
  • Such a detection device 4 may, for. In one
  • the detection device 4 derives values of the physical variable 5 for evaluation to the evaluation device 6, which derives the presence of the reaction to the event 3 from the measured values of the physical variable 5.
  • the evaluation device 6 determines irregularities of the detected physical variable 5. B. be compared with values or gradients of the physical quantity 5 in the resting state of the person 2.
  • the length of the heart pattern curve 30 can be determined in predetermined time windows in the resting state of the person 2. During operation of the monitoring device, the length of the currently detected heart pattern curve 33 can then be compared with the stored value. Of course, other characteristic data of the heart pattern curve 33 can be determined, which allow a statement about the presence of the reaction of the person 2.
  • characteristic data can be z. B. composition of the heart pattern curve 33 in the frequency range, the z. B. by a Fourier transform, in particular a fast Fourier transform can be determined.
  • the heart sample curve 33 has portions of higher frequencies and amplitudes at least in sections than at rest.
  • the length of the heart pattern curve 33 or the characteristic data can be determined in particular for windows 37 (see FIG. 5) of a predetermined length. The length can also be determined indirectly. For example, the number of maxima 38 and minima 39 (see FIG. 5) in the heart pattern curve 33 can be determined in the respective windows.
  • the differences in particular the relative differences, between the individual measuring points of the heart sample curve 33 can be summed without sign which approximates the length of the heart pattern curve 33.
  • the weighted sum of the differences can be determined as described above.
  • Threshold 8 may then have a first value and a second value.
  • the evaluation device 6 outputs the warning signal 7 when the number of maxima 38 and minima 39 is above the first value and the sum of the
  • the z. B. can be configured as a threshold for the variability of the frequency of the heart pattern curve.
  • FIG. 2 shows a block diagram of an embodiment of a vehicle control device 10 according to the invention.
  • the vehicle control device 10 has a control device 11, so z. As a vehicle control unit or a head unit of a vehicle on.
  • the monitoring device is not formed in FIG. 2 as a separate unit. Rather, their components are coupled to the control device 11 or arranged in this.
  • the detection device 21 is embodied as a pulse sensor 21 and transmits corresponding values 22 to the control device 11.
  • the evaluation device 23 is thus designed as a program or function and records the values 22.
  • the evaluation device 23 transmits the warning signal 24 to a vehicle control function 12, which is likewise executed in the control device 11.
  • the vehicle control function 12 may then be based on the warning signal 24 (and not shown further
  • Input variables output a control signal 14.
  • the control signal 14 may, for. B. initiate emergency braking of the vehicle.
  • the evaluation device 23 may, for. B. together with a vehicle control function 12 by a processor (not shown separately) of the controller 11 are executed.
  • the control device 11 may also have a plurality of processors or processor cores, which the
  • the control device 11 is shown in Fig. 2 with further
  • Such systems may, for. B. provide information by means of which the warning signal 24 can be made plausible or vice versa.
  • Vehicle system 13 may, for. B. a system 13, which is a
  • Environment model also called ego model, created the vehicle. Occurs in the environment model z. For example, if an object suddenly enters the lane of the vehicle, it is likely that the driver will be frightened. Consequently, if these two events correlate in time, there is also a high probability that an object really exists. The greater this probability, the more reliable can z. B. also emergency braking can be initiated.
  • the vehicle control device 10 is further a
  • Identification device 26 is provided which can identify the respective person 2. The identification of the person 2 serves on the one hand to a learning device 27 to the,
  • learned thresholds 25 assign a person.
  • the identification of the person 2 serves to select the correct threshold values 25 by the evaluation device 23.
  • the training device 27 can learn the threshold values 25 for the individual persons in a learning operating mode, such as, for example, B. to Figs. 3 and 6 explained.
  • the monitoring device 1 can also be used in conjunction with video games or other entertainment systems. So in a video game z. B. Whether ekte / characters appear on the screen in time so that the human perceivable The consequence of the shock effect, ie the startle reaction, is maximized when it is known whether a person is already startled or not.
  • Invention refers to the direct consequence of a fright and is to be distinguished from a shock, which in turn is the result of the fright. Furthermore, the
  • cardiological shock It can also be analyzed in which situations a person is even frightened. Thus, these situations can be specifically provoked in a game.
  • FIG. 3 shows a flow diagram of an embodiment of a method according to the invention for monitoring a physical reaction of a person 2 to an unforeseen event 3, 36.
  • a number of physical variables 5, 22 relating to the person 2 are detected. Subsequently, in the step S2, irregularities in the detected physical quantities 5, 22 are examined. When the amount of the irregularities exceeds a predetermined threshold value 8, 25, a warning signal 7, 24 is outputted.
  • a physical quantity may, for. B. the activity of the person's heart 2. This can be captured and a
  • corresponding heart pattern curve 33 are output.
  • z. B the course of the heart pattern curve 33 are evaluated. In this case, deviations from a resting heart pattern curve 30 of the person 2 can be determined.
  • the warning signal 7, 24 is output only when the determined deviation exceeds a predetermined threshold value 8, 25.
  • the length of the window can be used for a predetermined period of time
  • the so determined Length can then be compared to the length of the resting heart pattern curve 30.
  • the threshold value 8, 25 specifies a maximum deviation of the length.
  • the length can be determined by determining the number of maxima 38 and minima 39 in the heart sample curve 33 when evaluating for the windows 37 of the predetermined time period, and the differences, in particular the relative values
  • Heart pattern curve 33 are summed unsigned.
  • the threshold 8, 25 then has a first value and a second value.
  • the warning signal 7, 24 is consequently output only when the number of maxima 38 and minima 39 is above the first value and the sum of the differences is above the second value.
  • the number of maxima 38 and minima 39 is not considered separately. Rather, the maxima 38 and minima 39 are counted together.
  • the resting heart pattern curve 30 of the person 2 can be detected.
  • the threshold value 8, 25 or the first and the second value can be generated from the resting heart pattern curve 30 in a learning operating mode.
  • the number of maxima 38 and minima 39 as well as the summed differences can be determined in each case for sample intervals which can correspond to the windows via the resting heart pattern curve 30.
  • the second value can then be increased by a predetermined value, if in one
  • the first value may be incremented by one if the second value is above a predetermined maximum value, at the same time the second value may be at the first value
  • FIG. 4 shows a diagram of a heart pattern curve 30 in FIG.
  • the heart pattern curve 30 corresponds to z. B. a cardiac curve or cardiac tension curve, such as it can be recorded by an ECG if the person 2 is resting or not alarmed.
  • Recognizable are the characteristic QRS complexes 31, 32, each of which characterizes a contraction of the heart muscle. Further high-frequency rashes can not be seen in the heart pattern curve 30.
  • FIG. 5 in contrast to the heart pattern curve 30 of FIG. 4, a heart pattern curve 33 is shown in which the person 2 is frightened by an event 36.
  • a window 37 is shown, which is the
  • Heart pattern curve 33 is performed. In operation of the
  • heart pattern curve 33 in the window 37 has high-frequency excursions. These rashes increase the length of the heart pattern curve 33 in this section. This increase in length may be detected to detect the event 36 in the cardiac waveform 33.
  • the length can be approximated by summing up the relative differences of successive measurements. Since the value is only an approximation, the number of maxima 38 and minima 39 is additionally determined. The individual maxima 38 and minima 39 are marked in the window. The accumulated number for the maxima 38 and minima 39 thus yields 8 for the window 37.
  • step S10 the sample interval is initialized.
  • Sample rate can be calculated.
  • a possible value is z. B.
  • step S11 the first value, which is initial with a second seed, e.g. B. 8, is pre-assigned,
  • step S12 the second value having the first start value, e.g. B. 0.5 occupied.
  • step S13 the second value is latched.
  • Step S14 includes setting the starting point at the first measured value of the available cardiac waveform.
  • step S15 the number of extrema, ie, maxima 38 and minima 39 in the sample interval is counted.
  • Step S16 includes calculating the relative differences of the individual measurements in the sample interval.
  • Decision El now checks whether both the number of extrema is greater than the first value and the sum of the differences is greater than the second value. If neither is the case, decision E2 is jumped.
  • step S20 the current first value and the current second value are read from the buffer and stored in step S21. This can in particular be person-specific.
  • step S17 If the last data point has not been reached, the next measured value is used as the starting point for a new one in step S17
  • decision E3 jumped.
  • decision E3 it is checked whether the second value is a predetermined maximum value, z. B. 1.0, has reached. If this is not the case, the second value in step S18 by a predetermined value, for. B. 0.01, and jumped to step S13. But has the second value a predetermined maximum value, z. B. 1.0, the first value is increased by one in step S19 and jumped back to step Sil.
  • FIG. 7 shows a flowchart of a further embodiment of a monitoring method according to the invention in FIG.
  • Step S40 corresponds to step S10 in which the windows of predetermined length are initialized, e.g. B. to 90 ms.
  • step S41 the relevant measurement values of the
  • Heart pattern curve retrieved from a cache In step S42, the number of extrema, ie, maxima 38 and minima 39 in the sample interval is counted. Step S43 includes calculating the relative differences of the individual measurements in the sample interval. The steps S42 and S43 thus correspond to the steps S15 and S16 of FIG. 6.
  • Steps S44 and S55 provide the first value and the second value to decision E4 from a cache.
  • decision E4 it is checked whether the number of extrema is greater than the first value and also the sum of the differences is greater than the second value. If this is the case, the occurrence of the event is signaled by the warning signal 7, 24 in step S46.
  • step S41 If either the number of extrema is not greater than the first value or the sum of the differences is not greater than the second value, the process returns to step S41.
  • Embodiments has been described above, it is not limited thereto, but modifiable in many ways.
  • the invention can be varied or modified in many ways without deviating from the gist of the invention.

Abstract

Die vorliegende Erfindung offenbart eine Überwachungsvorrichtung (1) zur Überwachung einer physischen Reaktion, insbesondere einer physisch unbewussten und vom Menschen nicht steuerbaren Reaktion, einer Person (2) auf ein unvorhergesehenes Ereignis (3, 36), mit einer Erfassungseinrichtung (4, 21) zum Erfassen einer Anzahl von die Person (2) betreffenden physikalischen Größen (5, 22), und mit einer Auswerteeinrichtung (6, 23), welche ausgebildet ist, Unregelmäßigkeiten in den erfassten physikalischen Größen (5, 22) zu untersuchen und ein Warnsignal (7, 24) auszugeben, wenn der Betrag der Unregelmäßigkeiten einen vorgegebenen Schwellwert (8, 25) überschreitet. Ferner offenbart die vorliegende Erfindung eine FahrZeugsteuervorrichtung und ein entsprechendes Überwachungsverfahren.

Description

Beschreibung
Titel
ÜBERWACHUNGSVORRICHTUNG, FAHRZEUGSTEUERVORRICHTUNG, UND
ÜBERWACHUNGSVERFAHREN
Die vorliegende Erfindung bezieht sich auf eine
Überwachungsvorrichtung zur Überwachung einer physischen Reaktion einer Person auf ein unvorhergesehenes Ereignis .
Ferner bezieht sich die vorliegende Erfindung auf eine
Fahrzeugsteuervorrichtung und ein entsprechendes
Überwachungsverfahren .
Technisches Gebiet
Die vorliegende Erfindung wird im Folgenden hauptsächlich in Bezug auf Fahrerassistenzsysteme in Fahrzeugen beschrieben. Es versteht sich, dass die vorliegende Erfindung aber nicht auf diese Anwendung beschränkt ist. Vielmehr kann die vorliegende Erfindung in jeder Anwendung eingesetzt werden, in der es von Interesse ist, eine physische Reaktion, wie z. B. ein
Erschrecken, eines Nutzers zu erfassen. Solche Anwendungen können z. B. Videospiele, medizinische Anwendungen oder dergleichen sein.
Menschen reagieren in unvorhergesehenen Situationen,
insbesondere wenn diese plötzlich auftreten, üblicherweise mit einer Schreckreaktion, sie erschrecken also. Die Folge des Erschreckens ist, dass die Reaktion der Person sich verzögert. Dieser Effekt ist z. B. auch als Schrecksekunde bekannt.
Innerhalb der Schrecksekunde ist die Person paralysiert und nicht in der Lage, eine Reaktion auf das unvorhergesehene Ereignis einzuleiten. Der umgangssprachliche Begriff
Schrecksekunde beinhaltet näherungsweise die korrekte Dauer. Die Person ist also bis zu einer Sekunde nicht in der Lage angemessen auf das Ereignis zu reagieren. Insbesondere im Straßenverkehr kann eine Sekunde sehr lang sein. Ein Fahrzeug legt bei einer Geschwindigkeit von 100 km/h z. B. fast 30 m in einer Sekunde zurück. Der Bremsweg des
Fahrzeugs verlängert sich also um 30 m, weil der Fahrer des Fahrzeugs erst nach Ablauf der Schrecksekunde überhaupt in der Lage ist, das Bremspedal zu betätigen bzw. das Gaspedal zu entlasten .
Offenbarung der Erfindung
Es ist daher eine Aufgabe der vorliegenden Erfindung das
Erschrecken einer Person zu erfassen und eine entsprechende Information verfügbar zu machen. Demgemäß offenbart die vorliegende Erfindung
Demgemäß ist vorgesehen: Eine Überwachungsvorrichtung zur Überwachung einer physischen Reaktion, insbesondere einer physisch unbewussten und vom Menschen nicht steuerbaren Reaktion, z. B. eines Erschreckens, einer Person auf ein unvorhergesehenes Ereignis, also z. B. ein plötzlich bzw. unerwartet im Sichtfeld der Person auftauchendes Objekt. Die Überwachungsvorrichtung weist eine Erfassungseinrichtung zum Erfassen einer Anzahl, also einer oder mehrerer, von die Person betreffenden physikalischen Größen auf. Ferner weist sie eine Auswerteeinrichtung auf, welche ausgebildet ist, Unregelmäßigkeiten in den erfassten physikalischen Größen zu untersuchen und ein Warnsignal auszugeben, wenn der Betrag der Unregelmäßigkeiten einen vorgegebenen Schwellwert überschreitet .
Ferner ist vorgesehen:
Eine FahrZeugsteuervorrichtung für ein Fahrzeug, mit einer erfindungsgemäßen Überwachungsvorrichtung und mit einer
Steuereinrichtung, welche mit der Überwachungsvorrichtung gekoppelt und ausgebildet ist, Fahrzeugfunktionen basierend auf dem Warnsignal zu steuern.
Schließlich ist vorgesehen:
Ein Überwachungsverfahren zum Überwachen einer physischen Reaktion einer Person auf ein unvorhergesehenes Ereignis. Das Verfahren weist die folgenden Schritte auf: Erfassen einer Anzahl von die Person betreffenden physikalischen Größen, Untersuchen von Unregelmäßigkeiten in den erfassten
physikalischen Größen und Ausgeben eines Warnsignals, wenn der Betrag der Unregelmäßigkeiten einen vorgegebenen Schwellwert überschreitet . Darstellung der Erfindung
Als unvorhergesehenes Ereignis kann im Rahmen dieser
Patentanmeldung jedes Ereignis angesehen werden, welches von der Person nicht erwartet wird. Insbesondere können solche Ereignisse die Person erschrecken. Die physische Reaktion der Person bezeichnet dabei jede Art von Reaktion der Person bzw. des Körpers der Person, die gemessen bzw. erfasst werden kann. Die Reaktion bezeichnet dabei unbewusst erfolgende Reaktionen, wie z. B. eine Pulsänderung, ein Weiten der Augen oder ein Zusammenzucken der Person.
Der Erfindung liegt die Erkenntnis zu Grunde, dass die physische Reaktion der Person in mindestens einer
physikalischen Größe erfasst werden kann, welche die Person betrifft. Die physikalische Größe kann dabei direkt an der Person erfasst werden oder z. B. durch kontaktlose bzw.
optische Verfahren ermittelt werden.
Unter der Reaktion ist dabei insbesondere eine physisch unbewusste und vom Menschen nicht steuerbare Reaktion zu verstehen. Ferner ist die Reaktion von einem der Reaktion folgenden Shock bzw. Schockzustand zu unterscheiden. Die
Reaktion erfolgt also vor einem Schock. Die Erfindung nutzt dabei die Tatsache, dass die physikalische Größe bei Auftreten des unvorhergesehenen Ereignisses von der physikalischen Größe ohne Auftreten des unvorhergesehenen Ereignisses abweicht. Dazu bestimmt die Auswerteeinrichtung Unregelmäßigkeiten im Verlauf der erfassten physikalischen
Größe. Die Unregelmäßigkeiten bezeichnen also die Abweichungen der physikalischen Größe bei Auftreten des unvorhergesehenen Ereignisses von der physikalischen Größe ohne Auftreten des unvorhergesehenen Ereignisses.
Liegt der Betrag dieser Unregelmäßigkeiten über einem
vorgegebenen Schwellwert, liegt eine Reaktion der Person auf das unvorhergesehene Ereignis vor. Die Person ist also z. B. erschrocken .
In einem Fahrerassistenzsystem kann diese Information genutzt werden, um z. B. einen automatischen Brems- oder
Ausweichvorgang einzuleiten. Es versteht sich, dass diese Information in einer anderen Ausführung auch lediglich zur Validierung anderer Messwerte z. B. eines Fahrzeugradars oder eines Kamerasystems genutzt werden kann oder umgekehrt.
Es versteht sich, dass die einzelnen Elemente der
Überwachungsvorrichtung in einer Einheit angeordnet sein können. Alternativ können die einzelnen Elemente aber auch verteilt angeordnet sein. So kann die Erfassungseinrichtung eine Hardware sein, die z. B. über Datenleitungen oder drahtlos mit der Auswerteeinrichtung gekoppelt ist. Die
Auswerteeinrichtung kann z. B. einen eigenen Controller aufweisen, der die notwendigen Berechnungen durchführt.
Alternativ kann die Auswerteeinrichtung aber auch als Programm z. B. in einem Fahrzeugsteuergerät oder einem Smartphone oder dergleichen ausgeführt werden. Vorteilhafte Ausführungsformen und Weiterbildungen ergeben sich aus den Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren. Es versteht sich, dass die folgenden als vorrichtungsbezogene Ausführungsformen dargestellten Ausführungsformen auch als verfahrensbezogene Ausführungsformen ausgebildet werden können.
In einer Ausführungsform kann ein Mittelwert der Frequenz für die Ausprägung eines Schrecksignals bestimmt werden. Dies kann z. B. durch Feldversuche, also empirisch, und/oder durch statistische Auswertungen erfolgen. Das Schrecksekundensignal bezeichnet dabei den Abschnitt des Signals der
Erfassungseinrichtung, welches der physikalischen Größe entspricht, in welchem das unvorhergesehene Ereignis eintritt. Mit entsprechender Verteilungsbetrachtung und definiertem Vertrauensniveau kann man das Warnsignal dann auch mittels einer Fuzzy-Logik (Zustände zwischen dem boolschen 0 und 1) ausgeben .
In einer Ausführungs form kann die ÜberwachungsVorrichtung eine als elektronischen Sensor zur Erfassung der Aktivität des Herzens der Person ausgebildete Erfassungseinrichtung
aufweisen, welche ausgebildet ist, eine Herzmusterkurve basierend auf den erfassten Aktivitäten auszugeben. Ein solcher Sensor kann z. B. ein Pulsmesser oder ein Sensor zur Erfassung eines Elektrokardiogramms der Person sein. Wird die Überwachungsvorrichtung in einem Fahrzeug eingesetzt, kann der Sensor z. B. am Lenkrad oder dem Schaltknauf angeordnet sein. Insbesondere können auch mehrere Sensoren eingesetzt werden, die an Stellen angeordnet sind, die der Fahrer eines solchen Fahrzeugs üblicherweise mit der Hand berührt.
Ein solcher Sensor kann z. B. auf einer Spannungsmessung basieren und ähnlich einem üblichen Pulssensor oder EKG-Sensor den Puls der Person bestimmen. Der Sensor kann aber auch ein optischer Sensor sein, bei welchem die Veränderung einer
Lichtleitereigenschaft einer Lichtleiterstruktur durch die Pulswellen des Pulses der Person ausgewertet wird.
Der Sensor kann z. B. auch in einer sog. Smartwatch oder in einem Armband mit integrierten Sensoren oder einer sog.
Virtual-Reality-Brille angeordnet sein. Die Auswertung der erfassten Herzmusterkurve kann dann z. B. als eine Anwendung auf der Smartwatch oder einem Smartphone erfolgen.
Wird die Überwachungsvorrichtung z. B. in Verbindung mit
Spielkonsolen eingesetzt, kann der Sensor auch in einem
Gamepad der Spielkonsole oder einer Virtual-Reality-Brille eingesetzt werden.
Der elektronische Sensor kann z. B. auch als Kamerasystem ausgebildet sein, welches die Person, also z. B. einen
Fahrzeugfahrer, filmt und über eine Bildanalyse bzw. - Auswertung dessen Puls erfasst. Die Bildanalyse kann z. B. die Methode der Eulerschen Videoverstärkung nutzen, bei der kleinste Bewegungen hervorgehoben werden. So kann z. B. das pulsieren einer Ader im Gesicht der Person erkannt werden und aus den Videoaufzeichnungen der Kamera der Puls der Person bestimmt werden. Alternativ kann z. B. die Menge an
einströmendem Blut im Gesicht der Person anhand der
Farbänderung erkannt werden. Aus diesem Wert kann ebenfalls der Puls der Person berechnet werden.
Insbesondere optische Sensoren können z. B. auch in
Multimedia-Anwendungen, wie z. B. Smart-TVs eingesetzt werden. Beispielsweise kann eine Kamera eines solchen Smart-TVs erfassen, ob die Zuschauer vor dem Fernseher erschrecken.
Allen Ausführungsarten des Sensors ist dabei gemein, dass sie sowohl die Frequenz, als auch die Amplitude der Pulsschläge des Herzens der Person erfassen können, also den Verlauf der Herzpulse. Die Ausgangsgrößen des Sensors können folglich als Herzmusterkurve zusammengefasst werden, die insbesondere eine Funktion der Zeit sein kann. Gibt der Sensor eine erfasste Spannung aus, kann diese auch Herzspannungskurve genannt werden .
In einer Ausführungsform kann die Auswerteeinrichtung
ausgebildet sein, den Verlauf der Herzmusterkurve auszuwerten und deren Abweichung von einer Ruhe-Herzmusterkurve der Person zu bestimmen, wobei die Auswerteeinrichtung ausgebildet ist, das Warnsignal auszugeben, wenn die bestimmte Abweichung einen vorgegebenen Schwellwert überschreitet. Die Auswertung des Verlaufs kann sich z. B. auf charakteristische Merkmale einer Herzmusterkurve beziehen. Solche Merkmale können die
Amplituden der Herzausschläge in der Herzmusterkurve, also z. B. Kontraktionen des Herzens, sein. Die Frequenz, mit welcher Maxima bzw. Minima in der Herzmusterkurve auftreten, kann ebenfalls ein solches Merkmal darstellen. Unter der Ruhe-Herzmusterkurve ist dabei eine Herzmusterkurve der Person zu verstehen, wenn sich die Person in einem
entspannten Zustand befindet, also z. B. nicht erschrickt.
In einer Ausführungsform kann die Auswerteeinrichtung
ausgebildet sein, für Fenster einer vorgegebenen Zeitdauer, z. B. 90 ms, die Länge der erfassten Herzmusterkurve zu bestimmen und mit der Länge der Ruhe-Herzmusterkurve zu vergleichen, wobei der Schwellwert eine maximale Abweichung der Länge vorgibt. Als Länge der Ruhe-Herzmusterkurve kann z. B. eine vorab in über die Ruhe-Herzmusterkurve gelegten Fenstern erfasste maximale Länge genutzt werden. Erschrickt eine
Person, zeigen sich in ihrer Herzmusterkurve zum Zeitpunkt des schreckauslösenden Stimulus deutliche Ausschläge mit einer Frequenz, die höher liegt, als bei einer nicht erschrockenen Person. Gleichzeitig steigt die Amplitude der Ausschläge.
Durch die Häufung von Ausschlägen in diesem Zeitraum und die höheren Amplituden, verlängert sich die Herzmusterkurve gegenüber einer Ruhe-Herzmusterkurve. Es kann also aus der abschnittsweisen Betrachtung der
Herzmusterkurve darauf geschlossen werden, ob eine Person erschrocken ist oder nicht.
Als Schwellwert kann selbstverständlich auch ein Absolutwert, also z. B. die Länge der Ruhe-Herzmusterkurve zuzüglich des ursprünglichen Schwellwerts, vorgesehen werden. Ferner sind Auswertungen basierend auf Fuzzy-Logik möglich. In einer Ausführungsform kann die Auswerteeinrichtung
ausgebildet sein, für Fenster einer vorgegebenen Zeitdauer die Anzahl der Maxima und Minima in der Herzmusterkurve zu
bestimmen und die Differenzen, insbesondere die relativen Differenzen, zwischen den einzelnen Messpunkten der
Herzmusterkurve vorzeichenlos aufzusummieren, wobei der
Schwellwert einen ersten Wert und einen zweiten Wert aufweist, und die Auswerteeinrichtung ausgebildet ist, das Warnsignal auszugeben, wenn die Anzahl der Maxima und Minima über dem ersten Wert liegt und die Summe der Differenzen, insbesondere der relativen Differenzen, über dem zweiten Wert liegt.
Die Erfassung von Maxima und Minima kann anhand der einzelnen Messwerte der Herzmusterkurve sehr einfach erfolgen. Es kann z. B. eine Art Trend bestimmt werden, der 1 ist, wenn ein Messwert größer ist als der vorhergehende Messwert, und 0, wenn ein Messwert kleiner ist als ein vorhergehender Messwert. Bei jeder Änderung des Trends liegt also ein Maximum oder ein Minimum vor und der entsprechende Zähler kann inkrementiert werden. Selbstverständlich kann jede andere Art der Erkennung von Maxima und Minima verwendet werden.
Um die Differenzen der einzelnen Messwerte vorzeichenlos aufzusummieren, kann z. B. bei zwei aufeinanderfolgenden
Messwerten immer der kleinere von dem größeren abgezogen werden, um die Differenz zu berechnen. Die einzelnen
Differenzen für alle Messwerte in dem Fernster können dann summiert werden. Die relativen Differenzen können z. B. mit folgender Formel aufsummiert werden: summedDiff = summedDiff +
I 1- (max(y (i) , y ( i-1 ) ) /min (y ( i ) , y(i-l))) |
Dabei steht summedDiff für die Summe der Differenzen, y(i) für den i-ten Messwert und y(i-l) für den i-l-ten Messwert. Die max-Funktion wählt den größeren der zwei Werte aus und die min-Funktion den kleineren der zwei Werte. In einer Ausführungsform kann die Überwachungsvorrichtung eine Anlerneinrichtung aufweisen, welche ausgebildet ist, die Ruhe- Herzmusterkurve der Person in einem Lern-Betriebsmodus zu erfassen und den Schwellwert aus der Ruhe-Herzmusterkurve zu bestimmen. Beispielsweise kann die Länge der Herzmusterkurve bestimmt werden und der Schwellwert basierend auf der
bestimmten Länge zuzüglich eines Konfidenzwertes bestimmt werden .
Wird die Überwachungsvorrichtung in einem Fahrzeug eingesetzt, kann ein Fahrer z. B. aufgefordert werden, für einen
vorgegebenen Zeitraum ruhig sitzen zu bleiben. Der Sensor kann dann die Ruhe-Herzmusterkurve erfassen. Je nach Art des
Sensors kann der Fahrer z. B. auch aufgefordert werden, das Lenkrad in die Hand zu nehmen oder dergleichen.
Wird die Überwachungsvorrichtung z. B. in Spielkonsolen oder Smart-TVs eingesetzt, kann der Benutzer z. B. bei seiner Registrierung oder beim Starten eines Spiels aufgefordert werden sich ruhig zu verhalten, so dass die Ruhe- Herzmusterkurve erfasst werden kann.
In einer Ausführungs form kann die Anlerneinrichtung
ausgebildet sein, jeweils für Probeintervalle einer
vorgegebenen Länge, z. B. 90 ms, über die Ruhe-Herzmusterkurve die Anzahl der Maxima und Minima sowie die summierten
Differenzen zu bestimmen, wobei die Anlerneinrichtung
ausgebildet ist, ausgehend von einem ersten Startwert, den zweiten Wert um einen vorgegebenen Wert zu erhöhen, wenn in einem Probeintervall die summierten Differenzen über dem aktuellen Wert des zweiten Werts liegen, wobei die
Anlerneinrichtung ausgebildet ist, ausgehend von einem zweiten Startwert, den ersten Wert um eins zu inkrementieren, wenn der zweite Wert über einem vorgegebenen Maximalwert liegt, und den zweiten Wert auf den ersten Startwert zurückzusetzen.
Die Probeintervalle können dabei den oben bereits erwähnten Fenstern entsprechen. Der hier beschriebene Algorithmus wertet indirekt bzw.
näherungsweise, also über die Anzahl der Maxima und Minima und die summierten Differenzen, die Länge der Ruhe-Herzmusterkurve aus. Es versteht sich, dass zu dem ersten und zweiten Wert z. B. auch ein Konfidenzwert addiert werden kann, um die
Wahrscheinlichkeit von Fehlerkennungen zu verringern.
Beispielhaft kann das Probeintervall z. B. ca. 90 ms lang sein (z. B. bei einer Abtastrate von 333Hz) . Der zweite Wert kann für die Summe der relativen Differenzen z. B. einen Startwert von 0,5 und einen Maximalwert von 1,0 aufweisen. Der
vorgegebene Wert kann z. B. 0,01 sein. Schließlich kann der zweite Startwert z. B. 8 sein. Auch für den ersten Wert kann ein Maximalwert vorgegeben werden, der z. B. 11 sein kann. Die jeweils geeigneten Werte können z. B. experimentell bestimmt werden .
In einer Ausführungsform kann die Überwachungsvorrichtung eine Identifikationseinrichtung aufweisen, welche ausgebildet ist, die Person zu identifizieren und den Schwellwert für die identifizierte Person aus einer Anzahl (also einem oder mehreren) von gespeicherten Messwerten zu bestimmen. Die Identifikationseinrichtung kann jede Art von Gerät oder Sensor sein, welcher eine Person identifizieren kann.
Beispielsweise kann eine Erkennung durch eine aktive
Identifikation der Person, z. B. die Eingabe/Auswahl eines Namens oder einer Pin, erfolgen. Die Person kann aber auch passiv, ohne aktives Zutun der Person, erkannt werden.
Beispielsweise kann eine Kamera die Person aufnehmen und diese dann mit Hilfe von Bildverarbeitungsalgorithmen identifiziert werden. Der Pulsschlag einer Person ist einzigartig, ähnlich der Iris. Die Person kann also z. B. auch anhand der Analyse des Pulsschlags identifiziert werden.
Die Identifikation der Person kann nicht nur im aktiven
Überwachungsbetrieb stattfinden. Vielmehr kann die
Identifikation der Person z. B. auch beim Erfassen der Herzmusterkurve erfolgen. So können die berechneten Schwellwerte den einzelnen Person zugeordnet werden.
In einer Ausführungsform kann die Überwachungsvorrichtung eine als optischen Sensor ausgebildete Erfassungseinrichtung zur
Erfassung einer Bewegung der Person und/oder eines Körperteils der Person aufweisen. Der Begriff Bewegung bezieht sich dabei z. B. auf jede Art von Bewegung die eine Person durchführt, wenn sie erschrickt. Die Bewegung kann also z. B. die Bewegung der Person an sich sein, also z. B. ein Zusammenzucken des gesamten Körpers der Person. Die Bewegung kann aber auch eine Bewegung bzw. Veränderung eines einzelnen Körperteils der Person sein, also z. B. ein Weiten der Pupille, ein Aufreißen der Augen bzw. Heben der Augenlieder, Öffnen des Mundes oder dergleichen.
Der optische Sensor kann zur Erfassung solcher Bewegungen insbesondere als Kamera ausgebildet sein, die auf die zu überwachende Person gerichtet ist. In einem Fahrzeug kann die Kamera z. B. eine Kamera sein, die im Rückspiegel oder im
Armaturenbrett angebracht ist. Die Kamera kann z. B. auch für mehrere Fahrerassistenzsysteme, wie eine Müdigkeitserkennung oder dergleichen, genutzt werden. In einer Ausführungsform kann die Auswerteeinrichtung eine
Bilderkennungseinrichtung aufweisen, welche ausgebildet ist, die Person und/oder die relevanten Körperteile zu
identifizieren und deren Bewegung zu überwachen. Die
Bilderkennungseinrichtung kann z. B. in dem optischen Sensor oder einem weiteren System zur Bilderkennung angeordnet sein. Mit Hilfe der Bilderkennung wird z. B. das Gesicht eines
Fahrers eines Fahrzeugs erfasst und überwacht, ob sich dessen Augen plötzlich stark weiten. Andere Hinweise für ein
Erschrecken des Fahrers können z. B. ruckartige Bewegungen des Kopfes oder Zusammenzucken, also ruckartige Bewegungen des
Torsos, sein. Es versteht sich, dass gleiches auch z. B. für Spieler an einer Spielkonsole gilt. Die obigen Ausgestaltungen und Weiterbildungen lassen sich, sofern sinnvoll, beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und
Implementierungen der Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsbeispiele beschriebenen Merkmalen der
Erfindung. Insbesondere wird dabei der Fachmann auch
Einzelaspekte als Verbesserungen oder Ergänzungen zu der jeweiligen Grundform der vorliegenden Erfindung hinzufügen.
Kurze Beschreibung der Zeichnungen
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen
Ausführungsbeispiele näher erläutert. Es zeigen dabei:
Fig. 1 ein Blockdiagramm einer Ausführungsform einer erfindungsgemäßen Überwachungs orrichtung;
Fig. 2 ein Blockdiagramm einer Aus führungs form einer erfindungsgemäßen FahrzeugsteuerVorrichtung;
Fig. 3 e i n Ablaufdiagramm einer Aus führungs form eines erfindungsgemäßen Verfahrens;
Fig . 4 ein Diagramm einer Herzmusterkurve ohne ein
unvorhergesehenes Ereignis;
Fig . 5 ein Diagramm einer Herzmusterkurve mit einem
unvorhergesehenen Ereignis;
Fig . 6 ein Ablaufdiagramm einer Ausführungsform des
Verfahrens im Lernbetriebsmodus ;
Fig. 7 ein Ablaufdiagramm einer weiteren Ausführungsform eines erfindungsgemäßen Verfahrens. In allen Figuren sind gleiche bzw. funktionsgleiche Elemente und Vorrichtungen - sofern nichts anderes angegeben ist - mit denselben Bezugs zeichen versehen worden.
Ausführungsformen der Erfindung
Fig. 1 zeigt ein Blockdiagramm einer Ausführungsform einer erfindungsgemäßen Überwachungsvorrichtung 1 für eine Person 2 auf. Die Überwachungsvorrichtung 1 erkennt, wenn die Person 2 auf ein unvorhergesehenes Ereignis 3 reagiert. Das Ereignis 3 ist hier als das plötzliche Eintreten eines Objekts in das Blickfeld der Person 2 dargestellt. In einem Fahrzeug könnte das Ereignis 3 z. B. ein plötzlich auf den Fahrstreifen des Fahrzeugs einbiegendes anderes Fahrzeug sein. Das Ereignis 3 kann aber auch jedes andere Ereignis sein, durch welches die Person 2 erschrickt. Beispielsweise kann ein Unfall, also stehende Fahrzeuge, hinter einer Kurve, welche die Person 2 durchfährt, solch ein Ereignis sein.
Unter der Reaktion bzw. dem Reagieren der Person 2 ist allerdings keine aktive, durch die Person 2 bewusst
ausgeführte Reaktion zu verstehen. Vielmehr ist darunter eine unbewusste Reaktion des Körpers der Person 2 zu verstehen. Also z. B. eine physische Schreckreaktion, wie z. B. ein entsprechender Pulsausschlag, ein Weiten der Augen, ein
Zusammenzucken der Person 2 oder dergleichen.
Um diese Reaktion zu erfassen, weist die
Überwachungsvorrichtung 1 eine Erfassungseinrichtung 4 auf, die dazu dient, eine physikalische Größe 5 zu erfassen, welche die Person 2 betrifft. Die Erfassungseinrichtung 4 kann z. B. als Pulssensor 4 oder EKG-Elektrode 4 ausgebildet sein, die eine Herzmusterkurve 33 (siehe Fig. 5) der Person 2 aufnimmt. Eine solche Erfassungseinrichtung 4 kann z. B. in einem
Lenkrad oder einem Schaltknauf eines Fahrzeugs angeordnet sein. Bei anderen Anwendungen kann die Erfassungseinrichtung 4 z. B. in einem Gamepad, einem Armband oder einer Uhr, z. B. einer Smartwatch, angeordnet sein. Wie oben bereits erläutert, kann jede andere geeignete Art von Erfassungseinrichtung 4 ebenfalls eingesetzt werden.
Die Erfassungseinrichtung 4 leitet Werte der physikalischen Größe 5 zur Auswertung an die Auswerteeinrichtung 6, welche das Vorhandensein der Reaktion auf das Ereignis 3 aus den Messwerten der physikalischen Größe 5 ableitet. Dazu bestimmt die Auswerteeinrichtung 6 Unregelmäßigkeiten der erfassten physikalischen Größe 5. Das Bestimmen von Unregelmäßigkeiten kann z. B. das vergleichen mit Werten oder Verläufen der physikalischen Größe 5 im Ruhezustand der Person 2 sein.
Beispielsweise kann bei Aufnahme einer Herzmusterkurve 30, 33 (siehe Figs. 4 und 5) die Länge der Herzmusterkurve 30 in vorgegebenen Zeitfenstern im Ruhezustand der Person 2 bestimmt werden. Im Betrieb der Überwachungsvorrichtung kann die Länge der jeweils aktuell erfassten Herzmusterkurve 33 dann mit dem gespeicherten Wert verglichen werden. Selbstverständlich können auch andere charakteristische Daten der Herzmusterkurve 33 bestimmt werden, die eine Aussage über das Vorhandensein der Reaktion der Person 2 ermöglichen. Solche
charakteristischen Daten können z. B. Zusammensetzung der Herzmusterkurve 33 im Frequenzbereich betreffen, die z. B. durch eine Fourier-Transformation, insbesondere eine Fast- Fourier-Transformation, bestimmt werden kann. Bei Vorhandsein der physischen Reaktion auf ein Schreckereignis weist die Herzmusterkurve 33 zumindest in Abschnitten Anteile mit höheren Frequenzen und Amplituden auf als im Ruhezustand. Die Länge der Herzmusterkurve 33 bzw. die charakteristischen Daten können insbesondere für Fenster 37 (siehe Fig. 5) einer vorgegebenen Länge bestimmt werden. Die Länge kann ferner indirekt bestimmt werden. Beispielsweise kann in den jeweiligen Fenstern die Anzahl der Maxima 38 und Minima 39 (siehe Fig. 5) in der Herzmusterkurve 33 bestimmt werden. Zusätzlich können die Differenzen, insbesondere die relativen Differenzen, zwischen den einzelnen Messpunkten der Herzmusterkurve 33 vorzeichenlos aufsummiert werden, was näherungsweise der Länge der Herzmusterkurve 33 entspricht. Die gewichtete Summe der Differenzen kann bestimmt werden, wie oben bereits beschrieben. Der Schwellwert 8 kann dann einen ersten Wert und einen zweiten Wert aufweisen. Die Auswerteeinrichtung 6 gibt das Warnsignal 7 dann aus, wenn die Anzahl der Maxima 38 und Minima 39 über dem ersten Wert liegt und die Summe der
Differenzen über dem zweiten Wert liegt. Alternativ kann lediglich ein einzelner Schwellwert betrachtet werden, der z. B. als ein Schwellwert für die Variabilität der Frequenz der Herzmusterkurve ausgebildet sein kann.
Fig. 2 zeigt ein Blockdiagramm einer Ausführungsform einer erfindungsgemäßen Fahrzeugsteuervorrichtung 10.
Die Fahrzeugsteuervorrichtung 10 weist eine Steuereinrichtung 11, also z. B. ein Fahrzeugsteuergerät oder eine Head-Unit eines Fahrzeugs, auf. Die Überwachungsvorrichtung ist in Fig. 2 nicht als separate Einheit ausgebildet. Vielmehr sind deren Komponenten mit der Steuereinrichtung 11 gekoppelt oder in dieser angeordnet.
Beispielsweise ist die Erfassungseinrichtung 21 als Pulssensor 21 ausgebildet und übermittelt entsprechende Werte 22 an die Steuereinrichtung 11. In der Steuereinrichtung 11 ist die Auswerteeinrichtung 23 also Programm oder Funktion ausgebildet und nimmt die Werte 22 auf. Die Auswerteeinrichtung 23 übermittelt das Warnsignal 24 an eine Fahrzeugsteuerfunktion 12, die ebenfalls in der Steuereinrichtung 11 ausgeführt wird.
Die Fahrzeugsteuerfunktion 12 kann dann basierend auf dem Warnsignal 24 (und nicht dargestellten weiteren
Eingangsgrößen) ein Steuersignal 14 ausgeben. Das Steuersignal 14 kann z. B. eine Notbremsung des Fahrzeugs einleiten.
Die Auswerteeinrichtung 23 kann z. B. gemeinsam mit einer Fahrzeugsteuerfunktion 12 von einem Prozessor (nicht separat dargestellt) der Steuereinrichtung 11 ausgeführt werden. Selbstverständlich kann die Steuereinrichtung 11 auch mehrere Prozessoren oder Prozessorkerne aufweisen, welche die
Auswerteeinrichtung 23 und die Fahrzeugsteuerfunktion 12 separat ausführen.
Die Steuereinrichtung 11 ist in Fig. 2 mit weiteren
Fahrzeugsystemen 13 gekoppelt. Solche Systeme können z. B. Informationen liefern, mit deren Hilfe das Warnsignal 24 plausibilisiert werden kann oder umgekehrt. Ein solches
Fahrzeugsystem 13 kann z. B. ein System 13 sein, welches ein
Umfeldmodell, auch Ego-Modell genannt, des Fahrzeugs erstellt. Tritt in dem Umfeldmodell z. B. plötzlich ein Objekt in die Fahrspur des Fahrzeugs ein, ist es wahrscheinlich, dass der Fahrer erschrickt. Korrelieren diese zwei Ereignisse zeitlich, ist folglich auch die Wahrscheinlichkeit hoch, dass wirklich ein Objekt vorhanden ist. Je größer diese Wahrscheinlichkeit ist, desto zuverlässiger kann z. B. auch eine Notbremsung eingeleitet werden. In der Fahrzeugsteuervorrichtung 10 ist ferner eine
Identifikationsvorrichtung 26 vorgesehen, welche die jeweilige Person 2 identifizieren kann. Die Identifikation der Person 2 dient einerseits einer Anlerneinrichtung 27 dazu, die
erlernten Schwellwerte 25 einer Person zuzuordnen.
Andererseits dient die Identifikation der Person 2 der Auswahl der korrekten Schwellwerte 25 durch die Auswerteeinrichtung 23.
Die Anlerneinrichtung 27 kann in einem Lern-Betriebsmodus die Schwellwerte 25 für die einzelnen Personen lernen, wie z. B. zu Figs. 3 und 6 erläutert.
Auch wenn die Überwachungseinrichtung 1 im Zusammenhang mit einem Fahrzeug dargestellt wurde, ist sie darauf
selbstverständlich nicht beschränkt. Beispielsweise kann die Überwachungseinrichtung 1 auch in Verbindung mit Videospielen oder anderen Unterhaltungs Systemen genutzt werden. So können in einem Videospiel z. B. Ob ekte/Charaktere zeitlich so auf dem Bildschirm erscheinen, dass die vom Menschen wahrnehmbare Folge des Schock-Effekts, also die Schreckreaktion, maximiert wird, wenn bekannt ist, ob eine Person bereits erschrocken ist oder nicht. Die „Reaktion" im Rahmen der vorliegenden
Erfindung bezieht sich dabei auf die direkte Folge eines Erschreckens und ist zu unterscheiden von einem Schock, der wiederum das Resultat des Schrecks ist. Ferner ist die
Schreckreaktion damit auch etwas anderes als ein
kardiologischer Schock. Ferner kann analysiert werden, in welchen Situationen eine Person überhaupt erschrickt. Demnach können diese Situationen in einem Spiel gezielt provoziert werden .
Fig. 3 zeigt ein Ablaufdiagramm einer Ausführungsform eines erfindungsgemäßen Verfahrens zum Überwachen einer physischen Reaktion einer Person 2 auf ein unvorhergesehenes Ereignis 3, 36.
In einem ersten Schritt Sl wird eine Anzahl von die Person 2 betreffenden physikalischen Größen 5, 22 erfasst. Anschließend werden in dem Schritt S2 Unregelmäßigkeiten in den erfassten physikalischen Größen 5, 22 untersucht. Wenn der Betrag der Unregelmäßigkeiten einen vorgegebenen Schwellwert 8, 25 überschreitet, wird im ein Warnsignal 7, 24 ausgegeben .
Eine physikalische Größe kann z. B. die Aktivität des Herzens der Person 2 sein. Diese kann erfasst werden und eine
entsprechende Herzmusterkurve 33 ausgegeben werden. Beim Auswerten kann dann z. B. der Verlauf der Herzmusterkurve 33 ausgewertet werden. Dabei können Abweichungen von einer Ruhe-Herzmusterkurve 30 der Person 2 bestimmt werden. Das Warnsignal 7, 24 wird lediglich dann ausgegeben, wenn die bestimmte Abweichung einen vorgegebenen Schwellwert 8, 25 überschreitet.
Um den Verlauf der Herzmusterkurve 33 auszuwerten, kann für Fenster 37 einer vorgegebenen Zeitdauer die Länge der
erfassten Herzmusterkurve 33 bestimmt werden. Die so bestimmte Länge kann dann mit der Länge der Ruhe-Herzmusterkurve 30 verglichen werden. Der Schwellwert 8, 25 gibt dabei eine maximale Abweichung der Länge vor.
Indirekt kann die Länge bestimmt werden, indem beim Auswerten für die Fenster 37 der vorgegebenen Zeitdauer die Anzahl der Maxima 38 und Minima 39 in der Herzmusterkurve 33 bestimmt wird und die Differenzen, insbesondere die relativen
Differenzen, zwischen den einzelnen Messpunkten der
Herzmusterkurve 33 vorzeichenlos aufsummiert werden. Der Schwellwert 8, 25 weist dann einen ersten Wert und einen zweiten Wert auf. Das Warnsignal 7, 24 wird folglich lediglich dann ausgegeben, wenn die Anzahl der Maxima 38 und Minima 39 über dem ersten Wert liegt und die Summe der Differenzen über dem zweiten Wert liegt. Die Anzahl der Maxima 38 und Minima 39 wird dabei nicht separat betrachtet. Vielmehr werden die Maxima 38 und Minima 39 gemeinsam gezählt.
Um eine Basis für die Bewertung der Herzmusterkurve 33 bereitstellen zu können, kann die Ruhe-Herzmusterkurve 30 der Person 2 erfasst werden. Der Schwellwert 8, 25 bzw. der erste und der zweite Wert können aus der Ruhe-Herzmusterkurve 30 in einem Lern-Betriebsmodus erzeugt werden. Dazu können jeweils für Probeintervalle, welche den Fenstern entsprechen können, über die Ruhe-Herzmusterkurve 30 die Anzahl der Maxima 38 und Minima 39 sowie die summierten Differenzen bestimmt werden. Ausgehend von einem ersten Startwert kann dann der zweite Wert um einen vorgegebenen Wert erhöht werden, wenn in einem
Probeintervall die summierten Differenzen über dem aktuellen Wert des zweiten Werts liegen. Ferner kann ausgehend von einem zweiten Startwert der erste Wert um eins inkrementiert werden, wenn der zweite Wert über einem vorgegebenen Maximalwert liegt, gleichzeitig kann der zweite Wert auf den ersten
Startwert zurückgesetzt werden.
Fig. 4 zeigt ein Diagramm einer Herzmusterkurve 30 im
Ruhezustand einer Person 2. Die Herzmusterkurve 30 entspricht also z. B. einer Herzmusterkurve bzw. Herzspannungskurve, wie sie durch ein EKG aufgenommen werden kann, wenn die Person 2 ruht bzw. nicht erschreckt wird.
Zu erkennen sind die charakteristischen QRS-Komplexe 31, 32, die jeweils eine Kontraktion des Herzmuskels kennzeichnen. Weitere hochfrequente Ausschläge sind in der Herzmusterkurve 30 nicht zu erkennen.
In Fig. 5 ist im Gegensatz zur Herzmusterkurve 30 der Fig. 4 eine Herzmusterkurve 33 dargestellt, bei welcher die Person 2 durch ein Ereignis 36 erschrickt.
In Fig. 5 ist ein Fenster 37 eingezeichnet, welches das
Zeitintervall vorgibt, in welchem die Analyse der
Herzmusterkurve 33 durchgeführt wird. Im Betrieb der
Überwachungsvorrichtung 1 wird das Fenstern folglich
kontinuierlich über die Messwerte hinweg verschoben und die gesamte Herzmusterkurve 33 abschnittsweise analysiert. Es ist zu erkennen, dass die Herzmusterkurve 33 in dem Fenster 37 hochfrequente Ausschläge aufweist. Durch diese Ausschläge wird die Länge der Herzmusterkurve 33 in diesem Abschnitt erhöht. Diese Erhöhung der Länge kann erfasst werden, um das Ereignis 36 in der Herzmusterkurve 33 zu detektieren.
Sehr effizient kann die Länge näherungsweise bestimmt, werden, indem die relativen Differenzen jeweils aufeinanderfolgender Messwerte aufsummiert werden. Da der Wert nur eine Näherung ist, wird zusätzlich die Anzahl der Maxima 38 und Minima 39 bestimmt. In dem Fenster sind die einzelnen Maxima 38 und Minima 39 gekennzeichnet. Die aufsummierte Anzahl für die Maxima 38 und Minima 39 ergibt für das Fenster 37 also 8.
Die Kombination aus Näherung der Länge und der Anzahl der Maxima 38 und Minima 39 ermöglicht es, das Ereignis 36 eindeutig von den QRS-Romplexen 34, 35 zu unterscheiden.
Fig. 6 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens im Lernbetriebsmodus . In Schritt S10 wird das Probeintervall initialisiert. In einer Ausführungs form kann das Probeintervall z. B. aus der
gewünschten Anzahl der Abtastwerte dividiert durch die
Abtastrate berechnet werden. Ein möglicher Wert ist z. B.
33 / 333 Hz « 90 ms. Entsprechende Werte können z. B.
empirisch bestimmt werden.
In Schritt Sil wird der erste Wert, der initial mit einem zweiten Startwert, z. B. 8, vorbelegt ist,
zwischengespeichert. In Schritt S12 wird der zweite Wert mit dem ersten Startwert, z. B. 0,5 belegt. In Schritt S13 wird der zweite Wert zwischengespeichert . Schritt S14 umfasst das Festlegen des Startpunktes bei dem ersten Messwert der verfügbaren Herzmusterkurve.
In Schritt S15 wird die Anzahl der Extrema, also der Maxima 38 und Minima 39 in dem Probeintervall gezählt. Der Schritt S16 umfasst das Berechnen der relativen Differenzen der einzelnen Messwerte in dem Probeintervall.
In Entscheidung El wird nun überprüft, ob sowohl die Anzahl der Extrema größer ist als der erste Wert, als auch die Summe der Differenzen größer ist als der zweite Wert. Ist keines von beidem der Fall, wird zu Entscheidung E2 gesprungen. In
Entscheidung E2 wird der Lern-Betriebsmodus beendet, wenn der letzte Datenpunkt der Ruhe-Herzmusterkurve 30 erreicht wurde. In Schritt S20 werden der aktuelle erste Wert und der aktuelle zweite Wert aus dem Zwischenspeicher gelesen und in Schritt S21 gespeichert. Dies kann insbesondere personenspezifisch erfolgen .
Wurde der letzte Datenpunkt nicht erreicht, wird in Schritt S17 der nächste Messwert als Startpunkt für einen neuen
Durchlauf gewählt.
Wird bei Entscheidung El festgestellt, dass sowohl die Anzahl der Extrema größer ist als der erste Wert, als auch die Summe der Differenzen größer ist als der zweite Wert, wird zu
Entscheidung E3 gesprungen. In Entscheidung E3 wird überprüft, ob der zweite Wert einen vorgegebenen Maximalwert, z. B. 1,0, erreicht hat. Ist dies nicht der Fall, wird der zweite Wert in Schritt S18 um einen vorgegebenen Wert, z. B. 0,01, erhöht und zu Schritt S13 gesprungen. Hat aber der zweite Wert einen vorgegebenen Maximalwert, z. B. 1,0, erreicht, wird der erste Wert in Schritt S19 um eins erhöht und zurück zu Schritt Sil gesprungen .
Fig. 7 zeigt ein Ablaufdiagramm einer weiteren Ausführungsform eines erfindungsgemäßen Überwachungsverfahrens im
Normalbetrieb . Schritt S40 entspricht Schritt S10, in welchem die Fenster mit vorgegebener Länge initialisiert werden, z. B. auf 90 ms. In Schritt S41 werden die relevanten Messwerte der
Herzmusterkurve aus einem Zwischenspeicher abgerufen. In Schritt S42 wird die Anzahl der Extrema, also der Maxima 38 und Minima 39 in dem Probeintervall gezählt. Der Schritt S43 umfasst das Berechnen der relativen Differenzen der einzelnen Messwerte in dem Probeintervall. Die Schritte S42 und S43 entsprechen also den Schritten S15 und S16 der Fig. 6.
Schritte S44 und S55 stellen der Entscheidung E4 aus einem Zwischenspeicher den ersten Wert und den zweiten Wert zur Verfügung. In Entscheidung E4 wird überprüft, ob die Anzahl der Extrema größer ist als der erste Wert und auch die Summe der Differenzen größer ist als der zweite Wert. Ist dies der Fall, wird in Schritt S46 der Eintritt des Ereignisses durch das Warnsignal 7, 24 signalisiert.
Ist entweder die Anzahl der Extrema nicht größer als der erste Wert, oder die Summe der Differenzen nicht größer ist als der zweite Wert, kehrt das Verfahren zu Schritt S41 zurück.
Obwohl die vorliegende Erfindung anhand bevorzugter
Ausführungsbeispiele vorstehend beschrieben wurde, ist sie darauf nicht beschränkt, sondern auf vielfältige Art und Weise modifizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.
Überwachungsvorriehtung
Person
Ereignis
Erfassungseinrichtung physikalische Größen AusWerteeinrichtung
Warnsignal
Schwellwert
10 Fahrzeugsteuervorrichtung
11 Steuereinrichtung
12 Steuerfunkt ion
13 Fahrzeugsystem
14 Steuersignal
26 Identifikationseinrichtung
27 Anlerneinrichtung
30 Ruhe-Herzmusterkurve
31, 32, 34, 35 QRS-Komplex
33 Herzmusterkurve
37 Fenster
38 Maxima
39 Minima
Sl - S3 Verfahrensschritte
S10 - S21 Verfahrensschritte
S40 - S46 Verfahrensschritte
El - E4 Entscheidungen

Claims

Ansprüche
1. Überwachungsvorrichtung (1) zur Überwachung einer
physischen Reaktion einer Person (2) auf ein unvorhergesehenes Ereignis (3, 36), mit einer Erfassungseinrichtung (4, 21) zum Erfassen einer Anzahl von die Person (2) betreffenden physikalischen Größen (5, 22), mit einer Auswerteeinrichtung (6, 23), welche ausgebildet ist, Unregelmäßigkeiten in den erfassten physikalischen Größen (5, 22) zu untersuchen und ein Warnsignal (7, 24) auszugeben, wenn der Betrag der Unregelmäßigkeiten einen vorgegebenen
Schwellwert (8, 25) überschreitet.
2. Überwachungsvorrichtung (1) nach Anspruch 1 mit einer als elektronischem Sensor zur Erfassung der Aktivität des Herzens der Person (2) ausgebildeten Erfassungseinrichtung (4, 21), welche ausgebildet ist, eine Herzmusterkurve (33) basierend auf den erfassten Aktivitäten auszugeben.
3. Überwachungsvorrichtung (1) nach Anspruch 2, wobei die Auswerteeinrichtung (6, 23) ausgebildet ist, den Verlauf der Herzmusterkurve (33) auszuwerten und deren Abweichung von einer Ruhe-Herzmusterkurve (30) der Person (2) zu bestimmen, wobei die Auswerteeinrichtung (6, 23) ausgebildet ist, das Warnsignal (7, 24) auszugeben, wenn die bestimmte Abweichung einen vorgegebenen Schwellwert (8, 25) überschreitet.
4. Überwachungsvorrichtung (1) nach Anspruch 3, wobei die Auswerteeinrichtung (6, 23) ausgebildet ist, für Fenster (37) einer vorgegebenen Zeitdauer die Länge der erfassten
Herzmusterkurve (33) zu bestimmen und mit der Länge der Ruhe- Herzmusterkurve (30) zu vergleichen, wobei der Schwellwert (8, 25) eine maximale Abweichung der Länge vorgibt.
5. Überwachungsvorrichtung (1) nach einem der Ansprüche 3 bis 4, wobei die Auswerteeinrichtung (6, 23) ausgebildet ist, für Fenster (37) einer vorgegebenen Zeitdauer die Anzahl der
Maxima (38) und Minima (39) in der Herzmusterkurve (33) zu bestimmen und die Differenzen, insbesondere die relativen Differenzen, zwischen den einzelnen Messpunkten der
Herzmusterkurve (33) vorzeichenlos aufzusummieren,
wobei der Schwellwert (8, 25) einen ersten Wert und einen zweiten Wert aufweist und die Auswerteeinrichtung (6, 23) ausgebildet ist, das Warnsignal (7, 24) auszugeben, wenn die Anzahl der Maxima (38) und Minima (39) über dem ersten Wert liegt und die Summe der Differenzen über dem zweiten Wert liegt .
6. Überwachungsvorrichtung (1) nach einem der Ansprüche 3 bis 5, mit einer Anlerneinrichtung (27) , welche ausgebildet ist, die Ruhe-Herzmusterkurve (30) der Person (2) in einem Lern-
Betriebsmodus zu erfassen und den Schwellwert (8, 25) aus der Ruhe-Herzmusterkurve (30) zu bestimmen.
7. Überwachungsvorrichtung (1) nach den Ansprüchen 5 und 6, wobei die Anlerneinrichtung (27) ausgebildet ist, jeweils für
Probeintervalle einer vorgegebenen Länge über die Ruhe- Herzmusterkurve (30) die Anzahl der Maxima (38) und Minima (39) sowie die summierten Differenzen zu bestimmen, wobei die Anlerneinrichtung (27) ausgebildet ist, ausgehend von einem ersten Startwert den zweiten Wert um einen
vorgegebenen Wert zu erhöhen, wenn in einem Probeintervall die summierten Differenzen über dem aktuellen Wert des zweiten Werts liegen, wobei die Anlerneinrichtung (27) ausgebildet ist, ausgehend von einem zweiten Startwert den ersten Wert um eins zu
inkrementieren, wenn der zweite Wert über einem vorgegebenen Maximalwert liegt, und den zweiten Wert auf den ersten
Startwert zurückzusetzen.
8. Überwachungsvorrichtung (1) nach einem der vorherigen Ansprüche, mit einer Identifikationseinrichtung (26) , welche ausgebildet ist, die Person (2) zu identifizieren und den Schwellwert (8, 25) für die identifizierte Person (2) aus einer Anzahl (also einem oder mehreren) von gespeicherten Messwerten zu bestimmen.
9. Überwachungsvorrichtung (1) nach Anspruch 1, mit einer als optischem Sensor ausgebildeten Erfassungseinrichtung (4, 21) zur Erfassung einer Bewegung der Person (2) und/oder eines Körperteils der Person (2).
10. Überwachungsvorrichtung (1) nach Anspruch 9, wobei die Auswerteeinrichtung (6, 23) eine Bilderkennungseinrichtung aufweist, welche ausgebildet ist, die Person (2) und/oder die relevanten Körperteile zu identifizieren und deren Bewegung zu überwachen .
11. Fahrzeugsteuervorrichtung (10) für ein Fahrzeug, mit einer Überwachungsvorrichtung (1) nach einem der Ansprüche 1 bis 10, und mit einer Steuereinrichtung (11), welche mit der
Überwachungsvorrichtung (1) gekoppelt ist, und ausgebildet ist, Fahrzeugfunktionen basierend auf dem Warnsignal (7, 24) zu steuern.
12. Überwachungsverfahren zum Überwachen einer physischen Reaktion einer Person (2) auf ein unvorhergesehenes Ereignis (3, 36), aufweisend die Schritte: Erfassen (Sl) einer Anzahl von die Person (2) betreffenden physikalischen Größen (5, 22),
Untersuchen (S2) von Unregelmäßigkeiten in den erfassten physikalischen Größen (5, 22); und
Ausgeben (S3) eines Warnsignals (7, 24), wenn der Betrag der Unregelmäßigkeiten einen vorgegebenen Schwellwert (8, 25) überschreitet .
13. Überwachungsverfahren nach Anspruch 12, wobei beim
Erfassen die Aktivität des Herzens der Person (2) erfasst und eine Herzmusterkurve (33) basierend auf den erfassten
Aktivitäten ausgebgeben wird, und wobei beim Auswerten der Verlauf der Herzmusterkurve (33) ausgewertet wird und deren Abweichung von einer Ruhe- Herzmusterkurve (30) der Person (2) bestimmt wird, wobei das Warnsignal (7, 24) ausgegeben wird, wenn die bestimmte
Abweichung einen vorgegebenen Schwellwert (8, 25)
überschreitet .
14. Überwachungsverfahren nach Anspruch 13, wobei beim
Auswerten für Fenster (37) einer vorgegebenen Zeitdauer die Länge der erfassten Herzmusterkurve (33) bestimmt wird und mit der Länge der Ruhe-Herzmusterkurve (30) verglichen wird, wobei der Schwellwert (8, 25) eine maximale Abweichung der Länge vorgibt; und/oder wobei beim Auswerten für Fenster (37) einer vorgegebenen
Zeitdauer die Anzahl der Maxima (38) und Minima (39) in der Herzmusterkurve (33) bestimmt wird und die Differenzen, insbesondere die relativen Differenzen, zwischen den einzelnen Messpunkten der Herzmusterkurve (33) vorzeichenlos aufsummiert werden, wobei der Schwellwert (8, 25) einen ersten Wert und einen zweiten Wert aufweist und das Warnsignal (7, 24) ausgegeben wird, wenn die Anzahl der Maxima (38) und Minima (39) über dem ersten Wert liegt und die Summe der Differenzen über dem zweiten Wert liegt.
15. Überwachungsverfahren nach Anspruch 14, aufweisend das Erfassen der Ruhe-Herzmusterkurve (30) der Person (2) und das Bestimmen des Schwellwerts (8, 25) aus der Ruhe- Herzmusterkurve (30) in einem Lern-Betriebsmodus , insbesondre wobei in dem Lernbetriebsmodus jeweils für
Probeintervalle einer vorgegebenen Länge über die Ruhe- Herzmusterkurve (30) die Anzahl der Maxima (38) und Minima (39) sowie die summierten Differenzen bestimmt wird und ausgehend von einem ersten Startwert der zweiten Wert um einen vorgegebenen Wert erhöht wird, wenn in einem Probeintervall die summierten Differenzen über dem aktuellen Wert des zweiten Werts liegen und ausgehend von einem zweiten Startwert der erste Wert um eins inkrementiert wird, wenn der zweite Wert über einem vorgegebenen Maximalwert liegt und der zweite Wert auf den ersten Startwert zurückgesetzt wird.
PCT/EP2017/061084 2016-06-07 2017-05-09 Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren WO2017211527A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102016210014.9 2016-06-07
DE102016210014.9A DE102016210014B4 (de) 2016-06-07 2016-06-07 Überwachungsvorrichtung, Fahrzeugsteuervorrichtung und Überwachungsverfahren

Publications (1)

Publication Number Publication Date
WO2017211527A1 true WO2017211527A1 (de) 2017-12-14

Family

ID=58772542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2017/061084 WO2017211527A1 (de) 2016-06-07 2017-05-09 Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren

Country Status (2)

Country Link
DE (2) DE202016008400U1 (de)
WO (1) WO2017211527A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017129406A1 (de) * 2017-12-11 2019-06-13 Christian Möstl System und verfahren zur kontrolle von handpositionen in einem fahrzeuginnenraum
DE102018000425A1 (de) * 2018-01-19 2018-10-25 Daimler Ag Verfahren und Vorrichtung zum Abbrechen eines autonomen Fahrvorgangs eines Fahrzeugs
FR3118444B1 (fr) * 2020-12-31 2023-01-06 Valeo Comfort & Driving Assistance Dispositif d’analyse de la perception d’un danger par un conducteur de véhicule et procédé associé

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10338760A1 (de) * 2003-08-23 2005-03-17 Daimlerchrysler Ag Kraftfahrzeug mit einem Pre-Safe-System
WO2010109383A1 (en) * 2009-03-27 2010-09-30 Koninklijke Philips Electronics N.V. Adapting interactive programs based on a physiological characteristic of a user performing physical activity
US20120136226A1 (en) * 2010-11-29 2012-05-31 Nellcor Puritan Bennett Llc Pulse Oximetry For Determining Heart Rate Variability As A Measure Of Susceptibility To Stress
DE102012009833A1 (de) * 2012-05-18 2012-11-29 Daimler Ag Assistent zur Fahrerabsicherung bei Schutzreflexreaktionen
DE102011109564A1 (de) * 2011-08-05 2013-02-07 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
US20130070043A1 (en) * 2011-09-19 2013-03-21 Nir Geva Vehicle driver monitor and a method for monitoring a driver
DE102013221366A1 (de) * 2012-10-24 2014-05-15 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Steuerung einer Kraftfahrzeugklimaanlage

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005040787A1 (de) 2005-08-29 2007-03-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bewertung von Fahrsituationen
GB2420628B (en) 2005-09-27 2006-11-01 Toumaz Technology Ltd Monitoring method and apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10338760A1 (de) * 2003-08-23 2005-03-17 Daimlerchrysler Ag Kraftfahrzeug mit einem Pre-Safe-System
WO2010109383A1 (en) * 2009-03-27 2010-09-30 Koninklijke Philips Electronics N.V. Adapting interactive programs based on a physiological characteristic of a user performing physical activity
US20120136226A1 (en) * 2010-11-29 2012-05-31 Nellcor Puritan Bennett Llc Pulse Oximetry For Determining Heart Rate Variability As A Measure Of Susceptibility To Stress
DE102011109564A1 (de) * 2011-08-05 2013-02-07 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
US20130070043A1 (en) * 2011-09-19 2013-03-21 Nir Geva Vehicle driver monitor and a method for monitoring a driver
DE102012009833A1 (de) * 2012-05-18 2012-11-29 Daimler Ag Assistent zur Fahrerabsicherung bei Schutzreflexreaktionen
DE102013221366A1 (de) * 2012-10-24 2014-05-15 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Steuerung einer Kraftfahrzeugklimaanlage

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZONG W ET AL: "A robust open-source algorithm to detect onset and duration of QRS complexes", COMPUTERS IN CARDIOLOGY 2003. THESSALONIKI, GREECE, SEPT. 21 - 24, 2003; [COMPUTERS IN CARDIOLOGY], NEW YORK, NY : IEEE, US, vol. VOL. 30, 21 September 2003 (2003-09-21), pages 737 - 740, XP010699010, ISBN: 978-0-7803-8170-4, DOI: 10.1109/CIC.2003.1291261 *

Also Published As

Publication number Publication date
DE102016210014A1 (de) 2017-12-07
DE102016210014B4 (de) 2021-10-14
DE202016008400U1 (de) 2017-10-26

Similar Documents

Publication Publication Date Title
DE102006051930B4 (de) Verfahren und Vorrichtung zur Fahrerzustandserkennung
EP1957309B1 (de) Verfahren und vorrichtung zur fahrerzustandserkennung
DE102004022581B4 (de) Fahrerassistenzsystem
DE112017002765T5 (de) Zustandsabschätzungsvorrichtung, Zustandsabschätzungsverfahren und Zustandsabschätzungsprogramm
EP3405375B1 (de) Verfahren zur klassifikation von fahrerbewegungen
DE10126224A1 (de) Verfahren und Vorrichtung zur Charakterisierung des Zustandes des Fahrers eines Kraftfahrzeuges
DE102008007149B4 (de) Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug
DE102015001686B4 (de) Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
WO2017211527A1 (de) Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren
DE102007038392A1 (de) Vorrichtung und Verfahren zur Vorhersage eines Kontrollverlustes über einen Muskel
DE112020001197T5 (de) Fahrzeugleitsystem
WO1999067758A1 (de) Verfahren und vorrichtung zur erkennung von driften, sprüngen und/oder ausreissern von messwerten
EP3458304B1 (de) Sitzbelegungserkennung
DE102004034748A1 (de) Fahrerassistenzsystem zur Müdigkeitserkennung und/oder Aufmerksamkeitsbeurteilung eines Fahrzeugführers
WO2019057568A1 (de) Verfahren und vorrichtung zur beurteilung eines müdigkeitsgrads eines fahrzeuginsassen eines fahrzeugs
AT523641B1 (de) System zum Testen eines Fahrerassistenzsystems eines Fahrzeugs
DE102021108656A1 (de) Sicherheitssystem eines Fahrzeugs
DE102020127613A1 (de) Vorrichtung und Verfahren zum Erzeugen eines Fahrer-Erfahrungs-Fahrmodells mittels Fehlerüberwachung
DE19818236A1 (de) Vorrichtung zur Überwachung eines Fahrspurwechsels eines Kraftfahrzeuges
DE102018206237A1 (de) Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person
DE102005031311B4 (de) Müdigkeits-Warnsystem
DE102020119215A1 (de) Verkehrsunfallanalysesytem, das Fehlerüberwachung verwendet
DE102020212928A1 (de) Vorrichtung und verfahren zur steuerung einer notfahrsituation mithilfe von gehirnwellen
DE102017220543B4 (de) Vermeidung einer Ablenkung eines Fahrers eines Fahrzeugs
DE102021121660A1 (de) Verfahren zum Feststellen einer Fahrtüchtigkeit eines Fahrers eines Kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17725536

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: FESTSTELLUNG EINES RECHTSVERLUSTS NACH REGEL 112(1) EPUE (EPA FORM 1205A VOM 04/04/2019)

122 Ep: pct application non-entry in european phase

Ref document number: 17725536

Country of ref document: EP

Kind code of ref document: A1