WO2023041316A1 - Verfahren und überwachungseinrichtung zum bestimmen eines augenzustands einer person, sowie ein damit ausgerüstetes kraftfahrzeug - Google Patents

Verfahren und überwachungseinrichtung zum bestimmen eines augenzustands einer person, sowie ein damit ausgerüstetes kraftfahrzeug Download PDF

Info

Publication number
WO2023041316A1
WO2023041316A1 PCT/EP2022/073987 EP2022073987W WO2023041316A1 WO 2023041316 A1 WO2023041316 A1 WO 2023041316A1 EP 2022073987 W EP2022073987 W EP 2022073987W WO 2023041316 A1 WO2023041316 A1 WO 2023041316A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
determined
person
lid
time
Prior art date
Application number
PCT/EP2022/073987
Other languages
English (en)
French (fr)
Inventor
Dorin Aiteanu
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to CN202280062029.5A priority Critical patent/CN117957588A/zh
Publication of WO2023041316A1 publication Critical patent/WO2023041316A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness

Definitions

  • the present invention relates to a method and a monitoring device for monitoring or determining a binary eye condition of a person. This therefore means that it can be recognized or determined whether at least one eye of the person is either open or closed. In this case, lid positions between a complete opening and a complete closing can accordingly be assigned unequivocally, ie defined or determined either as open or as closed.
  • the person can in particular be an operator of a technical device, in particular a driver or a vehicle occupant of a vehicle.
  • the present invention can also be used or be applicable in other areas or situations.
  • alertness or tiredness of the person for example, can be determined or evaluated based on the determined eye state.
  • the detection of the alertness or tiredness of a motor vehicle driver or a citizen of a technical device or a system can enable improved safety, for example through measures that are automatically initiated as a function of this.
  • US 2020 / 0 026 938 A1 suggests one Device for detecting an occupant condition.
  • the device there comprises an eyelid opening detection unit for detecting an eyelid opening of a driver of a vehicle, a maximum value of the eyelid opening and a minimum value of the eyelid opening.
  • the device further comprises an eye state determination unit for determining that the eye is in an open state when the lid opening becomes larger than a predetermined threshold.
  • the device further comprises a threshold value reset unit for resetting the threshold value to a value between the maximum value and the minimum value of the lid opening if the maximum value has not become greater than the threshold value for a predetermined time or if the minimum value has not become less than the threshold value for a predetermined time is.
  • this can be error-prone, in particular with regard to changes or variations in the driver's viewing direction in the vertical direction of the vehicle or with regard to intensity fluctuations of a lighting system.
  • DE 196 14 975 C2 describes a facial image processing system.
  • an evaluation function calculation device for calculating an evaluation function and an eye open or closed state judging device for judging whether the eye is open or closed by the evaluation function.
  • the evaluation function calculation device calculates a shape function, which represents the curvature of the eye in an associated spatial area, and calculates the evaluation function on the basis of this shape function. This is intended to enable precise eye detection.
  • EPR 3 268 942 B1 describes a method for recognizing that a driver of a vehicle is tired and/or asleep.
  • a first and a second eye opening signal are read in, each representing a degree of eye opening or a signal derived therefrom for one of the two eyes of the driver.
  • the eye opening signals are recognized as valid if they correspond to a respective criterion.
  • the tiredness and/or sleep state of the driver is then determined using the first eye opening signal identified as valid and the second eye opening signal identified as valid.
  • the object of the present invention is to enable a particularly robust determination of a person's eye condition.
  • the method according to the invention is used to determine a binary state of the eye of a person and comprises a number of method steps which can be carried out automatically or semi-automatically in particular.
  • a camera is used to capture camera data which depicts the respective person. This can mean or include, for example, that an image sequence or a video stream is recorded continuously or with a predetermined frequency or frame or image repetition rate.
  • capturing the camera data in the present sense can mean or include that the camera data, i.e. a corresponding image sequence or a corresponding video stream or the like, is retrieved or received from a data memory or via a data interface, for example by a monitoring device set up to carry out the method.
  • the camera data is used to determine a person's eyelid distance over time, ie a distance between a lower eyelid and the associated upper eyelid of the person.
  • the eyelid distance i.e. the eye opening width of the person
  • the eyelid distance is determined in the camera data or using the camera data for different recording times, for example by means of automatic image processing, object or feature recognition or the like.
  • a monotonically falling edge corresponding to closing the eyes which has at least a predetermined minimum height, and its end point, from or at which the eyelid distance increases again for the first time since the beginning of the respective falling edge is determined, ie recognized or determined in each case if present.
  • the fact that the falling edge has or reaches at least the minimum height can mean in particular that along or in the course of the falling edge the distance between the lids increases at least by a predetermined amount or by a predetermined amount reduced.
  • the minimum height can therefore be understood as the minimum change in the y-direction.
  • the minimum height specified for the falling edge can also be referred to as mcd (English: “minimal closing distance”).
  • mcd Minimum closing distance
  • the predetermined minimum height can be 5 mm. This value can, for example, be determined experimentally and/or modeled or determined by an adjustment to recorded data, so that other values are also possible depending on the application.
  • a current transition threshold value is dynamically determined in each case, which indicates from or at which lid distance a change between an open eye and a closed eye, i.e. an open and a closed eye state, takes place or is given.
  • the transition threshold value is determined as a predefined proportion of a distance from an average value of a plurality of end points of preceding falling edges to an average value of a plurality of starting points of preceding falling edges or the plurality of preceding falling edges.
  • the transition threshold can be determined as the sum of the average value of the multiple end points and a predetermined fraction of the difference between this average value and the average value of the multiple start points.
  • the average values can be moving average values, ie average values determined over a sliding time or data window, which in each case extends from the current point in time into the past in a predetermined manner.
  • the several preceding falling edges can be or include falling edges that occurred or were recognized during the respective current operating time or application of the method.
  • a corresponding percentage or a percentage constant p can therefore be specified for determining the transition threshold value.
  • the lid spacing must then have reached at least an appropriate proportion or percentage on the way from the average value of the end points to the average value of the starting points.
  • the transition threshold value can be redetermined or recalculated dynamically, for example for each or after each newly detected falling edge that has at least the specified minimum height.
  • the average values can be redetermined, calculated or adjusted at or with each newly determined eyelid distance.
  • the respective eye is recognized as closed if or as soon as the current lid distance is smaller than the current, i.e. last determined, transition threshold value, in particular from the point in time at which this is the case.
  • a corresponding eye status can then be output or set as "closed”.
  • a next monotonically rising edge corresponding to an eye opening of the respective eye of the person and having at least a minimum height is determined .
  • the monotonically rising flank can be a section of the course of the lid gap in which the lid gap increases or remains the same, with the course or along the rising flank having to result in at least one increase in the lid gap corresponding to the specified minimum height.
  • the minimum height specified for the rising edge can also be referred to as mod (English: "minimal opening distance").
  • Possible starting points of the or a monotonically rising edge can be the last determined end point, i.e. the end point of the last recognized falling edge that has at least the minimum height specified for it, or points that are later in time, i.e. later determined points in the course of the lid gap to be pulled.
  • the rising edge can begin at a point in time after the last end point if there is or has been a fluctuation in the lid spacing from the last end point that does not reach the minimum level specified for the rising edge, i.e. a change in the lid spacing.
  • the respective eye of the person is recognized as open if or as soon as the end of the rising flank is recognized or reached, from which the eyelid distance becomes smaller again for the first time since the beginning of the respective rising flank.
  • a corresponding eye state can then be output or set as “open”.
  • the eye status can remain set as "closed”. This can be the case, in particular, independently of the current transition threshold value, ie the last one determined in each case, ie regardless of whether the current lid spacing is or was temporarily or permanently greater or smaller than the current transition threshold value.
  • the present invention is based on the finding that the dynamic determination or recognition of the transitions, ie the change in the state of the eye from open or open to closed and vice versa, can achieve improved robustness with regard to a large number of disruptive factors compared to conventional methods.
  • the method according to the invention can thus enable the state of the eye to be determined or monitored with sufficient accuracy, reliability and robustness to be used, for example, for a corresponding driver assistance system of a motor vehicle or the like.
  • the method according to the invention can thus enable a detection or determination of the state of the eyes that is robust to a changed line of sight or head movements of the person, in particular in the vertical direction of the vehicle, to changes in lighting, to different eye or eyelid shapes or eyelid arrangements, for example between different ethnic groups, compared to a Winking and/or the like is more.
  • the method according to the invention is advantageously not limited to a recognition and interpretation of a facial expression of the respective Person dependent, which can also lead to a lack of accuracy, reliability or robustness in previous methods, for example due to an error-prone interpretation.
  • the last, i.e. most recent point in the time profile of the lid spacing is determined as a possible starting point of one or the falling edge, from which the first derivation of the time profile of the lid spacing up to the current time or up to to reach the end point of the respective falling edge only assumes values of less than or equal to zero.
  • the condition is specified or evaluated here that the falling edge should be as long or as large as possible and the lid distance, i.e. the eye opening along or during the falling edge, only decreases or remains constant, but not increases. This represents a particularly easy-to-implement option for determining the falling edges in the time course of the lid gap.
  • the last previous point i.e. the last point at which a value for the first derivation was determined to be less than or equal to zero can be determined or recognized as the end point of the respective falling edge.
  • the height of the respective falling edge can then be determined and compared with the specified minimum height. If the height of the respective falling edge is less than the specified minimum height, then this falling edge can be evaluated as not meaningful or as not valid for a change in the state of the eye and can therefore be discarded.
  • the next point can then be checked as the next possible starting point of a falling edge. In particular, only points after the most recently determined possible end point of a falling edge can be taken into account. This can enable a particularly efficient determination of falling flanks in the time profile of the lid spacing.
  • the possible starting point of a falling edge is validated as such and used further if the falling edge beginning there reaches at least the specified minimum height, and otherwise, i.e. if the lid distance increases again before reaching the minimum height, discarded .
  • the search for the respective next possible starting point of a falling flank can then be resumed or the determination and validation or discarding of the next possible possible one in each case starting point can be carried out or continued.
  • the validation of the starting point proposed here i.e. ultimately the comparison of the actual height of the respective falling flank with the minimum height specified for it, can be used to filter out ambiguous or meaningless eyelid movements. It can thereby be achieved or ensured that the method according to the invention always provides robust, reliable information about the state of the eye.
  • the average values are determined from the corresponding n last points or from the corresponding points of the respective last m seconds of the temporal progression of the lid spacing, where n or m are predetermined numbers.
  • the n last starting points or the starting points determined in the last m seconds or their values are used to determine the respective current average value of the starting points, ie averaged.
  • the n last end points or the end points determined in the last m seconds or their values are used to determine the respective current average value of the end points, ie averaged.
  • the aforesaid sliding window for determining the average values can be defined in terms of time or by a predetermined number of points.
  • the start or end points of valid falling flanks can be used or taken into account, i.e. those falling flanks whose size or height corresponds at least to the specified minimum falling height, for which there is at least a difference in the lid spacing in its starting point and the lid spacing in its end point corresponds to the specified minimum falling height.
  • the average values are then not necessarily determined from all measured lid distances. Averaging over the past m seconds can be a generally robust and workable way to average. Determining the average values based on the n last corresponding points can enable a particularly reliable and robust determination of the average values even in extreme cases, ie for example when the person blinks or closes their eyes particularly slowly.
  • the use of the last n corresponding points in each case can make a determination that is consistent in different periods of time of the average values, each of which can be carried out with a previously defined or known data processing effort, which can, if necessary, enable a corresponding hardware and/or software optimization.
  • a corresponding predefined standard value is used instead.
  • a standard value can be, for example, a previously determined statistical mean of a large number of different people, times and/or situations.
  • the use of such a predefined standard value can enable a particularly robust application of the method according to the invention.
  • the method can also be used without errors if no or insufficient previous data was recorded during the current operating time and/or the most recent available or determinable average values are too old, for example older than a predetermined maximum age.
  • Such particularly old average values i.e. average values determined a long time ago, may be unreliable or no longer relevant or appropriate to the situation, since they may have been determined for another person and/or came about under significantly different environmental conditions and/or states of the person.
  • the respective person provision is made for the respective person to be identified, for example before or at the start of the method. If a data record already exists for the respective identified person, i.e. it exists, a person-specific historical total value stored in this data record from corresponding points determined in the past for the identified person, i.e. starting or end points, or average values, is used as the default value. All corresponding points or values determined for the person can flow into this historical total value, or such points or values that were determined in a predetermined, in particular sliding, time window or a predetermined number of the points or values last determined for the respective person.
  • the historical total value can then, for example, be a mean value of these points or values, possibly weighted—for example with a respective age or a respective confidence of the points or values.
  • the method can also be used if there is no current average value is available or can be determined, can be carried out particularly robustly and at the same time particularly accurately and reliably, since the respective standard values are person-specific, ie, for example, take into account individual characteristics of the respective person. This enables a particularly precise, robust and reliable determination of the state of the eye.
  • the specific start or end points or their values and/or the specific average values for the respective identified person i.e.
  • the present invention can thus be used particularly precisely, reliably and robustly for different people, for example when the corresponding vehicle or the corresponding technical device is used or operated by different people. If there is still no data record for an identified person and/or if the respective person cannot be identified, a predefined general standard value can be used.
  • the state of the eye is initialized or reinitialized using a predefined standard threshold value for the lid spacing.
  • a standard threshold value can be specified, for example, as an absolute value or—especially in the event of an interruption—as a relative value.
  • a percentage or percent value of the difference between previously or last determined start and end points can be specified, for example 0.7 or 70% or the like.
  • the default threshold may then correspond to the sum of the lid spacing at the last determined endpoint and the predetermined percentage or percentage of the difference thereof to the lid spacing at the associated starting point.
  • the or a percentage or percent value for the distance between the lids can be predetermined at the last specific starting point.
  • the default threshold may then correspond to the corresponding fraction of lid spacing at the last starting point.
  • An interruption in the course of the lid distance can be caused, for example, by the fact that the respective eye or the eyes of the person is temporarily outside a detection or recording area camera were. This can happen, for example, if the person's head is tilted or turned too much or if the eyes are covered by an object, a hand or the like.
  • the eye state can then be determined, set and/or output as “open” above it, i.e. if the current distance is greater than the default threshold value, and as “closed” below it, i.e.
  • the problem can be avoided that otherwise at the beginning of the procedure or after an interruption in the temporal course of the eyelid separation, several minutes can elapse until sufficient data are available to carry out the procedure as described, so that the eye condition would not be known during this time and therefore a function based on it might not be able to be executed.
  • the standard threshold value can also be determined or adjusted on an individual basis.
  • a historical total value i.e. a value determined based on all data available for the respective person or for a predetermined period of time or from the last corresponding X data that was determined for the respective person, can be used, where X is a predetermined number or size.
  • X is a predetermined number or size.
  • Such a value can be determined, for example, as a mean value of all the corresponding determined eyelid distances, possibly modified or weighted with a predetermined correction or adjustment factor.
  • the historical total value can be determined, for example, as the mean value of the corresponding transition threshold values determined in the past for the respective person.
  • the historical total value can be stored or stored in the corresponding person-specific data record.
  • this historical total value can then be used as a standard threshold value for initialization at the beginning of the procedure or for reinitialization after an interruption if the person before or at the beginning of the procedure and/or after identified, i.e. recognized, after the interruption.
  • This can enable a particularly precise and reliable application of the method according to the invention.
  • an individual eye state is determined for each eye of the respective person that is imaged in the camera data.
  • An open overall eye condition is then determined for the respective person if an open individual eye condition or individual eye condition was determined for at least one eye.
  • a closed overall eye state is determined for the respective person if a closed individual eye state or single eye state was determined for each eye of the person in the detection or recording area of the camera, ie for each eye of the person depicted in the camera data.
  • the overall state of the eye determined in this way can then be made available or output for further measures, applications or systems, for example as an output of the monitoring device set up to carry out the method according to the invention.
  • the individual eye states or individual eye states can be determined as described in connection with the other configurations of the method according to the invention.
  • the embodiment of the present invention proposed here can enable a particularly reliable and robust use of the state of the eye for further measures or for other systems or devices.
  • the overall eye condition can also be determined or output or provided if the person moves their head in such a way that at different times only one eye, only the other eye or both eyes are in the detection or recording area of the camera or are mapped or recognized in the camera data.
  • the determination of the open state of the entire eye proposed here can ultimately filter out or disregard incorrect detections of an eye closure that are not relevant for safety or of closures of just one eye of the person. As a result, for example, a corresponding false-positive rate or a corresponding ultimately unnecessary or inappropriate automatic execution of measures specified for a closed eye state can be avoided.
  • the person can blink with exactly one eye, for example in the context of non-verbal communication or the like, with full attention, ie without the person being tired or distracted in a safety-related manner.
  • the person's attention or alertness may not be restricted, so that there should not be an automatic response in a corresponding manner.
  • Another aspect of the present invention is a monitor for monitoring or determining an eye condition of a person.
  • the monitoring device according to the invention has an input interface for acquiring camera data which depicts the respective person, in particular the area around the eyes, a processor device, ie for example a microchip, microprocessor or microcontroller, and a computer-readable data memory coupled thereto.
  • the monitoring device according to the invention is set up to carry out at least one variant or embodiment of the method according to the invention, in particular automatically or semi-automatically.
  • a corresponding operating or computer program can be stored or stored in the data memory, which encodes or implements the corresponding method or its measures, sequences or method steps and can be executed by the processor device in order to carry out the corresponding method or cause it to be carried out.
  • the monitoring device according to the invention can in particular be or correspond to the monitoring device mentioned in connection with the method according to the invention. Accordingly, the monitoring device according to the invention can have some or all of the properties and/or features mentioned in connection with the method according to the invention.
  • the monitoring device according to the invention can also have an output interface for outputting a specific eye condition or a corresponding data or control signal.
  • the monitoring device according to the invention can also have a camera coupled to the input interface for recording the camera data.
  • Another aspect of the present invention is a motor vehicle that has a camera and a monitoring device according to the invention.
  • the camera is arranged in or on the motor vehicle to record a vehicle occupant and is aligned in a vehicle occupant compartment.
  • the camera can be a device separate from the monitoring device but connected to its input interface via a data connection, or it can be part of the monitoring device.
  • the motor vehicle according to the invention can in particular be the motor vehicle mentioned in connection with the method according to the invention. Accordingly, the motor vehicle according to the invention can some or all of the in connection with the method according to the invention and / or in connection with the monitoring device according to the invention have mentioned properties and / or features.
  • the motor vehicle according to the invention can have a driver assistance system, for example, which can use the eye state determined by the monitoring device as an input or input variable.
  • a driver assistance system for example, which can use the eye state determined by the monitoring device as an input or input variable.
  • the state of the eye or its determination or detection can be used to activate an emergency stop assistant, ie an emergency stop function of the motor vehicle.
  • an emergency stop assistant ie an emergency stop function of the motor vehicle.
  • Such a function requires a particularly high reliability and robustness of the determination of the state of the eyes in order to avoid false triggering but at the same time to react as quickly as possible in an emergency, for example if the person is unconscious or falls asleep, i.e. bring the motor vehicle to a standstill or to a safe state, for example to be able to move.
  • the driving assistance system can determine driver attentiveness, ie a degree of attentiveness or state of attentiveness of the respective vehicle occupant, for example on the basis of the determined state of the eyes.
  • driver attentiveness ie a degree of attentiveness or state of attentiveness of the respective vehicle occupant
  • the driver assistance system can also recognize or determine driver drowsiness, that is to say a state of drowsiness or alertness of the respective vehicle occupant, based on the eye state determined, for example using a PERCLOS algorithm. This is possible all the more precisely, the more precisely, reliably and robustly the times when the eyes are closed can be determined, which is made possible or supported by the application of the method according to the invention.
  • the drawing shows in: 1 shows a sectional schematic representation of a motor vehicle with a camera and a device for determining an eye condition of a vehicle occupant;
  • FIG. 2 shows a first schematic diagram representation to illustrate the determination of the state of the eye based on a time profile of a lid spacing of the vehicle occupant
  • FIG 3 shows a second schematic diagram to illustrate the determination of the state of the eye based on a further time profile of a lid spacing of the vehicle occupant.
  • FIG. 1 shows a partial schematic side view of a motor vehicle 10 which is controlled by a driver 12 here.
  • the driver 12 For safe control of the motor vehicle 10, the driver 12 must not be inattentive or too tired, which can be deduced from the state of his eyes, for example.
  • the motor vehicle 10 is set up here to recognize or determine this eye condition of the driver 12 .
  • the motor vehicle 10 has a camera 14 which is arranged in such a way that its detection or recording area 16 is aligned with the driver 12, in particular an eye area of the driver 12.
  • Motor vehicle 10 also has a corresponding monitoring device 18 which is connected to camera 14 .
  • the monitoring device 18 has an input interface 20 via which camera data recorded by the camera 14 can be recorded.
  • the monitoring device 18 also has a processor 22 and a data memory 24 . The monitoring device 18 is thus set up to carry out a predefined method for determining the eye condition of the driver 12 .
  • FIGS. 2 and 3 each show an exemplary schematic Diagram representation, the time being plotted on a respective abscissa axis and a lid distance a being plotted on a respective ordinate axis.
  • the driver 12 is recorded by the camera 14 .
  • Corresponding camera data are processed or evaluated by the monitoring device 18 to determine the instantaneous, that is to say the current eyelid distance a. This can be done continuously or regularly, for example while the motor vehicle 10 is operating as a ferry. This results in a time course 26 of the eyelid distance. Examples of such possible eyelid distance courses 26 over time are shown in FIGS. 2 and 3 as corresponding diagram curves. Since eyelids inevitably move continuously, individual points along the course 26 of the lid spacing, each of which represents a specific determination or measurement of the lid spacing a, are connected here in a simplified manner by straight lines.
  • lid spacing courses 26 there are initially several open points 28 up to a first point in time ti, which specify or indicate a lid spacing a corresponding to an open eye, ie an open eye state. Since the driver 12 cannot keep his eyes open indefinitely, one of the open points 28 represents a starting point 30 of a subsequent monotonically falling flank 32. Along this falling flank 32, the eyelid distance a decreases monotonously. The falling edge 32 ends at an end point 34, from which the distance a between the lids increases again. A rising edge 36 therefore follows the respective end point 34 . This rising edge 36 extends here to an end 38, from which the eyelid distance a becomes smaller again for the first time since the beginning or beginning of the respective rising edge 36, ie here from or since the end point 34.
  • further open points 28 follow the respective end 38 of the rising edge 36 .
  • this open point 28 can be viewed as a possible starting point 30 of a corresponding flank.
  • points or measured values of the lid spacing curve 26 it can then be checked in each case whether the first derivation of the lid spacing curve 26 from the respective open point 28 under consideration has only negative values or zero values, i.e. the lid spacing a only decreases or remains constant.
  • the corresponding open point 28 would be discarded as a possible starting point 30 and the respective falling edge 32 would be considered irrelevant or not meaningful Considered fluctuation and the search for an actual starting point 30 at which a correspondingly large falling edge 32 attaches or begins to be continued or resumed.
  • the search for the end point 34 of this falling edge 32 is started.
  • a point in the lid spacing curve 26 is determined as the end point 34 of the falling edge 32, from which the lid spacing a or the lid spacing curve 26 increases again for the first time since the beginning of the falling edge 32, i.e. from its starting point 30.
  • the end point 34 thus represents a local minimum of the course of the distance between the lids 26.
  • a dynamic threshold of a corresponding transition is used here for changing the state of the eye.
  • a respective current transition threshold value toc which is indicated here as an example, is calculated or determined.
  • a predetermined number of the last recognized starting points 30 of previous falling edges 32 is averaged to determine an upper average 42 and a predetermined number of the corresponding last recognized end points 34 of the previous falling edges 32 are averaged to determine a lower average 44 of the lid spacing a .
  • the current values of the upper average 42 and the lower average 44 are indicated here purely schematically and by way of example.
  • the fact that these are above or below the illustrated points of the lid spacing course 26 is due to the fact that the lid spacing course 26 at earlier points in time (not shown here) is correspondingly larger or smaller than the points shown here, i.e. the section shown here of the temporal course of the lid distance was 26.
  • the starting points 30 recognized in a predetermined time window extending from the current point in time into the past, or the end points 34 recognized therein can be averaged to determine the current upper average 42 or the current lower average 44 .
  • the transition threshold toc is then calculated using a predetermined percentage constant p such that it lies between the upper average 42 and the lower average 44, for example according to FIG.
  • a transition of the eye state from open to closed is recognized when the current starting point 30 is validated as such, i.e. the specified falling minimum height 40 has been reached or exceeded by the current falling edge 32, and the current eyelid distance a falls below the transition threshold value toc, which is shown here is the case at time ti. From this point in time or the subsequent next point for which the lid distance a was determined to be below the transition threshold value toc, the eye state is then determined or output as “closed”.
  • the end point 34 of the preceding falling edge 32 is used or considered as the first possible starting point or beginning of the rising edge 36 .
  • the end 38 of the rising edge 36 is that point of the lid spacing curve 26 that is determined or recognized which is the last point in the lid spacing curve 26 before the lid spacing a decreases for the first time since the beginning of the current rising flank 36, i.e. here since the end point 34 .
  • the condition must also be met that a size or height of the rising edge 36 reaches at least a predetermined rising minimum height 46 .
  • the respective beginning of a rising flank 36 considered can be discarded and a new beginning of a rising flank 36 can be sought.
  • a transition of the eye state from closed to open is detected at the point in time when the end 38 of the current rising edge 36 is detected.
  • the state of the eye is recognized as “open”, set or output. This is the case here at or after a second point in time t2.
  • the minimum falling height 40 and the minimum rising height 46 may be the same or different. Experiments have so far shown that it can be advantageous to set or specify the falling minimum height 40 to be greater than the rising minimum height 46 .
  • FIG. 3 shows a further example of a possible eyelid spacing profile 26 which can result for the driver 12 according to the eyelid spacing profile 26 shown in FIG. 2 .
  • eyelid distance a before a blink by driver 12 represented by falling flank 32 and the subsequent rising flank 36
  • eyelid distance a before a blink by driver 12 is smaller than after the blink. This can be due to or caused, for example, by a change in the viewing direction or head inclination of the driver 12 in the vertical direction of the vehicle.
  • the end point 34 can be at a smaller lid distance a here, so that the transition threshold value toc can also be correspondingly lower than in the example shown in FIG. 2 . This makes it clear that the transition threshold value toc is determined anew during the process, ie over several transitions of the state of the eye, ie is dynamically tracked or adjusted.
  • the binary eye state can be reinitialized using a further predefined constant r as soon as the eyelid distance a is recognized or determined again can.
  • the eye state can be determined or output, for example, for a > ao + r*(ai - ao) as open and otherwise as closed, where ao here corresponds to the lower average 44 and ai to the upper average 42 can match.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Developmental Disabilities (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Überwachungseinrichtung (18) zum Bestimmen eines binären Augenzustands einer Person (12). Dabei wird in einem zeitlichen Verlauf eines kamerabasiert bestimmten Lidabstands (a) eine monoton fallende Flanke (32) mit wenigstens einer vorgegebenen Minimalhöhe (40) bestimmt. Weiter wird ein aktueller Transitionsschwellenwert (toc) für einen Wechsel zwischen offenem und geschlossenem Auge bestimmt als vorgegebener Anteilswert eines Abstands zwischen einem Durchschnittswert (42) mehrerer Anfangspunkte (30) fallender Flanken (32) und einem Durchschnittswert (44) mehrerer zugehöriger Endpunkte (34). Das Auge wird als geschlossen erkannt, wenn der aktuelle Lidabstand (a) kleiner als der aktuelle Transitionsschwellenwert (toc) ist. Ab dem letzten Endpunkt (34) wird eine monoton steigende Flanke (36) im Lidabstandsverlauf (26), die wenigstens eine vorgegebene minimale Höhe (46) aufweist, bestimmt. Das Auge wird dann als offen erkannt, wenn ein Ende (38) der aktuellen steigenden Flanke (36) erreicht ist. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug (10).

Description

VERFAHREN UND ÜBERWACHUNGSEINRICHTUNG ZUM BESTIMMEN EINES AUGENZUSTANDS EINER PERSON, SOWIE EIN DAMIT AUSGERÜSTETES KRAFTFAHRZEUG
Die vorliegende Erfindung betrifft ein Verfahren und eine Überwachungseinrichtung zum Überwachen oder Bestimmen eines binären Augenzustands einer Person. Dies bedeutet also, dass erkannt oder ermittelt werden kann, ob wenigstens ein Auge der Person entweder offen oder geschlossen ist. Dabei können auch Lidstellungen zwischen einem vollständigen Öffnen und einem vollständigen Schließen dementsprechend eindeutig zugeordnet, also entweder als offen oder als geschlossen definiert oder bestimmt werden.
Bei der Person kann es sich insbesondere um eine Bedienperson einer technischen Einrichtung, insbesondere einen Fahrer oder Fahrzeuginsassen eines Fahrzeugs handeln. Ebenso kann die vorliegende Erfindung aber in anderen Bereichen oder Situationen angewendet werden bzw. anwendbar sein. Allgemein kann basierend auf dem bestimmten Augenzustand beispielsweise eine Aufmerksamkeit oder Müdigkeit der Person bestimmt oder bewertet werden.
Die Erkennung der Aufmerksamkeit oder Müdigkeit eines Kraftfahrzeugführers oder eines Berliners einer technischen Einrichtung oder eines Systems kann eine verbesserte Sicherheit ermöglichen, beispielsweise durch in Abhängigkeit davon automatisch eingeleitete Maßnahmen. Dazu gibt es bereits verschiedene Ansätze, die jedoch noch keine optimale Genauigkeit, Zuverlässigkeit und Robustheit der Erkennung des Augenzustands bzw. Augenöffnungszustands, insbesondere bei Vorliegen von Störfaktoren, ermöglichen. So schlägt beispielsweise die US 2020 / 0 026 938 A1 eine Vorrichtung zum Erkennen eines Insassenzustands vor. Die dortige Vorrichtung umfasst eine Lidöffnungserkennungseinheit zum Erkennen einer Lidöffnung eines Fahrers eines Fahrzeugs, eines Maximalwerts der Lidöffnung und eines Minimalwerts der Lidöffnung. Die Vorrichtung umfasst weiter eine Augenzustandsbestimmungseinheit zum Bestimmen, dass das Auge in einem offenen Zustand ist, wenn die Lidöffnung größer als ein vorgegebener Schwellenwert wird. Die Vorrichtung umfasst weiter eine Schwellenwertrücksetzeinheit zum Zurücksetzen des Schwellenwertes auf einen Wert zwischen dem Maximalwert und dem Minimalwert der Lidöffnung, wenn der Maximalwert für eine vorgegebene Zeit nicht größer als der Schwellenwert geworden ist oder wenn der Minimalwert für eine vorgegebene Zeit nicht kleiner als der Schwellenwert geworden ist. Dies kann jedoch fehleranfällig sein, insbesondere gegenüber Veränderungen oder Variationen einer Blickrichtung des Fahrers in Fahrzeughochrichtung oder gegenüber Intensitätsschwankungen einer Beleuchtung.
Als weiteren Ansatz beschreibt die DE 196 14 975 C2 ein Gesichtsbildverarbeitungssystem. Darin ist eine Bewertungsfunktions- Berechnungsvorrichtung zum Berechnen einer Bewertungsfunktion und eine Vorrichtung zum Beurteilen des geöffneten oder geschlossenen Zustands eines Auges zum Beurteilen anhand der Bewertungsfunktion, ob das Auge geöffnet oder geschlossen ist, vorgesehen. Die Bewertungsfunktions-Berechnungsvorrichtung berechnet dabei zum einen eine Formfunktion, die die Krümmung des Auges in einem zugehörigen Ortsbereich darstellt, und zum anderen auf Grundlage dieser Formfunktion die Bewertungsfunktion. Damit soll eine genaue Augenerfassung ermöglicht werden.
Als weiteren Ansatz beschreibt die EPR 3 268 942 B1 ein Verfahren zum Erkennen eines Müdigkeits- und/oder Schlafzustands eines Fahrers eines Fahrzeugs. Dabei werden ein erstes und ein zweites Augenöffnungssignal eingelesen, die jeweils einen Augenöffnungsgrad oder ein davon abgeleitetes Signal für eines der beiden Augen des Fahrers repräsentieren. Die Augenöffnungssignale werden als gültig erkannt, wenn sie einem jeweiligen Kriterium entsprechen. Der Müdigkeits- und/oder Schlafzustand des Fahrers wird dann unter Verwendung des als gültig erkannten ersten Augenöffnungssignals und des als gültig erkannten zweiten Augenöffnungssignals bestimmt. Aufgabe der vorliegenden Erfindung ist es, eine besonders robuste Bestimmung eines Augenzustands einer Person zu ermöglichen.
Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.
Das erfindungsgemäße Verfahren dient wie eingangs angegeben zum Bestimmen eines binären Augenzustands einer Person und umfasst mehrere Verfahrensschritte, die insbesondere automatisch oder teilautomatisch ausgeführt werden können. In einem Verfahrensschritt des erfindungsgemäßen Verfahrens werden mittels einer Kamera Kameradaten, welche die jeweilige Person abbilden, erfasst. Dies kann beispielsweise bedeuten oder umfassen, dass kontinuierlich oder mit einer vorgegebenen Frequenz oder Frame- bzw. Bildwiederholrate eine Bildsequenz oder ein Videostrom aufgenommen wird. Ebenso kann das Erfassen der Kameradaten im vorliegenden Sinne bedeuten oder umfassen, dass die Kameradaten, also eine entsprechende Bildsequenz oder ein entsprechender Videostrom oder dergleichen, aus einem Datenspeicher oder über eine Datenschnittstelle abgerufen oder empfangen werden, beispielsweise von einer zur Ausführung des Verfahrens eingerichteten Überwachungseinrichtung. Anhand der Kameradaten wird ein zeitlicher Verlauf eines Lidabstands der Person, also eines Abstands zwischen einem unteren Augenlid und dem zugehörigen oberen Augenlid der Person, bestimmt. Mit anderen Worten wird in den Kameradaten oder anhand der Kameradaten also für unterschiedliche Aufnahmezeitpunkte jeweils der Lidabstand, also eine Augenöffnungsweite der Person bestimmt, beispielsweise mittels einer automatischen Bildverarbeitung, Objekt- oder Merkmalserkennung oder dergleichen.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens werden in dem zeitlichen Verlauf des Lidabstands eine zu einem Augenschließen korrespondierende monoton fallende Flanke, die wenigstens eine vorgegebene minimale Höhe aufweist, und deren Endpunkt, ab oder bei dem der Lidabstand erstmals seit Beginn der jeweiligen fallenden Flanke wieder größer wird, bestimmt, also jeweils sofern vorhanden erkannt oder ermittelt. Dass die fallende Flanke wenigstens die minimale Höhe aufweist oder erreicht, kann insbesondere bedeuten, dass sich entlang oder im Verlauf der fallenden Flanke der Lidabstand wenigstens um einen vorgegebenen Betrag oder um ein vorgegebenes Maß verkleinert. In einem Graphen oder Diagramm, in dem auf einer X- Achse die Zeit und auf der Y-Achse der Lidabstand aufgetragen sind, kann die minimale Höhe also als minimale Veränderung in Y-in Richtung aufgefasst werden. Die für die fallende Flanke vorgegebene minimale Höhe kann auch als mcd (englisch: „minimal closing distance“) bezeichnet werden. Beispielsweise kann die vorgegebene minimale Höhe 5 mm betragen. Dieser Wert kann beispielsweise experimentell ermittelt und/oder modelliert oder durch eine Anpassung an aufgenommene Daten ermittelt werden, sodass je nach Anwendung ebenso andere Werte möglich sind.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird dynamisch jeweils ein aktueller Transitionsschwellenwert bestimmt, der angibt, ab oder bei welchem Lidabstand ein Wechsel zwischen einem offenen Auge und einem geschlossenen Auge, also einem offenen und einem geschlossenen Augenzustand, stattfindet oder gegeben ist. Der T ransitionsschwellenwert wird dabei bestimmt als vorgegebener Anteilswert eines Abstands von einem Durchschnittswert mehrerer Endpunkte vorangegangener fallender Flanken zu einem Durchschnittswert mehrerer Anfangspunkte vorangegangener fallender Flanken bzw. der mehreren vorangegangenen fallenden Flanken. Der Transitionsschwellenwert kann mit anderen Worten also bestimmt werden als Summe aus dem Durchschnittswert der mehrerer Endpunkte und einem vorgegebenen Teil der Differenz zwischen diesem Durchschnittswert und dem Durchschnittswert der mehreren Anfangspunkte. Die Durchschnittswerte können insbesondere gleitende, also über ein gleitendes Zeit- oder Datenfenster, das sich jeweils vom aktuellen Zeitpunkt in vorgegebenerWeise in die Vergangenheit erstreckt, bestimmte, Durchschnittswerte sein. Die mehreren vorangegangenen fallenden Flanken können insbesondere während der jeweiligen aktuellen Betriebszeit oder Anwendung des Verfahrens aufgetretene oder erkannte fallenden Flanken sein oder umfassen.
Zum Bestimmen des Transitionsschwellenwertes kann also ein entsprechender Prozentsatz oder eine prozentuale Konstante p vorgegeben sein. Der Lidabstand muss dann wenigstens einen entsprechenden Anteil oder Prozentwert auf dem Weg von dem Durchschnittswert der Endpunkte zu dem Durchschnittswert der Anfangspunkte erreicht haben. Der Transitionsschwellenwert toc (englisch: „transition open closed“) kann also ausgedrückt werden als toc = ao + p*(ai - ao), wobei ao der Durchschnittswert der Endpunkte, ai der Durchschnittswert der Anfangspunkte und p der vorgegebene Anteilswert sind. Der Anteilswert p kann beispielsweise als p = 0,3 oder p = 30 % vorgegeben sein, wobei aber ebenso andere Werte möglich sind, um eine das Verfahren an verschiedene Situationen, Gegebenheiten oder Anforderungen anzupassen.
Der Transitionsschwellenwertes kann dynamisch, beispielsweise für jede oder nach jeder neu erkannten fallenden Flanke, die wenigstens die vorgegebene minimale Höhe aufweist, neu bestimmt oder neu berechnet werden. Die Durchschnittswerte können beispielsweise bei oder mit jedem neu bestimmten Lidabstand neu bestimmt, berechnet oder angepasst werden. Somit können sich also sowohl der Transitionsschwellenwert als auch die Durchschnittswerte während der kontinuierlichen Anwendung des Verfahrens bzw. im kontinuierlichen Betrieb der zur Ausführung des Verfahrens eingerichteten Überwachungseinrichtung dynamisch verändern. Dadurch kann auf eine Veränderung einer Situation, äußerer Umstände oder Gegebenheiten und/oder Verhaltensweisen oder Zustände der Person automatisch reagiert werden, ohne dass diese Veränderungen explizit erkannt oder modelliert werden müssten. Beispielsweise kann eine zunehmende Müdigkeit oder eine erhöhte frontale Sonneneinstrahlung zu einer Verringerung des Durchschnittswerts der Anfangspunkte führen.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das jeweilige Auge als geschlossen erkannt, wenn oder sobald der aktuelle Lidabstand kleiner als der aktuelle, also zuletzt bestimmte, Transitionsschwellenwert ist, insbesondere jeweils ab dem Zeitpunkt, ab dem dies der Fall ist. Es kann dann also ein entsprechender Augenzustand als „geschlossenen“ ausgegeben oder gesetzt werden.
In einem weiteren Verfahrensschritt wird ab dem jeweils letzten, also zuletzt bestimmten, Endpunkt der bzw. einer fallenden Flanke in dem Verlauf des Lidabstands jeweils eine nächste zu einem Augenöffnen des jeweiligen Auges der Person korrespondierende monoton steigende Flanke, die wenigstens eine minimale Höhe aufweist, bestimmt. Analog zu der fallenden Flanke kann die monoton steigende Flanke also ein Abschnitt des Verlaufs des Lidabstands sein, in dem der Lidabstand größer wird oder gleichbleibt, wobei sich im Verlauf oder entlang der steigenden Flanke wenigstens eine der vorgegebenen minimalen Höhe entsprechende Vergrößerung des Lidabstands ergeben muss. Die für die steigende Flanke vorgegebene minimale Höhe kann auch als mod (englisch: „minimal opening distance“) bezeichnet werden. Beispielsweise kann die minimale Höhe mod für die steigende Flanke als mod = 4 mm vorgegeben sein. Ebenso können andere Werte vorgegeben sein, um das Verfahren bzw. dessen Parameter situations- oder bedarfsgerecht anzupassen. Als mögliche Anfangspunkte der oder einer monoton steigenden Flanke können der jeweils letzte bestimmte Endpunkt, also der Endpunkt der jeweils letzten erkannten fallenden Flanke, die wenigstens die dafür vorgegebene minimale Höhe aufweist, oder zeitlich danach liegende, also später bestimmte Punkte im Verlauf des Lidabstands in Betracht gezogen werden. Beispielsweise kann die steigende Flanke zu einem nach dem letzten Endpunkt liegenden Zeitpunkt beginnen, wenn es ab dem letzten Endpunkt zu einer Fluktuation des Lidabstands kommt oder gekommen ist, die nicht die für die steigende Flanke vorgegebene minimale Höhe, also Lidabstandsveränderung erreicht.
In einem weiteren Verfahrensschritt des erfindungsgemäßen Verfahrens wird das jeweilige Auge der Person als offen erkannt, wenn oder sobald ein Ende der steigenden Flanke erkannt bzw. erreicht ist, ab dem der Lidabstand erstmalig seit Beginn der jeweiligen steigenden Flanke wieder kleiner wird. Es kann dann also ein entsprechender Augenzustand als „offen“ ausgegeben oder gesetzt werden. Bis zu diesem Zeitpunkt kann der Augenzustand jeweils als „geschlossen“ gesetzt bleiben. Dies kann insbesondere unabhängig von dem aktuellen, also jeweils zuletzt bestimmten Transitionsschwellenwert der Fall sein, also unabhängig davon, ob der aktuelle Lidabstand zeitweise oder dauerhaft größer oder kleiner als der aktuelle T ransitionsschwellenwert ist oder war.
Die vorliegende Erfindung beruht auf der Erkenntnis, dass durch die dynamische Bestimmung oder Erkennung der Transitionen, also der Wechsel des Augenzustands von offen bzw. geöffnet zu geschlossen und umgekehrt eine im Vergleich zu herkömmlichen Verfahren verbesserte Robustheit bezüglich einer Vielzahl von Störfaktoren erreicht werden kann. Damit kann das erfindungsgemäße Verfahren eine Bestimmung oder Überwachung des Augenzustands mit genügend großer Genauigkeit, Zuverlässigkeit und Robustheit ermöglichen, um beispielsweise für ein entsprechendes Fahrassistenzsystem eines Kraftfahrzeugs oder dergleichen eingesetzt zu werden. So kann das erfindungsgemäße Verfahren eine Erkennung oder Bestimmung des Augenzustands ermöglichen, die robust gegenüber einer veränderten Blickrichtung oder Kopfbewegungen der Person, insbesondere in Fahrzeughochrichtung, gegenüber Veränderungen einer Beleuchtung, gegenüber unterschiedlichen Augen- oder Lidformen oder Lidanordnungen, beispielsweise zwischen verschiedenen ethnischen Gruppen, gegenüber einem Zwinkern und/oder dergleichen mehr ist. Ebenso ist das erfindungsgemäße Verfahren vorteilhaft nicht auf eine Erkennung und Interpretation eines Gesichtsausdrucks der jeweiligen Person angewiesen, was bei bisherigen Verfahren ebenfalls zu einer mangelnden Genauigkeit, Zuverlässigkeit oder Robustheit, beispielsweise aufgrund einer fehleranfälligen Interpretation, führen kann.
In einer möglichen Ausgestaltung der vorliegenden Erfindung wird jeweils als möglicher Anfangspunkt einer bzw. der fallenden Flanke der jeweils letzte, also jüngste Punkt in dem zeitlichen Verlauf des Lidabstands bestimmt, ab welchem die erste Ableitung des zeitlichen Verlaufs des Lidabstands bis zum jeweils aktuellen Zeitpunkt oder bis zum Erreichen des Endpunkts der jeweiligen fallenden Flanke nur noch Werte von kleiner oder gleich null annimmt. Mit anderen Worten wird hier also die Bedingung vorgegeben bzw. ausgewertet, dass die fallende Flanke so lang oder so groß wie möglich sein soll und der Lidabstand, also die Augenöffnung entlang oder während der fallenden Flanke nur sinkt oder konstant bleibt, aber nicht steigt. Dies stellt eine besonders einfach umzusetzende Möglichkeit zum Bestimmen der fallenden Flanken in dem zeitlichen Verlauf des Lidabstands dar. Sobald die erste Ableitung einen Wert über null annimmt, kann der letzte vorherige Punkt, also der letzte Punkt, an dem jeweils für die erste Ableitung ein Wert von kleiner oder gleich null bestimmt wurde, als Endpunkt der jeweiligen fallenden Flanke bestimmt oder erkannt werden. Darauf basierend kann dann die Höhe der jeweiligen fallenden Flanke bestimmt und mit der vorgegebenen minimalen Höhe verglichen werden. Ist die Höhe der jeweiligen fallenden Flanke kleiner als die vorgegebene minimale Höhe, so kann diese fallende Flanke als nicht aussagekräftig oder als nicht valide für einen Wechsel des Augenzustands gewertet und daher verworfen werden. Es kann dann der nächste Punkt als nächster möglicher Anfangspunkt einer fallenden Flanke überprüft werden. Dabei können insbesondere nur Punkte nach dem jeweils zuletzt bestimmten möglichen Endpunkt einer fallenden Flanke berücksichtigt werden. Dies kann eine besonders effiziente Ermittlung fallender Flanken in dem zeitlichen Verlauf des Lidabstands ermöglichen.
In einer möglichen Weiterbildung der vorliegenden Erfindung wird der mögliche Anfangspunkt einer fallenden Flanke als solcher validiert und weiterverwendet, wenn die dort beginnende fallende Flanke wenigstens die vorgegebene minimale Höhe erreicht, und anderenfalls, falls also der Lidabstand vor dem Erreichen der minimalen Höhe wieder steigt, verworfen. Dann kann die Suche nach dem jeweils nächsten möglichen Anfangspunkt einer fallenden Flanke wieder aufgenommen bzw. das Bestimmen und Validieren oder Verwerfen jeweils für den nächsten infrage kommenden möglichen Anfangspunkt durchgeführt oder fortgesetzt werden. Durch das hier vorgeschlagene Validieren des Anfangspunktes, letztlich also das Abgleichen der tatsächlichen Höhe der jeweiligen fallenden Flanke mit der dafür vorgegebenen minimalen Höhe, können nicht eindeutige oder nicht aussagekräftige Lidbewegungen herausgefiltert werden. Dadurch kann erreicht oder sichergestellt werden, dass das erfindungsgemäße Verfahren stets robust verlässliche Aussagen zum Augenzustand liefert. Durch das Verwerfen möglicher Anfangspunkt im Falle entsprechend geringerer tatsächlicher Flankenhöhen kann vorteilhaft ein Datenverarbeitungsaufwand reduziert oder begrenzt werden und somit das Verfahren letztlich besonders effizient durchgeführt werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung werden die Durchschnittswerte jeweils aus den entsprechenden n letzten Punkten oder aus den entsprechenden Punkten der jeweils letzten m Sekunden des zeitlichen Verlaufs des Lidabstands bestimmt, wobei n oder m vorgegebene Zahlen sind. Mit anderen Worten werden also zum Bestimmen des jeweils aktuellen Durchschnittswerts der Anfangspunkte die n letzten Anfangspunkte oder die in den letzten m Sekunden bestimmten Anfangspunkte bzw. deren Werte verwendet, also gemittelt. Analog dazu werden zum Bestimmen des jeweils aktuellen Durchschnittswerts der Endpunkte die n letzten Endpunkte oder die in den letzten m Sekunden bestimmten Endpunkte bzw. deren Werte verwendet, also gemittelt. Mit anderen Worten kann also das genannte gleitende Fenster für das Bestimmen der Durchschnittswerte zeitlich oder durch eine vorgegebene Anzahl von Punkten definiert sein. Dabei können insbesondere nur Anfangs- bzw. Endpunkte valider fallender Flanken verwendet oder berücksichtigt werden, also solcher fallender Flanken, deren Größe oder Höhe wenigstens der vorgegebenen fallenden Minimalhöhe entspricht, für die also eine Differenz des Lidabstands in ihrem Anfangspunkt und des Lidabstands in ihrem Endpunkt wenigstens der vorgegebenen fallenden Minimalhöhe entspricht. Die Durchschnittwerte werden dann also nicht notwendiger aus sämtlichen gemessenen Lidabständen bestimmt. Das Bestimmen der Durchschnittswerte über die jeweils letzten m Sekunden kann eine im Allgemeinen robuste und praktikable Möglichkeit darstellen, die Durchschnittswerte zu bestimmen. Das Bestimmen der Durchschnittswerte anhand der jeweils n letzten entsprechenden Punkte kann eine besonders zuverlässige und robuste Bestimmung der Durchschnittswerte auch in Extremfällen ermöglichen, also beispielsweise dann, wenn die Person eine besonders geringe Blinzel- oder Augenschließfrequenz hat. Zudem kann die Verwendung der jeweils n letzten entsprechenden Punkte eine in unterschiedlichen Zeiträumen konsistente Bestimmung der Durchschnittswerte ermöglichen, die jeweils mit einem im Vorhinein definierten oder bekannten Datenverarbeitungsaufwand durchgeführt werden kann, was gegebenenfalls eine entsprechende Hardware- und/oder Softwareoptimierung ermöglichen kann.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird für den Fall, dass kein aktueller Durchschnittswert vorliegt oder bestimmt werden kann, stattdessen ein entsprechender vorgegebener Standardwert verwendet. Ein solcher Standardwert kann beispielsweise ein im Vorhinein bestimmter statistischer Mittelwert einer Vielzahl unterschiedlicher Personen, Zeiten und/oder Situationen sein. Die Verwendung eines solchen vorgegebenen Standardwertes kann eine besonders robuste Anwendung des erfindungsgemäßen Verfahrens ermöglichen. So kann das Verfahren beispielsweise auch dann fehlerfrei angewendet werden, wenn keine oder nicht genügend vorangegangene Daten während der aktuellen Betriebszeit aufgenommen wurden und/oder beispielsweise die jüngsten vorliegenden oder bestimmbaren Durchschnittswerte zu alt, also beispielsweise älter als ein vorgegebenes Maximalalter sind. Derartige besonders alte, also weit zurückliegend bestimmte Durchschnittswerte können gegebenenfalls unzuverlässig oder nicht mehr relevant oder situationsgerecht sein, da sie beispielsweise für eine andere Person bestimmt und/oder unter signifikant anderen Umgebungsbedingungen und/oder Zuständen der Person zustande gekommen sein können.
In einer möglichen Weiterbildung der vorliegenden Erfindung ist es vorgesehen, dass die jeweilige Person, beispielsweise vor oder zu Beginn des Verfahrens, identifiziert wird. Falls zu der jeweiligen identifizierten Person bereits ein Datensatz vorhanden ist, also vorliegt, wird als der Standardwert ein in diesem Datensatz hinterlegter personenindividueller historischer Gesamtwert aus in der Vergangenheit für die identifizierten Person bestimmten entsprechenden Punkten, also Anfangs- oder Endpunkten, oder Durchschnittswerten verwendet. In diesen historischen Gesamtwert können alle zu der Person bestimmten entsprechenden Punkte oder Werte einfließen oder solche Punkte oder Werte, die in einem vorgegebenen, insbesondere gleitenden, Zeitfenster bestimmt wurden oder eine vorgegebene Anzahl der zuletzt für die jeweilige Person bestimmten Punkte oder Werte. Der historische Gesamtwert kann dann beispielsweise ein, möglicherweise - etwa mit einem jeweiligen Alter oder einer jeweiligen Konfidenz der Punkte oder Werte - gewichteter, Mittelwert dieser Punkte oder Werte sein. Dadurch kann das Verfahren also auch dann, wenn kein aktueller Durchschnittswert vorliegt oder bestimmt werden kann, besonders robust und dabei gleichzeitig besonders genau und zuverlässig durchgeführt werden, da die jeweiligen Standardwerte personenindividuell sind, also beispielsweise individuelle Eigenschaften der jeweiligen Person berücksichtigen. Dies ermöglicht eine besonders genaue, robuste und zuverlässige Bestimmung des Augenzustands. Dazu können im jeweils laufenden Verfahren, also während der jeweils aktuellen Anwendung oder Ausführung des Verfahrens die bestimmten Anfangs- oder Endpunkte bzw. deren Werte und/oder die bestimmten Durchschnittswerte zu der jeweiligen identifizierten Person, also in dem oder einem entsprechenden Datensatz, gespeichert und/oder der dort bereits hinterlegte personenindividuelle historische Gesamtwert darauf basierend angepasst, also aktualisiert werden. Somit kann die vorliegende Erfindung besonders genau, zuverlässig und robust für unterschiedliche Personen angewendet werden, also beispielsweise dann, wenn das entsprechende Fahrzeug oder die entsprechende technische Einrichtung von unterschiedlichen Personen verwendet oder bedient wird. Falls zu einer identifizierten Person noch kein Datensatz vorhanden ist und/oder falls die jeweilige Person nicht identifiziert werden kann, kann ein vorgegebener allgemeiner Standardwert verwendet werden.
In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird zu Beginn des Verfahrens und/oder nach einer Unterbrechung im bestimmten oder bestimmbaren zeitlichen Verlauf des Lidabstands der Augenzustand anhand eines vorgegebenen Standardschwellenwertes für den Lidabstand initialisiert bzw. reinitialisiert. Ein solcher Standardschwellenwert kann beispielsweise als absoluter oder - insbesondere für den Fall einer Unterbrechung - als relativer Wert vorgegeben sein. In letzterem Fall kann beispielsweise ein Prozentsatz oder Prozentwert der Differenz zwischen vorher oder zuletzt bestimmten Anfangs- und Endpunkten vorgegeben sein, beispielsweise 0,7 bzw. 70 % oder dergleichen. Der Standardschwellenwert kann dann der Summe aus dem Lidabstand in dem letzten bestimmten Endpunkt und dem vorgegebenen Prozentsatz oder Prozentwert der Differenz davon zu dem Lidabstand in dem zugehörigen Anfangspunkt entsprechen. Ebenso kann beispielsweise der oder ein Prozentsatz oder Prozentwert für den Lidabstand in dem letzten bestimmten Anfangspunkt vorgegeben sein. Der Standardschwellenwert kann dann dem entsprechenden Anteil des Lidabstands in dem letzten Anfangspunkt entsprechen. Eine Unterbrechung im Verlauf des Lidabstands kann beispielsweise dadurch bedingt sein, dass das jeweilige Auge oder die Augen der Person zeitweise außerhalb eines Erfassungs- oder Aufnahmebereich ist der Kamera waren. Dies kann beispielsweise durch eine zu starke Neigung oder Drehung des Kopfes der Person oder durch eine Verdeckung der Augen durch einen Gegenstand, eine Hand oder dergleichen passieren. Der Augenzustand kann dann oberhalb davon, wenn also der aktuelle Abstand größer als der Standardschwellenwert ist, als „offen“ und unterhalb davon, wenn also der aktuelle Lidabstand kleiner als der Ständerschwellenwert ist, als „geschlossen“ bestimmt, gesetzt und/oder ausgegeben werden. Dies ermöglicht eine besonders robuste und schnelle anfängliche Ausführung bzw. Fortsetzung des Verfahrens. Insbesondere kann die Problematik vermieden werden, dass andernfalls zu Beginn des Verfahrens oder nach einer Unterbrechung im zeitlichen Verlauf des Lidabstands mehrere Minuten vergehen können, bis genügend Daten verfügbar sind, um das Verfahren wie beschrieben durchzuführen, in dieser Zeit der Augenzustand somit nicht bekannt wäre und somit eine darauf basierende Funktion gegebenenfalls nicht ausgeführt werden könnte.
Wie im Zusammenhang mit den Durchschnittswerten beschrieben, kann ebenso der Standardschwellenwert personenindividuell bestimmt oder angepasst werden. Es kann also beispielsweise ein historischer Gesamtwert, also ein basierend auf allen oder für einen vorgegebenen Zeitraum für die jeweilige Person verfügbaren Daten oder aus den letzten entsprechenden X Daten, die für die jeweilige Person bestimmt wurden, bestimmter Wert, verwendet werden, wobei X eine vorgegebene Zahl oder Größe sein kann. Ein solcher Wert kann beispielsweise als, möglicherweise mit einem vorgegebenen Korrektur- oder Anpassungsfaktor modifizierter oder gewichteter, Mittelwert aller der entsprechenden bestimmten Lidabstände bestimmt werden. Ebenso kann der historische Gesamtwert beispielsweise als Mittelwert der entsprechenden in der Vergangenheit für die jeweilige Person bestimmten Transitionsschwellenwerte bestimmt werden. Der historische Gesamtwert kann in dem entsprechenden personenindividuellen Datensatz gespeichert oder hinterlegt sein. Im laufenden Verfahren, also in der jeweils aktuellen Anwendung des Verfahrens, kann dieser historische Gesamtwert dann als Standardschwellenwert für die Initialisierung zu Beginn des Verfahrens oder für die Reinitialisierung nach einer Unterbrechung verwendet werden, falls die Person vor oder zu Beginn des Verfahrens und/oder nach der Unterbrechung identifiziert, also wiedererkannt wurde. Dies kann eine besonders genaue und zuverlässige Anwendung des erfindungsgemäßen Verfahrens ermöglichen. In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung wird für jedes in den Kameradaten abgebildete Auge der jeweiligen Person ein individueller Augenzustand bestimmt. Für die jeweilige Person wird dann jeweils ein offener Gesamtaugenzustand bestimmt, falls für mindestens ein Auge ein offener individueller Augenzustand oder Einzelaugenzustand bestimmt wurde. Für die jeweilige Person wird ein geschlossener Gesamtaugenzustand bestimmt, falls für jedes Auge der Person im Erfassungs- oder Aufnahmebereich der Kamera, also für jedes in den Kameradaten abgebildete Auge der Person, ein geschlossener individueller Augenzustand oder Einzelaugenzustand bestimmt wurde. Der so bestimmte Gesamtaugenzustand kann dann für weitere Maßnahmen, Anwendungen oder Systeme beispielsweise als Output der zur Durchführung des erfindungsgemäßen Verfahrens eingerichteten Überwachungseinrichtung, bereitgestellt oder ausgegeben werden. Die individuellen Augenzustände bzw. Einzelaugenzustände können dabei wie im Zusammenhang mit den übrigen Ausgestaltungen des erfindungsgemäßen Verfahrens beschrieben bestimmt werden. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung kann eine besonders zuverlässige und robuste Verwendung des Augenzustands für weitere Maßnahmen oder für andere Systeme oder Einrichtungen ermöglichen. So kann der Gesamtaugenzustand beispielsweise auch dann bestimmt bzw. ausgegeben oder bereitgestellt werden, wenn die Person ihren Kopf derart bewegt, dass zu verschiedenen Zeitpunkten zeit- oder wechselweise nur ein Auge, nur das andere Auge oder beide Augen im Erfassungs- oder Aufnahmebereich der Kamera sind bzw. in den Kameradaten abgebildet oder erkannt werden. Dabei kann die hier vorgeschlagene Bestimmung des offenen Gesamtaugenzustands letztlich in der Praxis bzw. für die Sicherheit nicht relevante Fehlerkennungen eines Augenschließens oder von Schließungen nur genau eines Auges der Person herausfiltern bzw. unberücksichtigt lassen. Dadurch kann beispielsweise eine entsprechende false-positive-Rate bzw. eine entsprechende letztlich unnötige oder unangemessene automatische Ausführung von für einen geschlossenen Augenzustand vorgegebenen Maßnahmen vermieden werden. Beispielsweise kann die Person bei voller Aufmerksamkeit, also ohne dass eine sicherheitsrelevante Müdigkeit oder Ablenkung der Person vorliegt, bewusst mit genau einem Auge blinzeln, beispielsweise im Rahmen einer non-verbalen Kommunikation oder dergleichen. In solchen Fällen ist gegebenenfalls die Aufmerksamkeit oder Wachheit der Person nicht eingeschränkt, sodass auch nicht in entsprechender Weise automatisch reagiert werden sollte. Ein weiterer Aspekt der vorliegenden Erfindung ist eine Überwachungseinrichtung zum Überwachen oder Bestimmen eines Augenzustands einer Person. Die erfindungsgemäße Überwachungseinrichtung weist eine Eingangsschnittstelle zum Erfassen von Kameradaten, welche die jeweilige Person, insbesondere deren Augenpartie, abbilden, eine Prozessoreinrichtung, also beispielsweise einen Mikrochip, Mikroprozessor oder Mikrocontroller, und einen damit gekoppelten computerlesbaren Datenspeicher auf. Die erfindungsgemäße Überwachungseinrichtung ist dabei zum, insbesondere automatischen oder teilautomatischen, Ausführen wenigstens einer Variante oder Ausführungsform des erfindungsgemäßen Verfahrens eingerichtet. Dazu kann in dem Datenspeicher ein entsprechendes Betriebs- oder Computerprogramm hinterlegt oder gespeichert sein, welches das entsprechende Verfahren bzw. dessen Maßnahmen, Abläufe oder Verfahrensschritte codiert oder implementiert und durch die Prozessoreinrichtung ausführbar ist, um das entsprechende Verfahren auszuführen oder dessen Ausführung zu veranlassen. Die erfindungsgemäße Überwachungseinrichtung kann insbesondere die im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Überwachungseinrichtung sein oder dieser entsprechen. Dementsprechend kann die erfindungsgemäße Überwachungseinrichtung einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren genannten Eigenschaften und/oder Merkmale aufweisen. Die erfindungsgemäße Überwachungseinrichtung kann weiter eine Ausgangsschnittstelle zum Ausgeben eines bestimmten Augenzustands oder eines entsprechenden Daten- oder Steuersignals aufweisen. Die erfindungsgemäße Überwachungseinrichtung kann ebenso eine mit der Eingangsschnittstelle gekoppelte Kamera zum Aufnehmen der Kameradaten aufweisen.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Kraftfahrzeug, das eine Kamera und eine erfindungsgemäße Überwachungseinrichtung aufweist. Die Kamera ist dabei zum Aufnehmen eines Fahrzeuginsassen in oder an dem Kraftfahrzeug angeordnet und in einen Fahrzeuginsassenraum ausgerichtet. Die Kamera kann eine von der Überwachungseinrichtung separate, aber über eine Datenverbindung mit deren Eingangsschnittstelle verbundene Einrichtung oder ein Teil der Überwachungseinrichtung sein. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Kraftfahrzeug einige oder alle der im Zusammenhang mit dem erfindungsgemäßen Verfahren und/oder im Zusammenhang mit der erfindungsgemäßen Überwachungseinrichtung genannten Eigenschaften und/oder Merkmale aufweisen.
Das erfindungsgemäße Kraftfahrzeug kann beispielsweise ein Fahrerassistenzsystem aufweisen, das den von der Überwachungseinrichtung bestimmten Augenzustand als Input oder Eingangsgröße verwenden kann. Damit kann beispielsweise der Augenzustand bzw. dessen Bestimmung oder Erkennung zur Aktivierung eines Nothalteassistenten, also einer Nothaltefunktion des Kraftfahrzeugs verwendet werden. Eine solche Funktion erfordert eine besonders hohe Zuverlässigkeit und Robustheit der Bestimmung des Augenzustands, um falsche Auslösungen zu vermeiden aber gleichzeitig im Ernstfall, beispielsweise bei Bewusstlosigkeit oder einem Einschlafen der Person, möglichst schnell reagieren, also beispielsweise das Kraftfahrzeug zum Stillstand bringen oder in einen sicheren Zustand versetzen zu können. Ebenso kann durch das Fahrassistenzsystem beispielsweise anhand des bestimmten Augenzustands eine Fahreraufmerksamkeit, also einen Aufmerksamkeitsgrad oder Aufmerksamkeitszustand des jeweiligen Fahrzeuginsassen, bestimmt werden. Dabei können durch die Anwendung des erfindungsgemäßen Verfahrens zum Bestimmen des Augenzustands, beispielsweise im Vergleich zu herkömmlichen Verfahren, viele falsche Erkennungen vermieden werden, die herkömmlich etwa durch eine Variation der Blickrichtung oder durch eine Blendwirkung durch Gegenverkehr oder Sonneneinstrahlung entstehen können. Ebenso kann durch das Fahrerassistenzsystem basierend auf dem bestimmten Augenzustand eine Fahrermüdigkeit, also ein Müdigkeits- oder Wachheitszustand des jeweiligen Fahrzeuginsassen, erkannt oder bestimmt werden, beispielsweise mittels eines PERCLOS -Algorithmus. Dies ist umso genauer möglich, je genauer, zuverlässiger und robuster die Zeitpunkte des Augenschließens bestimmt werden können, was durch die Anwendung des erfindungsgemäßen Verfahrens ermöglicht oder unterstützt wird.
Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in: Fig. 1 eine ausschnittweise schematische Darstellung eines Kraftfahrzeugs mit einer Kamera und einer Einrichtung zum Bestimmen eines Augenzustands eines Fahrzeuginsassen;
Fig. 2 eine erste schematische Diagrammdarstellung zur Veranschaulichung der Bestimmung des Augenzustands anhand eines zeitlichen Verlaufs eines Lidabstands des Fahrzeuginsassen; und
Fig. 3 eine zweite schematische Diagrammdarstellung zur Veranschaulichung der Bestimmung des Augenzustands anhand eines weiteren zeitlichen Verlaufs eines Lidabstands des Fahrzeuginsassen.
In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Fig. 1 zeigt eine ausschnittweise schematische Seitendarstellung eines Kraftfahrzeugs 10, das hier von einem Fahrer 12 gesteuert wird. Für ein sicheres Steuern des Kraftfahrzeugs 10 darf der Fahrer 12 nicht unaufmerksam oder zu müde sein, was sich beispielsweise anhand seines Augenzustands ableiten lässt. Das Kraftfahrzeug 10 ist hier zum Erkennen oder Bestimmen dieses Augenzustands des Fahrers 12 eingerichtet.
Dazu weist das Kraftfahrzeug 10 eine Kamera 14 auf, die so angeordnet ist, dass ihr Erfassungs- oder Aufnahmebereich 16 auf den Fahrer 12, insbesondere eine Augenpartie des Fahrers 12, ausgerichtet ist. Weiter weist das Kraftfahrzeug 10 eine entsprechende Überwachungseinrichtung 18 auf, die mit der Kamera 14 verbunden ist. Die Überwachungseinrichtung 18 weist eine Eingangsschnittstelle 20 auf, über welche von der Kamera 14 aufgenommene Kameradaten erfasst werden können. Weiter weist die Überwachungseinrichtung 18 einen Prozessor 22 und einen Datenspeicher 24 auf. Damit ist die Überwachungseinrichtung 18 zum Ausführen eines vorgegebenen Verfahrens zum Bestimmen des Augenzustands des Fahrers 12 eingerichtet.
Ein solches Verfahren wird nachfolgend unter Bezugnahme auf die Figuren beispielhaft erläutert. Dazu zeigen Fig. 2 und Fig. 3 jeweils eine beispielhafte schematische Diagrammdarstellung, wobei auf einer jeweiligen Abszissenachse die Zeit und auf einer jeweiligen Ordinatenachse ein Lidabstand a aufgetragen sind.
In dem Verfahren wird der Fahrer 12 mittels der Kamera 14 aufgenommen. Entsprechende Kameradaten werden durch die Überwachungseinrichtung 18 zum Bestimmen des momentanen, also jeweils aktuellen Lidabstands a verarbeitet oder ausgewertet. Dies kann kontinuierlich oder regelmäßig, beispielsweise während eines Fährbetriebs des Kraftfahrzeugs 10 erfolgen. Somit ergibt sich ein zeitlicher Lidabstandsverlauf 26. Beispiele für solche möglichen zeitlichen Lidabstandsverläufe 26 sind in Fig. 2 und Fig. 3 als entsprechende Diagrammkurven dargestellt. Da sich Augenlider zwangsläufig kontinuierlich bewegen, sind einzelne Punkte entlang des Lidabstandsverlauf 26, die jeweils eine konkrete Bestimmung oder Messung des Lidabstands a repräsentieren, hier vereinfacht durch gerade Linien verbunden.
In den dargestellten Lidabstandsverläufen 26 gibt es jeweils initial bis zu einem ersten Zeitpunkt ti mehrere Offenpunkte 28, die einen zu einem geöffneten Auge, also einem offenen Augenzustand korrespondierenden Lidabstand a angeben oder anzeigen. Da der Fahrer 12 seine Augen nicht beliebig lange offenhalten kann, stellt einer der offenen Punkte 28 einen Anfangspunkt 30 einer sich anschließenden monoton fallenden Flanke 32 dar. Entlang dieser fallenden Flanke 32 verringert sich der Lidabstand a monoton. Die fallende Flanke 32 endet an einem Endpunkt 34, ab welchem der Lidabstand a wieder ansteigt. An den jeweiligen Endpunkt 34 schließt sich also eine steigende Flanke 36 an. Diese steigende Flanke 36 reicht hier bis zu einem Ende 38, ab dem der Lidabstand a erstmals seit einem Anfang oder Beginn der jeweiligen steigenden Flanke 36, hier also ab oder seit dem Endpunkt 34, wieder kleiner wird. Beispielhaft schließen sich hier an das jeweilige Ende 38 der steigenden Flanke 36 weitere Offenpunkte 28 an.
Zum Erkennen einer bzw. der fallenden Flanke 32 kann nach einem Umspringen der ersten Ableitung des Lidabstandsverlaufs 26 an einem jeweils aktuellen Offenpunkt 28 von positiv zu negativ dieser Offenpunkt 28 als möglicher Anfangspunkt 30 einer entsprechenden Flanke betrachtet werden. Mit dem Verfügbarwerden weiterer Punkte oder Messwerte des Lidabstandsverlaufs 26 kann dann jeweils überprüft werden, ob die erste Ableitung des Lidabstandsverlaufs 26 ab dem jeweiligen betrachteten Offenpunkt 28 nur negative Werte oder Nullwerte hat, der Lidabstand a also nur sinkt oder konstant bleibt. Der entsprechende Offenpunkt 28 wird dann als tatsächlicher Anfangspunkt 30 validiert und weiter im entsprechenden Algorithmus verwendet, wenn die dort beginnende fallende Flanke 32 wenigstens eine vorgegebene minimale Höhe oder Differenz von beispielsweise mcd = 5 mm in Bezug auf den Lidabstand a am jeweiligen Anfangspunkt 30 aufweist. Dies ist hier durch eine entsprechende fallende Minimalhöhe 40 repräsentiert. Es ist erkennbar, dass die Differenz des Lidabstands a zwischen dem Anfangspunkt 30 und dem Endpunkt 34 größer ist als die fallende Minimalhöhe 40. Damit wird also die fallende Flanke 32 als solche bestätigt. Würde stattdessen der Lidabstand a bzw. also der Lidabstandsverlauf 26 vor dem Erreichen der vorgegebenen fallenden Minimalhöhe 40 bezüglich des Anfangspunkts 30 wieder ansteigen, so würde der entsprechende Offenpunkt 28 als möglicher Anfangspunkt 30 verworfen und die jeweilige fallende Flanke 32 als nicht-relevante oder nicht aussagekräftige Fluktuation betrachtet und die Suche nach einem tatsächlichen Anfangspunkt 30, an dem eine entsprechend große absteigende Flanke 32 ansetzt oder beginnt, fortgesetzt oder wieder aufgenommen werden.
Da vorliegend die fallende Flanke 32 größer oder höher als die fallende Minimalhöhe 40 ist, wird die Suche nach dem Endpunkt 34 dieser fallenden Flanke 32 gestartet. Dazu wird als Endpunkt 34 der fallenden Flanke 32 ein Punkt in dem Lidabstandsverlauf 26 bestimmt, ab dem der Lidabstand a bzw. der Lidabstandsverlauf 26 erstmalig seit Beginn der fallenden Flanke 32, also ab deren Anfangspunkt 30, wieder steigt. Der Endpunkt 34 stellt also jeweils ein lokales Minimum des Lidabstandsverlaufs 26 dar.
Für den Wechsel des Augenzustands wird hier eine dynamische Schwelle einer entsprechenden Transition verwendet. Dazu wird ein jeweils aktueller Transitionsschwellenwert toc, der hier beispielhaft angedeutet ist, berechnet oder bestimmt. Dazu wird eine vorgegebene Anzahl der letzten erkannten Anfangspunkte 30 vorangegangener fallender Flanken 32 gemittelt, um einen oberen Durchschnitt 42 zu bestimmen und eine vorgegebene Anzahl der korrespondierenden letzten erkannten Endpunkte 34 der vorangegangenen fallenden Flanken 32 gemittelt, um einen unteren Durchschnitt 44 des Lidabstands a zu ermitteln. Es sind hier rein schematisch und beispielhaft jeweils aktuelle Werte des oberen Durchschnitts 42 und des unteren Durchschnitts 44 angedeutet. Dass diese hier beispielhaft oberhalb bzw. unterhalb der dargestellten Punkte des Lidabstandsverlaufs 26 liegen, ist dadurch bedingt, dass der Lidabstandverlauf 26 zu früheren, hier nicht dargestellten Zeitpunkten entsprechend größer bzw. kleiner als die hier dargestellten Punkte, also der hier dargestellte Ausschnitt des zeitlichen Lidabstandsverlaufs 26 war. Alternativ können die in einem vorgegebenen, sich vom aktuellen Zeitpunkt in die Vergangenheit erstreckenden Zeitfenster erkannten Anfangspunkte 30 bzw. die darin erkannten Endpunkte 34 zum Bestimmen des aktuellen oberen Durchschnitts 42 bzw. des aktuellen unteren Durchschnitts 44 gemittelt werden.
Der Transitionsschwellenwert toc wird dann mittels einer vorgegebenen prozentualen Konstante p berechnet, sodass er zwischen dem oberen Durchschnitt 42 und dem unteren Durchschnitt 44 liegt, beispielsweise gemäß
„unterer Durchschnitt 44“ + p*(„oberer Durchschnitt 42“ - „unterer Durchschnitt 44“).
Eine Transition des Augenzustands von offen zu geschlossen wird dann erkannt, wenn der aktuelle Anfangspunkt 30 als solcher validiert, also die vorgegebene fallenden Minimalhöhe 40 durch die aktuelle fallende Flanke 32 erreicht oder überschritten wurde, und der aktuelle Lidabstand a den Transitionsschwellenwert toc unterschreitet, was hier zum Zeitpunkt ti der Fall ist. Ab diesem Zeitpunkt bzw. dem darauffolgenden nächsten Punkt, für den der Lidabstand a als unterhalb des Transitionsschwellenwertes toc liegend bestimmt wurde, wird der Augenzustand dann als „geschlossen“ bestimmt oder ausgegeben.
Anschließend wird die jeweils nachfolgende steigende Flanke 36 erkannt. Als erster möglicher Startpunkt oder Beginn der steigenden Flanke 36 wird der Endpunkt 34 der vorangegangenen fallenden Flanke 32 verwendet oder in Betracht gezogen. Als Ende 38 der steigenden Flanke 36 wird derjenige Punkt des Lidabstandsverlaufs 26 bestimmt oder erkannt, welcher der letzte Punkt in dem Lidabstandsverlauf 26 vor einem erstmaligen Absinken des Lidabstands a seit dem Beginn der jeweils aktuellen steigenden Flanke 36, hier also seit dem Endpunkt 34, ist. Dabei muss zudem die Bedingung erfüllt sein, dass eine Größe oder Höhe der steigenden Flanke 36 wenigstens eine vorgegebene steigende Minimalhöhe 46 erreicht. Diese steigende Minimalhöhe 46 kann beispielsweise als mod = 4 mm in Bezug auf den Beginn der jeweiligen steigenden Flanke 36, hier also beispielhaft auf den Endpunkt 34, vorgegeben sein. Beginnt der Lidabstand a bereits vor Erreichen der steigenden Minimalhöhe 46 wieder zu fallen, so kann der jeweilige in Betracht gezogene Beginn einer bzw. der steigenden Flanke 36 verworfen und ein neuer Beginn einer bzw. der steigenden Flanke 36 gesucht werden. Im vorliegenden Beispiel wird eine Transition des Augenzustands von geschlossen zu offen zum Zeitpunkt der Erkennung des Endes 38 der aktuellen steigenden Flanke 36 erkannt. Es wird also, sobald einen Punkt des Lidabstandsverlauf 26 als Ende 38 der jeweils aktuellen steigenden Flanke 36 erkannt wurde, der Augenzustand als „offen“ erkannt, gesetzt oder ausgegeben. Dies ist hier zum oder ab einem zweiten Zeitpunkt t2 der Fall.
Die fallende Minimalhöhe 40 und die steigende Minimalhöhe 46 können gleich oder unterschiedlich sein. Experimentell hat sich bisher gezeigt, dass es günstig sein kann, die fallende Minimalhöhe 40 größer als die steigende Minimalhöhe 46 anzusetzen oder vorzugeben.
In Fig. 3 ist ein weiteres Beispiel eines möglichen Lidabstandsverlaufs 26 dargestellt, der sich beispielsweise nach dem in Fig. 2 dargestellten Lidabstandsverlauf 26 für den Fahrer 12 ergeben kann. Anders als bei dem in Fig. 2 dargestellten Beispiel des Lidabstandsverlaufs 26 ist hier der Lidabstand a vor einem durch die fallende Flanke 32 und die anschließende steigende Flanke 36 repräsentierten Blinzeln des Fahrers 12 geringer ist als nach dem Blinzeln. Dies kann beispielsweise durch eine Veränderung einer Blickrichtung oder Kopfneigung des Fahrers 12 in Fahrzeughochrichtung bedingt oder verursacht sein. Zudem kann hier der Endpunkt 34 bei einem geringeren Lidabstand a liegen, sodass auch der Transitionsschwellenwert toc entsprechend niedriger als bei dem in Fig. 2 gezeigten Beispiel sein kann. Dies verdeutlicht, dass der Transitionsschwellenwert toc während des Verfahrens, also über mehrere Transitionen des Augenzustands hinweg jeweils neu bestimmt, also dynamisch nachgeführt oder angepasst wird.
Kommt es, beispielsweise durch eine Kopfbewegung des Fahrers 12, durch eine Unterbrechung des bestimmten oder bestimmbaren Lidabstandsverlaufs 26, also einer Erkennung des Lidabstands a, kann der binäre Augenzustand mittels einer weiteren vorgegebenen Konstante r reinitialisiert werden, sobald der Lidabstand a wieder erkannt oder bestimmt werden kann. Die Konstante r kann beispielsweise als r = 0,7 oder als r = 70 % vorgegeben sein, wobei ebenso andere Werte möglich sein können. Bei diesem Initialisieren oder Reinitialisieren, kann der Augenzustand beispielsweise für a > ao + r*(ai - ao) als offen und sonst als geschlossen bestimmt oder ausgegeben werden, wobei ao hier dem unteren Durchschnitt 44 und ai dem oberen Durchschnitt 42 entsprechen kann. Sollten keine bzw. keine aktuellen Werte für ao und ai vorliegen, so können entsprechende vorgegebene Standardwerte verwendet werden, beispielsweise ao = 3 mm und ai = 11 mm oder dergleichen. Diese Standardwerte können generisch oder personenindividuell für den jeweiligen identifizierten Fahrer 12 vorgegeben oder bestimmt sein.
Insgesamt zeigen die beschriebenen Beispiele wie ein Verfahren und eine Vorrichtung zur Ermittlung des binären Augenzustandes einer Person besonders robust realisiert werden können.
Bezugszeichenliste
10 Kraftfahrzeug
12 Fahrer
14 Kamera
16 Aufnahmebereich
18 Überwachungseinrichtung
20 Eingangsschnittstelle
22 Prozessor
24 Datenspeicher
26 Lidabstandsverlauf
28 Offenpunkte
30 Anfangspunkt
32 fallende Flanke
34 Endpunkt
36 steigende Flanke
38 Ende
40 fallende Minimalhöhe
42 oberer Durchschnitt
44 unterer Durchschnitt
46 steigende Minimalhöhe a Lidabstand t Zeit t1 erster Zeitpunkt t2 zweiter Zeitpunkt toc Transitionsschwellenwert

Claims

22
Patentansprüche Verfahren zum Bestimmen eines binären Augenzustands einer Person (12), in dem
- mittels einer Kamera (14) Kameradaten, welche die Person (12) abbilden, erfasst werden und anhand daran ein zeitlicher Verlauf eines Lidabstands (a) zwischen einem unteren Augenlid und dem zugehörigen oberen Augenlid der Person (12) bestimmt wird,
- in dem zeitlichen Verlauf (26) des Lidabstands (a) eine zu einem Augenschließen korrespondierende monoton fallende Flanke (32), die wenigstens eine vorgegebene minimale Höhe (40) aufweist, und deren Endpunkt (34), ab dem der Lidabstand (a) erstmalig seit Beginn der jeweiligen fallenden Flanke (32) wieder größer wird, bestimmt werden,
-jeweils ein aktueller Transitionsschwellenwert (toc), der angibt, bei welchem Lidabstand (a) ein Wechsel zwischen offenem Auge und geschlossenem Auge stattfindet, bestimmt wird als Summe aus einem Durchschnittswert (44) mehrerer Endpunkte (34) vorangegangener fallender Flanken (32) und einem vorgegebener Anteilswert einer Differenz zwischen diesem Durchschnittswert (44) und einem Durchschnittswert (42) mehrerer Anfangspunkte (32) der vorangegangenen fallenden Flanken (32),
- sobald der aktuelle Lidabstand (a) entlang der fallenden Flanke (32) erstmalig den aktuellen Transitionsschwellenwert (toc) unterschreitet das Auge als geschlossen erkannt wird,
- ab dem jeweils letzten Endpunkt (34) in dem Verlauf (26) des Lidabstands (a) jeweils eine nächste zu einem Augenöffnen korrespondierende monoton steigende Flanke (36), die wenigstens eine vorgegebene minimale Höhe (46) aufweist, bestimmt wird, und
- das Auge als offen erkannt wird, wenn ein Ende (38) der steigenden Flanke (36) erreicht ist, ab dem der Lidabstand (a) erstmalig seit Beginn der jeweiligen steigenden Flanke (36) wieder kleiner wird. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass jeweils als möglicher Anfangspunkt (28, 20) einer fallenden Flanke (32) der jeweils letzte Punkt (30) in dem zeitlichen Verlauf (26) des Lidabstands (a) bestimmt wird, ab welchem die erste Ableitung des zeitlichen Verlaufs (26) des Lidabstands (a) bis zum jeweils aktuellen Zeitpunkt nur noch Werte von kleiner oder gleich Null annimmt.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der mögliche Anfangspunkt (30) als solcher validiert und weiterverwendet wird, wenn die dort beginnende fallende Flanke (32) wenigstens die vorgegebene minimale Höhe (40) erreicht, und andernfalls verworfen wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Durchschnittswerte (42, 44) jeweils aus den entsprechenden n letzten Punkten (30, 34) oder aus den entsprechenden Punkten (30, 34) der jeweils letzten m Sekunden des zeitlichen Verlaufs (26) des Lidabstands (a) bestimmt werden, wobei n oder m vorgegebene Zahlen sind.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass falls kein aktueller Durchschnittswert (42, 44) bestimmt werden kann, stattdessen ein entsprechender vorgegebener Standardwert verwendet wird.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die jeweilige Person (12) identifiziert wird und, falls zu der identifizierten Person (12) bereits Datensatz vorhanden ist, als der Standardwert ein in dem Datensatz hinterlegter personenindividueller historischer Gesamtmittelwert aus in der Vergangenheit für die identifizierte Person (12) bestimmten entsprechenden Punkten (30, 34) oder Durchschnittswerten (42, 44) verwendet wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zu Beginn des Verfahrens und/oder nach einer Unterbrechung im bestimmten zeitlichen Verlauf (26) des Lidabstands (a) der Augenzustand anhand eines vorgegebenen Standardschwellenwertes für den Lidabstand (a) initialisiert wird.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jedes in den Kameradaten abgebildete Auge der Person (12) ein individueller Augenzustand bestimmt wird und für die Person (12)
- ein offener Gesamtaugenzustand bestimmt wird, falls für wenigstens ein Auge ein offener individueller Augenzustand bestimmt wurde, und
- ein geschlossener Gesamtaugenzustand bestimmt wird, falls für jedes Auge der Person (12) im Aufnahmebereich der Kamera (14) ein geschlossener individueller Augenzustand bestimmt wurde.
9. Überwachungseinrichtung (18) zum Bestimmen eines Augenzustands einer Person (12), aufweisend eine Eingangsschnittstelle (20) zum Erfassen von Kameradaten, welche die jeweilige Person (12) abbilden, eine Prozessoreinrichtung (22) und einen damit gekoppelten Datenspeicher (24), wobei die Überwachungseinrichtung (18) zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist.
10. Kraftfahrzeug (10), aufweisend eine Kamera (14), die zum Aufnehmen eines Fahrzeuginsassen (12) in einen Fahrzeuginsassenraum ausgerichtet ist, und eine Überwachungseinrichtung (18) nach Anspruch 9.
PCT/EP2022/073987 2021-09-15 2022-08-30 Verfahren und überwachungseinrichtung zum bestimmen eines augenzustands einer person, sowie ein damit ausgerüstetes kraftfahrzeug WO2023041316A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280062029.5A CN117957588A (zh) 2021-09-15 2022-08-30 用于确定人的眼睛状态的方法和监控装置以及配备有该监控装置的机动车

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021123849.8A DE102021123849A1 (de) 2021-09-15 2021-09-15 Verfahren und Überwachungseinrichtung zum Bestimmen eines Augenzustands einer Person und Kraftfahrzeug
DE102021123849.8 2021-09-15

Publications (1)

Publication Number Publication Date
WO2023041316A1 true WO2023041316A1 (de) 2023-03-23

Family

ID=83355437

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/073987 WO2023041316A1 (de) 2021-09-15 2022-08-30 Verfahren und überwachungseinrichtung zum bestimmen eines augenzustands einer person, sowie ein damit ausgerüstetes kraftfahrzeug

Country Status (3)

Country Link
CN (1) CN117957588A (de)
DE (1) DE102021123849A1 (de)
WO (1) WO2023041316A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19614975C2 (de) 1995-07-28 2000-01-13 Mitsubishi Electric Corp Gesichtsbildverarbeitungssystem
US20170143253A1 (en) * 2014-06-20 2017-05-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for detecting momentary sleep
US20170345276A1 (en) * 2015-01-19 2017-11-30 Robert Bosch Gmbh Method and apparatus for recognising microsleep in a driver of a vehicle
US20200026938A1 (en) 2018-07-23 2020-01-23 Toyota Jidosha Kabushiki Kaisha Occupant state recognition apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008007152B4 (de) 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
DE102015204247A1 (de) 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Müdigkeits- und/oder Schlafzustandes eines Fahrers eines Fahrzeugs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19614975C2 (de) 1995-07-28 2000-01-13 Mitsubishi Electric Corp Gesichtsbildverarbeitungssystem
US20170143253A1 (en) * 2014-06-20 2017-05-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for detecting momentary sleep
US20170345276A1 (en) * 2015-01-19 2017-11-30 Robert Bosch Gmbh Method and apparatus for recognising microsleep in a driver of a vehicle
US20200026938A1 (en) 2018-07-23 2020-01-23 Toyota Jidosha Kabushiki Kaisha Occupant state recognition apparatus

Also Published As

Publication number Publication date
CN117957588A (zh) 2024-04-30
DE102021123849A1 (de) 2023-03-16

Similar Documents

Publication Publication Date Title
EP3248179B1 (de) Verfahren und vorrichtung zum erkennen von sekundenschlaf eines fahrers eines fahrzeugs
EP1957309B1 (de) Verfahren und vorrichtung zur fahrerzustandserkennung
EP3268942B1 (de) Verfahren und vorrichtung zum erkennen eines müdigkeits- und/oder schlafzustandes eines fahrers eines fahrzeugs
EP3405375B1 (de) Verfahren zur klassifikation von fahrerbewegungen
EP1468401A1 (de) Verfahren und vorrichtung zur erkennung von sichtbehinderungen bei bildsensorsystemen
DE102008042342A1 (de) Verfahren und Steuergerät zur Beurteilung der Aufmerksamkeit eines Fahrers
DE102016108475A1 (de) Einschlaferfassungsvorrichtung
DE102009009975A1 (de) Verfahren zur Ermittlung eines die Aufmerksamkeit eines Fahrers während einer Fahrt, insbesondere einer Autobahnfahrt, beschreibenden Aufmerksamkeitswertes und Kraftfahrzeug
DE102015001686B4 (de) Verfahren und Vorrichtung zur Erkennung einer Reaktionsfähigkeit eines Fahrers beim automatisierten Fahren
DE102015218306A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
DE102015211443A1 (de) Verfahren und Vorrichtung zum Bereitstellen eines Bezugsniveaus für eine Augenöffnungsweite
DE102013002686B4 (de) Verfahren zum Betreiben eines Kraftwagens sowie Kraftwagen
WO2023041316A1 (de) Verfahren und überwachungseinrichtung zum bestimmen eines augenzustands einer person, sowie ein damit ausgerüstetes kraftfahrzeug
DE102017220935A1 (de) Verfahren zur Erhöhung der Sicherheit und/oder des Komforts eines Fahrerassistenzsystems, sowie ein Fahrerassistenzsystem
WO2017211527A1 (de) Überwachungsvorrichtung, fahrzeugsteuervorrichtung, und überwachungsverfahren
DE102019112453A1 (de) Automatisches Auswählen einer Assistenzstufe für ein Fahrzeug
DE102019129904A1 (de) Automatische Fahrkompetenzanalyse
DE102018206237A1 (de) Verfahren und Vorrichtung zur Müdigkeitserkennung einer Person
DE102018214935B4 (de) Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Ermitteln einer Aufmerksamkeit eines Fahrers eines Fahrzeuges
EP3310248B1 (de) Verfahren und vorrichtung zum unterscheiden von blinzelereignissen und instrumentenblicken unter verwendung einer augenöffnungsweite
DE112019007358T5 (de) Onboard-Bildverarbeitungsvorrichtung und Onboard-Bildverarbeitungsverfahren
DE102019106258A1 (de) Insassenüberwachungsvorrichtung
DE102022119772B4 (de) Verfahren zum Betreiben eines Kraftfahrzeugs mit zumindest einer Umgebungserfassungseinrichtung
WO2022157039A1 (de) Erkennung des aufmerksamkeitsgrades eines fahrzeuginsassen anhand der häufigkeitsverteilung der augenöffnungsweite
DE112021007703T5 (de) Insassenzustandsbeurteilungsvorrichtung, verfahren zum beurteilen des zustands eines insassen und insassenzustandsbeurteilungssystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22772456

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280062029.5

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE