WO2019198179A1 - 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 - Google Patents

搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 Download PDF

Info

Publication number
WO2019198179A1
WO2019198179A1 PCT/JP2018/015255 JP2018015255W WO2019198179A1 WO 2019198179 A1 WO2019198179 A1 WO 2019198179A1 JP 2018015255 W JP2018015255 W JP 2018015255W WO 2019198179 A1 WO2019198179 A1 WO 2019198179A1
Authority
WO
WIPO (PCT)
Prior art keywords
state determination
determination unit
state
immobility
passenger
Prior art date
Application number
PCT/JP2018/015255
Other languages
English (en)
French (fr)
Inventor
永 菅原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020512997A priority Critical patent/JP7118136B2/ja
Priority to DE112018007454.4T priority patent/DE112018007454T5/de
Priority to US16/982,132 priority patent/US11315361B2/en
Priority to PCT/JP2018/015255 priority patent/WO2019198179A1/ja
Publication of WO2019198179A1 publication Critical patent/WO2019198179A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Definitions

  • the present invention relates to a passenger state determination device, a warning output control device, and a passenger state determination method.
  • Patent Document 1 detects the degree of eye opening of a driver by executing an image recognition process on a captured image by one camera.
  • the technique described in Patent Document 1 determines whether or not the driver is in an abnormal state based on the detected degree of eye opening.
  • Patent Literature 2 determines whether the driver's head is included in an image captured by each of a plurality of cameras, thereby changing the posture of the driver with respect to the forward or backward tilt direction. It is to detect. The technique described in Patent Document 2 determines whether or not the driver is in an abnormal state based on the detected posture change.
  • An abnormal state caused by a decrease in arousal level includes a state in which a forward leaning posture has occurred due to loss of consciousness (hereinafter referred to as a “forward leaning state”), and a state in which sleep has occurred with an eye open ( (Hereinafter referred to as “open eyed sleep state”), a state where a sleep is occurring with the eyes closed (hereinafter referred to as “a closed eyed sleep state”), and a loss of consciousness causes a backward tilt posture. State (hereinafter referred to as “backward tilt state”).
  • the closed-eye sleep state is accompanied by a change in the degree of eye opening
  • the forward tilt state and the backward tilt state are accompanied by a change in posture.
  • the change in the degree of eye opening due to the open eye sleep state is small, and the change in posture is also small. For this reason, there was a problem that the eye-open momentary sleep state cannot be determined by the techniques described in Patent Documents 1 and 2.
  • Patent Document 1 is a state where the degree of eye opening is not normally detected (for example, the state where the driver is wearing sunglasses or the state where the driver's eyes are hidden by the driver's bangs). In this case, there is a problem that the abnormal state cannot be determined.
  • the present invention has been made to solve the above-described problems, and is capable of determining an abnormal state including an eye-open momentary sleep state, and whether or not the eye-opening degree is not normally detected. It is an object of the present invention to provide an occupant state determination device, a warning output control device, and an occupant state determination method that can determine an abnormal state regardless of the above.
  • An occupant state determination device includes an image data acquisition unit that acquires image data indicating an image captured by a camera for imaging in a vehicle interior, and an image recognition process that performs image recognition processing on the captured image using the image data. And the immobility state determination unit that determines whether or not the passenger is immobile using the result of the image recognition process, and the determination result by the immobility state determination unit, An abnormal state determination unit that determines whether or not the vehicle is in an abnormal state, and the abnormal state determination unit determines that the occupant is in an abnormal state when the duration of the immobile state exceeds a reference time. .
  • the present invention since it is configured as described above, it is possible to determine an abnormal state including an eye-open momentary sleep state, and to determine the abnormal state regardless of whether or not the degree of eye opening is not normally detected. Can be determined.
  • FIG. 3 is a block diagram illustrating a main part of the warning output control device according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a main part of an image recognition processing unit in the warning output control device according to the first embodiment.
  • FIG. 3A is an explanatory diagram illustrating an example of a captured image.
  • FIG. 3B is an explanatory diagram illustrating an example of a face region.
  • FIG. 3C is an explanatory diagram illustrating an example of a plurality of feature points.
  • FIG. 4A is an explanatory diagram showing a positional relationship between a plurality of feature points corresponding to a pleasure expression.
  • FIG. 4B is an explanatory diagram illustrating a positional relationship between a plurality of feature points corresponding to a surprised expression.
  • FIG. 3A is an explanatory diagram showing a positional relationship between a plurality of feature points corresponding to a pleasure expression.
  • FIG. 4B is an explanatory diagram illustrating a positional relationship between a
  • FIG. 4C is an explanatory diagram illustrating a positional relationship between a plurality of feature points corresponding to fear expressions.
  • FIG. 4D is an explanatory diagram illustrating a positional relationship between a plurality of feature points corresponding to a sad expression.
  • FIG. 4E is an explanatory diagram illustrating a positional relationship between a plurality of feature points corresponding to an angry expression.
  • FIG. 4F is an explanatory diagram illustrating a positional relationship between a plurality of feature points corresponding to disgusting facial expressions. It is explanatory drawing which shows an example of a some skeleton model of a some feature point and a driver
  • FIG. 6A is a block diagram illustrating a hardware configuration of the warning output control device according to the first embodiment.
  • FIG. 6A is a block diagram illustrating a hardware configuration of the warning output control device according to the first embodiment.
  • FIG. 6B is a block diagram illustrating another hardware configuration of the warning output control device according to the first embodiment.
  • 3 is a flowchart showing an operation of the warning output control apparatus according to the first embodiment. It is explanatory drawing which shows an example of the state in which the face area in the n-th captured image and the face area in the (n + 1) -th captured image are superimposed on each other. It is explanatory drawing which shows an example of PERCLOS.
  • FIG. 10A is an explanatory diagram illustrating an example of a predetermined time according to the reference histogram.
  • FIG. 10B is an explanatory diagram illustrating an example of the x-coordinate value and the y-coordinate value of the center portion of the face area according to the reference histogram.
  • FIG. 10A is an explanatory diagram illustrating an example of a predetermined time according to the reference histogram.
  • FIG. 10B is an explanatory diagram illustrating an example of the x-coordinate value and the y-coordinate value
  • FIG. 10C is an explanatory diagram illustrating an example of a reference histogram.
  • FIG. 11A is an explanatory diagram illustrating an example of a predetermined time relating to a comparison histogram.
  • FIG. 11B is an explanatory diagram illustrating an example of the x-coordinate value and the y-coordinate value of the center portion of the face area according to the comparison histogram.
  • FIG. 11C is an explanatory diagram illustrating an example of a comparison histogram. It is a block diagram which shows the principal part of the warning output control apparatus which concerns on Embodiment 2.
  • FIG. 6 is a flowchart illustrating an operation of the warning output control device according to the second embodiment.
  • FIG. 1 is a block diagram illustrating a main part of the warning output control device according to the first embodiment.
  • FIG. 2 is a block diagram illustrating a main part of the image recognition processing unit in the warning output control apparatus according to the first embodiment. With reference to FIG.1 and FIG.2, the passenger state determination apparatus 100 and the warning output control apparatus 200 of Embodiment 1 are demonstrated.
  • the vehicle 1 has a camera 2 for imaging in the passenger compartment.
  • the camera 2 is provided in the center cluster of the vehicle 1, for example.
  • the camera 2 is configured by, for example, an infrared camera or a visible light camera.
  • the image data acquisition unit 11 acquires image data indicating the image I taken by the camera 2 from the camera 2 at predetermined time intervals.
  • the image data acquisition unit 11 outputs the acquired image data to the image recognition processing unit 12.
  • the image recognition processing unit 12 executes image recognition processing for the captured image I using the image data output from the image data acquisition unit 11.
  • the image recognition processing by the image recognition processing unit 12 includes, for example, a face region detection unit 21, a face feature point detection unit 22, an eye opening degree detection unit 23, an inclination angle detection unit 24, a facial expression detection unit 25, a human body region detection unit 31, and a skeleton.
  • the following processing by the feature point detection unit 32 and the inclination angle detection unit 33 is included.
  • the face area detection unit 21 detects an area (hereinafter referred to as “face area”) A1 corresponding to the face of the driver of the vehicle 1 in the captured image I.
  • face area an area (hereinafter referred to as “face area”) A1 corresponding to the face of the driver of the vehicle 1 in the captured image I.
  • Various known methods can be used as the method for detecting the face area A1, and a detailed description thereof will be omitted.
  • the driver of the vehicle 1 is simply referred to as “driver”.
  • the face feature point detection unit 22 detects a plurality of feature points P1 in the face area A1 and corresponding to each face part of the driver.
  • Various known methods can be used as the method of detecting the feature point P1, and detailed description thereof is omitted.
  • the face feature point detection unit 22 includes a plurality of feature points P1 corresponding to the driver's right eye, a plurality of feature points P1 corresponding to the driver's left eye, and the driver's nose.
  • a plurality of corresponding feature points P1 and a plurality of feature points P1 corresponding to the driver's mouth are detected.
  • the plurality of feature points P1 corresponding to the driver's right eye are, for example, a feature point P1 corresponding to the corner of the eye, a feature point P1 corresponding to the top of the eye, a feature point P1 corresponding to the upper eyelid, and a feature point corresponding to the lower eyelid. P1 etc. are included.
  • the plurality of feature points P1 corresponding to the driver's left eye are, for example, a feature point P1 corresponding to the corner of the eye, a feature point P1 corresponding to the top of the eye, a feature point P1 corresponding to the upper eyelid, and a feature point corresponding to the lower eyelid. P1 etc. are included.
  • the plurality of feature points P1 corresponding to the driver's nose include, for example, a feature point P1 corresponding to the nose root, a feature point P1 corresponding to the back of the nose, a feature point P1 corresponding to the nose wing, and a feature point P1 corresponding to the nose tip.
  • the plurality of feature points P1 corresponding to the driver's mouth include, for example, a feature point P1 corresponding to the upper lip and a feature point P1 corresponding to the lower lip.
  • FIG. 3A shows an example of the captured image I
  • FIG. 3B shows an example of the face area A1
  • FIG. 3C shows an example of a plurality of feature points P1.
  • four feature points P1 corresponding to the driver's right eye four feature points P1 corresponding to the driver's left eye, and two feature points corresponding to the driver's nose.
  • Three feature points P1 corresponding to P1 and the driver's mouth are detected.
  • the eye opening degree detection unit 23 detects a plurality of feature points P1 detected by the face feature point detection unit 22 (more specifically, a plurality of feature points P1 corresponding to the right eye of the driver and the left eye of the driver).
  • the driver's eye opening degree D is detected using a plurality of corresponding feature points P1).
  • the detection method of the degree of eye opening D can use various known methods, and is not limited to the following specific examples.
  • the eye opening degree detection unit 23 calculates the current value of the distance between the feature point P1 corresponding to the upper eyelid and the feature point P1 corresponding to the lower eyelid (hereinafter referred to as “inter-eye distance”). .
  • the eye opening degree detection unit 23 calculates a reference value for the intercostal distance based on the mode value of the intercostal distance within a predetermined time.
  • the eye opening degree detection unit 23 calculates the eye opening degree D based on the ratio of the current value to the reference value. That is, the unit of the eye opening degree D is a percentage.
  • the tilt angle detection unit 24 detects the tilt angle ⁇ 1 of the driver's head using the plurality of feature points P1 detected by the face feature point detection unit 22.
  • Various known methods can be used as the method of detecting the tilt angle ⁇ 1, and detailed description thereof is omitted.
  • the inclination angle ⁇ 1 is based on, for example, a state where the driver's face is directed to the front of the vehicle 1 and the driver's rear head is in contact with the headrest of the driver's seat (ie, 0 °). is there.
  • the tilt angle detection unit 24 detects, for example, a tilt angle ⁇ 1 in the rotation direction about the driver's neck, a tilt angle ⁇ 1 with respect to the forward tilt direction or the rear tilt direction, and a tilt angle ⁇ 1 with respect to the left-right direction.
  • the facial expression detection unit 25 detects a driver's facial expression using the plurality of feature points P1 detected by the face feature point detection unit 22.
  • Various known methods can be used as a method for detecting a facial expression, and the method is not limited to the following specific examples.
  • the facial expression detection unit 25 corresponds to three feature points P1 corresponding to the driver's right eyebrow, three feature points P1 corresponding to the driver's left eyebrow, and the driver's right eye. Position of two feature points P1, two feature points P1 corresponding to the driver's left eye, and four feature points P1 corresponding to the driver's mouth, that is, positions of a total of 14 feature points P1
  • the driver's facial expression is detected based on the relationship.
  • FIG. 4A shows an example of the positional relationship of the 14 feature points P1 corresponding to the expression of joy.
  • FIG. 4B shows an example of the positional relationship of the 14 feature points P1 corresponding to a surprised expression.
  • FIG. 4A shows an example of the positional relationship of the 14 feature points P1 corresponding to the expression of joy.
  • FIG. 4B shows an example of the positional relationship of the 14 feature points P1 corresponding to a surprised expression.
  • FIG. 4C shows an example of the positional relationship of the 14 feature points P1 corresponding to the expression of fear.
  • FIG. 4D shows an example of the positional relationship of the 14 feature points P1 corresponding to a sad expression.
  • FIG. 4E shows an example of the positional relationship of the 14 feature points P1 corresponding to the angry facial expression.
  • FIG. 4F shows an example of the positional relationship of the 14 feature points P1 corresponding to disgusting facial expressions.
  • the human body region detection unit 31 detects a region (hereinafter referred to as “human body region”) A2 corresponding to the driver's face and body in the captured image I.
  • human body region a region
  • Various known methods can be used as the method for detecting the human body region A2, and detailed description thereof will be omitted.
  • the skeleton feature point detection unit 32 detects a plurality of feature points P2 in the human body region A2 and used to generate a so-called “skeleton model”.
  • Various known methods can be used as the method of detecting the feature point P2, and detailed description thereof will be omitted.
  • the tilt angle detection unit 33 generates a driver's skeleton model using the plurality of feature points P2 detected by the skeleton feature point detection unit 32.
  • the inclination angle detection unit 33 detects the inclination angle ⁇ 2 of the driver's shoulder, the inclination angle ⁇ 3 of the driver's arm, and the inclination angle ⁇ 4 of the driver's head using the generated skeleton model. .
  • Various known methods can be used for detecting the inclination angles ⁇ 2, ⁇ 3, and ⁇ 4, and detailed description thereof is omitted.
  • the inclination angles ⁇ 2, ⁇ 3, and ⁇ 4 are, for example, such that the driver's face is directed forward of the vehicle 1, the driver's rear head is in contact with the headrest of the driver's seat, and the driver's back is It is in contact with the back of the driver's seat, the driver is holding the handle of the vehicle 1 with both hands, and the steering angle of the vehicle 1 is approximately 0 ° (that is, the vehicle 1 is traveling substantially straight). It is based on the state.
  • a specific example of the inclination angle ⁇ 4 is the same as the specific example of the inclination angle ⁇ 1, and thus detailed description thereof is omitted.
  • FIG. 5 shows an example of a plurality of feature points P2 and a skeleton model of the driver.
  • twelve feature points P2 are detected, and a so-called “bar model” skeleton model is generated.
  • the immobility state determination unit 13 determines whether or not there is no movement of the driver (hereinafter referred to as “immobility state”) using the result of the image recognition processing by the image recognition processing unit 12. A specific example of the determination method by the immobility state determination unit 13 will be described later.
  • the abnormal state determination unit 14 determines whether or not the driver is in an abnormal state due to a decrease in arousal level using the determination result by the immobility state determination unit 13.
  • an abnormal state due to a decrease in arousal level is simply referred to as an “abnormal state”.
  • the abnormal state determination unit 14 calculates the duration T of the stationary state using the determination result by the stationary state determination unit 13.
  • the abnormal state determination unit 14 compares the calculated duration T with a predetermined reference time Tth.
  • the abnormal state determination unit 14 determines that the driver is in an abnormal state when the duration T exceeds the reference time Tth.
  • the warning output control unit 15 performs control to output a warning when the abnormal state determination unit 14 determines that the driver is in an abnormal state.
  • the warning output control unit 15 performs control to display a warning image on the display device 3.
  • the warning output control unit 15 executes control for causing the audio output device 4 to output warning sound. That is, the warning by the image or the sound is mainly a warning for the inside of the vehicle.
  • the warning output control unit 15 executes control to cause the wireless communication device 5 to transmit a warning signal.
  • the signal is transmitted to a so-called “center” via a wide-area communication network such as the Internet.
  • the signal is transmitted to other vehicles traveling around the vehicle 1 by so-called “vehicle-to-vehicle communication”. That is, the warning by the signal is mainly a warning to the outside of the vehicle.
  • the display device 3 includes, for example, an LCD (Liquid Crystal Display), an OLED (Organic Electro-Luminescence Display), or a HUD (Head-Up Display).
  • the audio output device 4 is constituted by, for example, a speaker.
  • the wireless communication device 5 includes, for example, a transmitter and receiver for internet connection or a transmitter and receiver for inter-vehicle communication.
  • the warning output control unit 15 performs control for displaying a warning image on the display device 3, control for outputting a warning sound to the sound output device 4, or control for transmitting a warning signal to the wireless communication device 5. Any two or more of them may be executed.
  • the face region detection unit 21, the face feature point detection unit 22, the eye opening degree detection unit 23, the tilt angle detection unit 24, the facial expression detection unit 25, the human body region detection unit 31, the skeleton feature point detection unit 32, and the tilt angle detection unit 33 The main part of the image recognition processing unit 12 is configured.
  • the image data acquisition unit 11, the image recognition processing unit 12, the immobile state determination unit 13, and the abnormal state determination unit 14 constitute a main part of the passenger state determination device 100.
  • the passenger state determination device 100 and the warning output control unit 15 constitute a main part of the warning output control device 200.
  • the warning output control device 200 is configured by a computer, and the computer has a processor 41 and a memory 42.
  • the memory 42 stores a program for causing the computer to function as the image data acquisition unit 11, the image recognition processing unit 12, the immobility state determination unit 13, the abnormal state determination unit 14, and the warning output control unit 15. Functions of the image data acquisition unit 11, the image recognition processing unit 12, the immobility state determination unit 13, the abnormal state determination unit 14, and the warning output control unit 15 by the processor 41 reading out and executing the program stored in the memory 42. Is realized.
  • the warning output control device 200 may include a processing circuit 43.
  • the functions of the image data acquisition unit 11, the image recognition processing unit 12, the immobility state determination unit 13, the abnormal state determination unit 14, and the warning output control unit 15 may be realized by the processing circuit 43.
  • the warning output control device 200 may include a processor 41, a memory 42, and a processing circuit 43.
  • some of the functions of the image data acquisition unit 11, the image recognition processing unit 12, the immobile state determination unit 13, the abnormal state determination unit 14, and the warning output control unit 15 are realized by the processor 41 and the memory 42.
  • the remaining functions may be realized by the processing circuit 43.
  • the processor 41 uses, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), a microprocessor, a microcontroller, or a DSP (Digital Signal Processor).
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • microprocessor a microcontroller
  • DSP Digital Signal Processor
  • the memory 42 uses, for example, a semiconductor memory, a magnetic disk, an optical disk, or a magneto-optical disk. More specifically, the memory 42 includes a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory EMM, an EEPROM (Electrically EMM). State Drive), HDD (Hard Disk Drive), FD (Floppy Disk), CD (Compact Disc), DVD (Digital Versatile Disc), MO (Magneto-Optical) or MD (MiniD).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a flash memory an EPROM (Erasable Programmable Read Only Memory EMM, an EEPROM (Electrically EMM). State Drive
  • HDD Hard Disk Drive
  • FD Compact Disk
  • DVD Digital Versatile Disc
  • MO Magneticto-Optical
  • MD Magneto-Optical
  • the processing circuit 43 may be, for example, an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), an FPGA (Field-Programmable Gate Array), an SoC (System-LargeSemiCrySigleSigleSigleSigleSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigureSigure
  • the warning output control device 200 repeatedly executes the process shown in FIG. 7 in a state where the power is turned on (more specifically, a state where the ignition power of the vehicle 1 is turned on). Yes.
  • step ST1 the image data acquisition unit 11 acquires image data indicating the captured image I from the camera 2.
  • the image data acquisition unit 11 outputs the acquired image data to the image recognition processing unit 12.
  • step ST2 the image recognition processing unit 12 performs image recognition processing on the captured image I using the image data output by the image data acquisition unit 11. Since the specific example of the image recognition process has already been described, the description thereof will be omitted.
  • step ST3 the immobility state determination unit 13 determines whether or not the driver is in an immobility state using the result of the image recognition processing performed by the image recognition processing unit 12.
  • a specific example of the determination method by the immobility state determination unit 13 will be described later.
  • step ST4 the abnormal state determination unit 14 determines whether or not the duration time T of the stationary state has exceeded a reference time Tth. . This duration T is calculated by the abnormal state determination unit 14.
  • step ST4 “YES” If it is determined that the duration time T in the immobile state has exceeded the reference time Tth (step ST4 “YES”), the warning output control unit 15 executes control to output a warning in step ST5. Since the specific example of the warning output method by the warning output control unit 15 has already been described, the description thereof will be omitted.
  • the immobility state determination unit 13 uses the detection result of the face region detection unit 21 to detect the face regions A1 n and A1 n + 1 in the captured images I n and I n + 1 for two consecutive frames (n is an arbitrary integer). ), The area of the region where the face regions A1 n and A1 n + 1 overlap each other (hereinafter referred to as “superimposed area”) is calculated. Immobility determination unit 13, the ratio of the overlapping area to the area of the area or face areas A1 n + 1 of the face region A1 n (hereinafter referred to as "superimposed area ratio”.) Is calculated.
  • the immobility state determination unit 13 calculates the movement amount of the face area A1 based on the overlapping area ratio. For example, the immobility state determination unit 13 calculates the movement amount of the face area A1 as a larger value as the overlapping area ratio is smaller. The immobility state determination unit 13 determines that the driver is in an immobility state when the movement amount of the face area A1 is less than a predetermined reference amount.
  • the denominator of the overlapping area ratio may be an area of a part corresponding to the sum (more specifically, logical sum) of the face area A1 n and the face area A1 n + 1 .
  • Figure 8 shows an example of a state in which the face region A1 n + 1 in the captured image I n + 1 of the face region A1 n and the n + 1 in the captured image I n of the n is overlapped with each other.
  • the shaded portion indicates a portion where the face regions A1 n and A1 n + 1 overlap each other.
  • the captured images I n and I n + 1 correspond to two temporally continuous frames. That is, the captured images I n and I n + 1 are captured at different timings.
  • the immobility state determination unit 13 uses the detection result of the face region detection unit 21 to detect the face regions A1 n and A1 n + 1 in the captured images I n and I n + 1 for two consecutive frames (n is an arbitrary integer). ), and calculates the amount of change in the size of the face region A1 n + 1 to the size of the face region A1 n.
  • the calculated amount of change indicates the amount of movement of the driver's head relative to the front-rear direction.
  • the immobility state determination unit 13 determines that the driver is in an immobility state when the amount of change in the size of the face area A1 is less than a predetermined reference amount.
  • the immobility state determination unit 13 uses the detection result of the face region detection unit 21 for the second and subsequent times within a predetermined time with respect to the central portion of the face region A1 in the first captured image I within the predetermined time. The amount of movement of the central portion of the face area A1 in each of the captured images I captured at the same time is calculated. The immobility state determination unit 13 calculates the movement amount of the face area A1 within a predetermined time by integrating the calculated movement amounts. The immobility state determination unit 13 determines that the driver is in an immobility state when the movement amount of the face area A1 is less than a predetermined reference amount.
  • the immobility state determination unit 13 determines whether the inclination angle ⁇ 1 of the driver's head is equal to or greater than a predetermined reference angle using the detection result by the inclination angle detection unit 24. The immobility state determination unit 13 determines whether or not the movement amount of the face area A1 is less than the reference amount by the same method as in the first specific example or the third specific example. The immobility state determination unit 13 determines that the driver is in an immobility state when the inclination angle ⁇ 1 is equal to or larger than the reference angle and the movement amount of the face area A1 is less than the reference amount.
  • the immobility state determination unit 13 determines whether the inclination angle ⁇ 1 of the driver's head is equal to or greater than a predetermined reference angle using the detection result by the inclination angle detection unit 24. The immobility state determination unit 13 determines whether or not the amount of change in the size of the face area A1 is less than the reference amount by the same method as in the second specific example. The immobility state determination unit 13 determines that the driver is in an immobility state when the inclination angle ⁇ 1 is greater than or equal to the reference angle and the amount of change in the size of the face area A1 is less than the reference amount.
  • the 6th specific example of the determination method by the immobility state determination part 13> Usually, human blinking is classified into three types. That is, “periodic blink” performed unconsciously, “reflective blink” performed when light enters the eye, and “voluntary blink” performed consciously.
  • the periodic blinking is performed at a substantially constant cycle (that is, at a substantially constant frequency) while the human is awake.
  • the immobility state determination unit 13 calculates the frequency of the driver's blink using the detection result of the eye opening degree detection unit 23.
  • the immobility state determination unit 13 determines that the driver is in an immobility state when the calculated frequency is less than a predetermined threshold.
  • the immobility state determination unit 13 calculates so-called “PERCLOS” using the detection result of the eye opening degree detection unit 23.
  • PERCLOS indicates the ratio of the time T CLOSE when the driver's eyes are closed in a predetermined time (so-called “window size”) T WINDOW . Therefore, the following formula (1) is used to calculate PERCLOS.
  • FIG. 9 shows an example of PERCLOS.
  • Dth is a threshold value to be compared with the eye opening degree D, and is used for determining whether the driver is in an open state or a driver is in the closed state. is there.
  • the immobility state determination unit 13 calculates PERCLOS by calculating individual T CLOSE using a predetermined threshold Dth and calculating ⁇ (T CLOSE ) which is the sum of these T CLOSE .
  • the immobility state determination unit 13 calculates PERCLOS every predetermined time (that is, every T WINDOW ), and calculates the change amount of these PERCLOS. The immobility state determination unit 13 determines that the driver is in an immobility state when the amount of change in PERCLOS is less than a predetermined reference amount.
  • the immobility state determination unit 13 determines the position coordinates (more specifically, x coordinate values x 0 to x n) of the center of the face areas A1 0 to A1 n ⁇ 1 in the captured images I 0 to I n ⁇ 1 for n frames. ⁇ 1 and y coordinate values y 0 to y n ⁇ 1 ) are acquired from the face area detection unit 21 (n is an integer of 2 or more).
  • the captured images I 0 to I n ⁇ 1 are captured within a predetermined time (for example, A + ⁇ seconds) starting from the establishment timing t1 of a predetermined condition (hereinafter referred to as “calibration condition”). Assuming that the imaging frame rate by the camera 2 is frame_rate, the relationship between n and A is expressed by the following equation (2).
  • N A * frame_rate (2)
  • FIG. 10A shows an example of a predetermined time (that is, A + ⁇ seconds).
  • FIG. 10B shows an example of x-coordinate values x 0 to x n-1 and y-coordinate values y 0 to y n-1 at the center of the face areas A1 0 to A1 n-1 .
  • the immobility state determination unit 13 determines the entire captured image I or a part of the captured image I (for example, a part having a higher probability of including the face area A1 in the captured image I than other parts) at a predetermined interval (for example, a B pixel interval). ) And a plurality of bins corresponding one-to-one.
  • the immobility state determination unit 13 generates a histogram obtained by counting the number of center parts of the face area A1 included in each bin for the n face areas A1 0 to A1 n ⁇ 1 .
  • this histogram is referred to as a “reference histogram”.
  • FIG. 10C shows an example of the reference histogram.
  • m frames x-coordinate value x 0 is the position coordinates (more specifically the center of the face region A1 0 ⁇ A1 m-1 in the captured image I 0 ⁇ I m-1 of ⁇ Information indicating x m ⁇ 1 and y coordinate values y 0 to y m ⁇ 1 ) is acquired from the face area detection unit 21 (m is an integer of 2 or more).
  • the captured images I 0 to I m ⁇ 1 are captured within a predetermined time (for example, C seconds) with the imaging timing t2 of the captured image I m ⁇ 1 as an end point.
  • the imaging frame rate by the camera 2 is frame_rate
  • the relationship between m and C is expressed by the following equation (3).
  • FIG. 11A shows an example of the predetermined time (that is, C seconds).
  • FIG. 11B shows an example of the x coordinate values x 0 to x m-1 and the y coordinate values y 0 to y m-1 of the center of the face regions A1 0 to A1 m-1 .
  • the immobility state determination unit 13 sets a plurality of bins similar to the plurality of bins in the reference histogram.
  • the immobility state determination unit 13 generates a histogram obtained by counting the number of center parts of the face area A1 included in each bin for the m face areas A1 0 to A1 m ⁇ 1 .
  • this histogram is referred to as a “comparison histogram”.
  • FIG. 11C shows an example of a comparison histogram.
  • the immobility state determination unit 13 compares the value of each bin in the comparison histogram with the value of the corresponding bin in the reference histogram. Thereby, the immobility state determination unit 13 obtains the degree of change of the comparison histogram with respect to the reference histogram. Specifically, for example, the immobility state determination unit 13 obtains the degree of change in the distribution of values in the histogram, or obtains the presence or absence of a change in the bin position corresponding to the maximum value. Thereby, the immobility state determination part 13 determines the presence or absence of a driver
  • the comparison histogram may be one that is repeatedly generated at a predetermined time interval after the reference histogram is generated (that is, one that is updated at a predetermined time interval). Each time the comparison histogram is generated (that is, every time the comparison histogram is updated), the immobility state determination unit 13 sets the value of each bin in the latest comparison histogram to the value of the corresponding bin in the reference histogram. It may be compared with.
  • the immobility state determination unit 13 determines whether or not there is a change in the driver's facial expression using the detection result by the facial expression detection unit 25. When it is determined that the expression does not change, the immobility state determination unit 13 determines that the driver is in an immobility state.
  • the immobility state determination unit 13 determines the presence / absence of a change in the inclination angle ⁇ 2 (that is, the presence / absence of movement of the driver's shoulder) using the detection result by the inclination angle detection unit 33. In addition, the immobility state determination unit 13 determines whether or not the inclination angle ⁇ 3 has changed (that is, whether or not the driver's arm has moved). The immobility state determination unit 13 determines whether or not the inclination angle ⁇ 4 has changed (that is, whether or not the driver's head has moved).
  • the immobility state determination part 13 determines whether a driver
  • the immobility state determination unit 13 may execute any one of the first specific example to the tenth specific example, or the first specific example to the tenth specific example. Any two or more methods may be executed. When any two or more methods of the first specific example to the tenth specific example are to be executed, the immobility state determination unit 13 performs a predetermined number of methods or more among the two or more methods. When it is determined that the driver is in a stationary state, a determination result indicating that the driver is in a stationary state may be output to the abnormal state determining unit 14. Alternatively, in this case, the immobility state determination unit 13 may output the final determination result to the abnormal state determination unit 14 by weighting the determination result by each method.
  • the passenger state determination device 100 determines whether or not the driver is in a stationary state, and determines whether or not the driver is in an abnormal state based on the duration T of the stationary state. Determine. Further, the determination method as to whether or not the driver is stationary is a method that does not use the detection result of the eye opening degree D (first specific example, second specific example, third specific example, fourth specific example, fifth Specific examples, eighth specific examples, ninth specific examples, and tenth specific examples). For this reason, it is possible to determine an abnormal state including an eye-open momentary sleep state, and to determine an abnormal state regardless of whether or not the degree of eye opening D is not normally detected.
  • the abnormal state determination unit 14 may acquire information indicating a so-called “automatic driving level” from an automatic driving control ECU (Electronic Control Unit) provided in the vehicle 1.
  • the automatic driving level is represented by a value of 0 to 5, and level 0 indicates that the vehicle 1 is traveling by manual driving.
  • the abnormal state determination unit 14 may set the reference time Tth to a different value according to the automatic driving level of the vehicle 1 using the acquired information. For example, when the automatic operation level is 2 or less, the abnormal state determination unit 14 may set the reference time Tth to a smaller value than when the automatic operation level is 3 or more. Thereby, the determination of the abnormal state based on the appropriate reference time Tth can be realized according to the automatic driving level of the vehicle 1.
  • the eye opening degree detection unit 23 may output information indicating the success or failure of the detection to the immobility state determination unit 13 when the process of detecting the eye opening degree D is executed.
  • the immobility state determination unit 13 uses the information output by the eye opening degree detection unit 23, and uses the detection result of the eye opening degree D when the eye opening degree detection unit 23 has successfully detected the eye opening degree D (sixth specific example).
  • the eye opening degree detection unit 23 determines whether or not the driver is in a stationary state, and the eye opening degree detection unit 23 fails to detect the eye opening degree D, the eye opening degree D (1st specific example, 2nd specific example, 3rd specific example, 4th specific example, 5th specific example, 8th specific example, 9th specific example or 10th specific example) It may be determined whether or not the driver is stationary by at least one method). Thereby, according to the success or failure of the detection of the degree of eye opening D, the determination of the immobility state by an appropriate method can be realized.
  • the eye opening degree detection unit 23 may output information indicating the reliability of the detection result to the abnormal state determination unit 14 when the eye opening degree D is successfully detected.
  • the abnormal state determination unit 14 may set the reference time Tth to a different value according to the reliability of the detection result of the eye opening degree D using the information output by the eye opening degree detection unit 23. For example, when the reliability is less than a predetermined threshold, the abnormal state determination unit 14 may set the reference time Tth to a smaller value than when the reliability is equal to or higher than the threshold. Thereby, according to the reliability of the detection result of the eye opening degree D, the determination of the abnormal state based on an appropriate reference time Tth can be realized.
  • the image recognition processing unit 12 is obtained by removing the inclination angle detection unit 24 shown in FIG. It may be.
  • the image recognition processing unit 12 is obtained by removing the eye opening degree detection unit 23 shown in FIG. It may be.
  • the image recognition processing unit 12 may be formed by removing the facial expression detection unit 25 shown in FIG.
  • the image recognition processing unit 12 includes the human body region detection unit 31, the skeleton feature point detection unit 32, and the tilt angle detection illustrated in FIG. The part 33 may be removed.
  • the warning output method by the warning output control unit 15 is not limited to the above specific example.
  • the warning output control unit 15 may execute control to turn on the hazard lamp of the vehicle 1 when the abnormal state determination unit 14 determines that the driver is in an abnormal state.
  • the passenger state determination device 100 can be used to determine whether or not the driver is in an abnormal state, and a passenger different from the driver among the passengers of the vehicle 1 is in an abnormal state. It can also be used to determine whether or not. For example, when the vehicle 1 is traveling by automatic driving at level 3 or higher, the occupant state determination device 100 determines whether the occupant who is seated in the driver's seat but is not driving the vehicle 1 is in an abnormal state. It can also be used for the determination.
  • the occupant state determination device 100 performs imaging using the image data acquisition unit 11 that acquires the image data indicating the captured image I by the camera 2 for imaging in the vehicle interior, and the image data.
  • An image recognition processing unit 12 that performs image recognition processing on the image I
  • a stationary state determination unit 13 that determines whether or not the passenger is in a stationary state
  • a stationary state determination unit 13 using the result of the image recognition processing
  • an abnormal state determination unit 14 for determining whether or not the passenger is in an abnormal state due to a decrease in the arousal level
  • the abnormal state determination unit 14 has a fixed state duration T as a reference time. When Tth is exceeded, it is determined that the passenger is in an abnormal state. Thereby, it is possible to determine an abnormal state including an eye-open momentary sleep state, and it is possible to determine an abnormal state regardless of whether or not the eye opening degree D is not normally detected.
  • the abnormal state determination unit 14 sets the reference time Tth to a different value according to the automatic driving level. Thereby, the determination of the abnormal state based on the appropriate reference time Tth can be realized according to the automatic driving level of the vehicle 1.
  • the image recognition process includes a process of detecting the passenger's eye opening degree D, and the abnormal state determination unit 14 sets the reference time Tth to a different value according to the reliability of the detection result of the eye opening degree D. To do. Thereby, according to the reliability of the detection result of the eye opening degree D, the determination of the abnormal state based on an appropriate reference time Tth can be realized.
  • the image recognition process includes a process of detecting the passenger's eye opening degree D.
  • the determination method by the immobility state determination unit 13 includes a method using the detection result of the eye opening degree D and a detection result of the eye opening degree D.
  • the immobility state determination unit 13 is configured so that when the image recognition processing unit 12 fails to detect the eye opening degree D, the passenger is in an immobile state by a method that does not use the detection result of the eye opening degree D. It is determined whether or not there is. Thereby, according to the success or failure of the detection of the degree of eye opening D, the determination of the immobility state by an appropriate method can be realized.
  • the image recognition process includes a process of detecting the face area A1 in the captured image I, and the immobility state determination unit 13 determines that the movement amount of the face area A1 or the change amount of the size of the face area A1 is less than the reference amount. If it is, it is determined that the passenger is in an immobile state.
  • the first specific example, the second specific example, and the third specific example can be realized.
  • the captured image I includes a first captured image (I n ) and a second captured image (I n + 1 ) captured by the camera 2 at different timings, and the face area A1 includes the first captured image.
  • the face area A1 includes the first captured image.
  • the amount of movement is calculated based on the ratio of the area of the area where the first face area (A1 n ) and the second face area (A1 n + 1 ) overlap each other to the area of n ) or the area of the second face area (A1 n + 1 ) To do.
  • the first specific example can be realized.
  • the image recognition process includes a process of detecting the inclination angle ⁇ 1 of the passenger's head, and the immobility state determination unit 13 determines that the inclination angle ⁇ 1 is greater than or equal to the reference angle and the amount of movement or change. Is less than the reference amount, it is determined that the passenger is in an immobile state.
  • the fourth specific example and the fifth specific example can be realized.
  • the image recognition process includes a process of detecting the passenger's eye opening degree D, and the immobility state determination unit 13 determines whether or not the passenger is in an immobility state based on the change in the eye opening degree D. .
  • the sixth specific example and the seventh specific example can be realized.
  • the image recognition process includes a process of detecting the face area A1 in the captured image I, and the immobility state determination unit 13 captures a plurality of captured images (I 0 to I n ⁇ ) captured within a predetermined time. 1 ), a reference histogram indicating the position of the center of the face area (A1 0 to A1 n-1 ), and faces in a plurality of other captured images (I 0 to I m-1 ) taken within a predetermined time period A comparison histogram showing the position of the central portion of the region (A1 0 to A1 m-1 ) is generated, and it is determined whether or not the passenger is stationary by comparing the reference histogram and the comparison histogram. To do. Thereby, for example, an eighth specific example can be realized.
  • the image recognition process includes a process of detecting the passenger's facial expression, and the immobility state determination unit 13 determines whether or not the passenger is in an immobility state based on the presence or absence of a change in facial expression.
  • the ninth specific example can be realized.
  • the image recognition process includes a process of detecting the inclination angles ⁇ 2, ⁇ 3, ⁇ 4 of the passenger's shoulder, arm, and head using the skeleton model of the passenger. It is determined whether or not the passenger is stationary based on the presence or absence of changes in the angles ⁇ 2, ⁇ 3, and ⁇ 4. Thereby, for example, the tenth specific example can be realized.
  • the warning output control device 200 is a warning that executes control to output a warning when the passenger state determination device 100 and the abnormal state determination unit 14 determine that the passenger is in an abnormal state. And an output control unit 15. Thus, when an abnormal state of the driver occurs, a warning indicating that can be output.
  • the warning output control unit 15 performs control for displaying a warning image on the display device 3, control for outputting a warning sound to the sound output device 4, or control for transmitting a warning signal to the wireless communication device 5. Perform at least one of them.
  • a warning indicating that can be output to the inside or outside of the vehicle when an abnormal state of the driver occurs, a warning indicating that can be output to the inside or outside of the vehicle.
  • the image data acquisition unit 11 acquires the image data indicating the captured image I by the camera 2 for imaging in the vehicle interior
  • the image recognition processing unit 12 includes: Step ST2 for performing image recognition processing on the captured image I using the image data, and step for the immobility state determination unit 13 to determine whether the passenger is in an immobility state using the result of the image recognition processing.
  • ST3 and the abnormal state determination unit 14 include a step ST4 for determining whether or not the passenger is in an abnormal state due to a decrease in the arousal level using the determination result by the immobility state determination unit 13, and the abnormal state determination unit 14 determines that the occupant is in an abnormal state when the duration time T of the immobile state exceeds the reference time Tth.
  • FIG. FIG. 12 is a block diagram illustrating a main part of the warning output control device according to the second embodiment.
  • the passenger state determination device 100a and the warning output control device 200a according to the second embodiment will be described.
  • the same blocks as those shown in FIG. 12 the same blocks as those shown in FIG.
  • the operation state information acquisition unit 16 acquires information indicating the operation state of the vehicle equipment 6 by the driver (hereinafter referred to as “operation state information”). Specifically, for example, the operation state information acquisition unit 16 acquires the operation state information from the vehicle equipment 6 via an in-vehicle network such as a CAN (Controller Area Network) (not shown).
  • operation state information information indicating the operation state of the vehicle equipment 6 by the driver
  • the operation state information acquisition unit 16 acquires the operation state information from the vehicle equipment 6 via an in-vehicle network such as a CAN (Controller Area Network) (not shown).
  • CAN Controller Area Network
  • the vehicle facility 6 is mainly related to the traveling of the vehicle 1.
  • the vehicle equipment 6 includes, for example, a steering, an accelerator pedal, a brake pedal, a turn signal, a door, a shift lever, and the like.
  • the operation state information acquisition unit 16 outputs the acquired operation state information to the immobility state determination unit 13a.
  • the immobility state determination unit 13a determines whether or not the driver is in an immobility state using the result of the image recognition processing by the image recognition processing unit 12 and the operation state information output by the operation state information acquisition unit 16. It is.
  • the immobility state determination unit 13 a determines whether or not the driver has operated the vehicle equipment 6 using the operation state information output by the operation state information acquisition unit 16. Further, the immobility state determination unit 13a uses the result of the image recognition processing performed by the image recognition processing unit 12 to determine whether the driver is moving by using at least one of the first to tenth specific examples. judge. The immobility state determination unit 13a determines that the driver is in an immobility state when it is determined that the driver does not operate the vehicle equipment 6 and there is no movement of the driver. Since the first specific example to the tenth specific example are the same as those described in the first embodiment, the description thereof will be omitted.
  • the image data acquisition unit 11, the image recognition processing unit 12, the immobility state determination unit 13a, the abnormal state determination unit 14, and the operation state information acquisition unit 16 constitute a main part of the passenger state determination device 100a.
  • the passenger state determination device 100a and the warning output control unit 15 constitute a main part of the warning output control device 200a.
  • the function of the immobility state determination unit 13a may be realized by the processor 41 and the memory 42, or may be realized by the processing circuit 43. Further, the function of the operation state information acquisition unit 16 may be realized by the processor 41 and the memory 42, or may be realized by the processing circuit 43.
  • the warning output control device 200a repeatedly executes the processing shown in FIG. 13 in a state where the power is turned on (more specifically, a state where the ignition power of the vehicle 1 is turned on). Yes.
  • step ST6 the operation state information acquisition unit 16 acquires operation state information of the vehicle equipment 6.
  • the operation state information acquisition unit 16 outputs the acquired operation state information to the immobility state determination unit 13a.
  • step ST ⁇ b> 1 the image data acquisition unit 11 acquires image data indicating the captured image I from the camera 2.
  • the image data acquisition unit 11 outputs the acquired image data to the image recognition processing unit 12.
  • step ST2 the image recognition processing unit 12 performs image recognition processing on the captured image I using the image data output by the image data acquisition unit 11. Since the specific example of the image recognition processing is as described in the first embodiment, the description thereof will be omitted.
  • the immobility state determination unit 13a uses the result of the image recognition processing by the image recognition processing unit 12 and the operation state information output by the operation state information acquisition unit 16, and the driver is in an immobility state. It is determined whether or not. Since the specific example of the determination method by the immobility state determination unit 13a has already been described, the description thereof will be omitted.
  • step ST4 the abnormal state determination unit 14 determines whether or not the duration T of the immovable state exceeds the reference time Tth. . This duration T is calculated by the abnormal state determination unit 14.
  • step ST4 “YES” If it is determined that the duration time T in the immobile state has exceeded the reference time Tth (step ST4 “YES”), the warning output control unit 15 executes control to output a warning in step ST5. Since the specific example of the warning output method by the warning output control unit 15 is as described in the first embodiment, the description thereof will be omitted.
  • the operation state information acquisition unit 16 acquires the operation state information output by the OBD function. May be.
  • the immobility state determination unit 13a may detect the establishment timing t1 of the calibration condition using the operation state information. That is, the calibration condition may be a condition that the driver is not operating the vehicle equipment 6. As a result, a reference histogram suitable for comparison with the comparison histogram (that is, a reference histogram that can more accurately determine whether or not the driver is stationary by the comparison) can be generated.
  • the passenger state determination device 100a can adopt various modifications similar to those described in the first embodiment, that is, various modifications similar to the passenger state determination device 100.
  • the warning output control device 200a can employ various modifications similar to those described in the first embodiment, that is, various modifications similar to the warning output control apparatus 200.
  • the passenger state determination device 100a includes the operation state information acquisition unit 16 that acquires the operation state information indicating the operation state of the vehicle equipment 6 by the passenger, and the immobility state determination unit 13a includes Then, it is determined whether or not the passenger is in an immobile state using the result of the image recognition process and the operation state information.
  • the operation state information in addition to the result of the image recognition process, it can be more accurately determined whether or not the driver is in an immobile state.
  • the passenger state determination device, warning output control device, and passenger state determination method of the present invention can be applied to, for example, a so-called “driver monitoring system”.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Anesthesiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

搭乗者状態判定装置（１００）は、車室内撮像用のカメラ（２）による撮像画像（Ｉ）を示す画像データを取得する画像データ取得部（１１）と、画像データを用いて、撮像画像（Ｉ）に対する画像認識処理を実行する画像認識処理部（１２）と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部（１３）と、不動状態判定部（１３）による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部（１４）とを備え、異常状態判定部（１４）は、不動状態の継続時間（Ｔ）が基準時間（Ｔｔｈ）を超えたとき、搭乗者が異常状態であると判定する。

Description

搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
　本発明は、搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法に関する。
　従来、車室内撮像用のカメラによる撮像画像を用いて、運転者が覚醒度の低下による異常状態であるか否かを判定する技術が開発されている（例えば、特許文献１，２参照。）。以下、覚醒度の低下による異常状態を単に「異常状態」ということがある。
　特許文献１記載の技術は、１個のカメラによる撮像画像に対する画像認識処理を実行することにより、運転者の開眼度を検出するものである。特許文献１記載の技術は、当該検出された開眼度に基づき運転者が異常状態であるか否かを判定するものである。
　特許文献２記載の技術は、複数個のカメラの各々による撮像画像に運転者の頭部が含まれているか否かを判定することにより、前傾方向又は後傾方向に対する運転者の姿勢変化を検出するものである。特許文献２記載の技術は、当該検出された姿勢変化に基づき運転者が異常状態であるか否かを判定するものである。
特開２００８－９９８８４号公報 特開２０１７－４９６３６号公報
　覚醒度の低下による異常状態には、意識の消失により前傾姿勢が発生している状態（以下「前傾状態」という。）、眼を開けた状態にて瞬眠が発生している状態（以下「開眼瞬眠状態」という。）、眼を閉じた状態にて瞬眠が発生している状態（以下「閉眼瞬眠状態」という。）及び意識の消失により後傾姿勢が発生している状態（以下「後傾状態」という。）などがある。
　これらの異常状態のうち、閉眼瞬眠状態は開眼度の変化を伴うものであり、前傾状態及び後傾状態は姿勢の変化を伴うものである。このため、閉眼瞬眠状態は特許文献１記載の技術により判定可能であり、前傾状態及び後傾状態は特許文献２記載の技術により判定可能である。これに対して、開眼瞬眠状態による開眼度の変化は小さく、姿勢の変化も小さい。このため、開眼瞬眠状態は特許文献１，２記載の技術により判定することができないという問題があった。
　また、特許文献１記載の技術は、開眼度が正常に検出されない状態（例えば運転者がサングラスを着用している状態又は運転者の眼が運転者の前髪により隠されている状態など）である場合、異常状態の判定をすることができないという問題があった。
　本発明は、上記のような課題を解決するためになされたものであり、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度が正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法を提供することを目的とする。
　本発明の搭乗者状態判定装置は、車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、画像データを用いて、撮像画像に対する画像認識処理を実行する画像認識処理部と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、不動状態判定部による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部とを備え、異常状態判定部は、不動状態の継続時間が基準時間を超えたとき、搭乗者が異常状態であると判定するものである。
　本発明によれば、上記のように構成したので、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度が正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
実施の形態１に係る警告出力制御装置の要部を示すブロック図である。 実施の形態１に係る警告出力制御装置のうちの画像認識処理部の要部を示すブロック図である。 図３Ａは、撮像画像の一例を示す説明図である。図３Ｂは、顔領域の一例を示す説明図である。図３Ｃは、複数個の特徴点の一例を示す説明図である。 図４Ａは、喜びの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｂは、驚きの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｃは、恐れの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｄは、悲しみの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｅは、怒りの表情に対応する複数個の特徴点の位置関係を示す説明図である。図４Ｆは、嫌悪の表情に対応する複数個の特徴点の位置関係を示す説明図である。 複数個の特徴点及び運転者の骨格モデルの一例を示す説明図である。 図６Ａは、実施の形態１に係る警告出力制御装置のハードウェア構成を示すブロック図である。図６Ｂは、実施の形態１に係る警告出力制御装置の他のハードウェア構成を示すブロック図である。 実施の形態１に係る警告出力制御装置の動作を示すフローチャートである。 第ｎの撮像画像における顔領域と第ｎ＋１の撮像画像における顔領域とが互いに重畳している状態の一例を示す説明図である。 ＰＥＲＣＬＯＳの一例を示す説明図である。 図１０Ａは、基準ヒストグラムに係る所定時間の一例を示す説明図である。図１０Ｂは、基準ヒストグラムに係る顔領域の中心部のｘ座標値及びｙ座標値の一例を示す説明図である。図１０Ｃは、基準ヒストグラムの一例を示す説明図である。 図１１Ａは、比較用ヒストグラムに係る所定時間の一例を示す説明図である。図１１Ｂは、比較用ヒストグラムに係る顔領域の中心部のｘ座標値及びｙ座標値の一例を示す説明図である。図１１Ｃは、比較用ヒストグラムの一例を示す説明図である。 実施の形態２に係る警告出力制御装置の要部を示すブロック図である。 実施の形態２に係る警告出力制御装置の動作を示すフローチャートである。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る警告出力制御装置の要部を示すブロック図である。図２は、実施の形態１に係る警告出力制御装置のうちの画像認識処理部の要部を示すブロック図である。図１及び図２を参照して、実施の形態１の搭乗者状態判定装置１００及び警告出力制御装置２００について説明する。
　車両１は、車室内撮像用のカメラ２を有している。カメラ２は、例えば、車両１のセンタークラスターに設けられている。カメラ２は、例えば、赤外線カメラ又は可視光カメラにより構成されている。
　画像データ取得部１１は、カメラ２による撮像画像Ｉを示す画像データを所定の時間間隔にてカメラ２から取得するものである。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力するものである。
　画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行するものである。画像認識処理部１２による画像認識処理は、例えば、顔領域検出部２１、顔特徴点検出部２２、開眼度検出部２３、傾き角度検出部２４、表情検出部２５、人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３による以下の処理を含むものである。
　顔領域検出部２１は、撮像画像Ｉにおける車両１の運転者の顔に対応する領域（以下「顔領域」という。）Ａ１を検出するものである。顔領域Ａ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。以下、車両１の運転者を単に「運転者」という。
　顔特徴点検出部２２は、顔領域Ａ１における複数個の特徴点Ｐ１であって、運転者の個々の顔パーツに対応する複数個の特徴点Ｐ１を検出するものである。特徴点Ｐ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
　具体的には、例えば、顔特徴点検出部２２は、運転者の右眼に対応する複数個の特徴点Ｐ１、運転者の左眼に対応する複数個の特徴点Ｐ１、運転車の鼻に対応する複数個の特徴点Ｐ１及び運転者の口に対応する複数個の特徴点Ｐ１を検出する。運転者の右眼に対応する複数個の特徴点Ｐ１は、例えば、目尻に対応する特徴点Ｐ１、目頭に対応する特徴点Ｐ１、上瞼に対応する特徴点Ｐ１及び下瞼に対応する特徴点Ｐ１などを含むものである。運転者の左眼に対応する複数個の特徴点Ｐ１は、例えば、目尻に対応する特徴点Ｐ１、目頭に対応する特徴点Ｐ１、上瞼に対応する特徴点Ｐ１及び下瞼に対応する特徴点Ｐ１などを含むものである。運転者の鼻に対応する複数個の特徴点Ｐ１は、例えば、鼻根に対応する特徴点Ｐ１、鼻背に対応する特徴点Ｐ１、鼻翼に対応する特徴点Ｐ１及び鼻尖に対応する特徴点Ｐ１などを含むものである。運転者の口に対応する複数個の特徴点Ｐ１は、例えば、上唇に対応する特徴点Ｐ１及び下唇に対応する特徴点Ｐ１などを含むものである。
　図３Ａは撮像画像Ｉの一例を示しており、図３Ｂは顔領域Ａ１の一例を示しており、図３Ｃは複数個の特徴点Ｐ１の一例を示している。図３Ｃに示す例においては、運転者の右眼に対応する４個の特徴点Ｐ１、運転者の左眼に対応する４個の特徴点Ｐ１、運転者の鼻に対応する２個の特徴点Ｐ１及び運転者の口に対応する３個の特徴点Ｐ１が検出されている。
　開眼度検出部２３は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１（より具体的には運転者の右眼に対応する複数個の特徴点Ｐ１及び運転者の左眼に対応する複数個の特徴点Ｐ１）を用いて、運転者の開眼度Ｄを検出するものである。開眼度Ｄの検出方法は公知の種々の方法を用いることができるものであり、以下の具体例に限定されるものではない。
　具体的には、例えば、開眼度検出部２３は、上瞼に対応する特徴点Ｐ１と下瞼に対応する特徴点Ｐ１間の距離（以下「瞼間距離」という。）の現在値を算出する。開眼度検出部２３は、所定時間内の瞼間距離の最頻値に基づき、瞼間距離の基準値を算出する。開眼度検出部２３は、基準値に対する現在値の比率に基づき開眼度Ｄを算出する。すなわち、開眼度Ｄの単位はパーセントである。
　傾き角度検出部２４は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１を用いて、運転者の頭部の傾き角度θ１を検出するものである。傾き角度θ１の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
　傾き角度θ１は、例えば、運転者の顔が車両１の前方に向けられており、かつ、運転者の後頭部が運転席のヘッドレストに当接している状態を基準（すなわち０°）とするものである。傾き角度検出部２４は、例えば、運転者の首を軸とする回転方向の傾き角度θ１、前傾方向又は後傾方向に対する傾き角度θ１及び左右方向に対する傾き角度θ１を検出する。
　表情検出部２５は、顔特徴点検出部２２により検出された複数個の特徴点Ｐ１を用いて、運転者の表情を検出するものである。表情の検出方法は公知の種々の方法を用いることができるものであり、以下の具体例に限定されるものではない。
　具体的には、例えば、表情検出部２５は、運転者の右眉に対応する３個の特徴点Ｐ１、運転者の左眉に対応する３個の特徴点Ｐ１、運転者の右眼に対応する２個の特徴点Ｐ１、運転者の左眼に対応する２個の特徴点Ｐ１及び運転者の口に対応する４個の特徴点Ｐ１の位置関係、すなわち合計１４個の特徴点Ｐ１の位置関係に基づき運転者の表情を検出する。図４Ａは、喜びの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｂは、驚きの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｃは、恐れの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｄは、悲しみの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｅは、怒りの表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。図４Ｆは、嫌悪の表情に対応する当該１４個の特徴点Ｐ１の位置関係の一例を示している。
　人体領域検出部３１は、撮像画像Ｉにおける運転者の顔及び体に対応する領域（以下「人体領域」という。）Ａ２を検出するものである。人体領域Ａ２の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
　骨格特徴点検出部３２は、人体領域Ａ２における複数個の特徴点Ｐ２であって、いわゆる「骨格モデル」の生成に用いられる複数個の特徴点Ｐ２を検出するものである。特徴点Ｐ２の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
　傾き角度検出部３３は、骨格特徴点検出部３２により検出された複数個の特徴点Ｐ２を用いて、運転者の骨格モデルを生成するものである。傾き角度検出部３３は、当該生成された骨格モデルを用いて、運転者の肩の傾き角度θ２、運転者の腕の傾き角度θ３及び運転者の頭部の傾き角度θ４を検出するものである。傾き角度θ２，θ３，θ４の検出方法は公知の種々の方法を用いることができるものであり、詳細な説明は省略する。
　傾き角度θ２，θ３，θ４は、例えば、運転者の顔が車両１の前方に向けられており、かつ、運転者の後頭部が運転席のヘッドレストに当接しており、かつ、運転者の背中が運転席の背もたれに当接しており、かつ、運転者が両手で車両１のハンドルを掴んでおり、かつ、車両１の操舵角が略０°である（すなわち車両１が略直進中である）状態を基準とするものである。傾き角度θ４の具体例は傾き角度θ１の具体例と同様であるため、詳細な説明は省略する。
　図５は、複数個の特徴点Ｐ２及び運転者の骨格モデルの一例を示している。図５に示す例においては、１２個の特徴点Ｐ２が検出されており、いわゆる「棒モデル」による骨格モデルが生成されている。
　不動状態判定部１３は、画像認識処理部１２による画像認識処理の結果を用いて、運転者の動きがない状態（以下「不動状態」という。）であるか否かを判定するものである。不動状態判定部１３による判定方法の具体例については後述する。
　異常状態判定部１４は、不動状態判定部１３による判定結果を用いて、運転者が覚醒度の低下による異常状態であるか否かを判定するものである。以下、覚醒度の低下による異常状態を単に「異常状態」という。
　すなわち、異常状態判定部１４は、不動状態判定部１３による判定結果を用いて不動状態の継続時間Ｔを算出する。異常状態判定部１４は、当該算出された継続時間Ｔを所定の基準時間Ｔｔｈと比較する。異常状態判定部１４は、継続時間Ｔが基準時間Ｔｔｈを超えたとき、運転者が異常状態であると判定する。
　警告出力制御部１５は、異常状態判定部１４により運転者が異常状態であると判定されたとき、警告を出力する制御を実行するものである。
　具体的には、例えば、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御を実行する。または、例えば、警告出力制御部１５は、警告用の音声を音声出力装置４に出力させる制御を実行する。すなわち、当該画像又は当該音声による警告は、主として車内に対する警告である。
　または、例えば、警告出力制御部１５は、警告用の信号を無線通信装置５に送信させる制御を実行する。当該信号は、インターネットなどの広域通信網を介して、いわゆる「センター」に送信される。または、当該信号は、いわゆる「車車間通信」により、車両１の周囲を走行中の他車両に送信される。すなわち、当該信号による警告は、主として車外に対する警告である。
　表示装置３は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）又はＨＵＤ（Ｈｅａｄ－Ｕｐ　Ｄｉｓｐｌａｙ）により構成されている。音声出力装置４は、例えば、スピーカーにより構成されている。無線通信装置５は、例えば、インターネット接続用の送信機及び受信機又は車車間通信用の送信機及び受信機により構成されている。
　なお、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御、警告用の音声を音声出力装置４に出力させる制御又は警告用の信号を無線通信装置５に送信させる制御のうちのいずれか二以上を実行するものであっても良い。
　顔領域検出部２１、顔特徴点検出部２２、開眼度検出部２３、傾き角度検出部２４、表情検出部２５、人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３により、画像認識処理部１２の要部が構成されている。画像データ取得部１１、画像認識処理部１２、不動状態判定部１３及び異常状態判定部１４により、搭乗者状態判定装置１００の要部が構成されている。搭乗者状態判定装置１００及び警告出力制御部１５により、警告出力制御装置２００の要部が構成されている。
　次に、図６を参照して、警告出力制御装置２００の要部のハードウェア構成について説明する。
　図６Ａに示す如く、警告出力制御装置２００はコンピュータにより構成されており、当該コンピュータはプロセッサ４１及びメモリ４２を有している。メモリ４２には、当該コンピュータを画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５として機能させるためのプログラムが記憶されている。メモリ４２に記憶されているプログラムをプロセッサ４１が読み出して実行することにより、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能が実現される。
　または、図６Ｂに示す如く、警告出力制御装置２００は処理回路４３を有するものであっても良い。この場合、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能が処理回路４３により実現されるものであっても良い。
　または、警告出力制御装置２００はプロセッサ４１、メモリ４２及び処理回路４３を有するものであっても良い。この場合、画像データ取得部１１、画像認識処理部１２、不動状態判定部１３、異常状態判定部１４及び警告出力制御部１５の機能のうちの一部の機能がプロセッサ４１及びメモリ４２により実現されて、残余の機能が処理回路４３により実現されるものであっても良い。
　プロセッサ４１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。
　メモリ４２は、例えば、半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクを用いたものである。より具体的には、メモリ４２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＦＤ（Ｆｌｏｐｐｙ　Ｄｉｓｋ）、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ）又はＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）などを用いたものである。
　処理回路４３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。
　次に、図７のフローチャートを参照して、警告出力制御装置２００の動作について説明する。警告出力制御装置２００は、例えば、電源がオンされている状態（より具体的には車両１のイグニッション電源がオンされている状態）にて、図７に示す処理を繰り返し実行するようになっている。
　まず、ステップＳＴ１にて、画像データ取得部１１は、撮像画像Ｉを示す画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力する。
　次いで、ステップＳＴ２にて、画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する。画像認識処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ３にて、不動状態判定部１３は、画像認識処理部１２による画像認識処理の結果を用いて、運転者が不動状態であるか否かを判定する。不動状態判定部１３による判定方法の具体例については後述する。
　運転者が不動状態であると判定された場合（ステップＳＴ３“ＹＥＳ”）、ステップＳＴ４にて、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたか否かを判定する。この継続時間Ｔは、異常状態判定部１４により算出されたものである。
　不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたと判定された場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５にて、警告出力制御部１５は警告を出力する制御を実行する。警告出力制御部１５による警告の出力方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
　次に、図８～図１１を参照して、不動状態判定部１３による判定方法の具体例について説明する。
〈不動状態判定部１３による判定方法の第１具体例〉
　不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、時間的に連続する２フレーム分の撮像画像Ｉｎ，Ｉｎ＋１における顔領域Ａ１ｎ，Ａ１ｎ＋１について（ｎは任意の整数）、顔領域Ａ１ｎ，Ａ１ｎ＋１が互いに重畳している部位の面積（以下「重畳面積」という。）を算出する。不動状態判定部１３は、顔領域Ａ１ｎの面積又は顔領域Ａ１ｎ＋１の面積に対する重畳面積の比率（以下「重畳面積比率」という。）を算出する。不動状態判定部１３は、重畳面積比率に基づき顔領域Ａ１の移動量を算出する。例えば、不動状態判定部１３は、重畳面積比率が小さいほど顔領域Ａ１の移動量を大きい値に算出する。不動状態判定部１３は、顔領域Ａ１の移動量が所定の基準量未満である場合、運転者が不動状態であると判定する。なお、重畳面積比率の分母は、顔領域Ａ１ｎと顔領域Ａ１ｎ＋１の和（より具体的には論理和）に対応する部位の面積であっても良い。
　図８は、第ｎの撮像画像Ｉｎにおける顔領域Ａ１ｎと第ｎ＋１の撮像画像Ｉｎ＋１における顔領域Ａ１ｎ＋１とが互いに重畳している状態の一例を示している。図中、網掛け部は顔領域Ａ１ｎ，Ａ１ｎ＋１が互いに重畳している部位を示している。上記のとおり、撮像画像Ｉｎ，Ｉｎ＋１は時間的に連続する２フレームに対応するものである。すなわち、撮像画像Ｉｎ，Ｉｎ＋１は互いに異なるタイミングにて撮像されたものである。
〈不動状態判定部１３による判定方法の第２具体例〉
　不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、時間的に連続する２フレーム分の撮像画像Ｉｎ，Ｉｎ＋１における顔領域Ａ１ｎ，Ａ１ｎ＋１について（ｎは任意の整数）、顔領域Ａ１ｎのサイズに対する顔領域Ａ１ｎ＋１のサイズの変化量を算出する。当該算出された変化量は、前後方向に対する運転者の頭部の移動量を示すものである。不動状態判定部１３は、顔領域Ａ１のサイズの変化量が所定の基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第３具体例〉
　不動状態判定部１３は、顔領域検出部２１による検出結果を用いて、所定時間内の第１番目に撮像された撮像画像Ｉにおける顔領域Ａ１の中心部に対する、所定時間内の第２番目以降に撮像された撮像画像Ｉの各々における顔領域Ａ１の中心部の移動量を算出する。不動状態判定部１３は、当該算出された移動量を積算することにより、所定時間内の顔領域Ａ１の移動量を算出する。不動状態判定部１３は、顔領域Ａ１の移動量が所定の基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第４具体例〉
　不動状態判定部１３は、傾き角度検出部２４による検出結果を用いて、運転者の頭部の傾き角度θ１が所定の基準角度以上であるか否かを判定する。不動状態判定部１３は、第１具体例又は第３具体例と同様の方法により、顔領域Ａ１の移動量が基準量未満であるか否かを判定する。不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、顔領域Ａ１の移動量が基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第５具体例〉
　不動状態判定部１３は、傾き角度検出部２４による検出結果を用いて、運転者の頭部の傾き角度θ１が所定の基準角度以上であるか否かを判定する。不動状態判定部１３は、第２具体例と同様の方法により、顔領域Ａ１のサイズの変化量が基準量未満であるか否かを判定する。不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、顔領域Ａ１のサイズの変化量が基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第６具体例〉
　通常、人間のまばたきは３種類に分類される。すなわち、無意識に行われる「周期性まばたき」、眼に光が差し込んだときに行われる「反射性まばたき」及び意識的に行われる「随意性まばたき」である。周期性まばたきは、人間が覚醒している状態にて略一定の周期にて（すなわち略一定の頻度にて）行われる。
　そこで、不動状態判定部１３は、開眼度検出部２３による検出結果を用いて、運転者の瞬きの頻度を算出する。不動状態判定部１３は、当該算出された頻度が所定の閾値未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第７具体例〉
　不動状態判定部１３は、開眼度検出部２３による検出結果を用いて、いわゆる「ＰＥＲＣＬＯＳ」を算出する。ＰＥＲＣＬＯＳは、所定時間（いわゆる「ウインドウサイズ」）ＴＷＩＮＤＯＷにおける、運転者の眼が閉じている時間ＴＣＬＯＳＥの割合を示すものである。したがって、ＰＥＲＣＬＯＳの算出には以下の式（１）が用いられる。
　ＰＥＲＣＬＯＳ＝Σ（ＴＣＬＯＳＥ）／ＴＷＩＮＤＯＷ　（１）
　図９は、ＰＥＲＣＬＯＳの一例を示している。図中、Ｄｔｈは、開眼度Ｄに対する比較対象となる閾値であって、運転者が眼を開けている状態であるか運転者が眼を閉じている状態であるかの判定に用いられるものである。不動状態判定部１３は、例えば、所定の閾値Ｄｔｈを用いて個々のＴＣＬＯＳＥを算出して、これらのＴＣＬＯＳＥの総和であるΣ（ＴＣＬＯＳＥ）を算出することにより、ＰＥＲＣＬＯＳを算出する。
　不動状態判定部１３は、所定時間毎に（すなわちＴＷＩＮＤＯＷ毎に）ＰＥＲＣＬＯＳを算出して、これらのＰＥＲＣＬＯＳの変化量を算出する。不動状態判定部１３は、ＰＥＲＣＬＯＳの変化量が所定の基準量未満である場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第８具体例〉
　不動状態判定部１３は、ｎフレーム分の撮像画像Ｉ０～Ｉｎ－１における顔領域Ａ１０～Ａ１ｎ－１の中心部の位置座標（より具体的にはｘ座標値ｘ０～ｘｎ－１及びｙ座標値ｙ０～ｙｎ－１）を示す情報を顔領域検出部２１から取得する（ｎは２以上の整数）。撮像画像Ｉ０～Ｉｎ－１は、所定条件（以下「キャリブレーション条件」という。）の成立タイミングｔ１を始点とする所定時間（例えばＡ＋α秒）内に撮像されたものである。カメラ２による撮像フレームレートをｆｒａｍｅ＿ｒａｔｅとすると、ｎとＡの関係は以下の式（２）により表される。
　ｎ＝Ａ＊ｆｒａｍｅ＿ｒａｔｅ　（２）
　図１０Ａは、所定時間（すなわちＡ＋α秒）の一例を示している。図１０Ｂは、顔領域Ａ１０～Ａ１ｎ－１の中心部のｘ座標値ｘ０～ｘｎ－１及びｙ座標値ｙ０～ｙｎ－１の一例を示している。
　不動状態判定部１３は、撮像画像Ｉの全体又は撮像画像Ｉの一部（例えば撮像画像Ｉのうちの顔領域Ａ１を含む蓋然性が他の部位よりも高い部位）を所定間隔（例えばＢピクセル間隔）に分割してなる複数個の領域と一対一に対応する複数個のビンを設定する。不動状態判定部１３は、ｎ個の顔領域Ａ１０～Ａ１ｎ－１について、各ビンに含まれる顔領域Ａ１の中心部の個数をカウントしてなるヒストグラムを生成する。以下、このヒストグラムを「基準ヒストグラム」という。図１０Ｃは、基準ヒストグラムの一例を示している。
　その後、不動状態判定部１３は、ｍフレーム分の撮像画像Ｉ０～Ｉｍ－１における顔領域Ａ１０～Ａ１ｍ－１の中心部の位置座標（より具体的にはｘ座標値ｘ０～ｘｍ－１及びｙ座標値ｙ０～ｙｍ－１）を示す情報を顔領域検出部２１から取得する（ｍは２以上の整数）。撮像画像Ｉ０～Ｉｍ－１は、撮像画像Ｉｍ－１の撮像タイミングｔ２を終点とする所定時間（例えばＣ秒）内に撮像されたものである。カメラ２による撮像フレームレートをｆｒａｍｅ＿ｒａｔｅとすると、ｍとＣの関係は以下の式（３）により表される。
　ｍ＝Ｃ＊ｆｒａｍｅ＿ｒａｔｅ　（３）
　図１１Ａは、所定時間（すなわちＣ秒）の一例を示している。図１１Ｂは、顔領域Ａ１０～Ａ１ｍ－１の中心部のｘ座標値ｘ０～ｘｍ－１及びｙ座標値ｙ０～ｙｍ－１の一例を示している。
　不動状態判定部１３は、基準ヒストグラムにおける複数個のビンと同様の複数個のビンを設定する。不動状態判定部１３は、ｍ個の顔領域Ａ１０～Ａ１ｍ－１について、各ビンに含まれる顔領域Ａ１の中心部の個数をカウントしてなるヒストグラムを生成する。以下、このヒストグラムを「比較用ヒストグラム」という。図１１Ｃは、比較用ヒストグラムの一例を示している。
　不動状態判定部１３は、比較用ヒストグラムにおける各ビンの値を、基準ヒストグラムにおける対応するビンの値と比較する。これにより、不動状態判定部１３は、基準ヒストグラムに対する比較用ヒストグラムの変化の度合を求める。具体的には、例えば、不動状態判定部１３は、ヒストグラムにおける値の分布の変化の度合を求めたり、又は最大値に対応するビンの位置の変化の有無を求めたりする。これにより、不動状態判定部１３は、運転者の顔の変化の有無を判定する。不動状態判定部１３は、運転者の顔の変化がないと判定された場合、運転者が不動状態であると判定する。
　なお、比較用ヒストグラムは、基準ヒストグラムが生成された後、所定の時間間隔にて繰り返し生成されるもの（すなわち所定の時間間隔にて更新されるもの）であっても良い。不動状態判定部１３は、比較用ヒストグラムが生成される度毎に（すなわち比較用ヒストグラムが更新される度毎に）、最新の比較用ヒストグラムにおける各ビンの値を基準ヒストグラムにおける対応するビンの値と比較するものであっても良い。
〈不動状態判定部１３による判定方法の第９具体例〉
　通常、人間が覚醒している状態においては、周囲の環境又は会話の内容などに応じて、略一定の周期にて（すなわち略一定の頻度にて）表情が変化する。これに対して、覚醒度が低下している状態においては表情の変化がなくなる。より具体的には、表情筋が弛緩することにより口角が下がった表情が維持される。
　そこで、不動状態判定部１３は、表情検出部２５による検出結果を用いて、運転者の表情の変化の有無を判定する。不動状態判定部１３は、表情の変化がないと判定された場合、運転者が不動状態であると判定する。
〈不動状態判定部１３による判定方法の第１０具体例〉
　不動状態判定部１３は、傾き角度検出部３３による検出結果を用いて、傾き角度θ２の変化の有無（すなわち運転者の肩の動きの有無）を判定する。また、不動状態判定部１３は、傾き角度θ３の変化の有無（すなわち運転者の腕の動きの有無）を判定する。また、不動状態判定部１３は、傾き角度θ４の変化の有無（すなわち運転者の頭部の動きの有無）を判定する。
　不動状態判定部１３は、これら動きの有無の判定結果に基づき、運転者が不動状態であるか否かを判定する。例えば、不動状態判定部１３は、運転者の肩の動きがなく、かつ、運転者の腕の動きがなく、かつ、運転者の頭部の動きがない場合、運転者が不動状態であると判定する。
　なお、不動状態判定部１３は、第１具体例～第１０具体例のうちのいずれか１個の方法を実行するものであっても良く、又は第１具体例～第１０具体例のうちのいずれか２個以上の方法を実行するものであっても良い。第１具体例～第１０具体例のうちのいずれか２個以上の方法が実行されるものである場合、不動状態判定部１３は、当該２個以上の方法のうちの所定個数以上の方法により運転者が不動状態であると判定されたとき、運転者が不動状態であることを示す判定結果を異常状態判定部１４に出力するものであっても良い。または、この場合、不動状態判定部１３は、個々の方法による判定結果を重み付けすることにより、最終的な判定結果を異常状態判定部１４に出力するものであっても良い。
　このように、実施の形態１の搭乗者状態判定装置１００は、運転者が不動状態であるか否かを判定して、不動状態の継続時間Ｔに基づき運転者が異常状態であるか否かを判定する。また、運転者が不動状態であるか否かの判定方法は、開眼度Ｄの検出結果を用いない方法（第１具体例、第２具体例、第３具体例、第４具体例、第５具体例、第８具体例、第９具体例及び第１０具体例）を含むものである。このため、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
　また、運転者が不動状態であるか否かの判定方法（第１具体例～第１０具体例）は、いずれも、カメラ２による撮像画像Ｉを用いるものである。すなわち、生体センサ等の高価なデバイスは不要である。このため、警告出力制御装置２００を含むシステム全体を安価に実現することができる。
　なお、異常状態判定部１４は、車両１に設けられている自動運転制御用のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）から、いわゆる「自動運転レベル」を示す情報を取得するものであっても良い。自動運転レベルは０～５の値により表されるものであり、レベル０は車両１が手動運転により走行中であることを示している。異常状態判定部１４は、当該取得された情報を用いて、基準時間Ｔｔｈを車両１の自動運転レベルに応じて異なる値に設定するものであっても良い。例えば、異常状態判定部１４は、自動運転レベルが２以下である場合、自動運転レベルが３以上である場合に比して基準時間Ｔｔｈを小さい値に設定するものであっても良い。これにより、車両１の自動運転レベルに応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
　また、開眼度検出部２３は、開眼度Ｄを検出する処理を実行したとき、当該検出の成否を示す情報を不動状態判定部１３に出力するものであっても良い。不動状態判定部１３は、開眼度検出部２３により出力された情報を用いて、開眼度検出部２３が開眼度Ｄの検出に成功した場合は開眼度Ｄの検出結果を用いる方法（第６具体例又は第７具体例のうちの少なくとも１個の方法）により運転者が不動状態であるか否かを判定して、開眼度検出部２３が開眼度Ｄの検出に失敗した場合は開眼度Ｄの検出結果を用いない方法（第１具体例、第２具体例、第３具体例、第４具体例、第５具体例、第８具体例、第９具体例又は第１０具体例のうちの少なくとも１個の方法）により運転者が不動状態であるか否かを判定するものであっても良い。これにより、開眼度Ｄの検出の成否に応じて、適切な方法による不動状態の判定を実現することができる。
　また、開眼度検出部２３は、開眼度Ｄの検出に成功したとき、当該検出結果の信頼度を示す情報を異常状態判定部１４に出力するものであっても良い。異常状態判定部１４は、開眼度検出部２３により出力された情報を用いて、基準時間Ｔｔｈを開眼度Ｄの検出結果の信頼度に応じて異なる値に設定するものであっても良い。例えば、異常状態判定部１４は、信頼度が所定の閾値未満である場合、信頼度が閾値以上である場合に比して基準時間Ｔｔｈを小さい値に設定するものであっても良い。これにより、開眼度Ｄの検出結果の信頼度に応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
　また、不動状態判定部１３による判定方法が第４具体例及び第５具体例を含まないものである場合、画像認識処理部１２は、図２に示す傾き角度検出部２４を除去してなるものであっても良い。
　また、不動状態判定部１３による判定方法が第６具体例及び第７具体例を含まないものである場合、画像認識処理部１２は、図２に示す開眼度検出部２３を除去してなるものであっても良い。
　また、不動状態判定部１３による判定方法が第９具体例を含まないものである場合、画像認識処理部１２は、図２に示す表情検出部２５を除去してなるものであっても良い。
　また、不動状態判定部１３による判定方法が第１０具体例を含まないものである場合、画像認識処理部１２は、図２に示す人体領域検出部３１、骨格特徴点検出部３２及び傾き角度検出部３３を除去してなるものであっても良い。
　また、警告出力制御部１５による警告の出力方法は、上記の具体例に限定されるものではない。警告出力制御部１５は、例えば、異常状態判定部１４により運転者が異常状態であると判定されたとき、車両１のハザードランプを点灯させる制御を実行するものであっても良い。
　また、搭乗者状態判定装置１００は、運転者が異常状態であるか否かの判定に用いることができるのはもちろんのこと、車両１の搭乗者のうちの運転者と異なる搭乗者が異常状態であるか否かの判定にも用いることができる。例えば、搭乗者状態判定装置１００は、車両１がレベル３以上の自動運転により走行しているとき、運転席に着座しているものの車両１を運転していない搭乗者が異常状態であるか否かの判定にも用いることができる。
　以上のように、実施の形態１の搭乗者状態判定装置１００は、車室内撮像用のカメラ２による撮像画像Ｉを示す画像データを取得する画像データ取得部１１と、画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する画像認識処理部１２と、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部１３と、不動状態判定部１３による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部１４とを備え、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたとき、搭乗者が異常状態であると判定する。これにより、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
　また、異常状態判定部１４は、基準時間Ｔｔｈを自動運転レベルに応じて異なる値に設定する。これにより、車両１の自動運転レベルに応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
　また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、異常状態判定部１４は、基準時間Ｔｔｈを開眼度Ｄの検出結果の信頼度に応じて異なる値に設定する。これにより、開眼度Ｄの検出結果の信頼度に応じて、適切な基準時間Ｔｔｈに基づく異常状態の判定を実現することができる。
　また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、不動状態判定部１３による判定方法は、開眼度Ｄの検出結果を用いる方法と開眼度Ｄの検出結果を用いない方法とを含むものであり、不動状態判定部１３は、画像認識処理部１２が開眼度Ｄの検出に失敗した場合、開眼度Ｄの検出結果を用いない方法により搭乗者が不動状態であるか否かを判定する。これにより、開眼度Ｄの検出の成否に応じて、適切な方法による不動状態の判定を実現することができる。
　また、画像認識処理は、撮像画像Ｉにおける顔領域Ａ１を検出する処理を含むものであり、不動状態判定部１３は、顔領域Ａ１の移動量又は顔領域Ａ１のサイズの変化量が基準量未満である場合、搭乗者が不動状態であると判定する。これにより、例えば、第１具体例、第２具体例及び第３具体例を実現することができる。
　また、撮像画像Ｉは、カメラ２により互いに異なるタイミングにて撮像された第１撮像画像（Ｉｎ）及び第２撮像画像（Ｉｎ＋１）を含むものであり、顔領域Ａ１は、第１撮像画像（Ｉｎ）における第１顔領域（Ａ１ｎ）及び第２撮像画像（Ｉｎ＋１）における第２顔領域（Ａ１ｎ＋１）を含むものであり、不動状態判定部１３は、第１顔領域（Ａ１ｎ）の面積又は第２顔領域（Ａ１ｎ＋１）の面積に対する第１顔領域（Ａ１ｎ）及び第２顔領域（Ａ１ｎ＋１）が互いに重畳している部位の面積の比率に基づき移動量を算出する。これにより、例えば、第１具体例を実現することができる。
　また、画像認識処理は、搭乗者の頭部の傾き角度θ１を検出する処理を含むものであり、不動状態判定部１３は、傾き角度θ１が基準角度以上であり、かつ、移動量又は変化量が基準量未満である場合、搭乗者が不動状態であると判定する。これにより、例えば、第４具体例及び第５具体例を実現することができる。
　また、画像認識処理は、搭乗者の開眼度Ｄを検出する処理を含むものであり、不動状態判定部１３は、開眼度Ｄの変化に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第６具体例及び第７具体例を実現することができる。
　また、画像認識処理は、撮像画像Ｉにおける顔領域Ａ１を検出する処理を含むものであり、不動状態判定部１３は、所定時間内に撮像された複数枚の撮像画像（Ｉ０～Ｉｎ－１）における顔領域（Ａ１０～Ａ１ｎ－１）の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の撮像画像（Ｉ０～Ｉｍ－１）における顔領域（Ａ１０～Ａ１ｍ－１）の中心部の位置を示す比較用ヒストグラムとを生成して、基準ヒストグラムと比較用ヒストグラムとを比較することにより搭乗者が不動状態であるか否かを判定する。これにより、例えば、第８具体例を実現することができる。
　また、画像認識処理は、搭乗者の表情を検出する処理を含むものであり、不動状態判定部１３は、表情の変化の有無に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第９具体例を実現することができる。
　また、画像認識処理は、搭乗者の骨格モデルを用いて搭乗者の肩、腕及び頭部の傾き角度θ２，θ３，θ４を検出する処理を含むものであり、不動状態判定部１３は、傾き角度θ２，θ３，θ４の変化の有無に基づき搭乗者が不動状態であるか否かを判定する。これにより、例えば、第１０具体例を実現することができる。
　また、実施の形態１の警告出力制御装置２００は、搭乗者状態判定装置１００と、異常状態判定部１４により搭乗者が異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部１５とを備える。これにより、運転者の異常状態が発生したとき、その旨を示す警告を出力することができる。
　また、警告出力制御部１５は、警告用の画像を表示装置３に表示させる制御、警告用の音声を音声出力装置４に出力させる制御又は警告用の信号を無線通信装置５に送信させる制御のうちの少なくとも一つを実行する。これにより、運転者の異常状態が発生したとき、その旨を示す警告を車内又は車外に対して出力することができる。
　また、実施の形態１の搭乗者状態判定方法は、画像データ取得部１１が、車室内撮像用のカメラ２による撮像画像Ｉを示す画像データを取得するステップＳＴ１と、画像認識処理部１２が、画像データを用いて、撮像画像Ｉに対する画像認識処理を実行するステップＳＴ２と、不動状態判定部１３が、画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップＳＴ３と、異常状態判定部１４が、不動状態判定部１３による判定結果を用いて、搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップＳＴ４とを備え、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたとき、搭乗者が異常状態であると判定する。これにより、開眼瞬眠状態を含む異常状態を判定することができ、かつ、開眼度Ｄが正常に検出されない状態であるか否かにかかわらず異常状態を判定することができる。
実施の形態２．
　図１２は、実施の形態２に係る警告出力制御装置の要部を示すブロック図である。図１２を参照して、実施の形態２の搭乗者状態判定装置１００ａ及び警告出力制御装置２００ａについて説明する。なお、図１２において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
　操作状態情報取得部１６は、運転者による車両設備６の操作状態を示す情報（以下「操作状態情報」という。）を取得するものである。具体的には、例えば、操作状態情報取得部１６は、図示しないＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの車内ネットワークを介して、車両設備６から操作状態情報を取得する。
　車両設備６は、主として車両１の走行に関するものである。車両設備６は、例えば、ステアリング、アクセルペダル、ブレーキペダル、ターンシグナル、ドア及びシフトレバーなどを含むものである。
　操作状態情報取得部１６は、当該取得された操作状態情報を不動状態判定部１３ａに出力するものである。
　不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果及び操作状態情報取得部１６により出力された操作状態情報を用いて、運転者が不動状態であるか否かを判定するものである。
　すなわち、不動状態判定部１３ａは、操作状態情報取得部１６により出力された操作状態情報を用いて、運転者による車両設備６の操作の有無を判定する。また、不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果を用いて、第１具体例～第１０具体例のうちの少なくとも１個の方法により、運転者の動きの有無を判定する。不動状態判定部１３ａは、運転者による車両設備６の操作がなく、かつ、運転者の動きがないと判定された場合、運転者が不動状態であると判定する。第１具体例～第１０具体例は実施の形態１にて説明したものと同様であるため、再度の説明は省略する。
　画像データ取得部１１、画像認識処理部１２、不動状態判定部１３ａ、異常状態判定部１４及び操作状態情報取得部１６により、搭乗者状態判定装置１００ａの要部が構成されている。搭乗者状態判定装置１００ａ及び警告出力制御部１５により、警告出力制御装置２００ａの要部が構成されている。
　警告出力制御装置２００ａの要部のハードウェア構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、不動状態判定部１３ａの機能はプロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。また、操作状態情報取得部１６の機能はプロセッサ４１及びメモリ４２により実現されるものであっても良く、又は処理回路４３により実現されるものであっても良い。
　次に、図１３のフローチャートを参照して、警告出力制御装置２００ａの動作について説明する。警告出力制御装置２００ａは、例えば、電源がオンされている状態（より具体的には車両１のイグニッション電源がオンされている状態）にて、図１３に示す処理を繰り返し実行するようになっている。
　まず、ステップＳＴ６にて、操作状態情報取得部１６は、車両設備６の操作状態情報を取得する。操作状態情報取得部１６は、当該取得された操作状態情報を不動状態判定部１３ａに出力する。
　次いで、ステップＳＴ１にて、画像データ取得部１１は、撮像画像Ｉを示す画像データをカメラ２から取得する。画像データ取得部１１は、当該取得された画像データを画像認識処理部１２に出力する。
　次いで、ステップＳＴ２にて、画像認識処理部１２は、画像データ取得部１１により出力された画像データを用いて、撮像画像Ｉに対する画像認識処理を実行する。画像認識処理の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
　次いで、ステップＳＴ３ａにて、不動状態判定部１３ａは、画像認識処理部１２による画像認識処理の結果及び操作状態情報取得部１６により出力された操作状態情報を用いて、運転者が不動状態であるか否かを判定する。不動状態判定部１３ａによる判定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
　運転者が不動状態であると判定された場合（ステップＳＴ３ａ“ＹＥＳ”）、ステップＳＴ４にて、異常状態判定部１４は、不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたか否かを判定する。この継続時間Ｔは、異常状態判定部１４により算出されたものである。
　不動状態の継続時間Ｔが基準時間Ｔｔｈを超えたと判定された場合（ステップＳＴ４“ＹＥＳ”）、ステップＳＴ５にて、警告出力制御部１５は警告を出力する制御を実行する。警告出力制御部１５による警告の出力方法の具体例は実施の形態１にて説明したとおりであるため、再度の説明は省略する。
　このように、画像認識処理の結果に加えて操作状態情報を用いることにより、運転者が不動状態であるか否かをより正確に判定することができる。
　なお、車両１に設けられているＥＣＵがＯＢＤ（Ｏｎ－Ｂｏａｒｄ　Ｄｉａｇｎｏｓｔｉｃｓ）機能を有している場合、操作状態情報取得部１６は、当該ＯＢＤ機能により出力された操作状態情報を取得するものであっても良い。
　また、不動状態判定部１３ａが第８具体例を実行するものである場合、不動状態判定部１３ａは、操作状態情報を用いてキャリブレーション条件の成立タイミングｔ１を検出するものであっても良い。すなわち、キャリブレーション条件は、運転者が車両設備６を操作していないという条件であっても良い。これにより、比較用ヒストグラムに対する比較に適した基準ヒストグラム（すなわち当該比較により運転者が不動状態であるか否かをより正確に判定可能な基準ヒストグラム）を生成することができる。
　また、搭乗者状態判定装置１００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち搭乗者状態判定装置１００と同様の種々の変形例を採用することができる。
　また、警告出力制御装置２００ａは、実施の形態１にて説明したものと同様の種々の変形例、すなわち警告出力制御装置２００と同様の種々の変形例を採用することができる。
　以上のように、実施の形態２の搭乗者状態判定装置１００ａは、搭乗者による車両設備６の操作状態を示す操作状態情報を取得する操作状態情報取得部１６を備え、不動状態判定部１３ａは、画像認識処理の結果及び操作状態情報を用いて搭乗者が不動状態であるか否かを判定する。画像認識処理の結果に加えて操作状態情報を用いることにより、運転者が不動状態であるか否かをより正確に判定することができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本発明の搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法は、例えば、いわゆる「ドライバーモニタリングシステム」に応用することができる。
　１　車両、２　カメラ、３　表示装置、４　音声出力装置、５　無線通信装置、６　車両設備、１１　画像データ取得部、１２　画像認識処理部、１３，１３ａ　不動状態判定部、１４　異常状態判定部、１５　警告出力制御部、１６　操作状態情報取得部、２１　顔領域検出部、２２　顔特徴点検出部、２３　開眼度検出部、２４　傾き角度検出部、２５　表情検出部、３１　人体領域検出部、３２　骨格特徴点検出部、３３　傾き角度検出部、４１　プロセッサ、４２　メモリ、４３　処理回路、１００，１００ａ　搭乗者状態判定装置、２００，２００ａ　警告出力制御装置。

Claims (15)

  1. 　車室内撮像用のカメラによる撮像画像を示す画像データを取得する画像データ取得部と、
    　前記画像データを用いて、前記撮像画像に対する画像認識処理を実行する画像認識処理部と、
    　前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定する不動状態判定部と、
    　前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定する異常状態判定部と、を備え、
    　前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
    　ことを特徴とする搭乗者状態判定装置。
  2. 　前記異常状態判定部は、前記基準時間を自動運転レベルに応じて異なる値に設定することを特徴とする請求項１記載の搭乗者状態判定装置。
  3. 　前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
    　前記異常状態判定部は、前記基準時間を前記開眼度の検出結果の信頼度に応じて異なる値に設定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  4. 　前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
    　前記不動状態判定部による判定方法は、前記開眼度の検出結果を用いる方法と前記開眼度の検出結果を用いない方法とを含むものであり、
    　前記不動状態判定部は、前記画像認識処理部が前記開眼度の検出に失敗した場合、前記開眼度の検出結果を用いない方法により前記搭乗者が前記不動状態であるか否かを判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  5. 　前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
    　前記不動状態判定部は、前記顔領域の移動量又は前記顔領域のサイズの変化量が基準量未満である場合、前記搭乗者が前記不動状態であると判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  6. 　前記撮像画像は、前記カメラにより互いに異なるタイミングにて撮像された第１撮像画像及び第２撮像画像を含むものであり、
    　前記顔領域は、前記第１撮像画像における第１顔領域及び前記第２撮像画像における第２顔領域を含むものであり、
    　前記不動状態判定部は、前記第１顔領域の面積又は前記第２顔領域の面積に対する前記第１顔領域及び前記第２顔領域が互いに重畳している部位の面積の比率に基づき前記移動量を算出する
    　ことを特徴とする請求項５記載の搭乗者状態判定装置。
  7. 　前記画像認識処理は、前記搭乗者の頭部の傾き角度を検出する処理を含むものであり、
    　前記不動状態判定部は、前記傾き角度が基準角度以上であり、かつ、前記移動量又は前記変化量が前記基準量未満である場合、前記搭乗者が前記不動状態であると判定する
    　ことを特徴とする請求項５記載の搭乗者状態判定装置。
  8. 　前記画像認識処理は、前記搭乗者の開眼度を検出する処理を含むものであり、
    　前記不動状態判定部は、前記開眼度の変化に基づき前記搭乗者が前記不動状態であるか否かを判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  9. 　前記画像認識処理は、前記撮像画像における顔領域を検出する処理を含むものであり、
    　前記不動状態判定部は、所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す基準ヒストグラムと、他の所定時間内に撮像された複数枚の前記撮像画像における前記顔領域の中心部の位置を示す比較用ヒストグラムとを生成して、前記基準ヒストグラムと前記比較用ヒストグラムとを比較することにより前記搭乗者が前記不動状態であるか否かを判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  10. 　前記画像認識処理は、前記搭乗者の表情を検出する処理を含むものであり、
    　前記不動状態判定部は、前記表情の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  11. 　前記画像認識処理は、前記搭乗者の骨格モデルを用いて前記搭乗者の肩、腕及び頭部の傾き角度を検出する処理を含むものであり、
    　前記不動状態判定部は、前記傾き角度の変化の有無に基づき前記搭乗者が前記不動状態であるか否かを判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  12. 　前記搭乗者による車両設備の操作状態を示す操作状態情報を取得する操作状態情報取得部を備え、
    　前記不動状態判定部は、前記画像認識処理の結果及び前記操作状態情報を用いて前記搭乗者が前記不動状態であるか否かを判定する
    　ことを特徴とする請求項１記載の搭乗者状態判定装置。
  13. 　請求項１記載の搭乗者状態判定装置と、
    　前記異常状態判定部により前記搭乗者が前記異常状態であると判定されたとき、警告を出力する制御を実行する警告出力制御部と、
    　を備えることを特徴とする警告出力制御装置。
  14. 　前記警告出力制御部は、警告用の画像を表示装置に表示させる制御、警告用の音声を音声出力装置に出力させる制御又は警告用の信号を無線通信装置に送信させる制御のうちの少なくとも一つを実行することを特徴とする請求項１３記載の警告出力制御装置。
  15. 　画像データ取得部が、車室内撮像用のカメラによる撮像画像を示す画像データを取得するステップと、
    　画像認識処理部が、前記画像データを用いて、前記撮像画像に対する画像認識処理を実行するステップと、
    　不動状態判定部が、前記画像認識処理の結果を用いて、搭乗者が不動状態であるか否かを判定するステップと、
    　異常状態判定部が、前記不動状態判定部による判定結果を用いて、前記搭乗者が覚醒度の低下による異常状態であるか否かを判定するステップと、を備え、
    　前記異常状態判定部は、前記不動状態の継続時間が基準時間を超えたとき、前記搭乗者が前記異常状態であると判定する
    　ことを特徴とする搭乗者状態判定方法。
PCT/JP2018/015255 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 WO2019198179A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020512997A JP7118136B2 (ja) 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
DE112018007454.4T DE112018007454T5 (de) 2018-04-11 2018-04-11 Insassenzustand-Bestimmungsvorrichtung, Warnausgabe-Steuervorrichtung und Insassenzustand-Bestimmungsverfahren
US16/982,132 US11315361B2 (en) 2018-04-11 2018-04-11 Occupant state determining device, warning output control device, and occupant state determining method
PCT/JP2018/015255 WO2019198179A1 (ja) 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/015255 WO2019198179A1 (ja) 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法

Publications (1)

Publication Number Publication Date
WO2019198179A1 true WO2019198179A1 (ja) 2019-10-17

Family

ID=68164181

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015255 WO2019198179A1 (ja) 2018-04-11 2018-04-11 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法

Country Status (4)

Country Link
US (1) US11315361B2 (ja)
JP (1) JP7118136B2 (ja)
DE (1) DE112018007454T5 (ja)
WO (1) WO2019198179A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021240768A1 (ja) * 2020-05-29 2021-12-02
WO2024057356A1 (ja) * 2022-09-12 2024-03-21 三菱電機株式会社 開瞼度検出装置、開瞼度検出方法、および眠気判定システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7470540B2 (ja) * 2020-03-18 2024-04-18 本田技研工業株式会社 内部機器の異常判定装置、異常判定方法、及びプログラム
CN111932822A (zh) * 2020-07-11 2020-11-13 广州融康汽车科技有限公司 一种乘员身体位置报警装置
DE102020214910A1 (de) * 2020-11-27 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Überwachung eines Fahrzeuginnenraums
US11983921B2 (en) * 2021-07-26 2024-05-14 Ubkang (Qingdao) Technology Co., Ltd. Human abnormal behavior response method and mobility aid robot using the same
DE102022211510A1 (de) 2022-10-31 2024-05-02 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Ermitteln eines Zustandes eines Fahrzeuginsassen

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2008099884A (ja) * 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2016009258A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2017199279A (ja) * 2016-04-28 2017-11-02 トヨタ自動車株式会社 運転意識推定装置
JP2017219885A (ja) * 2016-06-02 2017-12-14 株式会社Ｓｕｂａｒｕ 乗員状態監視装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9493130B2 (en) * 2011-04-22 2016-11-15 Angel A. Penilla Methods and systems for communicating content to connected vehicle users based detected tone/mood in voice input
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
JP2013257691A (ja) * 2012-06-12 2013-12-26 Panasonic Corp 居眠り状態判定装置及び居眠り状態判定方法
JP5949660B2 (ja) * 2013-05-21 2016-07-13 株式会社デンソー ドライバ確認装置
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
JP6090129B2 (ja) * 2013-11-27 2017-03-08 株式会社デンソー 視認領域推定装置
US9720259B2 (en) * 2014-10-13 2017-08-01 William Hart Eyewear pupilometer
GB2532457B (en) * 2014-11-19 2018-04-18 Jaguar Land Rover Ltd Dynamic control apparatus and related method
US20160180677A1 (en) * 2014-12-18 2016-06-23 Ford Global Technologies, Llc Apparatus for reducing driver distraction via short range vehicle communication
JP6256433B2 (ja) 2015-08-31 2018-01-10 マツダ株式会社 運転者状態検出装置
DE102015218306A1 (de) * 2015-09-23 2017-03-23 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Schläfrigkeitszustands eines Fahrers
FR3048542A1 (fr) * 2016-03-01 2017-09-08 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance personnalises d'un conducteur d'un vehicule automobile
JP2017199302A (ja) * 2016-04-28 2017-11-02 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、判定プログラム及び記録媒体
JP6690517B2 (ja) * 2016-12-13 2020-04-28 株式会社デンソー 運転支援装置、及び運転支援方法
US11341756B2 (en) * 2017-10-02 2022-05-24 Fotonation Limited Human monitoring system incorporating calibration methodology
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
JP6705437B2 (ja) * 2017-11-15 2020-06-03 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
JP7099037B2 (ja) * 2018-05-07 2022-07-12 オムロン株式会社 データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3575175B1 (en) * 2018-06-01 2024-03-13 Zenuity AB Method and system for assisting drivers to drive with precaution

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP2008099884A (ja) * 2006-10-19 2008-05-01 Toyota Motor Corp 状態推定装置
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2016009258A (ja) * 2014-06-23 2016-01-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2017199279A (ja) * 2016-04-28 2017-11-02 トヨタ自動車株式会社 運転意識推定装置
JP2017219885A (ja) * 2016-06-02 2017-12-14 株式会社Ｓｕｂａｒｕ 乗員状態監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021240768A1 (ja) * 2020-05-29 2021-12-02
JP7450715B2 (ja) 2020-05-29 2024-03-15 三菱電機株式会社 運転不能判定装置および運転不能判定方法
WO2024057356A1 (ja) * 2022-09-12 2024-03-21 三菱電機株式会社 開瞼度検出装置、開瞼度検出方法、および眠気判定システム

Also Published As

Publication number Publication date
US11315361B2 (en) 2022-04-26
US20210073522A1 (en) 2021-03-11
JP7118136B2 (ja) 2022-08-15
DE112018007454T5 (de) 2021-02-11
JPWO2019198179A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
WO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
KR102469234B1 (ko) 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
US11461636B2 (en) Neural network applications in resource constrained environments
US20190279009A1 (en) Systems and methods for monitoring driver state
EP3033999B1 (en) Apparatus and method for determining the state of a driver
US11042766B2 (en) Artificial intelligence apparatus and method for determining inattention of driver
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP2016539446A (ja) 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置
US20180173974A1 (en) Method for detecting driving behavior and system using the same
CN110027567A (zh) 驾驶员的驾驶状态确定方法、装置及存储介质
US11455810B2 (en) Driver attention state estimation
US11084424B2 (en) Video image output apparatus, video image output method, and medium
US20190382026A1 (en) Drowsiness prevention device, drowsiness prevention method, and recording medium
WO2008114839A1 (ja) 覚醒度判定装置及び覚醒度判定方法
US20240096116A1 (en) Devices and methods for detecting drowsiness of drivers of vehicles
Solomon et al. Driver Attention and Behavior Detection with Kinect
US10945651B2 (en) Arousal level determination device
JP5013175B2 (ja) 走行制御装置および方法、プログラム、並びに記録媒体
JP6689470B1 (ja) 情報処理装置、プログラム及び情報処理方法
JP7192668B2 (ja) 覚醒度判定装置
Ujir et al. Real-time driver’s monitoring mobile application through head pose, drowsiness and angry detection
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
US20240336269A1 (en) Driver monitoring device, driver monitoring method, and non-transitory recording medium
Hijaz et al. Driver Visual Focus of Attention Estimation in Autonomous Vehicles

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18914749

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020512997

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18914749

Country of ref document: EP

Kind code of ref document: A1