WO2024075205A1 - 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム - Google Patents

乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム Download PDF

Info

Publication number
WO2024075205A1
WO2024075205A1 PCT/JP2022/037246 JP2022037246W WO2024075205A1 WO 2024075205 A1 WO2024075205 A1 WO 2024075205A1 JP 2022037246 W JP2022037246 W JP 2022037246W WO 2024075205 A1 WO2024075205 A1 WO 2024075205A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
posture
range
determination unit
head position
Prior art date
Application number
PCT/JP2022/037246
Other languages
English (en)
French (fr)
Inventor
智大 松本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/037246 priority Critical patent/WO2024075205A1/ja
Publication of WO2024075205A1 publication Critical patent/WO2024075205A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to an occupant status determination device, an occupant status determination system, an occupant status determination method, and a program.
  • a technology has been developed that captures images of the inside of a vehicle, and uses the facial direction and head position of the occupants extracted from the captured images to determine whether the occupants are losing consciousness or experiencing other abnormalities. It also uses actions that occupants who are not in a bad posture may make to reduce false positives of bad posture when it is not the case.
  • the driver monitor system of Patent Document 1 includes an abnormality diagnosis unit that determines that there is something wrong with the driver when the absolute value of the roll angle of the driver's face direction is maintained at or above a predetermined angle (20°, preferably 30°, more preferably 40°) for or above a predetermined time (a dozen seconds or several tens of seconds), and a change degree detection unit that detects the degree of change in the driver's face based on a facial image.
  • the abnormality diagnosis unit determines that there is something wrong with the driver, if the degree of change in the driver detected by the change degree detection unit is equal to or above a predetermined standard (for example, if the number of times the driver blinks per unit time is equal to or above a standard number (for example, once)), the abnormality diagnosis unit determines that there is no abnormality in the driver.
  • a predetermined standard for example, if the number of times the driver blinks per unit time is equal to or above a standard number (for example, once)
  • the driver monitoring system of Patent Document 1 may detect blinking, which is an action that a non-prone occupant may do, despite the occupant having poor posture, and may determine that the occupant does not have poor posture and that there is nothing abnormal about the occupant. This causes problems such as undetected posture, which is determined to not be a loss of posture despite the occupant having poor posture, and reduces the accuracy of detecting the occupant's condition.
  • the present disclosure has been made to solve these problems, and aims to provide an occupant status determination device that improves the accuracy of detecting occupant status.
  • the occupant state determination device includes a face detection unit that detects the face of a vehicle occupant in an image in which the face of the occupant is captured, a feature detection unit that detects at least one of the occupant's facial direction and head position, as well as facial features, using the occupant's face in the image detected by the face detection unit, a reference posture estimation unit that estimates at least one of the occupant's reference facial direction and head position as a reference posture, using at least one of the occupant's facial direction and head position detected by the feature detection unit during a predetermined period of time, and a range determination as to which of a first range, a second range, or a third range set in real space the at least one of the occupant's facial direction and head position detected by the feature detection unit falls, or a reference posture determination unit that performs a specific posture determination.
  • a range determination unit which determines whether an amount of displacement of at least one of the facial direction and head position of the occupant detected by the feature detection unit from at least one of the facial direction and head position of the occupant in a reference posture falls within a first range, a second range, or a third range set in a real space; and when the range determination unit determines that at least one of the facial direction and head position of the occupant detected by the feature detection unit falls within the second range or when the range determination unit determines that the amount of displacement falls within the second range, the range determination unit determines which of a plurality of posture deviation types the posture of the occupant falls into by comparing at least one of the facial direction and head position of the occupant detected by the feature detection unit with at least one of the facial direction and head position of the occupant in the reference posture.
  • the present invention includes a posture collapse determination unit which performs posture collapse type determination, a face change degree detection unit which detects a degree of change in the face of the occupant using the facial parts of the occupant detected by the feature detection unit, an erroneous detection determination unit which, when the posture collapse determination unit determines that the posture of the occupant falls under any of a plurality of posture collapse types and the facial change degree detection unit detects a degree of change, determines that the determination of the posture collapse determination unit is erroneous, and, when the posture collapse determination unit determines that the posture of the occupant falls under any of the plurality of posture collapse types and the facial change degree detection unit does not detect a degree of change, determines that the determination of the posture collapse determination unit is not erroneous; and a range determination unit which detects a degree of change in the facial direction and head position of the occupant detected by the feature detection unit.
  • an abnormal posture determination unit that determines that the occupant is not in an abnormal posture if the range determination unit determines that at least one of the facial orientation and head position of the occupant detected by the feature detection unit falls within the first range, if the range determination unit determines that the displacement amount falls within the first range, if the posture collapse determination unit determines that the posture collapse determination unit determines that the posture collapse does not fall within any of the multiple posture collapse types, or if the error detection determination unit determines that the determination by the posture collapse determination unit is incorrect.
  • the occupant state determination system of the present disclosure includes a face detection unit that detects the face of a vehicle occupant in an image in which the face of the occupant is captured, a feature detection unit that detects at least one of the occupant's facial direction and head position, as well as facial features, using the occupant's face in the image detected by the face detection unit, a reference posture estimation unit that estimates at least one of the occupant's reference facial direction and head position as a reference posture using at least one of the occupant's facial direction and head position detected by the feature detection unit during a predetermined period of time, and a range determination as to which of a first range, a second range, or a third range set in real space the at least one of the occupant's facial direction and head position detected by the feature detection unit falls, or a range determination as to whether at least one of the occupant's facial direction and head position detected by the feature detection unit falls within the first range, a second range, or a third range set in real space.
  • a range determination unit which performs range determination as to whether an amount of displacement from at least one of the two falls within a first range, a second range, or a third range set in real space
  • a posture collapse determination unit which performs posture collapse type determination as to which of a plurality of posture collapse types the posture of the occupant falls within by comparing at least one of the facial direction and head position of the occupant detected by the feature detection unit with at least one of the facial direction and head position of the occupant in a reference posture when the range determination unit determines that at least one of the facial direction and head position of the occupant detected by the feature detection unit falls within the second range or when the range determination unit determines that the amount of displacement falls within the second range; a face change degree detection unit which detects a degree of change in the face of the occupant using the facial parts of the occupant detected by the feature detection unit; and a posture collapse determination unit which determines whether the posture of the occupant falls within any of the plurality of posture collapse types.
  • an error detection determination unit which determines that the determination of the posture deviation determination unit is not erroneous when the facial change degree detection unit detects a degree of change and determines that the determination of the posture deviation determination unit is not erroneous when the facial change degree detection unit does not detect a degree of change; and if the range determination unit determines that at least one of the facial direction and head position of the occupant detected by the feature detection unit falls within a third range, if the range determination unit determines that the amount of displacement falls within the third range or if the error detection determination unit determines that the determination of the posture deviation determination unit is not erroneous, determines that the occupant is in an abnormal posture, and the range determination unit determines that at least one of the facial direction and head position of the occupant detected by the feature detection unit falls within the first range.
  • An abnormal posture determination system including an occupant state determination device including an abnormal posture determination unit that determines that an occupant is not in an abnormal posture if the range determination unit determines that the displacement amount falls within a first range, if the posture collapse determination unit determines that the occupant's posture does not fall into any of a plurality of posture collapse types, or if the erroneous detection determination unit determines that the posture collapse determination unit's determination is incorrect, an imaging device that is installed in a vehicle so as to be able to capture an image of at least the occupant's face, and an output device that is mounted on the vehicle and outputs a warning that the occupant's posture is abnormal, and the occupant state determination device uses an image captured by the imaging device to determine whether the occupant's posture is abnormal or not, and when it determines that the occupant's posture is abnormal, causes the output device to output a warning that the occupant's posture is abnormal.
  • the occupant state determination method of the present disclosure includes a step in which a face detection unit detects the face of a vehicle occupant in an image in which the face of the occupant is captured, a step in which a feature detection unit detects at least one of the occupant's facial direction and head position, and facial features, using the occupant's face in the image detected by the face detection unit, a step in which a reference posture estimation unit estimates at least one of the occupant's reference facial direction and head position as a reference posture, using at least one of the occupant's facial direction and head position detected by the feature detection unit, during a predetermined period of time, and a step in which a range determination unit determines whether at least one of the occupant's facial direction and head position detected by the feature detection unit falls within any of a first range, a second range, and a third range set in real space.
  • a step of a facial change degree detection unit detecting a degree of change in the occupant's face using the facial features of the occupant detected by the feature detection unit; a step of an erroneous detection determination unit determining that the determination of the posture deviation determination unit is erroneous when the posture deviation determination unit has determined that the occupant's posture falls under any of a plurality of posture deviation types and the facial change degree detection unit has detected a degree of change, and determining that the determination of the posture deviation determination unit is not erroneous when the posture deviation determination unit has determined that the occupant's posture falls under any of the plurality of posture deviation types and the facial change degree detection unit has not detected a degree of change; and determining that the occupant is in an abnormal posture if the range determination unit determines that at least one of the facial direction and head position of the occupant detected by the feature detection unit falls within a third range, if the range determination unit determines that the amount of displacement falls within the third range, or if the erroneous detection determination unit determines
  • the program disclosed herein includes a step in which a face detection unit detects the face of a vehicle occupant in an image in which the face of the occupant is captured; a step in which a feature detection unit detects at least one of the occupant's facial direction and head position, and facial features, using the occupant's face in the image detected by the face detection unit; a step in which a reference posture estimation unit estimates at least one of the occupant's reference facial direction and head position as a reference posture, using at least one of the occupant's facial direction and head position detected by the feature detection unit, during a predetermined period of time; and a step in which a range determination unit determines whether at least one of the occupant's facial direction and head position detected by the feature detection unit falls within a first range, a second range, or a third range set in real space.
  • a step of a facial change degree detection unit detecting a degree of change in the occupant's face using the facial parts of the occupant detected by the feature detection unit; a step of an erroneous detection determination unit determining that the determination of the posture deviation determination unit is erroneous when the posture deviation determination unit determines that the occupant's posture falls under any of a plurality of posture deviation types and the facial change degree detection unit detects a degree of change, and determining that the determination of the posture deviation determination unit is not erroneous when the posture deviation determination unit determines that the occupant's posture falls under any of the plurality of posture deviation types and the facial change degree detection unit does not detect a degree of change; and determining that the occupant is not in an abnormal posture if the range determination unit determines that at least one of the facial orientation and head position of the occupant detected by the feature detection unit falls within the first range, if the range determination unit determines that the displacement amount falls within the third range, or if the erroneous detection determination unit determines that
  • the occupant condition determination device can improve the accuracy of detecting the occupant condition.
  • FIG. 1 is a diagram illustrating an example of the configuration of an occupant state determination device according to a first embodiment
  • 5A to 5C are diagrams illustrating a first range, a second range, and a third range of the facial direction of an occupant in the first embodiment.
  • 4A to 4C are diagrams showing a first range, a second range, and a third range for the head position of an occupant in the first embodiment.
  • 4 is a flowchart showing an example of the operation of the occupant state determination device according to the first embodiment;
  • FIG. 11 is a diagram for explaining a plurality of types of poor posture.
  • 2 is a diagram illustrating an example of a hardware configuration of the occupant state determination device according to the first embodiment;
  • 2 is a diagram illustrating an example of a hardware configuration of the occupant state determination device according to the first embodiment;
  • Embodiment 1 The occupant state determination device according to the first embodiment determines whether or not the posture of a vehicle occupant is abnormal, based on a captured image in which at least the face of the vehicle occupant is captured.
  • the vehicle occupant for which the occupant state determination device determines whether or not the occupant is in an abnormal posture is the driver of the vehicle.
  • FIG. 1 is a diagram showing an example of the configuration of an occupant state determination device 1 according to the first embodiment.
  • the occupant state determination device 1 according to the first embodiment is assumed to be mounted in a vehicle.
  • the occupant state determination device 1 is connected to an image capturing device 2 and an output device 3 , and the occupant state determination device 1 , the image capturing device 2 , and the output device 3 constitute an occupant state determination system 100 .
  • the imaging device 2 is mounted on the vehicle and is installed so as to be able to capture at least an area in which the driver's face should be present.
  • the imaging device 2 is installed, for example, near the center of the instrument panel in the vehicle width direction or on the center console.
  • the imaging device 2 may be shared with a so-called DMS (Driver Monitoring System) that is installed for the purpose of monitoring the interior of the vehicle.
  • the imaging device 2 is a visible light camera or an infrared camera.
  • the imaging device 2 outputs the captured image to the occupant state determination device 1.
  • the occupant state determination device 1 determines whether or not the driver's posture is abnormal, using the captured image captured by the imaging device 2.
  • the occupant state determination device 1 will be described in detail later. When the occupant state determination device 1 determines that the driver's posture is abnormal, it causes the output device 3 to output a warning that the driver's posture is abnormal.
  • the output device 3 is mounted on the vehicle and outputs a warning that the driver's posture is abnormal.
  • the output device 3 is, for example, an audio output device such as a speaker.
  • the output device 3 may be provided in, for example, an audio device provided in a vehicle.
  • warning information information for outputting a warning
  • the output device 3 outputs a warning sound or a voice message notifying that the driver's posture is abnormal.
  • the output device 3 may also be, for example, a display device such as a display. For example, when warning information is output from the occupant state determination device 1, the output device 3 displays a message notifying that the driver's posture is abnormal.
  • the output device 3 may be, for example, a turn signal, a hazard lamp, or a headlight that is provided on the exterior of the vehicle so as to be visible from other vehicles.
  • the occupant state determination device 1 may output warning information to the output device 3 to notify people outside the vehicle, such as occupants of other vehicles, that the driver of the vehicle is in an abnormal state.
  • the output device 3 may be mounted on, for example, another vehicle.
  • the occupant state determination device 1 can transmit warning information to the output device 3 mounted on the other vehicle, and can output a voice or display a message to inform the occupant of the other vehicle that the driver of the vehicle is in an abnormal state.
  • the occupant state determination device 1 includes an image acquisition unit 11 , a face detection unit 12 , a feature detection unit 13 , a reference posture estimation unit 14 , a determination unit 15 , and an output control unit 16 .
  • the feature detection unit 13 includes a face direction detection unit 131 , a head position detection unit 132 , a features position detection unit 133 , and a detection reliability calculation unit 134 .
  • the determination unit 15 includes a range determination unit 151 , a posture error determination unit 152 , a face change degree detection unit 153 , an erroneous detection determination unit 154 , and an abnormal posture determination unit 155 .
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 .
  • the image acquisition unit 11 outputs the acquired captured image to the face detection unit 12 .
  • the face detection unit 12 detects the face of the driver in the captured image acquired by the image acquisition unit 11 .
  • the face detection unit 12 detects the driver's facial feature points indicating the driver's facial parts by using a known image recognition technique such as edge detection for the captured image.
  • the facial parts are the corners and corners of the eyes, the nose, the mouth, the eyebrows, the chin, etc.
  • the driver's facial feature points are represented, for example, by coordinates on the captured image.
  • the face detection unit 12 may also detect the driver's facial area.
  • the driver's facial area is, for example, the smallest rectangle that surrounds the outline of the driver's face.
  • the driver's facial area is, for example, represented by the coordinates of the four corners of the smallest rectangle on the captured image.
  • the face detection unit 12 can determine which area of the captured image is the face of the driver. For example, an area in the captured image where the driver's face may be present (hereinafter referred to as the "driver detection area”) is set in advance, and the face detection unit 12 detects the characteristic points and face area of the driver's face in the driver detection area using a known image recognition technique.
  • the face detection unit 12 outputs information about the detected face of the driver (hereinafter referred to as "face information") to the feature detection unit 13.
  • face information is, for example, a captured image to which information capable of identifying the feature points and face area of the driver's face is added.
  • the feature detection unit 13 detects features for determining the posture of the occupant, in this case the driver.
  • the features for determining the posture of the driver are the driver's facial direction, the driver's head position, and the driver's facial features.
  • the driver's facial direction and head position detected by the feature detection unit 13 (hereinafter, the driver's facial direction detected by the feature detection unit 13 is referred to as the "detected facial direction", and the driver's head position detected by the feature detection unit 13 is referred to as the "detected head position”) are, for example, the facial direction and head position in real space.
  • the position of the driver's facial features detected by the feature detection unit 13 are, for example, the position of the facial features on the captured image.
  • the driver's facial features are the driver's eyes. In the following description, it is assumed that the driver's facial features are the driver's eyes.
  • the face direction detection unit 131 detects the face direction of the driver in real space based on the face information output from the face detection unit 12, more specifically, based on the face of the driver in the captured image detected by the face detection unit 12.
  • the face direction detection unit 131 may detect the face direction of the driver using, for example, a known face direction detection technique for detecting the face direction from a captured image.
  • the face direction of the driver is represented, for example, by at least one of a yaw angle, which is a rotation angle about an axis in the vertical direction of the vehicle, a pitch angle, which is a rotation angle about an axis in the horizontal direction of the vehicle, and a roll angle, which is a rotation angle about an axis in the longitudinal direction of the vehicle, which are predetermined references.
  • the face direction detection unit 131 outputs information on the detected face direction (hereinafter referred to as "face direction information") to the reference attitude estimation unit 14 and the determination unit 15.
  • face direction information includes at least one of information on the yaw angle, pitch angle, and roll angle.
  • the head position detection unit 132 detects the driver's head position in real space based on the face information output from the face detection unit 12, more specifically, based on the driver's face in the captured image detected by the face detection unit 12.
  • the driver's head position in the captured image is indicated, for example, by the center of the driver's eyebrows.
  • the head position detection unit 132 detects, for example, a point in real space corresponding to the center of the driver's eyebrows in the captured image as the driver's head position. Note that this is merely an example, and the driver's head position in the captured image may be indicated, for example, by the center of the driver's facial area or the center of a line connecting the inner corners of the driver's eyes.
  • the head position detection unit 132 detects, for example, a point in real space corresponding to the center of the driver's facial area in the captured image or the center of a line connecting the inner corners of the driver's eyes as the driver's head position in real space.
  • the head position detection unit 132 may detect the driver's head position, for example, using a known coordinate transformation technique that transforms points on a captured image into points in real space.
  • the driver's head position is represented, for example, by coordinates in real space.
  • the head position detection unit 132 outputs information related to the detected driver's head position (hereinafter referred to as "head position information") to the reference posture estimation unit 14 and the determination unit 15.
  • the head position information includes coordinate information of the driver's head position.
  • the part position detection unit 133 detects the position of the driver's eyes on the captured image based on the face information output from the face detection unit 12, specifically, based on the face of the driver in the captured image detected by the face detection unit 12.
  • the face detection unit 12 detects the positions of the driver's right eye and left eye on the captured image.
  • the position of the driver's eyes (hereinafter, the position of the driver's eyes detected by the feature detection unit 13 is referred to as the "detected eye position") is the center of a line connecting the inner corner and outer corner of the driver's eye on the captured image.
  • the part position detection unit 133 may detect the position of the driver's eyes using, for example, a known image recognition technique.
  • the position of the driver's eyes is represented, for example, by coordinates on the captured image.
  • the part position detection unit 133 outputs information related to the detected position of the driver's eyes (hereinafter, referred to as "part position information") to the determination unit 15.
  • the part position information includes coordinate information of the position of the driver's right eye and coordinate information of the position of the driver's left eye.
  • the detection reliability calculation unit 134 calculates a detection reliability indicating a reliability that at least one of the detected face direction, head position, and face parts is a predetermined face direction, head position, and face part. Then, the detection reliability calculation unit 134 outputs the calculated detection reliability to at least one of the reference posture estimation unit 14 and the determination unit 15.
  • the method shown in the following document can be used as a method for calculating the detection reliability.
  • the detection reliability of at least one of the face direction, head position, and face parts is calculated from the degree of match in matching between at least one of the face direction, head position, and face parts learned in advance from a large number of face images and at least one of the face direction, head position, and face parts extracted from an image of a driver.
  • the detection reliability calculation unit 134 can use any method that can detect a specific object corresponding to a facial part from an image and calculate the detection reliability.
  • the reference posture estimation unit 14 estimates at least one of the driver's reference face direction and head position as the reference posture using at least one of the detected face direction and head position during a predetermined period (hereinafter referred to as the "reference setting period").
  • the reference setting period is, for example, a period from when the ignition of the vehicle is turned on until a predetermined time (for example, 10 seconds) has elapsed. Note that this is only an example, and the reference setting period may be, for example, a predetermined time (for example, 3 seconds) when the vehicle speed is a predetermined speed (for example, 25 [km/h]) or more and the steering angle is within a predetermined range (for example, ⁇ 20 degrees).
  • the reference posture estimation unit 14 estimates, for example, the average value of at least one of the detected facial direction and the detected head position during the reference setting period as at least one of the detected facial direction and the detected head position in the driver's reference posture (hereinafter, the detected facial direction in the driver's reference posture is referred to as the "reference facial direction”, and the detected head position in the driver's reference posture is referred to as the "reference head position").
  • the reference posture estimation unit 14 outputs information on the estimated reference posture of the driver (hereinafter referred to as "reference posture information") to the determination unit 15.
  • the reference posture information includes at least one of a reference face direction and a reference head position.
  • the reference face direction is represented by at least one of a yaw angle, a pitch angle, and a roll angle.
  • the reference head position is represented, for example, by coordinates in real space.
  • the reference posture information also includes coordinate information of the driver's head position as information on the driver's head position.
  • the range determination unit 151 performs a range determination as to whether at least one of the detected facial orientation and the detected head position falls within a first range, a second range, or a third range set in real space, or performs a range determination as to whether the amount of displacement (hereinafter referred to as the amount of displacement) of at least one of the detected facial orientation and the detected head position from at least one of the reference facial orientation and the reference head position falls within a first range, a second range, or a third range set in real space.
  • the amount of displacement hereinafter referred to as the amount of displacement
  • the first range, second range, and third range are set in at least one of the following: the yaw angle of the driver's face direction, the pitch angle of the driver's face direction, the roll angle of the driver's face direction, the plane formed by the horizontal and height directions at the driver's head position, the plane formed by the horizontal and depth directions at the driver's head position, and the plane formed by the height and depth directions at the driver's head position.
  • FIG. 2 shows a first range, a second range, and a third range set for the yaw angle in the driver's facial direction, the pitch angle in the driver's facial direction, and the roll angle in the driver's facial direction.
  • the first range, the second range, and the third range are set from the reference facial direction indicated by 0° in FIG. 2 in the center, in the order of increasing absolute value of the angle of the driver's facial direction, in the order of the first range, the second range, and the third range.
  • the second range has a larger absolute value of the angle from the reference facial direction compared to the first range
  • the third range has a larger absolute value of the angle from the reference facial direction compared to the second range.
  • FIG. 3 shows the first, second and third ranges set on the plane formed by the horizontal and height directions at the driver's head position, the plane formed by the horizontal and depth directions at the driver's head position, or the plane formed by the height and depth directions at the driver's head position.
  • the first, second and third ranges are set from the reference head position, indicated by the intersection of the vertical and horizontal axes in FIG. 3, in the order of increasing absolute value of the displacement of the driver's head position, as the first range, the second range and the third range.
  • the second range has a larger absolute value of the displacement from the reference head position compared to the first range
  • the third range has a larger absolute value of the displacement from the reference head position compared to the second range.
  • the horizontal, height or depth direction at the driver's head position is assigned to the vertical and horizontal axes.
  • the first range is set to a range in which at least one of the driver's facial orientation and head position when posture collapse does not occur, as described below, can be located.
  • the first range is set to be 0 to 15° from the reference facial orientation or 0 to 50 mm from the reference head position, for example, in at least one of the following: the yaw angle of the driver's facial orientation, the pitch angle of the driver's facial orientation, the roll angle of the driver's facial orientation, the plane formed by the horizontal and height directions at the driver's head position, the plane formed by the horizontal and depth directions at the driver's head position, and the plane formed by the height and depth directions at the driver's head position.
  • the second range is set to a range in which at least one of the facial orientation and head position of both a driver with and without posture deviation can be located.
  • the second range is set to be 16 to 35° from the reference facial orientation or 51 to 250 mm from the reference head position, for example, in at least one of the following: the yaw angle of the driver's facial orientation, the pitch angle of the driver's facial orientation, the roll angle of the driver's facial orientation, the plane formed by the horizontal and height directions at the driver's head position, the plane formed by the horizontal and depth directions at the driver's head position, and the plane formed by the height and depth directions at the driver's head position.
  • the third range is set to a range in which at least one of the facial orientation and head position of the driver who has experienced posture imbalance may be located.
  • the third range is set to be 36 to 90° from the reference facial orientation or 251 to 350 mm from the reference head position, for example, in at least one of the following: the yaw angle of the driver's facial orientation, the pitch angle of the driver's facial orientation, the roll angle of the driver's facial orientation, the plane formed by the horizontal and height directions at the driver's head position, the plane formed by the horizontal and depth directions at the driver's head position, and the plane formed by the height and depth directions at the driver's head position.
  • range determination section 151 If at least one of the detected face direction and the detected head position falls within the first range or the third range, or if the amount of displacement falls within the first range or the third range, range determination section 151 outputs the range determination result to abnormal posture determination section 155. If at least one of the detected face direction and the detected head position falls within the second range, or if the amount of displacement falls within the second range, range determination section 151 outputs the range determination result to posture error determination section 152.
  • the range determination result includes information on whether at least one of the detected face direction and the detected head position falls within the first range, the second range, or the third range, or information on whether the amount of displacement falls within the first range, the second range, or the third range.
  • the posture error determination unit 152 determines whether or not the driver's posture falls into any of a plurality of predetermined posture error types (hereinafter referred to as "posture error types") by comparing at least one of the detected face direction and the head position with at least one of the reference face direction and the reference head position.
  • posture error types a plurality of predetermined posture error types
  • the determination by the posture error determination unit 152 of whether the driver's posture falls into any of a plurality of posture error types is also referred to as "posture error type determination”.
  • the plurality of posture deviation types include preset types of postures that are determined to be abnormal postures caused by the driver being in an abnormal state.
  • Figure 4 (partially modified from "Basic Design Document for Driver Abnormality Automatic Detection System" by the Advanced Safety Vehicle Promotion Study Group, Road Transport Bureau, Ministry of Land, Infrastructure, Transport and Tourism, March 2018) is a diagram for explaining multiple types of posture imbalance. As shown in Figure 4, there are multiple types of posture imbalance.
  • Figure 4 shows “head down” in which the driver leans forward and continues to have his face close to the steering wheel, “head down” in which the driver's face continues to be facing down, “backward lean” in which the driver's upper body is tilted backward and the face continues to be facing up, “backward lean” in which the driver's upper body is arched up and the face continues to be facing up, “head sideways only” in which the driver's face continues to be tilted to the left or right, “sideways” in which the driver's upper body is tilted to the left or right and the face continues to be tilted in the same direction, and “leaning to the side” in which the driver's upper body is tilted to the left or right.
  • the multiple pre-defined types of posture problems are “face down,” “head down,” “backward arch,” “arched back,” “head tilted to the side only,” “side tilt,” and “leaning to the side” shown in FIG. 4.
  • Information regarding the multiple types of posture problems is stored in a location that can be referenced by the posture problem determination unit 152.
  • the posture error determination unit 152 determines which of a plurality of posture error types the driver belongs to based on how much the detected face direction has changed compared to a reference face direction, or how much the detected head position has changed compared to the reference head position. Note that the conditions for determining which posture error type the driver belongs to based on how much the detected face direction has changed compared to the reference face direction, or how much the detected head position has changed compared to the reference head position, are set in advance and stored by the posture error determination unit 152.
  • the posture error determination unit 152 may perform the posture error type determination using a learning device such as an SVM (Support Vector Machine), for example.
  • SVM Serial Vector Machine
  • the posture deviation judgment unit 152 If the driver's posture corresponds to one of the posture deviation types, the posture deviation judgment unit 152 outputs the posture deviation type judgment result to the erroneous detection judgment unit 154. If the driver's posture does not correspond to one of the posture deviation types, the posture deviation judgment unit 152 outputs the posture deviation type judgment result to the abnormal posture judgment unit 155.
  • the posture deviation type judgment result includes information on whether the driver's posture corresponds to one of the posture deviation types.
  • the facial change degree detection unit 153 detects the degree of change in the driver's face using the parts of the driver's face detected by the feature detection unit 13 .
  • a change in the driver's face means that the driver moves at least a part of his/her face to change the state of the driver's face, and the degree of change in the face indicates the degree of change in the driver's face in a predetermined period.
  • An example of a change in the driver's face is the driver blinking
  • an example of the degree of change in the driver's face is the number of times the driver blinks in a predetermined period.
  • a change in the driver's face is the driver blinking
  • the degree of change in the driver's face is the number of times the driver blinks in a predetermined period.
  • the face change degree detection unit 153 detects the degree of opening of the driver's eyes using the position of the detected eyes, and judges whether the driver has blinked.
  • the degree of opening of the eyes can be detected, for example, by detecting the positions of the inner corner of the eye, the outer corner of the eye, and the highest point of the upper eyelid, and dividing the distance between the straight line connecting the inner corner and the outer corner of the eye and the highest point of the upper eyelid by the distance between the inner corner and the outer corner of the eye to obtain the flattening of the eyes, and dividing the flattening by a predetermined reference value.
  • the highest point of the upper eyelid is the point (vertex) of the upper eyelid that is farthest from the straight line connecting the outer corner and the inner corner of the eye.
  • the position of the detected eye is used to detect the degree to which the driver's eyes are open, and whether or not the driver is blinking is determined.
  • the position of the detected eye and the detection reliability of the facial features may be used to detect the degree to which the driver's eyes are open, and whether or not the driver is blinking may be determined.
  • the facial change degree detection unit 153 counts the number of times it is determined that "blinks have occurred" during a predetermined period (hereinafter referred to as the number of blinks), and if the number of blinks is equal to or greater than a threshold, it determines that a facial change degree has been detected, and if the number of blinks is less than the threshold, it determines that a facial change degree has not been detected.
  • the facial change degree detection unit 153 outputs the detection result indicating whether or not a facial change degree has been detected (hereinafter referred to as the "facial change degree detection result") to the erroneous detection determination unit 154.
  • the erroneous detection determination unit 154 determines that the driver's posture is not of the posture error type, i.e., the determination by the posture error determination unit 152 is incorrect; if the posture error determination unit 152 determines that the driver's posture falls into one of a plurality of posture error types and the facial change degree detection unit 153 does not detect the degree of change, the erroneous detection determination unit 154 determines that the driver's posture is of the posture error type, i.e., the determination by the posture error determination unit 152 is not incorrect.
  • the erroneous detection determination unit 154 outputs the determination result of whether or not the determination by the posture imbalance determination unit 152 is incorrect (hereinafter referred to as the "erroneous detection determination result") to the abnormal posture determination unit 155.
  • the abnormal posture determination unit 155 uses the range determination result output by the range determination unit 151, the posture error type determination result output by the posture error determination unit 152, and the erroneous detection determination result output by the erroneous detection determination unit 154 to determine whether the driver's posture is abnormal or not.
  • the abnormal posture determination unit 155 determines that the driver is not in an abnormal posture if the range determination unit 151 determines that at least one of the driver's facial orientation and head position detected by the feature detection unit 13 falls within a first range, if the range determination unit 151 determines that the amount of displacement falls within a first range, if the posture error determination unit 152 determines that the driver's posture does not fall into any of the posture error types, or if the erroneous detection determination unit 154 determines that the determination by the posture error determination unit 152 is incorrect.
  • the range determination unit 151 determines that at least one of the driver's face direction and head position detected by the feature detection unit 13 falls within the third range, if the range determination unit 151 determines that the amount of displacement falls within the third range, or if the erroneous detection determination unit 154 determines that the determination by the posture error determination unit 152 is not erroneous, the abnormal posture determination unit 155 determines the duration of the state in which at least one of the driver's face direction and head position falls within the third range, the state in which the amount of displacement falls within the third range, or the state in which the driver's posture is posture error.
  • the abnormal posture determination unit 155 associates the acquired range determination result or posture error type determination result with information on the date and time when the range determination result or posture error type determination result was acquired, and stores the result in a storage unit (not shown).
  • the abnormal posture determination unit 155 may determine the duration of the state in which at least one of the driver's face direction and head position falls within the third range, the state in which the amount of displacement falls within the third range, or the state in which the driver's posture is posture error, from the stored range determination result or posture error type determination result.
  • the abnormal posture determination unit 155 determines that the driver is in an abnormal posture when at least one of the driver's facial orientation and head position falls within a third range, when the amount of displacement falls within a third range, or when the duration of the driver's posture being out of alignment reaches a preset threshold value (hereinafter referred to as the "abnormal posture determination threshold value").
  • the abnormal posture determination unit 155 outputs the determination result as to whether or not the driver is in an abnormal posture (hereinafter referred to as the "abnormal posture determination result") to the output control unit 16.
  • the output control unit 16 outputs warning information to the output device 3 to warn the driver.
  • Fig. 5 is a flowchart for explaining the operation of the occupant state determination device 1 according to the embodiment 1.
  • the operation of the occupant state determination device 1 is started after the ignition of the vehicle is turned on, for example. It is preferable to perform the process of determining the occupant state every time an image is obtained from the imaging device 2, that is, for each frame.
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 (step ST1).
  • the image acquisition unit 11 outputs the acquired captured image to the face detection unit 12 .
  • the face detection unit 12 detects the face of the driver in the captured image acquired by the image acquisition unit 11 in step ST1 (step ST2).
  • the face detection unit 12 outputs the face information to the feature detection unit 13 .
  • the face direction detection unit 131 detects the face direction of the driver in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the face direction detection unit 131 outputs the face direction information to the reference posture estimation unit 14 and the determination unit 15 .
  • the head position detection unit 132 detects the head position of the driver in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the head position detection unit 132 outputs the head position information to the reference posture estimation unit 14 and the determination unit 15 .
  • the head position detection unit 132 detects the head position of the driver in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the head position detection unit 132 outputs the head position information to the reference posture estimation unit 14 and the determination unit 15 .
  • the part position detection unit 133 detects the part positions of the driver's face in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the part position detection unit 133 outputs the part position information to the determination unit 15 .
  • the detection reliability calculation unit 134 calculates the detection reliability of at least one of the facial direction, head position, and facial features based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST4).
  • the detection reliability calculation unit 134 outputs the detection reliability to at least one of the reference attitude estimation unit 14 and the determination unit 15 .
  • the reference posture estimation unit 14 If the reference posture estimation unit 14 has not completed estimating the driver's reference posture (if "NO" in step ST5), the reference posture of the driver is estimated using at least one of the facial direction and head position of the driver detected by the feature detection unit 13 during the reference setting period (as described above, hereinafter, the facial direction of the driver detected by the feature detection unit 13 is referred to as the "detected facial direction” and the head position of the driver detected by the feature detection unit 13 is referred to as the "detected head position") (step ST6).
  • the reference posture estimation unit 14 may estimate the reference posture using at least one of the detected face orientation and head position, and at least one of the detection reliability of the face orientation and the detection reliability of the head position.
  • the reference posture estimation unit 14 may determine whether or not estimation of the driver's reference posture has been completed by using, for example, a reference posture estimation completion flag. For example, when the reference posture estimation unit 14 estimates the driver's reference posture, it sets the reference posture estimation completion flag to "1". The initial value of the reference posture estimation completion flag is "0", and the reference posture estimation completion flag is initialized, for example, when the ignition of the occupant state determination device 1 is turned off. The reference posture estimation completion flag is stored in a location that can be referenced by the occupant state determination device 1.
  • the range determination unit 151 performs a range determination as to whether at least one of the detected facial direction and the detected head position falls within the first range, the second range, or the third range set in the real space, or a range determination as to whether the displacement amount falls within the first range, the second range, or the third range set in the real space (step ST7). If at least one of the detected face direction and the detected head position falls within the first range or the third range, or if the displacement amount falls within the first range or the third range, the range determination unit 151 outputs the range determination result to the abnormal posture determination unit 155. If at least one of the detected face direction and the detected head position falls within the second range, or if the amount of displacement falls within the second range, range determination section 151 outputs the range determination result to posture deviation determination section 152 .
  • the posture error determination unit 152 determines whether or not the driver's posture falls into any of a plurality of predetermined posture error types by comparing at least one of the detected facial direction and head position with at least one of the reference facial direction and reference head position (step ST8).
  • the posture deviation determination unit 152 outputs a posture deviation type determination result to the erroneous detection determination unit 154 .
  • the posture imbalance determination unit 152 outputs a posture imbalance type determination result to the abnormal posture determination unit 155 .
  • the facial change degree detection unit 153 detects the degree of change in the driver's face using the facial parts of the driver detected by the feature detection unit 13.
  • the face change degree detection section 153 outputs the face change degree detection result to the erroneous detection determination section 154 (step ST9).
  • the error detection unit 154 determines that the driver's posture is not of the posture error type, and if the posture error determination unit 152 determines that the driver's posture falls into one of a plurality of posture error types and the facial change degree detection unit 153 does not detect the degree of change, the error detection unit 154 determines that the driver's posture is of the posture error type.
  • the erroneous detection determination unit 154 outputs the erroneous detection determination result to the abnormal posture determination unit 155 (step ST10).
  • the abnormal posture determination unit 155 determines that the driver is not in an abnormal posture if the range determination unit 151 determines that at least one of the driver's facial orientation and head position detected by the feature detection unit 13 falls within the first range, or if the range determination unit 151 determines that the amount of displacement falls within the first range (in the case of "first range” in step ST7), if the posture error determination unit 152 determines that the driver's posture does not fall into any of the posture error types (in the case of "NO" in step ST8), or if the erroneous detection determination unit 154 determines that the driver's posture is not in a posture error, i.e., the determination of the posture error determination unit 152 is incorrect (in the case of "NO” in step ST10).
  • the range determination unit 151 determines that at least one of the driver's facial orientation and head position detected by the feature detection unit 13 falls within the third range, if the range determination unit 151 determines that the amount of displacement falls within the third range (in the case of "third range” in step ST7), or if the erroneous detection determination unit 154 determines that the driver's posture is poorly aligned, i.e., the determination by the posture deviation determination unit 152 is not erroneous (in the case of "YES" in step ST10), the abnormal posture determination unit 155 determines the duration of the state in which at least one of the driver's facial orientation and head position falls within the third range, or the amount of displacement falls within the third range, or the state in which the driver's posture is poorly aligned (step ST11).
  • the abnormal posture judgment unit 155 determines that the driver is in an abnormal posture and outputs a warning that the driver's posture is abnormal from the output device 3 (step ST12) when the duration of at least one of the driver's facial direction and head position falls within a third range, or when the amount of displacement falls within the third range, or when the driver's posture is out of alignment reaches the abnormal posture judgment threshold value (if "YES" in step ST11).
  • the abnormal posture determination unit 155 determines that the driver is not in an abnormal posture if at least one of the driver's facial direction and head position falls within the third range, if the amount of displacement falls within the third range, or if the duration of the driver's posture being out of alignment does not reach the abnormal posture determination threshold value (if "NO" in step ST11).
  • FIG. 6 and 7 are diagrams showing an example of the hardware configuration of the occupant state determination device 1 according to the first embodiment.
  • the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, determination unit 15, and output control unit 16 are realized by a processing circuit 1001. That is, the occupant state determination device 1 includes a processing circuit 1001 for controlling the determination of whether the posture of a vehicle occupant is an abnormal posture based on a captured image.
  • the processing circuit 1001 may be dedicated hardware as shown in FIG. 6, or a processor 1004 that executes a program stored in a memory 1005 as shown in FIG. 7.
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the processing circuit is the processor 1004, the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, judgment unit 15, and output control unit 16 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 1005.
  • the processor 1004 executes the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, judgment unit 15, and output control unit 16 by reading and executing the program stored in the memory 1005.
  • the occupant state determination device 1 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST1 to ST12 in FIG. 6 described above.
  • the program stored in the memory 1005 can also be said to cause the computer to execute the procedures or methods of the processes of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, determination unit 15, and output control unit 16.
  • the memory 1005 can be, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like.
  • the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, determination unit 15, and output control unit 16 may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the functions of the image acquisition unit 11 and output control unit 16 may be realized by a processing circuit 1001 as dedicated hardware, and the functions of the face detection unit 12, feature detection unit 13, reference posture estimation unit 14, and determination unit 15 may be realized by the processor 1004 reading and executing a program stored in the memory 1005.
  • the storage unit (not shown) is, for example, a memory 1005.
  • the occupant state determination device 1 also includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as the imaging device 2 or the output device 3.
  • a face detection unit 12 that detects the face of a vehicle occupant in an image in which the face of the occupant is captured
  • a feature detection unit 13 that detects at least one of the occupant's facial direction and head position, as well as facial features, using the occupant's face in the image detected by the face detection unit 12
  • a reference posture estimation unit 14 that estimates at least one of the occupant's reference facial direction and head position as a reference posture, using at least one of the occupant's facial direction and head position detected by the feature detection unit 13 during a predetermined period of time, and a range determination as to which of a first range, a second range, or a third range set in real space the occupant's facial direction and head position detected by the feature detection unit falls
  • a reference posture estimation unit 15 that performs a range determination as to whether at least one of the occupant's facial direction and head position detected by the feature detection unit falls within
  • a reference posture estimation unit 16 that performs a range determination as
  • a range determination unit 151 which performs a range determination as to whether an amount of displacement of at least one of the facial direction and head position of the occupant from at least one of the facial direction and head position of the occupant in a reference posture falls within a first range, a second range, or a third range set in a real space
  • a posture imbalance determination unit 152 which performs a posture imbalance type determination as to which of a plurality of posture imbalance types the posture of the occupant falls within by comparing at least one of the facial direction and head position of the occupant detected by the feature detection unit 13 with at least one of the facial direction and head position of the occupant in the reference posture when the range determination unit 151 determines that at least one of the facial direction and head position of the occupant falls within the second range or when the range determination unit 151 determines that the amount of displacement falls within the second range; a face change degree detection unit 153 which detects a degree of change in the face of the occupant using the facial features of the occupant detected by the feature detection unit 13; an er
  • the range determination unit 151 determines that the amount of displacement falls within a third range, or if the erroneous detection determination unit 154 determines that the determination by the posture error determination unit 152 is not erroneous, the occupant is determined to be in an abnormal posture; if the range determination unit 151 determines that at least one of the facial direction and head position of the occupant detected by the feature detection unit 13 falls within a first range, if the range determination unit 151 determines that the amount of displacement falls within the first range, if the posture error determination unit 152 determines that the posture of the occupant does not fall within any of the multiple posture error types, or if the erroneous detection determination unit 154 determines that the determination by the posture error determination unit 152 is erroneous, the abnormal posture determination unit 155 determines that the occupant is not in an abnormal posture.
  • the occupant state determination device 1 does not use at least one of the driver's facial orientation and head position detected by the feature detection unit 13 in all ranges to perform posture correction type determination in the posture correction determination unit 152 and erroneous detection determination in the erroneous detection determination unit 154, or use the displacement amount to perform posture correction type determination in the posture correction determination unit 152 and erroneous detection determination in the erroneous detection determination unit 154.
  • the range determination unit 151 performs range determination as to whether at least one of the driver's facial orientation and head position detected by the feature detection unit 13 falls into the first range, the second range, or the third range, or whether the displacement amount falls into the first range, the second range, or the third range, and changes the destination to which the range determination result is output depending on the range determination result.
  • the range determination unit 151 uses at least one of the driver's facial orientation and head position detected by the feature detection unit 13 to perform a posture correction type determination in the posture correction determination unit 152 and an erroneous detection determination in the erroneous detection determination unit 154, or uses the amount of displacement to perform a posture correction type determination in the posture correction determination unit 152 and an erroneous detection determination in the erroneous detection determination unit 154.
  • the range determination unit 151 determines that at least one of the driver's facial orientation and head position detected by the feature detection unit 13 falls within the third range, or when it determines that the amount of displacement falls within the third range, it outputs the result to the abnormal posture determination unit 155, rather than performing a posture deviation type determination in the posture deviation determination unit 152 and an erroneous detection determination in the erroneous detection determination unit 154.
  • the abnormal posture determination unit 155 determines that the driver is in an abnormal posture when the duration of the state in which at least one of the driver's facial orientation and head position falls within the third range, or the state in which the amount of displacement falls within the third range, reaches the abnormal posture determination threshold.
  • the occupant state determination device 1 suppresses erroneous detection of posture misalignment in which the driver's posture is determined to be misaligned even though it is not a posture misalignment in the second range, which is a range in which at least one of the facial direction and head position of both a driver who has not experienced posture misalignment and a driver who has experienced posture misalignment can be located.
  • the third range which is a range in which at least one of the facial direction and head position of a driver who has experienced posture misalignment can be located, even if there is a change in the driver's face, that is, if the posture misalignment occurs while blinking, or if the posture misalignment occurs while blinking and the blinking continues after the posture misalignment, the driver can be determined to have an abnormal posture. Therefore, it is possible to suppress non-detection of posture misalignment in which the driver's posture is determined to be not misaligned even though it is a posture misalignment, and to improve the accuracy of detection of the occupant state.
  • the occupant state determination device 1 assumes that once the reference posture estimation unit 14 estimates the driver's reference posture, the reference posture is not revised until, for example, the vehicle ignition is turned off.
  • the reference posture estimation unit 14 may constantly monitor the reference posture, and if the reference posture has changed within a range that can be said to be no deviation from the driver's posture, the reference posture may be updated.
  • the reference posture estimation unit 14 estimates the reference posture of the driver, but this is merely an example.
  • an administrator or the like may set a reference posture in advance using the face direction, head position, and positions of facial parts such as eyes of a typical driver, and store the reference posture in a location that can be referenced by the determination unit 15.
  • the occupant state determination device 1 may be configured not to include the reference posture estimation unit 14.
  • the occupant state determination device 1 can set a reference posture that is more suited to an individual if the reference posture estimation unit 14 estimates the reference posture, compared to a configuration not including the reference posture estimation unit 14. As a result, the occupant state determination device 1 can more accurately determine whether or not the driver is in an abnormal posture.
  • the range determination unit 151 determines whether at least one of the detected face direction and the detected head position falls within the first range, the second range, or the third range set in the real space, or whether the displacement amount falls within the first range, the second range, or the third range set in the real space, but the range determination unit 151 may determine the range by machine learning.
  • the vehicle occupant for whom the occupant state determination device 1 determines whether or not the vehicle is in an abnormal posture is the vehicle driver, but this is merely one example.
  • the occupant state determination device 1 can determine whether or not any vehicle occupant other than the driver is in an abnormal posture.
  • the occupant state judgment device 1 is an in-vehicle device mounted in a vehicle, and the image acquisition unit 11, the face detection unit 12, the feature detection unit 13, the reference posture estimation unit 14, the judgment unit 15, and the output control unit 16 are provided in the in-vehicle device.
  • some of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, judgment unit 15, and output control unit 16 may be mounted on the in-vehicle device of the vehicle, and the others may be provided in a server connected to the in-vehicle device via a network, so that a system is formed by the in-vehicle device and the server.
  • the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, determination unit 15, and output control unit 16 may all be provided in the server.
  • 1 Occupant state determination device 2 Imaging device, 3 Output device, 5 Steering mechanism, 6 Brake/drive mechanism, 11 Image acquisition unit, 12 Face detection unit, 13 Feature detection unit, 131 Face direction detection unit, 132 Head position detection unit, 133 Parts position detection unit, 134 Detection reliability calculation unit, 14 Reference posture estimation unit, 15 Determination unit, 151 Range determination unit, 152 Posture collapse determination unit, 153 Face change degree detection unit, 154 False detection determination unit, 155 Abnormal posture determination unit, 16 Output control unit, 100 Occupant state determination system, 1001 Processing circuit, 1002 Input interface device, 1003 Output interface device, 1004 Processor, 1005 Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Transportation (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本開示に係る乗員状態判定装置（１）は、顔検出部（１２）と、特徴検出部（１３）と、基準姿勢推定部（１４）と、乗員の顔向き及び頭位置の少なくとも一方、又は乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部（１５１）と、姿勢崩れタイプ判定を行う姿勢崩れ判定部（１５２）と、乗員の顔の変化度合いを検出する顔の変化度合い検出部（１５３）と、顔の変化度合い検出部（１５３）の検出結果を用いて乗員の姿勢は姿勢崩れタイプであるか否かを判定する誤検出判定部（１５４）と、範囲判定結果、姿勢崩れタイプ判定結果、及び誤検出判定結果のうち少なくとも一方を用いて乗員は異常姿勢であるか否かを判定する異常姿勢判定部（１５５）と、を備える。

Description

乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
　本開示は、乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラムに関わる。
　車両内部を撮像し、撮像画像内の乗員から抽出された、乗員の顔向き、頭位置等を用いて姿勢崩れを判定し、乗員に意識の喪失等の異常があると検出するとともに、姿勢崩れでない乗員がし得る行為を用いて、姿勢崩れでないにもかかわらず姿勢崩れと判定される姿勢崩れの誤検出を抑制する技術が開発されている。
　例えば、特許文献１のドライバモニタシステムは、ドライバの顔向きのロール角の絶対値が予め定められた時間（十数秒、又は数十秒）以上に亘って予め定められた角度（２０°、好ましくは、３０°、より好ましくは４０°）以上に維持されるときにドライバに異常があると判定する異常診断部と、顔画像に基づいてドライバの顔の変化度合いを検出する変化度合い検出部と、を備え、異常診断部は、ドライバに異常があると判定した場合であっても、変化度合い検出部によって検出されたドライバの変化度合いが予め定められた基準以上である場合（例えば、単位時間当たりにドライバが瞬きする回数が基準回数（例えば、１回）以上である場合）には、ドライバに異常はないと判定する。
特開２０１９－０８７０１８公報
　しかしながら、実際には姿勢崩れであるにもかかわらず、姿勢崩れでない乗員がし得る行為が生じる場合がある。姿勢崩れでない乗員がし得る行為が生じる場合とは、例えば、瞬きをしながら姿勢崩れとなる場合、瞬きをしながら姿勢崩れとなり姿勢崩れ後も瞬きが継続する場合等である。係る場合において、特許文献１のドライバモニタシステムは、姿勢崩れにもかかわらず、姿勢崩れでない乗員がし得る行為である瞬きを検出したために、乗員に姿勢崩れはなく、乗員の異常もないと判定される場合がある。そのため、姿勢崩れにもかかわらず勢崩れでないと判定される姿勢崩れの未検出が発生し、乗員状態の検出精度が低下するという課題がある。
　本開示は、このような問題を解決するためになされたものであり、乗員状態の検出精度が向上する乗員状態判定装置を提供することを目的とする。
　本開示に係る乗員状態判定装置は、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部と、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部と、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出する顔の変化度合い検出部と、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定する誤検出判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える。
　本開示に係る乗員状態判定システムは、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部と、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部と、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出する顔の変化度合い検出部と、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定する誤検出判定部と、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える乗員状態判定装置と、車両に少なくとも乗員の顔を撮像可能に設置された撮像装置と、車両に搭載され、乗員の姿勢が異常姿勢であることに対する警告を出力する出力装置と、を備えた異常姿勢判定システムであって、乗員状態判定装置は、撮像装置が撮像した撮像画像を用いて、乗員の姿勢が異常姿勢であるか否かを判定し、乗員の姿勢が異常姿勢であると判定した場合、乗員の姿勢が異常姿勢であることに対する警告を、出力装置から出力させる。
　本開示に係る乗員状態判定方法は、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、基準姿勢推定部が、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行うステップと、姿勢崩れ判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、顔の変化度合い検出部が、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出するステップと、誤検出判定部が、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定するステップと、異常姿勢判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定するステップと、を備える。
　本開示に係るプログラムは、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、基準姿勢推定部が、予め定められた期間において、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行うステップと、姿勢崩れ判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、顔の変化度合い検出部が、特徴検出部が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出するステップと、誤検出判定部が、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出した場合は、姿勢崩れ判定部の判定は誤りであると判定し、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部が変化度合いを検出しない場合は、姿勢崩れ判定部の判定は誤りでないと判定するステップと、異常姿勢判定部が、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部が、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部が姿勢崩れ判定部の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定するステップと、をコンピュータに実行させる。
　本開示の実施形態による乗員状態判定装置によれば、乗員状態の検出精度を向上することができる。
実施の形態１に係る乗員状態判定装置の構成例を示す図である。 実施の形態１に係る乗員の顔向きにおける第１の範囲、第２の範囲及び第３の範囲を示す図である。 実施の形態１に係る乗員の頭位置における第１の範囲、第２の範囲及び第３の範囲を示す図である。 実施の形態１に係る乗員状態判定装置の動作例を示すフローチャートである。 複数の姿勢崩れタイプを説明するための図である。 実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。 実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る乗員状態判定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを判定する。
　以下の実施の形態１では、一例として、乗員状態判定装置が異常姿勢であるか否かを判定する対象となる車両の乗員は、車両のドライバとする。
　図１は、実施の形態１に係る乗員状態判定装置１の構成例を示す図である。
　実施の形態１に係る乗員状態判定装置１は、車両に搭載されることを想定している。
　乗員状態判定装置１は、撮像装置２及び出力装置３と接続され、乗員状態判定装置１と撮像装置２と出力装置３とで乗員状態判定システム１００を構成する。
　撮像装置２は、車両に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。実施の形態１では、撮像装置２は、例えば、インストルメントパネルの車幅方向の中央部付近、又は、センターコンソールに設置されていることを想定している。例えば、撮像装置２は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ）と共用のものでもよい。撮像装置２は、可視光カメラ又は赤外線カメラである。撮像装置２は、撮像した撮像画像を、乗員状態判定装置１に出力する。
　乗員状態判定装置１は、撮像装置２が撮像した撮像画像を用いて、ドライバの姿勢が異常姿勢であるか否かを判定する。乗員状態判定装置１の詳細については、後述する。
　乗員状態判定装置１は、ドライバの姿勢が異常姿勢であると判定した場合、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる。
　出力装置３は、車両に搭載され、ドライバの姿勢が異常姿勢であることに対する警告を出力する。
　出力装置３は、例えば、スピーカ等の音声出力装置である。出力装置３は、例えば、車両に設けられているオーディオ装置に備えられていてもよい。出力装置３は、例えば、乗員状態判定装置１から警告を出力させるための情報（以下「警告情報」という。）が出力されると、ドライバの姿勢が異常姿勢であることを知らせる警告音又は音声メッセージを出力する。また、出力装置３は、例えば、ディスプレイ等の表示装置でもよい。出力装置３は、例えば、乗員状態判定装置１から警告情報が出力されると、ドライバの姿勢が異常姿勢であることを知らせるメッセージを表示する。
　また、出力装置３は、例えば、他車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ又は前照灯等であってもよい。例えば、乗員状態判定装置１は、出力装置３に、警告情報を出力して、他車両の乗員等、車両外に存在する人間へ、車両のドライバが異常状態である旨を報知させることもできる。
　出力装置３は、例えば、他車両に搭載されていてもよい。乗員状態判定装置１は、他車両に搭載されている出力装置３に警告情報を送信して、他車両の乗員に対し、車両のドライバが異常状態である旨を知らせる音声出力又は表示等を行うこともできる。
　図１に示されているように、乗員状態判定装置１は、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、判定部１５及び出力制御部１６を備える。
　特徴検出部１３は、顔向き検出部１３１、頭位置検出部１３２、パーツ位置検出部１３３、及び検出信頼度算出部１３４を備える。
　判定部１５は、範囲判定部１５１、姿勢崩れ判定部１５２、顔の変化度合い検出部１５３、誤検出判定部１５４及び異常姿勢判定部１５５を備える。
　画像取得部１１は、撮像装置２から撮像画像を取得する。
　画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
　顔検出部１２は、画像取得部１１が取得した撮像画像においてドライバの顔を検出する。
　詳細には、顔検出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検出する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉又は顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、顔検出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
　なお、撮像装置２の設置位置及び画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、顔検出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、顔検出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点及び顔領域を検出する。
　顔検出部１２は、検出したドライバの顔に関する情報（以下「顔情報」という。）を、特徴検出部１３に出力する。顔情報は、例えば、ドライバの顔の特徴点及び顔領域を特定可能な情報が付与された撮像画像である。
　特徴検出部１３は、乗員、ここではドライバの姿勢を判定するための特徴を検出する。ドライバの姿勢を判定するための特徴とは、ドライバの顔向き、ドライバの頭位置、及びドライバの顔のパーツである。実施の形態１において、特徴検出部１３が検出するドライバの顔向き及び頭位置（以下、特徴検出部１３が検出したドライバの顔向きを「検出顔向き」、特徴検出部１３が検出したドライバ頭位置を「検出頭位置」という。）は、例えば、実空間上の顔向き及び頭位置である。実施の形態１において、特徴検出部１３が検出するドライバの顔のパーツ位置は、例えば、撮像画像上の顔のパーツ位置である。実施の形態１では、一例として、ドライバの顔のパーツは、ドライバの目とする。以下、ドライバの顔のパーツはドライバの目であるものとして説明する。
　顔向き検出部１３１は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する。顔向き検出部１３１は、例えば、撮像画像から顔向きを検出する公知の顔向き検出技術を用いて、ドライバの顔向きを検出すればよい。ドライバの顔向きは、例えば、予め決められた基準となる、車両の上下方向の軸に対する回転角であるヨー角、車両の左右方向の軸に対する回転角であるピッチ角及び車両の前後方向の軸に対する回転角であるロール角の少なくとも一方であらわされる。顔向き検出部１３１は、検出顔向きに関する情報（以下「顔向き情報」という。）を、基準姿勢推定部１４及び判定部１５に出力する。顔向き情報は、ヨー角、ピッチ角及びロール角の情報の少なくとも一方を含む。
　頭位置検出部１３２は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する。実施の形態１において、撮像画像におけるドライバの頭位置は、例えば、ドライバの眉間の中心で示される。頭位置検出部１３２は、例えば、撮像画像上のドライバの眉間の中心に対応する実空間上の点を、ドライバの頭位置として検出する。なお、これは一例に過ぎず、撮像画像におけるドライバの頭の位置は、例えば、ドライバの顔領域の中心又はドライバの両目頭を結ぶ直線の中心で示されてもよい。この場合、頭位置検出部１３２は、例えば、撮像画像上のドライバの顔領域の中心、又は、ドライバの両目頭を結ぶ直線の中心に対応する実空間上の点を、実空間上のドライバの頭位置として検出する。
　頭位置検出部１３２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検出すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。頭位置検出部１３２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、基準姿勢推定部１４及び判定部１５に出力する。頭位置情報は、ドライバの頭位置の座標情報を含む。
　パーツ位置検出部１３３は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、撮像画像上のドライバの目の位置を検出する。なお、顔検出部１２は、撮像画像上のドライバの右目の位置、及び左目の位置を、それぞれ検出する。実施の形態１において、ドライバの目の位置（以下、特徴検出部１３が検出したドライバの目の位置を「検出目の位置」という。）は、撮像画像上でドライバの目頭と目尻を結ぶ直線の中心とする。パーツ位置検出部１３３は、例えば、公知の画像認識技術を用いて、ドライバの目の位置を検出すればよい。ドライバの目の位置は、例えば、撮像画像上の座標であらわされる。パーツ位置検出部１３３は、検出したドライバの目の位置に関する情報（以下「パーツ位置情報」という。）を、判定部１５に出力する。パーツ位置情報は、ドライバの右目の位置の座標情報及びドライバの左目の位置の座標情報を含む。
　検出信頼度算出部１３４は、検出された顔向き、頭位置、及び顔のパーツの少なくとも一方が予め定められた顔向き、頭位置、顔のパーツの少なくとも一方である信頼度を示す検出信頼度を算出する。そして、検出信頼度算出部１３４は、算出された検出信頼度を、基準姿勢推定部１４及び判定部１５の少なくとも一方に出力する。検出信頼度の算出方法については、例えば、下記の文献に示された方法等を用いることができる。下記の文献では、事前に大量の顔画像から学習しておいた顔向き、頭位置、及び顔のパーツの少なくとも一方と、ドライバを撮影した画像から抽出された顔向き、頭位置、及び顔のパーツの少なくとも一方のマッチングにおけるマッチ度合いから、顔向き、頭位置、及び顔のパーツの少なくとも一方の検出信頼度が算出される。
　“ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ”，２００１，ＰａｕｌＶｉｏｌａ，ｅｔａｌ．
　なお、上記文献に記載の方法ではなくても、顔のパーツに相当する特定の対象物を画像から検出し、その検出信頼度を算出することができる方法であれば、検出信頼度算出部１３４でその方法を利用することができる。
　基準姿勢推定部１４は、予め定められた期間（以下「基準設定期間」という。）にて検出顔向き及び頭位置の少なくとも一方を用いて、ドライバの基準となる顔向き及び頭位置のうち少なくとも一方を基準姿勢として推定する。基準設定期間は、例えば、車両のイグニッションがＯＮにされてから予め設定された時間（例えば、１０秒）が経過するまでの期間である。なお、これは一例に過ぎず、基準設定期間は、例えば、車速が予め決められた速度（例えば、２５［ｋｍ／ｈ］）以上であって、かつ、操舵角が予め決められた範囲内（例えば、±２０度）である場合の予め定められた時間（例えば、３秒）としてもよい。また、検出顔向き及び頭位置のうち少なくとも一方を用いて、ドライバの基準となる顔向き及び頭位置のうち少なくとも一方を基準姿勢として推定したが、検出顔向き及び頭位置のうち少なくとも一方と顔向きの検出信頼度及び頭位置の検出信頼度のうち少なくとも一方を用いて、基準姿勢を推定してもよい。
　基準姿勢推定部１４は、例えば、基準設定期間に検出顔向き及び検出頭位置のうち少なくとも一方の平均値を、ドライバの基準姿勢における検出顔向き及び検出頭位置のうち少なくとも一方（以下、ドライバの基準姿勢における検出顔向きを「基準顔向き」、ドライバの基準姿勢における検出頭位置を「基準頭位置」という。）と推定する。
　基準姿勢推定部１４は、推定したドライバの基準姿勢に関する情報（以下「基準姿勢情報」という。）を、判定部１５に出力する。基準姿勢情報は、基準顔向き及び基準頭位置のうち少なくとも一方の情報を含む。なお、基準顔向きは、ヨー角、ピッチ角及びロール角のうち少なくともいずれか一方であらわされる。基準頭位置は、例えば、実空間上の座標であらわされる。また、基準姿勢情報は、ドライバの頭位置の情報として、ドライバの頭位置の座標情報を含む。
　範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は検出顔向き及び検出頭位置のうち少なくとも一方が基準顔向き及び基準頭位置のうち少なくとも一方から変位した変位量（以下、変位量という。）が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う。
　第１の範囲、第２の範囲及び第３の範囲は、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において設定される。
　図２に、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、又はドライバの顔向きにおけるロール角に設定された第１の範囲、第２の範囲及び第３の範囲を示す。第１の範囲、第２の範囲及び第３の範囲は、図２の０°で示される基準顔向きを中心とし、ドライバの顔向きの角度の絶対値が大きくなる順に基準顔向きから第１の範囲、第２の範囲、第３の範囲の順に設定されている。第２の範囲は、第１の範囲と比較して基準顔向きからの角度の絶対値が大きく、第３の範囲は、第２の範囲と比較して基準顔向きからの角度の絶対値が大きい。
　図３に、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、又はドライバの頭位置における高さ方向と奥行方向で形成される平面に設定された第１の範囲、第２の範囲及び第３の範囲を示す。第１の範囲、第２の範囲及び第３の範囲は、図３の縦軸と横軸の交点で示される基準頭位置を中心とし、ドライバの頭位置の変位量の絶対値が大きくなる順に基準頭位置から第１の範囲、第２の範囲、第３の範囲の順に設定されている。第２の範囲は、第１の範囲と比較して基準頭位置からの変位量の絶対値が大きく、第３の範囲は、第２の範囲と比較して基準頭位置からの変位量の絶対値が大きい。ここで、縦軸及び横軸には、ドライバの頭位置における水平方向、高さ方向又は奥行方向が割り振られる。
　第１の範囲は、後述する姿勢崩れが発生していないドライバの顔向き及び頭位置のうち少なくとも一方が位置し得る範囲に設定される。第１の範囲は、例えば、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において、基準顔向きから０～１５°又は基準頭位置から０～５０ｍｍとなるように設定される。
　第２の範囲は、姿勢崩れが発生していないドライバと姿勢崩れが発生したドライバ両方の顔向き及び頭位置の少なくとも一方が位置し得る範囲に設定される。第２の範囲は、例えば、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において、基準顔向きから１６～３５°又は基準頭位置から５１～２５０ｍｍとなるように設定される。
　第３の範囲は、姿勢崩れが発生したドライバの顔向き及び頭位置の少なくとも一方が位置し得る範囲に設定される。第３の範囲は、例えば、ドライバの顔向きにおけるヨー角、ドライバの顔向きにおけるピッチ角、ドライバの顔向きにおけるロール角、ドライバの頭位置における水平方向と高さ方向で形成される平面、ドライバの頭位置における水平方向と奥行方向で形成される平面、ドライバの頭位置における高さ方向と奥行方向で形成される平面のうち少なくともいずれか一方において、基準顔向きから３６～９０°又は基準頭位置から２５１～３５０ｍｍとなるように設定される。
　範囲判定部１５１は、検出顔向き及び検出頭位置の少なくとも一方が第１の範囲又は第３の範囲に該当する場合、又は変位量が第１の範囲又は第３の範囲に該当する場合、範囲判定結果を異常姿勢判定部１５５に出力する。範囲判定部１５１は、検出顔向き及び検出頭位置の少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当する場合、範囲判定結果を姿勢崩れ判定部１５２に出力する。範囲判定結果は、検出顔向き及び検出頭位置の少なくとも一方が第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの情報、又は変位量が第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの情報を含む。
　姿勢崩れ判定部１５２は、範囲判定部１５１が、検出顔向き及び検出頭位置の少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当すると判定した場合、検出顔向き及び頭位置の少なくとも一方と基準顔向及び基準頭位置の少なくとも一方との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプ（以下「姿勢崩れタイプ」という。）のうちのいずれかのタイプに該当するか否かを判定する。実施の形態１において、姿勢崩れ判定部１５２による、ドライバの姿勢が複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかの判定を、「姿勢崩れタイプ判定」ともいう。
　複数の姿勢崩れタイプには、予め、ドライバが異常状態であることに起因する異常姿勢であるとする姿勢のタイプが設定されている。
　ここで、図４（国土交通省自動車局先進安全自動車推進検討会「ドライバー異常自動検知システム基本設計書」平成３０年３月の一部改変）は、複数の姿勢崩れタイプを説明するための図である。図４に示されているように、姿勢崩れには複数の態様がある。図４では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左又は右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左又は右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」又はドライバの上半身が左又は右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図４に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」及び「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、姿勢崩れ判定部１５２が参照可能な場所に記憶されている。
　詳細には、姿勢崩れ判定部１５２は、検出顔向きが基準顔向きと比べてどれぐらい変化しているか、又は、検出頭位置が基準頭位置と比べてどれぐらい変化しているかによって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかを判定する。なお、検出顔向きが基準顔向きと比べてどれぐらい変化している場合、又は、検出頭位置が基準頭位置と比べてどれぐらい変化している場合に、どの姿勢崩れタイプに該当すると判定するかの条件は、予め設定され、姿勢崩れ判定部１５２が保持している。姿勢崩れ判定部１５２は、例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）等の学習器を使用して姿勢崩れタイプ判定を行ってもよい。
　姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当する場合、姿勢崩れタイプ判定結果を、誤検出判定部１５４に出力する。姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しない場合、姿勢崩れタイプ判定結果を、異常姿勢判定部１５５に出力する。姿勢崩れタイプ判定結果は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当するか否かの情報を含む。
　顔の変化度合い検出部１５３は、特徴検出部１３が検出したドライバの顔のパーツを用いてドライバの顔の変化度合いを検出する。
　ドライバの顔の変化は、ドライバが顔の少なくとも一部を動かしてドライバの顔の状態が変わることを意味し、顔の変化度合いとは、予め定められた期間において、どの程度ドライバの顔の変化があったかを示す。ドライバの顔の変化は、例えば、ドライバが瞬きをすること等、ドライバの顔の変化度合いは、例えば、予め定められた期間におけるドライバの瞬きの回数等が挙げられる。実施の形態１では、一例として、ドライバの顔の変化を、ドライバが瞬きをすること、ドライバの顔の変化度合いは、予め定められた期間におけるドライバの瞬きの回数とする。
　具体的には、顔の変化度合い検出部１５３は、検出目の位置を用いてドライバの開眼度を検出し、ドライバによる瞬きの有無を判定する。開眼度は、例えば、目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、目頭と目尻とを結ぶ直線と上瞼の最高点との間の距離を、目頭と目尻の間の距離で除算することで目の扁平率を求め、扁平率を予め定められた基準値で除算して得られる値として検出することができる。なお、上瞼の最高点とは、目尻と目頭を結ぶ直線から最も離れている上瞼の点（頂点）である。開眼度が予め定められたしきい値ＴＨ１を下回った場合を閉眼と判定し、開眼度が予め定められたしきい値ＴＨ１よりも大きい予め定められたしきい値ＴＨ２を上回った場合を開眼と判定し、閉眼を検知した後に予め定められた時間内に開眼が検知された場合に、「瞬き有り」と判定することができる。閉眼検知後、予め定められた時間内に開眼が検知されない場合は「瞬き無し」と判定する。
　なお、検出目の位置を用いてドライバの開眼度を検出し、ドライバによる瞬きの有無を判定したが、検出目の位置と顔のパーツの検出信頼度を用いてドライバの開眼度を検出し、ドライバによる瞬きの有無を判定してもよい。
　顔の変化度合い検出部１５３は、予め定められた期間において「瞬き有り」と判定した回数（以下、瞬きの回数という。）をカウントし、瞬きの回数が閾値以上の場合、顔の変化度合いを検出したとし、瞬きの回数が閾値未満の場合、顔の変化度合いを検出しないとする。
　顔の変化度合い検出部１５３は、顔の変化度合いを検出したか否かの検出結果（以下、「顔の変化度合い検出結果」という。）を、誤検出判定部１５４に出力する。
　誤検出判定部１５４は、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出した場合は、ドライバの姿勢は姿勢崩れタイプでない、すなわち姿勢崩れ判定部１５２の判定は誤りであると判定し、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出しない場合は、ドライバの姿勢は姿勢崩れタイプである、すなわち姿勢崩れ判定部１５２の判定は誤りでないと判定する。
　誤検出判定部１５４は、姿勢崩れ判定部１５２の判定が誤りであるか否かの判定結果（以下、「誤検出判定結果」という。）を、異常姿勢判定部１５５に出力する。
　異常姿勢判定部１５５は、範囲判定部１５１が出力した範囲判定結果、姿勢崩れ判定部１５２が出力した姿勢崩れタイプ判定結果、及び誤検出判定部１５４が出力した誤検出判定結果を用いて、ドライバの姿勢は異常姿勢であるか否かを判定する。
　異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部１５２が、ドライバの姿勢を姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部１５４が、姿勢崩れ判定部１５２の判定は誤りであると判定した場合、ドライバは異常姿勢ではないと判定する。
　異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部１５４が、姿勢崩れ判定部１５２の判定は誤りでないと判定した場合、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間を判定する。例えば、異常姿勢判定部１５５は、取得した範囲判定結果又は姿勢崩れタイプ判定結果を、当該範囲判定結果又は当該姿勢崩れタイプ判定結果を取得した日時の情報と対応付けて、図示しない記憶部に記憶させておく。異常姿勢判定部１５５は、記憶させている範囲判定結果又は姿勢崩れタイプ判定結果から、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間を判定すればよい。異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間が予め設定された閾値（以下「異常姿勢判定用閾値」という。）に達した場合、ドライバは異常姿勢であると判定する。
　異常姿勢判定部１５５は、ドライバは異常姿勢であるか否かの判定結果（以下「異常姿勢判定結果」という。）を、出力制御部１６に出力する。
　出力制御部１６は、異常姿勢判定部１５５がドライバは異常姿勢であると判定した場合、ドライバに警告を行うための警告情報を、出力装置３に出力する。
　実施の形態１に係る乗員状態判定装置１の動作について説明する。図５は、実施の形態１に係る乗員状態判定装置１の動作について説明するためのフローチャートである。
　なお、乗員状態判定装置１の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。また、撮像装置２から撮像画像を取得する度、つまり毎フレーム乗員状態の判定処理を行うと好ましい。
　画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
　画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
　顔検出部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像においてドライバの顔を検出する（ステップＳＴ２）。
　顔検出部１２は、顔情報を、特徴検出部１３に出力する。
　顔向き検出部１３１は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する（ステップＳＴ３）。
　顔向き検出部１３１は、顔向き情報を、基準姿勢推定部１４及び判定部１５に出力する。
　頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
　頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び判定部１５に出力する。
　頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
　頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び判定部１５に出力する。
　パーツ位置検出部１３３は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔のパーツ位置を検出する（ステップＳＴ３）。
　パーツ位置検出部１３３は、パーツ位置情報を、判定部１５に出力する。
　検出信頼度算出部１３４は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、顔向き、頭位置、及び顔のパーツの少なくとも一方の検出信頼度を算出する（ステップＳＴ４）。
　検出信頼度算出部１３４は、検出信頼度を、基準姿勢推定部１４及び判定部１５の少なくとも一方に出力する。
　基準姿勢推定部１４がドライバの基準姿勢の推定を完了していない場合（ステップＳＴ５の“ＮＯ”の場合）、基準設定期間にて特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方（先述のとおり、以下、特徴検出部１３が検出したドライバの顔向きを「検出顔向き」、特徴検出部１３が検出したドライバ頭位置を「検出頭位置」という。）を用いて、ドライバの基準姿勢を推定する（ステップＳＴ６）。
　なお、先述のとおり、基準姿勢推定部１４は、検出顔向き及び頭位置のうち少なくとも一方と顔向きの検出信頼度及び頭位置の検出信頼度のうち少なくとも一方を用いて、基準姿勢を推定してもよい。
　なお、基準姿勢推定部１４は、ドライバの基準姿勢の推定を完了しているか否かを、例えば、基準姿勢推定済フラグを用いて判定すればよい。例えば、基準姿勢推定部１４は、ドライバの基準姿勢を推定すると、基準姿勢推定済フラグを「１」にする。基準姿勢推定済フラグの初期値は「０」であり、基準姿勢推定済フラグは、例えば、乗員状態判定装置１のイグニッションがＯＦＦされる際に初期化される。基準姿勢推定済フラグは、乗員状態判定装置１が参照可能な場所に記憶される。
　基準姿勢推定部１４がドライバの基準姿勢の推定を完了している場合（ステップＳＴ５の“ＹＥＳ”の場合）、範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は変位量が実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う（ステップＳＴ７）。
　範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が第１の範囲又は第３の範囲に該当する場合、又は変位量が第１の範囲又は第３の範囲に該当する場合、範囲判定結果を異常姿勢判定部１５５に出力する。
　範囲判定部１５１は、検出顔向き及び検出頭位置のうち少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当する場合、範囲判定結果を姿勢崩れ判定部１５２に出力する。
　範囲判定部１５１が、検出顔向き及び検出頭位置のうち少なくとも一方が第２の範囲に該当する場合、又は変位量が第２の範囲に該当すると判定した場合（ステップＳＴ７の“第２の範囲”の場合）、姿勢崩れ判定部１５２は、検出顔向き及び頭位置の少なくとも一方と基準顔向及び基準頭位置の少なくとも一方との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプのうちのいずれかのタイプに該当するか否かを判定する（ステップＳＴ８）。
　姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当する場合、姿勢崩れタイプ判定結果を、誤検出判定部１５４に出力する。
　姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しない場合、姿勢崩れタイプ判定結果を、異常姿勢判定部１５５に出力する。
　姿勢崩れ判定部１５２は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当する場合（ステップＳＴ８の“ＹＥＳ”の場合）、顔の変化度合い検出部１５３は、特徴検出部１３が検出したドライバの顔のパーツを用いてドライバの顔の変化度合いを検出する。
　顔の変化度合い検出部１５３は、顔の変化度合い検出結果を、誤検出判定部１５４に出力する（ステップＳＴ９）。
　次に、誤検出判定部１５４は、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出した場合は、ドライバの姿勢は姿勢崩れタイプでないと判定し、姿勢崩れ判定部１５２がドライバの姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定し、顔の変化度合い検出部１５３が変化度合いを検出しない場合は、ドライバの姿勢は姿勢崩れタイプであると判定する。
　誤検出判定部１５４は、誤検出判定結果を、異常姿勢判定部１５５に出力する（ステップＳＴ１０）。
　異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、又は範囲判定部１５１が、変位量を第１の範囲に該当すると判定した場合（ステップＳＴ７の“第１の範囲”の場合）、姿勢崩れ判定部１５２が、ドライバの姿勢を姿勢崩れタイプのいずれかに該当しないと判定した場合（ステップＳＴ８の“ＮＯ”の場合）、又は誤検出判定部１５４がドライバの姿勢を姿勢崩れでない、すなわち姿勢崩れ判定部１５２の判定は誤りであると判定した場合（ステップＳＴ１０の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する。
　異常姿勢判定部１５５は、範囲判定部１５１が、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第３の範囲に該当すると判定した場合（ステップＳＴ７の“第３の範囲”の場合）、又は誤検出判定部１５４がドライバの姿勢を姿勢崩れである、すなわち姿勢崩れ判定部１５２の判定は誤りでないと判定した場合（ステップＳＴ１０の“ＹＥＳ”の場合）、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、又は変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間を判定する（ステップＳＴ１１）。
　異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、又は変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達した場合（ステップＳＴ１１の“ＹＥＳ”の場合）、ドライバは異常姿勢であると判定し、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる（ステップＳＴ１２）。
　異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、変位量が第３の範囲に該当する状態、又はドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達しない場合（ステップＳＴ１１の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する。
　図６及び図７は、実施の形態１に係る乗員状態判定装置１のハードウェア構成の一例を示す図である。実施の形態１において、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、処理回路１００１により実現される。すなわち、乗員状態判定装置１は、撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるかを判定する制御を行うための処理回路１００１を備える。処理回路１００１は、図６に示すように専用のハードウェアであっても、図７に示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１００４の場合、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能を実行する。すなわち、乗員状態判定装置１は、プロセッサ１００４により実行されるときに、上述の図６のステップＳＴ１～ステップＳＴ１２が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の処理の手順又は方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等が該当する。
　なお、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画像取得部１１と出力制御部１６については専用のハードウェアとしての処理回路１００１でその機能を実現し、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　図示しない記憶部は、例えば、メモリ１００５で構成される。また、乗員状態判定装置１は、撮像装置２又は出力装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１００２及び出力インタフェース装置１００３を備える。
　以上のように、実施の形態１によれば、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部１２と、顔検出部１２が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部１３と、予め定められた期間において、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方を用いて、乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部１４と、特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は特徴検出部が検出した乗員の顔向き及び頭位置の少なくとも一方が基準姿勢における乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部１５１と、範囲判定部１５１が、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方と基準姿勢における乗員の顔向き及び頭位置の少なくとも一方との比較によって乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部１５２と、特徴検出部１３が検出した乗員の顔のパーツを用いて乗員の顔の変化度合いを検出する顔の変化度合い検出部１５３と、姿勢崩れ判定部１５２が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部１５３が変化度合いを検出した場合は、姿勢崩れ判定部１５２の判定は誤りであると判定し、姿勢崩れ判定部１５２が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、顔の変化度合い検出部１５３が変化度合いを検出しない場合は、姿勢崩れ判定部１５２の判定は誤りでないと判定する誤検出判定部１５４と、範囲判定部１５１が、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方を第３の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第３の範囲に該当すると判定した場合、又は誤検出判定部１５４が姿勢崩れ判定部１５２の判定は誤りでないと判定した場合、乗員は異常姿勢であると判定し、範囲判定部１５１が、特徴検出部１３が検出した乗員の顔向き及び頭位置の少なくとも一方を第１の範囲に該当すると判定した場合、範囲判定部１５１が、変位量を第１の範囲に該当すると判定した場合、姿勢崩れ判定部１５２が乗員の姿勢は複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は誤検出判定部１５４が姿勢崩れ判定部１５２の判定は誤りであると判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部１５５と、を備えるように構成した。
　乗員状態判定装置１は、すべての範囲の特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定、又は変位量を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定を行うのではなく、範囲判定部１５１で、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は変位量を第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定を行い、範囲判定結果に応じて、範囲判定結果を出力する先を変更している。
　特に、範囲判定部１５１は、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方が第２の範囲に該当すると判定した場合、又は変位量が第２の範囲に該当すると判定した場合、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定、又は変位量を用いて、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定を行う。
　一方で、範囲判定部１５１は、特徴検出部１３が検出したドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当すると判定した場合、又は変位量が第３の範囲に該当すると判定した場合、姿勢崩れ判定部１５２における姿勢崩れタイプ判定及び誤検出判定部１５４における誤検出判定を行うのではなく、異常姿勢判定部１５５に出力する。異常姿勢判定部１５５は、ドライバの顔向き及び頭位置の少なくとも一方が第３の範囲に該当する状態、又は変位量が第３の範囲に該当する状態の継続時間が異常姿勢判定用閾値に達した場合、ドライバは異常姿勢であると判定する。
　そのため、乗員状態判定装置１は、姿勢崩れが発生していないドライバと姿勢崩れが発生したドライバ両方の顔向き及び頭位置の少なくとも一方が位置し得る範囲である第２の範囲において、ドライバの姿勢が姿勢崩れでないにもかかわらず姿勢崩れと判定される姿勢崩れの誤検出を抑制する。さらに、姿勢崩れが発生したドライバの顔向き及び頭位置の少なくとも一方が位置し得る範囲である第３の範囲において、ドライバの顔の変化があった場合でも、つまり、瞬きをしながら姿勢崩れとなる場合、瞬きをしながら姿勢崩れとなり姿勢崩れ後も瞬きが継続する場合であっても、ドライバは異常姿勢であると判定することができる。そのため、ドライバの姿勢が姿勢崩れにもかかわらず勢崩れでないと判定される姿勢崩れの未検出を抑制し、乗員状態の検出精度の向上を図ることができる。
　また、以上の実施の形態１において、乗員状態判定装置１は、基準姿勢推定部１４がドライバの基準姿勢を推定すると、例えば車両のイグニッションがＯＦＦにされるまで、当該基準姿勢の見直しは行われないことを想定していた。しかし、これは一例に過ぎず、例えば、基準姿勢推定部１４は、基準姿勢を常にモニタリングしていて、基準姿勢が、ドライバの姿勢崩れがないといえる範囲内で変わっていれば、基準姿勢の更新を行ってもよい。
　また、以上の実施の形態１では、基準姿勢推定部１４がドライバの基準姿勢を推定するようにしたが、これは一例に過ぎない。例えば、予め、管理者等が、一般的なドライバの顔向き、頭位置、及び、目等の顔のパーツの位置を用いて基準姿勢を設定し、判定部１５が参照可能な場所に記憶させておいてもよい。
　この場合、乗員状態判定装置１は、基準姿勢推定部１４を備えない構成とできる。ただし、基準姿勢推定部１４が基準姿勢を推定するようにしたほうが、基準姿勢推定部１４を備えない構成とするよりも、乗員状態判定装置１は、より個人にあわせた基準姿勢を設定できる。その結果、乗員状態判定装置１は、より精度よく、ドライバが異常姿勢であるか否かの判定を行うことができる。
　また、以上の実施の形態１では、範囲判定部１５１が、検出顔向き及び検出頭位置のうち少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するか、又は変位量が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかを判定していたが、範囲判定部１５１は、範囲判定を機械学習により判定してもよい。
　また、以上の実施の形態１では、乗員状態判定装置１が異常姿勢であるか否かを判定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。乗員状態判定装置１は、ドライバ以外の車両の乗員を、異常姿勢であるか否かを判定する対象とできる。
　また、以上の実施の形態１では、乗員状態判定装置１は、車両に搭載される車載装置とし、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６は、車載装置に備えられているものとした。
　これに限らず、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
　また、画像取得部１１と、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、判定部１５と、出力制御部１６が全部サーバに備えられてもよい。
１　乗員状態判定装置、２　撮像装置、３　出力装置、５　操舵機構、６制駆動機構、１１　画像取得部、１２　顔検出部、１３　特徴検出部、１３１　顔向き検出部、１３２　頭位置検出部、１３３　パーツ位置検出部、１３４　検出信頼度算出部、１４　基準姿勢推定部、１５　判定部、１５１　範囲判定部、１５２　姿勢崩れ判定部、１５３　顔の変化度合い検出部、１５４　誤検出判定部、１５５　異常姿勢判定部、１６　出力制御部、１００　乗員状態判定システム、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ

Claims (10)

  1. 　車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、
    　前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出する特徴検出部と、
    　予め定められた期間において、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を用いて、前記乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定する基準姿勢推定部と、
    　前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、前記実空間上に設定された前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかの範囲判定を行う範囲判定部と、
    　前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記第２の範囲に該当すると判定した場合、又は前記変位量が前記第２の範囲に該当すると判定した場合、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方と前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、
    　前記特徴検出部が検出した前記乗員の前記顔のパーツを用いて前記乗員の顔の変化度合いを検出する顔の変化度合い検出部と、
    　前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出した場合は、前記姿勢崩れ判定部の判定は誤りであると判定し、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出しない場合は、前記姿勢崩れ判定部の判定は誤りでないと判定する誤検出判定部と、
    　前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第３の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第３の範囲に該当すると判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りでないと判定した場合、前記乗員は異常姿勢であると判定し、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第１の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第１の範囲に該当すると判定した場合、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りであると判定した場合、前記乗員は前記異常姿勢ではないと判定する異常姿勢判定部と、
    　を備える乗員状態判定装置。
  2. 　前記乗員の顔向きは、予め決められた基準となる、前記車両の上下方向の軸に対する回転角であるヨー角、前記車両の左右方向の軸に対する回転角であるピッチ角及び前記車両の前後方向の軸に対する回転角であるロール角のうち少なくともいずれか一方であらわされ、
    　前記乗員の頭位置は、前記顔検出部が検出した前記撮像画像における前記乗員の顔に任意に設けられた点を、前記実空間上の点に変換したものである、
    　請求項１に記載の乗員状態判定装置。
  3. 　前記第１の範囲、前記第２の範囲及び前記第３の範囲は、前記乗員の顔向きにおける前記ヨー角、前記乗員の顔向きにおける前記ピッチ角、前記乗員の顔向きにおける前記ロール角、前記乗員の頭位置における水平方向と高さ方向で形成される平面、前記乗員の頭位置における水平方向と奥行方向で形成される平面、及び前記乗員の頭位置における高さ方向と奥行方向で形成される平面の少なくとも一方において設定され、
    　前記第１の範囲、前記第２の範囲及び前記第３の範囲は、それぞれ前記基準姿勢における前記乗員の顔向き及び頭位置のうち少なくともいずれか一方を中心とし、前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から前記第１の範囲、前記第２の範囲、前記第３の範囲の順に設定されている、
    　請求項２に記載の乗員状態判定装置。
  4. 　前記第２の範囲は、前記第１の範囲と比較して前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方からの角度及び変位量のうち少なくとも一方の絶対値が大きく、
    　前記第３の範囲は、前記第２の範囲と比較して前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方からの角度及び変位量の少なくとも一方の絶対値が大きい、
    　請求項３に記載の乗員状態判定装置。
  5. 　前記乗員の顔の変化度合いは、予め定められた期間における前記乗員の瞬きの回数であり、
    　前記顔の変化度合い検出部は、予め定められた期間において、前記乗員の瞬きの回数をカウントし、前記瞬きの回数が閾値以上である場合、前記顔の変化度合い検出部は前記顔の変化度合いを検出したとし、前記瞬きの回数が閾値未満である場合、前記顔の変化度合い検出部は前記顔の変化度合いを検出しないとする、
    　請求項１から４のいずれか一項に記載の乗員状態判定装置。
  6. 　前記範囲判定部は、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するか、又は前記変位量が、前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかを機械学習により判定する、
    　請求項１から５のいずれか一項に記載の乗員状態判定装置。
  7. 　前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部
    　を備えた請求項１から６のいずれか一項に記載の乗員状態判定装置。
  8. 　請求項１から請求項７のうちのいずれか一項に記載の乗員状態判定装置と、前記車両に少なくとも前記乗員の顔を撮像可能に設置された撮像装置と、前記車両に搭載され、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を出力する出力装置と、を備えた異常姿勢判定システムであって、
    　前記乗員状態判定装置は、前記撮像装置が撮像した撮像画像を用いて、前記乗員の前記姿勢が前記異常姿勢であるか否かを判定し、前記乗員の前記姿勢が前記異常姿勢であると判定した場合、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を、前記出力装置から出力させる、
    　乗員状態判定システム。
  9. 　顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
    　特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、
    　基準姿勢推定部が、予め定められた期間において、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を用いて、前記乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、
    　範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、前記実空間上に設定された前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかの範囲判定を行うステップと、
    　姿勢崩れ判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記第２の範囲に該当すると判定した場合、又は前記変位量が前記第２の範囲に該当すると判定した場合、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方と前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、
    　顔の変化度合い検出部が、前記特徴検出部が検出した前記乗員の前記顔のパーツを用いて前記乗員の顔の変化度合いを検出するステップと、
    　誤検出判定部が、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出した場合は、前記姿勢崩れ判定部の判定は誤りであると判定し、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出しない場合は、前記姿勢崩れ判定部の判定は誤りでないと判定するステップと、
    　異常姿勢判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第３の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第３の範囲に該当すると判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りでないと判定した場合、前記乗員は異常姿勢であると判定し、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第１の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第１の範囲に該当すると判定した場合、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りであると判定した場合、前記乗員は前記異常姿勢ではないと判定するステップと、
    　を備える乗員状態判定方法。
  10. 　顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
    　特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方、並びに顔のパーツを検出するステップと、
    　基準姿勢推定部が、予め定められた期間において、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を用いて、前記乗員の基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定するステップと、
    　範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が、実空間上に設定された第１の範囲、第２の範囲及び第３の範囲のいずれに該当するかの範囲判定、又は前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方から変位した変位量が、前記実空間上に設定された前記第１の範囲、前記第２の範囲及び前記第３の範囲のいずれに該当するかの範囲判定を行うステップと、
    　姿勢崩れ判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方が前記第２の範囲に該当すると判定した場合、又は前記変位量が前記第２の範囲に該当すると判定した場合、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方と前記基準姿勢における前記乗員の顔向き及び頭位置の少なくとも一方との比較によって前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、
    　顔の変化度合い検出部が、前記特徴検出部が検出した前記乗員の前記顔のパーツを用いて前記乗員の顔の変化度合いを検出するステップと、
    　誤検出判定部が、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出した場合は、前記姿勢崩れ判定部の判定は誤りであると判定し、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当すると判定した場合であり、前記顔の変化度合い検出部が前記変化度合いを検出しない場合は、前記姿勢崩れ判定部の判定は誤りでないと判定するステップと、
    　異常姿勢判定部が、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第３の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第３の範囲に該当すると判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りでないと判定した場合、前記乗員は異常姿勢であると判定し、前記範囲判定部が、前記特徴検出部が検出した前記乗員の顔向き及び頭位置の少なくとも一方を前記第１の範囲に該当すると判定した場合、前記範囲判定部が、前記変位量を前記第１の範囲に該当すると判定した場合、前記姿勢崩れ判定部が前記乗員の前記姿勢は前記複数の姿勢崩れタイプのいずれかに該当しないと判定した場合、又は前記誤検出判定部が前記姿勢崩れ判定部の判定は誤りであると判定した場合、前記乗員は前記異常姿勢ではないと判定するステップと、をコンピュータに実行させるプログラム。
PCT/JP2022/037246 2022-10-05 2022-10-05 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム WO2024075205A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037246 WO2024075205A1 (ja) 2022-10-05 2022-10-05 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037246 WO2024075205A1 (ja) 2022-10-05 2022-10-05 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024075205A1 true WO2024075205A1 (ja) 2024-04-11

Family

ID=90607827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037246 WO2024075205A1 (ja) 2022-10-05 2022-10-05 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024075205A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016027452A (ja) * 2014-06-23 2016-02-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム
JP2019087018A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 ドライバモニタシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016027452A (ja) * 2014-06-23 2016-02-18 株式会社デンソー ドライバの運転不能状態検出装置
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム
JP2019087018A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 ドライバモニタシステム

Similar Documents

Publication Publication Date Title
US10372972B2 (en) Face detection apparatus, face detection method, and program
US7370970B2 (en) Eyeglass detection method
US9202106B2 (en) Eyelid detection device
JP7102850B2 (ja) ドライバ状態判定装置
JP6960995B2 (ja) 状態判定装置および状態判定方法
US10664712B2 (en) Eyelid opening/closing determination apparatus and drowsiness detection apparatus
JP6187155B2 (ja) 注視対象物推定装置
WO2018167995A1 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP5498183B2 (ja) 行動検出装置
JP7024332B2 (ja) ドライバモニタシステム
US11161470B2 (en) Occupant observation device
WO2024075205A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
JP2021129700A (ja) 基準値決定装置及び基準値決定方法
WO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
WO2024079779A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
US11077814B2 (en) Occupant eye(s) observation device
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
WO2019030855A1 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP7433573B2 (ja) 調整装置、顔向き推定装置、および、調整方法
WO2023170777A1 (ja) 乗員監視装置、乗員監視方法、及び乗員監視プログラム
WO2023243069A1 (ja) 脇見判定装置および脇見判定方法
JP2021007717A (ja) 乗員観察装置、乗員観察方法、及びプログラム
JP7127661B2 (ja) 開眼度算出装置
JP7301256B2 (ja) 顔向き判定装置および顔向き判定方法
US20240233405A9 (en) Occupant detection device, occupant detection system, and occupant detection method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22961393

Country of ref document: EP

Kind code of ref document: A1