WO2024079779A1 - 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム - Google Patents

乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム Download PDF

Info

Publication number
WO2024079779A1
WO2024079779A1 PCT/JP2022/037819 JP2022037819W WO2024079779A1 WO 2024079779 A1 WO2024079779 A1 WO 2024079779A1 JP 2022037819 W JP2022037819 W JP 2022037819W WO 2024079779 A1 WO2024079779 A1 WO 2024079779A1
Authority
WO
WIPO (PCT)
Prior art keywords
posture
occupant
detected
face
driver
Prior art date
Application number
PCT/JP2022/037819
Other languages
English (en)
French (fr)
Inventor
智大 松本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/037819 priority Critical patent/WO2024079779A1/ja
Publication of WO2024079779A1 publication Critical patent/WO2024079779A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to an occupant status determination device, an occupant status determination system, an occupant status determination method, and a program.
  • a technology has been developed that captures images of the inside of a vehicle, and uses the facial direction, head position, etc. of the occupant extracted from the captured image to determine whether the occupant has lost consciousness or has other abnormalities. It also updates the reference posture that serves as the basis for the occupant's facial direction, head position, etc. if the occupant changes their posture intentionally or due to habit (hereinafter referred to as "change in occupant posture") after long periods of driving or due to changes in the driving environment (changes in weather or time of day).
  • the information processing device of Patent Document 1 calculates the deviation between the driver's face direction and a face direction standard, and if the deviation is within a first range and outside a second range, stores information indicating the deviation in a face direction storage unit by linking it to the face direction detection information of the image, and if an image showing a deviation from the standard in a certain direction (approximately the same direction) is detected with a predetermined frequency (or ratio), the control unit performs processing to change the face direction standard so that the state of the face direction deviated in the certain direction is more likely to be determined to be the front of the driver's face direction, and updates the face direction standard of the occupant when the posture of the occupant changes, in other words, when an image showing a deviation from the standard in a certain direction (approximately the same direction) is detected with a predetermined frequency (or ratio).
  • the first range is set to various ranges depending on the purpose of monitoring.
  • the first range is, for example, a range determined by an inattentive judgment angle, a concentration/fatigue level judgment angle, etc.
  • the second range is an angle range narrower than the first range, and is a range determined by the direction in which the face direction is considered to be forward.
  • situation A Even if the occupant's posture is in the reference posture and the occupant does not change his/her posture from the reference posture, vehicle vibrations, etc. may cause at least one of the occupant's facial direction and head position to move back and forth between at least one of the angles and positions when the occupant is in the reference posture and at least one of the angles and positions when the occupant changes his/her posture (hereinafter referred to as situation A).
  • the detection frequency A since the posture of the occupant is in the reference posture, the detection frequency A may be higher than the detection frequency B.
  • both the detection frequency (hereinafter referred to as detection frequency A) of at least one of the occupant's facial direction (hereinafter referred to as facial direction A) and head position that can be considered to be in a reference posture and the detection frequency (hereinafter referred to as detection frequency B) of at least one of the occupant's facial direction (hereinafter referred to as facial direction B) and head position that can be considered to have changed the occupant's posture from the reference posture may be equal to or higher than a predetermined frequency.
  • the detection frequency B even if the detection frequency A is higher than the detection frequency B, the detection frequency B may be equal to or higher than the predetermined frequency.
  • both the detection frequency of the face orientation of the image corresponding to a deviation within the second range corresponding to face orientation A (hereinafter referred to as detection frequency A') and the detection frequency of the face orientation of the image corresponding to a deviation outside the second range corresponding to face orientation B (hereinafter referred to as detection frequency B') may be equal to or higher than a predetermined frequency.
  • Patent Document 1 it is first determined whether the deviation satisfies the condition of being within a first range and outside a second range, and if the facial orientation of an image linked to a deviation that satisfies the condition is detected with a predetermined frequency, the criteria for the facial orientation of the occupant are updated. Therefore, only the detection frequency of the facial orientation of an image corresponding to a deviation that satisfies the condition of being within the first range and outside the second range is subject to the determination of whether the criteria for the facial orientation need to be changed.
  • Patent Document 1 in the case of situation A, even though detection frequency A' is higher than detection frequency B', if detection frequency B' is equal to or higher than a predetermined frequency, detection frequency A' is excluded from the target and only detection frequency B' becomes the target, so even though the actual standard for face direction is the face direction with detection frequency A', a process is performed to change the standard for face direction to the face direction with detection frequency B'.
  • the present disclosure has been made to solve these problems, and aims to provide an occupant status determination device that improves the accuracy of detecting occupant status.
  • the occupant state determination device includes a face detection unit that detects the face of a vehicle occupant in an image in which the face of the occupant is captured, a feature detection unit that uses the face of the occupant in the image detected by the face detection unit to detect a detected occupant posture, which is at least one of the occupant's facial direction and head position, and a feature detection unit that detects a detected occupant posture that can be considered to be a reference posture, which is at least one of the facial direction and head position that serve as a reference for the occupant, when the detected occupant posture detected by the feature detection unit is less than a first threshold value, and detects a detected occupant posture that can be considered to be a reference posture, which is at least one of the facial direction and head position that serve as a reference for the occupant, when the detected occupant posture is equal to or greater than the first threshold value, and detects a detected occupant posture that can be considered to be a posture change from the reference posture, and uses a mode that is the detected occupant
  • a reference posture estimation unit that estimates the posture of the occupant as the posture
  • a reference posture update determination unit that updates the first reference posture to the second reference posture when a difference between a first reference posture that is a reference posture estimated using the most frequent value in the captured image and a second reference posture that is a reference posture estimated using the most frequent value in a captured image different from the captured image is equal to or greater than a second threshold value, and does not update the first reference posture when the difference is less than the second threshold value
  • a posture collapse determination unit that performs a posture collapse type determination as to which of a plurality of posture collapse types the posture of the occupant falls under by comparing the detected occupant posture with the first reference posture; and an abnormal posture determination unit that determines that the occupant has an abnormal posture when the posture collapse determination unit determines that the posture of the occupant falls under any of the plurality of posture collapse types, and determines that the occupant does not have an abnormal posture when the posture collapse determination unit determines that the posture of the occupant does not fall under any of the plurality of
  • the occupant state determination system of the present disclosure includes a face detection unit that detects the face of a vehicle occupant in an image in which the face of the occupant is captured, a feature detection unit that detects a detected occupant posture, which is at least one of the occupant's facial direction and head position, using the occupant's face in the image detected by the face detection unit, and a detected occupant posture that can be considered to be a reference posture, which is at least one of the facial direction and head position that serve as a reference for the occupant, when the detected occupant posture detected by the feature detection unit is less than a first threshold value, and a detected occupant posture that can be considered to be a reference posture, which is at least one of the facial direction and head position that serve as a reference for the occupant, when the detected occupant posture is equal to or greater than the first threshold value.
  • a reference posture estimation unit that estimates a most frequent detected occupant posture that is the most frequently detected occupant posture detected by the feature detection unit as a reference posture, among the detected occupant postures that can be considered to be the reference posture of the occupant and the detected occupant postures that can be considered to have been changed from the reference posture, which are acquired during a predetermined period, and a difference between a first reference posture that is the reference posture estimated using the most frequent value in the captured image and a second reference posture that is the reference posture estimated using the most frequent value in a captured image different from the captured image.
  • An abnormal posture determination system includes an occupant state determination device having an abnormal posture determination unit that determines that the occupant is not in an abnormal posture if the occupant is in an abnormal posture, an imaging device installed in the vehicle so as to be able to capture an image of at least the face of the occupant, and an output device mounted on the vehicle and outputting a warning that the
  • the occupant state determination method includes the steps of: a face detection unit detecting the face of a vehicle occupant in an image in which the face of the occupant is captured; a feature detection unit detecting a detected occupant posture, which is at least one of the occupant's facial direction and head position, using the occupant's face in the image detected by the face detection unit; and a reference posture estimation unit determining, when the detected occupant posture detected by the feature detection unit is less than a first threshold, a detected occupant posture that can be considered to be a reference posture, which is at least one of the occupant's facial direction and head position serving as a reference for the occupant, and, when the detected occupant posture is equal to or greater than the first threshold, a detected occupant posture that can be considered to be a posture change of the occupant from the reference posture, and determining a mode, which is the detected occupant posture that is most frequently detected by the feature detection unit, among the detected occupant postures that can be considered to be the reference posture of the occupant and
  • a reference posture update determination unit updating the first reference posture to the second reference posture when a difference between a first reference posture, which is a reference posture estimated using the most frequent value in the captured image, and a second reference posture, which is a reference posture estimated using the most frequent value in a captured image different from the captured image, is equal to or greater than a second threshold, and not updating the first reference posture when the difference is less than the second threshold; a posture collapse determination unit comparing the detected occupant posture with the first reference posture to determine which of a plurality of posture collapse types the occupant's posture falls into; and an abnormal posture determination unit determining that the occupant has an abnormal posture if the posture collapse determination unit determines that the occupant's posture falls into any of the plurality of posture collapse types, and determining that the occupant does not have an abnormal posture if the posture collapse determination unit determines that the occupant's posture does not fall into any of the plurality of posture collapse types.
  • the program disclosed herein includes a step in which a face detection unit detects the face of a vehicle occupant in an image in which the face of the occupant is captured; a step in which a feature detection unit detects a detected occupant posture, which is at least one of the occupant's facial direction and head position, using the occupant's face in the image detected by the face detection unit; and a step in which a reference posture estimation unit determines, if the detected occupant posture detected by the feature detection unit is less than a first threshold, a detected occupant posture that can be considered to be a reference posture, which is at least one of the occupant's facial direction and head position serving as a reference for the occupant, if the detected occupant posture is equal to or greater than the first threshold, a detected occupant posture that can be considered to be a posture change from the reference posture, and determines, as the reference posture, a most frequent detected occupant posture that is most frequently detected by the feature detection unit among the detected occupant postures that can be considered to be a reference posture
  • a reference posture update determination unit updating the first reference posture to the second reference posture if a difference between a first reference posture, which is a reference posture estimated using the most frequent value in a captured image different from the captured image, is equal to or greater than a second threshold, and not updating the first reference posture if the difference is less than the second threshold; a posture collapse determination unit comparing the detected occupant posture with the first reference posture to determine which of a plurality of posture collapse types the occupant's posture falls into; and an abnormal posture determination unit determining that the occupant has an abnormal posture if the posture collapse determination unit determines that the occupant's posture falls into any of the plurality of posture collapse types, and determining that the occupant does not have an abnormal posture if the posture collapse determination unit determines that the occupant's posture does not fall into any of the plurality of posture collapse types.
  • the occupant condition determination device can improve the accuracy of detecting the occupant condition.
  • FIG. 1 is a diagram illustrating an example of the configuration of an occupant state determination device according to a first embodiment
  • 11 is a diagram showing a relationship between a detected driver attitude and a detection frequency of each value of the detected driver attitude in a predetermined period according to the first embodiment.
  • FIG. 11 is a diagram showing a relationship between a detected driver attitude and a detection frequency of each value of the detected driver attitude in a predetermined period according to the first embodiment.
  • FIG. 11 is a diagram showing a relationship between a detected driver attitude and a detection frequency of each value of the detected driver attitude in a predetermined period according to the first embodiment.
  • FIG. FIG. 11 is a diagram for explaining a plurality of types of poor posture.
  • Embodiment 1 The occupant state determination device according to the first embodiment determines whether or not the posture of a vehicle occupant is abnormal, based on a captured image in which at least the face of the vehicle occupant is captured.
  • the vehicle occupant for which the occupant state determination device determines whether or not the vehicle occupant is in an abnormal posture is the driver of the vehicle.
  • FIG. 1 is a diagram showing an example of the configuration of an occupant state determination device 1 according to the first embodiment.
  • the occupant state determination device 1 according to the first embodiment is assumed to be mounted in a vehicle.
  • the occupant state determination device 1 is connected to an image capturing device 2 and an output device 3 , and the occupant state determination device 1 , the image capturing device 2 , and the output device 3 constitute an occupant state determination system 100 .
  • the occupant state determination device 1 updates the reference posture, which is the driver's reference facial direction and head position, when the driver changes his/her posture intentionally or due to habit due to long driving hours or changes in the driving environment (changes in weather or time of day).
  • the imaging device 2 is mounted on the vehicle and is installed so as to be able to capture at least an area in which the driver's face should be present.
  • the imaging device 2 is installed, for example, near the center of the instrument panel in the vehicle width direction or on the center console.
  • the imaging device 2 may be shared with a so-called DMS (Driver Monitoring System) that is installed for the purpose of monitoring the interior of the vehicle.
  • the imaging device 2 is a visible light camera or an infrared camera.
  • the imaging device 2 outputs the captured image to the occupant state determination device 1.
  • the occupant state determination device 1 determines whether or not the driver's posture is abnormal, using the captured image captured by the imaging device 2.
  • the occupant state determination device 1 will be described in detail later. When the occupant state determination device 1 determines that the driver's posture is abnormal, it causes the output device 3 to output a warning that the driver's posture is abnormal.
  • the output device 3 is mounted on the vehicle and outputs a warning that the driver's posture is abnormal.
  • the output device 3 is, for example, an audio output device such as a speaker.
  • the output device 3 may be provided in, for example, an audio device provided in a vehicle.
  • warning information information for outputting a warning
  • the output device 3 outputs a warning sound or a voice message notifying that the driver's posture is abnormal.
  • the output device 3 may also be, for example, a display device such as a display. For example, when warning information is output from the occupant state determination device 1, the output device 3 displays a message notifying that the driver's posture is abnormal.
  • the output device 3 may be, for example, a turn signal, a hazard lamp, or a headlight that is provided on the exterior of the vehicle so as to be visible from other vehicles.
  • the occupant state determination device 1 may output warning information to the output device 3 to notify people outside the vehicle, such as occupants of other vehicles, that the driver of the vehicle is in an abnormal state.
  • the output device 3 may be mounted on, for example, another vehicle.
  • the occupant state determination device 1 can transmit warning information to the output device 3 mounted on the other vehicle, and can output a voice or display a message to inform the occupant of the other vehicle that the driver of the vehicle is in an abnormal state.
  • the occupant state determination device 1 includes an image acquisition unit 11, a face detection unit 12, a feature detection unit 13, a reference posture estimation unit 14, a reference posture memory unit 15, a reference posture candidate memory unit 16, a reference posture update determination unit 17, a posture collapse determination unit 18, an abnormal posture determination unit 19, and an output control unit 20.
  • the feature detection unit 13 includes a face direction detection unit 131 , a head position detection unit 132 , and a detection reliability calculation unit 133 .
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 .
  • the image acquisition unit 11 outputs the acquired captured image to the face detection unit 12 .
  • the face detection unit 12 detects the face of the driver in the captured image acquired by the image acquisition unit 11 .
  • the face detection unit 12 detects the driver's facial feature points indicating the driver's facial parts by using a known image recognition technique such as edge detection for the captured image.
  • the facial parts are the corners and corners of the eyes, the nose, the mouth, the eyebrows, the chin, etc.
  • the driver's facial feature points are represented, for example, by coordinates on the captured image.
  • the face detection unit 12 may also detect the driver's facial area.
  • the driver's facial area is, for example, the smallest rectangle that surrounds the outline of the driver's face.
  • the driver's facial area is, for example, represented by the coordinates of the four corners of the smallest rectangle on the captured image.
  • the face detection unit 12 can determine which area of the captured image is the face of the driver. For example, an area in the captured image where the driver's face may be present (hereinafter referred to as the "driver detection area”) is set in advance, and the face detection unit 12 detects the characteristic points and face area of the driver's face in the driver detection area using a known image recognition technique.
  • the face detection unit 12 outputs information about the detected face of the driver (hereinafter referred to as "face information") to the feature detection unit 13.
  • face information is, for example, a captured image to which information capable of identifying the feature points and face area of the driver's face is added.
  • the feature detection unit 13 detects features for determining the posture of an occupant, in this case the driver.
  • the features for determining the driver's posture are at least one of the driver's facial direction and the driver's head position (hereinafter referred to as the detected driver posture).
  • the face direction detection unit 131 detects the face direction of the driver in real space based on the face information output from the face detection unit 12, specifically, based on the face of the driver in the captured image detected by the face detection unit 12.
  • the face direction detection unit 131 may detect the face direction of the driver using, for example, a known face direction detection technology that detects the face direction from a captured image.
  • the face direction of the driver is represented, for example, by at least one of a yaw angle, which is a rotation angle about an axis in the vertical direction of the vehicle, a pitch angle, which is a rotation angle about an axis in the horizontal direction of the vehicle, and a roll angle, which is a rotation angle about an axis in the longitudinal direction of the vehicle, which are predetermined references.
  • the face direction detection unit 131 outputs information on the detected face direction of the driver (hereinafter referred to as "face direction information") to the reference posture estimation unit 14 and the posture collapse determination unit 18.
  • face direction information includes at least one of the yaw angle, pitch angle, and roll angle information.
  • the head position detection unit 132 detects the driver's head position in real space based on the face information output from the face detection unit 12, more specifically, based on the driver's face in the captured image detected by the face detection unit 12.
  • the driver's head position in the captured image is indicated, for example, by the center of the driver's eyebrows.
  • the head position detection unit 132 detects, for example, a point in real space corresponding to the center of the driver's eyebrows in the captured image as the driver's head position. Note that this is merely an example, and the driver's head position in the captured image may be indicated, for example, by the center of the driver's facial area or the center of a line connecting the inner corners of the driver's eyes.
  • the head position detection unit 132 detects, for example, a point in real space corresponding to the center of the driver's facial area in the captured image or the center of a line connecting the inner corners of the driver's eyes as the driver's head position in real space.
  • the head position detection unit 132 may detect the driver's head position, for example, using a known coordinate transformation technique that transforms points on a captured image into points in real space.
  • the driver's head position is represented, for example, by coordinates in real space.
  • the head position detection unit 132 outputs information relating to the detected driver's head position (hereinafter referred to as "head position information") to the reference posture estimation unit 14 and the posture collapse determination unit 18.
  • the head position information includes coordinate information of the driver's head position.
  • the detection reliability calculation unit 133 calculates a detection reliability indicating the reliability that the detected driver posture is at least one of a predetermined face direction and head position. Then, the detection reliability calculation unit 133 outputs the calculated detection reliability to at least one of the reference posture estimation unit 14 and the posture collapse determination unit 18.
  • the detection reliability calculation method may be, for example, the method shown in the document "Rapid Object Detection using a Boosted Cascade of Simple Features", 2001, Paul Viola, et al. In this document, the detection reliability of at least one of the face direction and head position is calculated from the degree of match in matching between at least one of the face direction and head position learned in advance from a large number of face images and at least one of the face direction and head position extracted from an image of the driver.
  • the detection reliability calculation unit 133 can use any method that can detect a specific object corresponding to at least one of the face direction and head position from an image and calculate the detection reliability.
  • the reference posture estimation unit 14 determines that the detected driver posture can be regarded as the reference posture (hereinafter referred to as detected driver posture A), and when the detected driver posture is equal to or greater than the first threshold, the reference posture estimation unit 14 determines that the detected driver posture can be regarded as a posture that the driver has changed from the reference posture (hereinafter referred to as detected driver posture B).
  • the most frequent detected driver posture out of detected driver posture A and detected driver posture B during a predetermined period (hereinafter referred to as the "reference setting period"), is the detected driver posture that is most frequently detected by the feature detection unit 13 and is estimated as the driver's reference posture.
  • the reference setting period is, for example, the period from when the vehicle ignition is turned on until a preset time (for example, 10 seconds) has elapsed. Note that this is merely one example, and the reference setting period may be, for example, a predetermined time (for example, 3 seconds) when the vehicle speed is equal to or greater than a preset speed (for example, 25 km/h) and the steering angle is within a preset range (for example, ⁇ 20 degrees).
  • the detected driver posture is used to estimate at least one of the driver's reference facial orientation and head position as the reference posture, but the reference posture may also be estimated using the detected driver posture and at least one of the detection reliability of the facial orientation and the detection reliability of the head position.
  • the reference posture estimation unit 14 outputs a reference posture (hereinafter, the first reference posture) estimated using the most frequent value in the captured image to the reference posture memory unit 15, and after outputting the first reference posture to the reference posture memory unit 15, the reference posture estimation unit 14 outputs a reference posture (hereinafter, the second reference posture) estimated using the most frequent value in an captured image different from the captured image from which the first reference posture output to the reference posture memory unit 15 was estimated to the reference posture candidate memory unit 16. Furthermore, the reference posture estimation unit 14 acquires the first reference posture from the reference posture storage unit 15 as the reference posture to be output to the posture collapse determination unit 18 .
  • the facial orientation in the first reference posture and the second reference posture is expressed by at least one of the yaw angle, pitch angle, and roll angle.
  • the head position in the first reference posture and the second reference posture is expressed, for example, by coordinates in real space.
  • the reference posture information includes coordinate information of the driver's head position as information on the driver's head position.
  • Figure 2 shows a graph showing the relationship between the detected driver posture, which is used when the reference posture estimation unit 14 estimates the driver's reference posture, and the frequency with which each value of the detected driver posture is detected by the feature detection unit 13 during a predetermined period (hereinafter referred to as detection frequency).
  • the vertical axis indicates the detection frequency, which takes values from 0 to 35 in Fig. 2.
  • the horizontal axis indicates the detected driver posture, which takes values from 150 to 250 in Fig. 2.
  • the detected driver posture in Fig. 2 refers to the head position of the driver detected by feature detection unit 13. Furthermore, when the driver is in a specific head position, the detection frequency of the specific head position will be higher than other head positions.
  • the detected driver posture is classified into detected driver posture A and detected driver posture B.
  • the first threshold is 240
  • the detected driver posture is less than the first threshold
  • it is classified as detected driver posture A
  • the detected driver posture B is 240 to 250.
  • the reference posture estimation unit 14 estimates the most frequent detected driver posture from among the detected driver postures A and B shown in FIG. 2 as the first reference posture. In FIG. 2, the reference posture estimation unit 14 estimates 190 as the first reference posture and outputs the estimated first reference posture to the reference posture storage unit 15.
  • the reference attitude storage unit 15 stores the first reference attitude output from the reference attitude estimation unit 14. In addition, when the reference attitude update determination unit 17, which will be described later, determines to update the first reference attitude to the second reference attitude, the first reference attitude is updated to the second reference attitude.
  • the reference attitude candidate storage unit 16 stores the second reference attitude output from the reference attitude estimation unit 14.
  • a reference attitude update determination unit that updates the first reference attitude to the second reference attitude when a difference between the first reference attitude stored in the reference attitude storage unit and the second reference attitude stored in the reference attitude candidate storage unit is equal to or greater than a second threshold value; If the difference is less than the second threshold, the first reference attitude is not updated.
  • FIG. 3 shows a graph illustrating the relationship between the detected driver posture when the driver changes his posture from the reference posture after the reference posture estimation unit 14 estimates the reference posture in the graph shown in FIG. 2 and the detection frequency of each value of the detected driver posture in a predetermined period.
  • the vertical axis indicates the detection frequency, which takes values from 0 to 35 in FIG. 3.
  • the horizontal axis indicates the detected driver posture, which takes values from 150 to 250 in FIG. 3.
  • the detected driver posture in FIG. 3 refers to the head position of the driver detected by the feature detection unit 13.
  • the detection frequency of the specific head position is higher than other head positions.
  • the detected driver posture is classified as detected driver posture A or detected driver posture B.
  • the reference posture estimation unit 14 estimates the most frequent value of the detected driver posture as a first reference posture from among the detected driver postures A and B shown in Fig. 3.
  • the reference posture estimation unit 14 outputs 240 to the reference posture candidate storage unit 16 as a second reference posture.
  • the reference posture update determination unit 17 compares the difference between the first reference posture stored in the reference posture memory unit 15 and the second reference posture stored in the reference posture candidate memory unit 16 with a second threshold value to determine whether or not to update the first reference posture.
  • the first reference attitude is updated to the second reference attitude. If the difference is less than the second threshold, the first reference attitude is not updated.
  • the first reference attitude is 190 and the second reference attitude is 240, the difference is 50, which satisfies the condition of being equal to or greater than the second threshold. Therefore, the first reference attitude is updated to the second reference attitude 240.
  • FIG. 4 shows a graph illustrating the relationship between the detected driver posture in situation A and the detection frequency of each value of the detected driver posture in a predetermined period after the reference posture estimation unit 14 estimates the reference posture in the graph shown in FIG.
  • the vertical axis indicates the detection frequency, which takes values from 0 to 35 in FIG. 4.
  • the horizontal axis indicates the detected driver posture, which takes values from 150 to 250 in FIG. 4.
  • the detected driver posture in FIG. 4 refers to the head position of the driver detected by the feature detection unit 13. Furthermore, when the driver is in a specific head position, the detection frequency of the specific head position is higher than other head positions.
  • the detected driver posture is classified as detected driver posture A or detected driver posture B.
  • situation A refers to a situation in which, even if the driver's posture is actually located in a reference posture and the driver does not change his/her posture from the reference posture, the detected driver posture moves back and forth between detected driver posture A and detected driver posture B due to vehicle vibration, etc.
  • the detection frequency of the detected driver posture A (detection frequency of 230 in FIG. 4) and the detection frequency of the detected driver posture B (detection frequency of 240 in FIG. 4) may both be equal to or higher than a predetermined frequency.
  • the detection frequency of detected driver posture A (detection frequency of 230 in FIG. 4) may be higher than the detection frequency of detected driver posture B (detection frequency of 240 in FIG. 4).
  • the detection frequency of the detected driver posture B may be equal to or higher than the predetermined frequency.
  • the reference attitude update determination by the reference attitude update determination unit 17 in the situation shown in FIG. 4 will be described.
  • the reference posture estimation unit 14 estimates the most frequent value of the detected driver posture as the second reference posture from among the detected driver postures A and B shown in Fig. 4. In Fig. 4, the reference posture estimation unit 14 estimates 230 as the second reference posture and outputs the estimated second reference posture to the reference posture candidate storage unit 16.
  • the reference posture update determination unit 17 compares the difference between the first reference posture stored in the reference posture memory unit 15 and the second reference posture stored in the reference posture candidate memory unit 16 with a second threshold value to determine whether or not to update the first reference posture.
  • the first reference attitude is updated to the second reference attitude. If the difference is less than the second threshold, the first reference attitude is not updated.
  • the first reference attitude is 190 and the second reference attitude is 230, the difference becomes 40, which does not satisfy the condition of being equal to or greater than the second threshold. Therefore, the first reference attitude of 190 is not updated.
  • the posture deviation determination unit 18 determines whether or not the driver's posture corresponds to any one of a plurality of predetermined posture deviation types (hereinafter referred to as "posture deviation types") by comparing the detected driver posture with the reference posture acquired from the reference posture estimation unit 14.
  • posture deviation types a plurality of predetermined posture deviation types
  • the determination by the posture deviation determination unit 18 of whether the driver's posture corresponds to any one of a plurality of posture deviation types is also referred to as “posture deviation type determination.”
  • the plurality of posture deviation types are set in advance as types of abnormal postures that are caused by the driver being in an abnormal state.
  • Figure 5 (partially modified from "Basic Design Document for Driver Abnormality Automatic Detection System" by the Advanced Safety Vehicle Promotion Study Group, Road Transport Bureau, Ministry of Land, Infrastructure, Transport and Tourism, March 2018) is a diagram for explaining multiple types of posture imbalance. As shown in Figure 5, there are multiple types of posture imbalance.
  • Figure 5 shows “head down” in which the driver leans forward and continues to have his face close to the steering wheel, “head down” in which the driver's face continues to be facing down, “backward lean” in which the driver's upper body is tilted backward and the face continues to be facing up, “backward lean” in which the driver's upper body is arched up and the face continues to be facing up, “head tilted to the side only” in which the driver's face continues to be tilted to the left or right, “sideways” in which the driver's upper body is tilted to the left or right and the face continues to be tilted in the same direction, and “leaning to the side” in which the driver's upper body is tilted to the left or right.
  • the multiple pre-defined types of posture problems are “face down,” “head down,” “backward,” “arched back,” “head tilted to the side,” “head tilted to the side,” and “leaning to the side” shown in FIG. 5.
  • Information regarding the multiple types of posture problems is stored in a location that can be referenced by the posture problem determination unit 18.
  • the posture error determination unit 18 determines which of a plurality of posture error types the driver belongs to depending on how much the detected driver posture has changed compared to a first reference posture. Note that the conditions for determining which posture error type the driver belongs to depending on how much the detected driver posture has changed compared to the first reference posture are set in advance and stored by the posture error determination unit 18.
  • the posture error determination unit 18 may perform posture error type determination using a learning device such as an SVM (Support Vector Machine), for example.
  • the posture error determination unit 18 outputs the posture error type determination result to the abnormal posture determination unit 19.
  • the posture error type determination result includes information on whether or not the driver's posture corresponds to one of the posture error types.
  • the abnormal posture determination unit 19 uses the posture error type determination result output by the posture error determination unit 18 to determine whether the driver's posture is abnormal or not.
  • the abnormal posture determination unit 19 determines that the driver is not in an abnormal posture.
  • the abnormal posture determination unit 19 determines the duration of the state in which the driver's posture is incorrect. For example, the abnormal posture determination unit 19 associates the acquired range determination result or posture error type determination result with information on the date and time when the range determination result or posture error type determination result was acquired, and stores them in a storage unit (not shown). The abnormal posture determination unit 19 may determine the duration of the state in which the driver's posture is incorrect from the stored range determination result or posture error type determination result. The abnormal posture determination unit 19 determines that the driver has an abnormal posture when the duration of the state in which the driver's posture is incorrect reaches a preset threshold value (hereinafter referred to as the "abnormal posture determination threshold value").
  • a preset threshold value hereinafter referred to as the "abnormal posture determination threshold value"
  • the abnormal posture determination unit 19 outputs the determination result as to whether or not the driver is in an abnormal posture (hereinafter referred to as the "abnormal posture determination result") to the output control unit 20.
  • the output control unit 20 outputs warning information to the output device 3 to warn the driver.
  • Fig. 6 is a flowchart for explaining the operation of the occupant state determination device 1 according to the embodiment 1.
  • the operation of the occupant state determination device 1 is started after the ignition of the vehicle is turned on, for example. It is preferable to perform the process of determining the occupant state every time an image is obtained from the imaging device 2, that is, for each frame.
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 (step ST1).
  • the image acquisition unit 11 outputs the acquired captured image to the face detection unit 12 .
  • the face detection unit 12 detects the face of the driver in the captured image acquired by the image acquisition unit 11 in step ST1 (step ST2).
  • the face detection unit 12 outputs the face information to the feature detection unit 13 .
  • the face direction detection unit 131 detects the face direction of the driver in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the face direction detection unit 131 outputs the face direction information to the reference posture estimation unit 14 and posture imbalance determination unit 18 .
  • the head position detection unit 132 detects the head position of the driver in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the head position detection unit 132 outputs the head position information to the reference posture estimation unit 14 and posture deviation determination unit 18 .
  • the head position detection unit 132 detects the head position of the driver in real space based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST3).
  • the head position detection unit 132 outputs the head position information to the reference posture estimation unit 14 and posture deviation determination unit 18 .
  • the detection reliability calculation unit 133 calculates the detection reliability of at least one of the face direction and head position based on the face information output from the face detection unit 12 in step ST2, specifically, based on the driver's face in the captured image detected by the face detection unit 12 (step ST4).
  • the detection reliability calculation unit 133 outputs the detection reliability to at least one of the reference posture estimation unit 14 and the posture collapse determination unit 18 .
  • the reference posture estimation unit 14 determines the detected driver posture as detected driver posture A if the detected driver posture is less than the first threshold, and determines the detected driver posture as detected driver posture B if the detected driver posture is equal to or greater than the first threshold (step ST5).
  • the reference posture estimation unit 14 estimates the most frequent detected driver posture, between detected driver posture A and detected driver posture B during the reference setting period, as the driver's reference posture (step ST6).
  • the reference posture estimation unit 14 If the reference posture estimation unit 14 has completed estimating the driver's reference posture in the previous frame, in other words, after outputting the first reference posture to the reference posture storage unit 15 (if "YES" in step ST7), the reference posture estimation unit 14 outputs to the reference posture candidate storage unit 16 a second reference posture estimated using the most frequent value in an image different from the image used to estimate the first reference posture output to the reference posture storage unit 15 (step ST8).
  • the reference posture estimation unit 14 If the reference posture estimation unit 14 has not completed estimation of the driver's reference posture in the previous frame (if "NO" in step ST7), the reference posture estimation unit 14 outputs the first reference posture in the reference posture estimated using the most frequent value in the captured image to the reference posture storage unit 15 (step ST9).
  • the reference posture estimation unit 14 estimates the driver's reference posture, it sets the reference posture estimation completed flag to "1".
  • the initial value of the reference posture estimation completed flag is "0", and the reference posture estimation completed flag is initialized, for example, when the ignition of the occupant state determination device 1 is turned off.
  • the reference posture estimation completed flag is stored in a location that can be referenced by the occupant state determination device 1 (step ST10).
  • the reference posture update determination unit 17 updates the first reference posture to the second reference posture (step ST12).
  • the reference posture update determination unit 17 does not update the first reference posture (step ST13).
  • the posture deviation determination unit 18 determines whether the driver's posture corresponds to any one of a plurality of predetermined posture deviation types by comparing the detected driver posture with the reference posture obtained from the reference posture estimation unit 14 (step ST14).
  • the posture imbalance determination unit 18 outputs the posture imbalance type determination result to the abnormal posture determination unit 19 .
  • the abnormal posture determination unit 19 determines that the driver is not in an abnormal posture (step ST15).
  • the abnormal posture determination unit 19 determines the duration for which the driver's posture is incorrect (step ST16).
  • the abnormal posture determination unit 19 determines that the driver is in an abnormal posture and causes the output device 3 to output a warning that the driver's posture is abnormal (step ST17). If the duration of the driver's posture being out of alignment does not reach the abnormal posture determination threshold value ("NO" in step ST16), the abnormal posture determination unit 19 determines that the driver is not in an abnormal posture.
  • the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, reference posture update determination unit 17, posture collapse determination unit 18, abnormal posture determination unit 19, and output control unit 20 are realized by a processing circuit 1001. That is, the occupant state determination device 1 includes a processing circuit 1001 for controlling the determination of whether the posture of the vehicle occupant is abnormal based on the captured image.
  • the processing circuit 1001 may be dedicated hardware as shown in FIG. 7, or may be a processor 1004 that executes a program stored in a memory 1005 as shown in FIG. 8.
  • the memory 1000 includes the reference posture estimation unit 14 and the reference posture storage unit 15.
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the processing circuit is the processor 1004, the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, reference posture update determination unit 17, posture collapse determination unit 18, abnormal posture determination unit 19, and output control unit 20 are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 1005.
  • the processor 1004 executes the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, reference posture update determination unit 17, posture collapse determination unit 18, abnormal posture determination unit 19, and output control unit 20 by reading and executing the program stored in the memory 1005.
  • the occupant state determination device 1 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST1 to ST16 in FIG.
  • memory 1005 may be, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), etc.
  • a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), etc.
  • the functions of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, posture error determination unit 18, abnormal posture determination unit 19, and output control unit 20 may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the functions of the image acquisition unit 11 and output control unit 20 may be realized by a processing circuit 1001 as dedicated hardware, and the functions of the face detection unit 12, feature detection unit 13, reference posture estimation unit 14, posture error determination unit 18, and abnormal posture determination unit 19 may be realized by the processor 1004 reading and executing a program stored in the memory 1005.
  • the storage unit (not shown) is, for example, a memory 1005.
  • the occupant state determination device 1 also includes an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication with devices such as the imaging device 2 or the output device 3.
  • the occupant state determination device 1 includes a face detection unit 12 that detects the face of a vehicle occupant in an image in which the face of the occupant is captured, a feature detection unit 13 that detects a detected occupant posture, which is at least one of the occupant's facial direction and head position, using the occupant's face in the image detected by the face detection unit 12, and a detected occupant posture that can be considered to be a reference posture, which is at least one of the facial direction and head position that serve as a reference for the occupant, when the detected occupant posture detected by the feature detection unit 13 is less than a first threshold value, and a detected occupant posture that can be considered to be a posture in which the occupant has changed from the reference posture when the detected occupant posture is equal to or greater than the first threshold value, and a mode that is a detected occupant posture that is detected most frequently by the feature detection unit 13 among the detected occupant postures that can be considered to be a reference posture and the detected occupant postures that can
  • a reference posture update determination unit 17 that updates the first reference posture to the second reference posture when the difference between a first reference posture, which is a reference posture estimated using the most frequent value in the captured image, and a second reference posture, which is a reference posture estimated using the most frequent value in a captured image different from the captured image, is equal to or greater than a second threshold, and does not update the first reference posture when the difference is less than the second threshold; a posture collapse determination unit 18 that performs a posture collapse type determination as to which of a plurality of posture collapse types the posture of the occupant falls under by comparing the detected occupant posture with the first reference posture; and an abnormal posture determination unit 19 that determines that the occupant has an abnormal posture when the posture collapse determination unit 18 determines that the posture of the occupant falls under any of the plurality of posture collapse types, and determines that the occupant does not have an abnormal posture when the posture collapse determination unit 18 determines that the posture of the occupant does not fall under any of the plurality of posture collapse types.
  • the reference posture estimation unit 14 estimates the most frequent detected driver posture, between detected driver posture A and detected driver posture B during the reference setting period, as the driver's reference posture.
  • the reference posture update determination unit 17 also compares the difference between the first reference posture stored in the reference posture memory unit 15 and the second reference posture stored in the reference posture candidate memory unit 16 with a second threshold value to determine whether or not to update the first reference posture stored in the reference posture memory unit 15.
  • the occupant state determination device 1 updates the reference posture when the driver changes posture intentionally or due to habit, such as during long driving periods or changes in the driving environment (changes in weather or time of day). This makes it possible to accurately calculate the amount of change from the reference posture used to determine whether or not posture has been misaligned. As a result, it is possible to reduce undetected posture misalignment, which is determined not to be a posture misalignment even though a posture misalignment has occurred, due to the inability to accurately calculate the amount of change, and improve the accuracy of detection of the occupant state.
  • the occupant state determination device 1 estimates as the driver's reference posture the most frequent detected driver posture among detected driver posture A and detected driver posture B during the reference setting period, which is the most frequent detected driver posture detected by the feature detection unit 13.
  • the detected driver posture that corresponds to detected driver posture A in situation A is excluded from the most frequent value calculation in the reference posture estimation unit 14, and it is possible to avoid only detected driver postures including detected driver posture B being subject to the most frequent value calculation in the reference posture estimation unit 14.
  • the reference posture update determination unit 17 determines whether to update the first reference posture by comparing the difference between the first reference posture stored in the reference posture memory unit 15 and the second reference posture stored in the reference posture candidate memory unit 16 with the second threshold value, but the reference posture update determination unit 17 may determine whether to update the first reference posture by machine learning.
  • the most frequent detected driver posture which is one of detected driver posture A and detected driver posture B that is most frequently detected by the feature detection unit 13 is estimated as the reference posture of the driver.
  • the detected driver posture which is one of detected driver posture A and detected driver posture B that is detected by the feature detection unit 13 more frequently than a predetermined threshold, may be estimated as the reference posture.
  • the vehicle occupant for whom the occupant state determination device 1 determines whether or not the vehicle is in an abnormal posture is the vehicle driver, but this is merely one example.
  • the occupant state determination device 1 can determine whether or not any vehicle occupant other than the driver is in an abnormal posture.
  • the occupant state judgment device 1 is an in-vehicle device mounted on a vehicle, and the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, reference posture memory unit 15, reference posture candidate memory unit 16, reference posture update judgment unit 17, posture collapse judgment unit 18, abnormal posture judgment unit 19, and output control unit 20 are provided in the in-vehicle device.
  • some of the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, reference posture memory unit 15, reference posture candidate memory unit 16, reference posture update determination unit 17, posture collapse determination unit 18, abnormal posture determination unit 19, and output control unit 20 may be mounted on the in-vehicle device of the vehicle, and the others may be provided in a server connected to the in-vehicle device via a network, so that a system is formed by the in-vehicle device and the server.
  • the image acquisition unit 11, face detection unit 12, feature detection unit 13, reference posture estimation unit 14, reference posture memory unit 15, reference posture candidate memory unit 16, reference posture update determination unit 17, posture collapse determination unit 18, abnormal posture determination unit 19, and output control unit 20 may all be provided in the server.
  • 1 Occupant state determination device 2 Imaging device, 3 Output device, 11 Image acquisition unit, 12 Face detection unit, 13 Feature detection unit, 131 Face direction detection unit, 132 Head position detection unit, 133 Detection reliability calculation unit, 14 Reference posture estimation unit, 15 Reference posture storage unit, 16 Reference posture candidate storage unit, 17 Reference posture update determination unit, 18 Posture collapse determination unit, 19 Abnormal posture determination unit, 20 Output control unit, 100 Occupant state determination system, 1001 Processing circuit, 1002 Input interface device, 1003 Output interface device, 1004 Processor, 1005 Memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る乗員状態判定装置（１）は、顔検出部(１２)と、検出乗員姿勢を検出する特徴検出部(１３)と、検出乗員姿勢を第１の閾値を用いて分類し、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部（１３）が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部(１４)と、第１の基準姿勢と第２の基準姿勢との差分を第２の閾値と比較することによって基準姿勢を更新するか否かを判定する基準姿勢更新判定部(１７)と、姿勢崩れタイプ判定を行う姿勢崩れ判定部(１８)と、乗員は異常姿勢であるか否かを判定する異常姿勢判定部(１９)と、を備える。

Description

乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
　本開示は、乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラムに関わる。
　車両内部を撮像し、撮像画像内の乗員から抽出された、乗員の顔向き、頭位置等を用いて姿勢崩れを判定し、乗員に意識の喪失等の異常が生じたことを検出するとともに、長時間の運転や運転環境の変化（天候の変化や時間帯）などで乗員の意識的又は癖による姿勢変更（以下、乗員の姿勢変更という。）があった場合、乗員の顔向き、頭位置等の基準となる基準姿勢を更新する技術が開発されている。
　例えば、特許文献１の情報処理装置は、運転者の顔の向きと顔の向きの基準とのずれを算出し、当該ずれが第１の範囲内且つ第２の範囲外である場合、当該ずれを示す情報を画像の顔の向きの検出情報に紐づけて顔向き記憶部に記憶し、基準からのずれが一定の方向（略同じ方向）を示している画像が、所定の頻度（又は比率）で検出された場合、前記一定の方向にずれている顔の向きの状態が、運転者の顔の向きの正面であると判断されやすくなるように、顔の向きの基準を変更する処理を行う制御ユニットを備え、乗員の姿勢変更があった場合、言い換えれば、基準からのずれが一定の方向（略同じ方向）を示している画像が、所定の頻度（又は比率）で検出された場合、乗員の顔の向きの基準を更新している。ここで、第１の範囲は、モニタリングの目的に応じて様々な範囲に設定される。第１の範囲は、例えば、脇見判定角度、集中・疲労度判定角度等で定められる範囲である。第２の範囲は、第１の範囲よりも狭い角度範囲であり、顔の向きが正面とみなす方向で定められる範囲である。
特開２０１９－０８８５２２公報
　実際には、乗員の姿勢が基準姿勢に位置し、乗員が基準姿勢からの姿勢変更がない場合であっても、車両の振動等により、乗員の顔向き及び頭位置の少なくとも一方が、乗員が基準姿勢である場合の角度及び位置の少なくとも一方と乗員が姿勢変更をした場合の角度及び位置の少なくとも一方を行き来することがある（以下、状況Ａという。）。
　そのため、乗員の姿勢は基準姿勢に位置しているため、検出頻度Ａが検出頻度Ｂよりも高くなることがある。
　また、予め定められた期間における、乗員が基準姿勢であるとみなすことができる乗員の顔向き（以下、顔向きＡという。）及び頭位置の少なくとも一方の検出頻度（以下、検出頻度Ａという。）と乗員が基準姿勢から姿勢変更したとみなすことができる乗員の顔向き（以下、顔向きＢという。）及び頭位置の少なくとも一方の検出頻度（以下、検出頻度Ｂという。）の両方が、予め定められた頻度以上となることがある。
　言い換えれば、検出頻度Ａが検出頻度Ｂよりも高いにも関わらず、検出頻度Ｂが予め定められた頻度以上となることがある。
　ここで、状況Ａの場合、特許文献１では、顔向きＡに相当する第２の範囲内のずれに対応する画像の顔の向きの検出頻度（以下、検出頻度Ａ´という。）と顔向きＢに相当する第２の範囲外のずれに対応する画像の顔の向きの検出頻度（以下、検出頻度Ｂ´という。）の両方が、予め定められた頻度以上となることがある。
　しかしながら、特許文献１では、まず当該ずれが第１の範囲内且つ第２の範囲外の条件を満たすか否かを判定し、当該条件を満たすずれと紐づけられた画像の顔の向きが、所定の頻度で検出された場合に、乗員の顔の向きの基準を更新している。そのため、第１の範囲内且つ第２の範囲外の条件を満たすずれに対応する画像の顔の向きの検出頻度のみが、顔の向きの基準の変更の要否を判定する対象となる。
　そのため、特許文献１では、状況Ａの場合、検出頻度Ａ´が検出頻度Ｂ´よりも高いにも関わらず、検出頻度Ｂ´が予め定められた頻度以上となる場合、検出頻度Ａ´が当該対象から除外され検出頻度Ｂ´のみが当該対象となっているため、実際の顔の向きの基準は、検出頻度Ａ´を有する顔向きであるにもかかわらず、顔の向きの基準を検出頻度Ｂ´を有する顔向きに変更する処理が行われる。
　つまり、特許文献１を用いて、基準姿勢の更新を行おうとした場合、乗員が基準姿勢である場合であっても乗員が基準姿勢から姿勢変更を行ったと判定され乗員の基準姿勢が更新されるという可能性がある。
　そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することが困難となる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知が発生し、乗員状態の検出精度が低下するという課題があった。
　本開示は、このような問題を解決するためになされたものであり、乗員状態の検出精度が向上する乗員状態判定装置を提供することを目的とする。
　本開示に係る乗員状態判定装置は、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部と、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部と、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しない基準姿勢更新判定部と、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える。
　本開示に係る乗員状態判定システムは、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部と、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部と、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部と、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しない基準姿勢更新判定部と、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部と、を備える乗員状態判定装置と、車両に少なくとも乗員の顔を撮像可能に設置された撮像装置と、車両に搭載され、乗員の姿勢が異常姿勢であることに対する警告を出力する出力装置と、を備えた異常姿勢判定システムであって、乗員状態判定装置は、撮像装置が撮像した撮像画像を用いて、乗員の姿勢が異常姿勢であるか否かを判定し、乗員の姿勢が異常姿勢であると判定した場合、乗員の姿勢が異常姿勢であることに対する警告を、出力装置から出力させる。
　本開示に係る乗員状態判定方法は、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、基準姿勢推定部が、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定するステップと、基準姿勢更新判定部が、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しないステップと、姿勢崩れ判定部が、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、異常姿勢判定部が、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、乗員は異常姿勢ではないと判定するステップと、を備える。
　本開示に係るプログラムは、顔検出部が、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出するステップと、特徴検出部が、顔検出部が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、基準姿勢推定部が、特徴検出部が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定するステップと、基準姿勢更新判定部が、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しないステップと、姿勢崩れ判定部が、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、異常姿勢判定部が、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、乗員は異常姿勢ではないと判定するステップと、をコンピュータに実行させる。
　本開示の実施形態による乗員状態判定装置によれば、乗員状態の検出精度を向上することができる。
実施の形態１に係る乗員状態判定装置の構成例を示す図である。 実施の形態１に係る検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示す図である。 実施の形態１に係る検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示す図である。 実施の形態１に係る検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示す図である。 複数の姿勢崩れタイプを説明するための図である。 実施の形態１に係る乗員状態判定装置の動作例を示すフローチャートである。 実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。 実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る乗員状態判定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを判定する。
　以下の実施の形態１では、一例として、乗員状態判定装置が異常姿勢であるか否かを判定する対象となる車両の乗員は、車両のドライバとする。
　図１は、実施の形態１に係る乗員状態判定装置１の構成例を示す図である。
　実施の形態１に係る乗員状態判定装置１は、車両に搭載されることを想定している。
　乗員状態判定装置１は、撮像装置２及び出力装置３と接続され、乗員状態判定装置１と撮像装置２と出力装置３とで乗員状態判定システム１００を構成する。
　乗員状態判定装置１は、長時間の運転や運転環境の変化（天候の変化や時間帯）などでドライバの意識的又は癖による姿勢変更があった場合、ドライバの基準となる顔向き及び頭位置である基準姿勢を更新する。
　撮像装置２は、車両に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。実施の形態１では、撮像装置２は、例えば、インストルメントパネルの車幅方向の中央部付近、又は、センターコンソールに設置されていることを想定している。例えば、撮像装置２は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ）と共用のものでもよい。撮像装置２は、可視光カメラ又は赤外線カメラである。撮像装置２は、撮像した撮像画像を、乗員状態判定装置１に出力する。
　乗員状態判定装置１は、撮像装置２が撮像した撮像画像を用いて、ドライバの姿勢が異常姿勢であるか否かを判定する。乗員状態判定装置１の詳細については、後述する。
　乗員状態判定装置１は、ドライバの姿勢が異常姿勢であると判定した場合、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる。
　出力装置３は、車両に搭載され、ドライバの姿勢が異常姿勢であることに対する警告を出力する。
　出力装置３は、例えば、スピーカ等の音声出力装置である。出力装置３は、例えば、車両に設けられているオーディオ装置に備えられていてもよい。出力装置３は、例えば、乗員状態判定装置１から警告を出力させるための情報（以下「警告情報」という。）が出力されると、ドライバの姿勢が異常姿勢であることを知らせる警告音又は音声メッセージを出力する。また、出力装置３は、例えば、ディスプレイ等の表示装置でもよい。出力装置３は、例えば、乗員状態判定装置１から警告情報が出力されると、ドライバの姿勢が異常姿勢であることを知らせるメッセージを表示する。
　また、出力装置３は、例えば、他車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ又は前照灯等であってもよい。例えば、乗員状態判定装置１は、出力装置３に、警告情報を出力して、他車両の乗員等、車両外に存在する人間へ、車両のドライバが異常状態である旨を報知させることもできる。
　出力装置３は、例えば、他車両に搭載されていてもよい。乗員状態判定装置１は、他車両に搭載されている出力装置３に警告情報を送信して、他車両の乗員に対し、車両のドライバが異常状態である旨を知らせる音声出力又は表示等を行うこともできる。
　図１に示されているように、乗員状態判定装置１は、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０を備える。
　特徴検出部１３は、顔向き検出部１３１、頭位置検出部１３２及び検出信頼度算出部１３３を備える。
　画像取得部１１は、撮像装置２から撮像画像を取得する。
　画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
　顔検出部１２は、画像取得部１１が取得した撮像画像においてドライバの顔を検出する。
　詳細には、顔検出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検出する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉又は顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、顔検出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
　なお、撮像装置２の設置位置及び画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、顔検出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、顔検出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点及び顔領域を検出する。
　顔検出部１２は、検出したドライバの顔に関する情報（以下「顔情報」という。）を、特徴検出部１３に出力する。顔情報は、例えば、ドライバの顔の特徴点及び顔領域を特定可能な情報が付与された撮像画像である。
　特徴検出部１３は、乗員、ここではドライバの姿勢を判定するための特徴を検出する。ドライバの姿勢を判定するための特徴とは、ドライバの顔向き及びドライバの頭位置の少なくとも一方（以下、検出ドライバ姿勢という。）である。
　顔向き検出部１３１は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する。顔向き検出部１３１は、例えば、撮像画像から顔向きを検出する公知の顔向き検出技術を用いて、ドライバの顔向きを検出すればよい。ドライバの顔向きは、例えば、予め決められた基準となる、車両の上下方向の軸に対する回転角であるヨー角、車両の左右方向の軸に対する回転角であるピッチ角及び車両の前後方向の軸に対する回転角であるロール角の少なくとも一方であらわされる。顔向き検出部１３１は、検出したドライバの顔向きに関する情報に関する情報（以下「顔向き情報」という。）を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。顔向き情報は、ヨー角、ピッチ角及びロール角の情報の少なくとも一方を含む。
　頭位置検出部１３２は、顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する。実施の形態１において、撮像画像におけるドライバの頭位置は、例えば、ドライバの眉間の中心で示される。頭位置検出部１３２は、例えば、撮像画像上のドライバの眉間の中心に対応する実空間上の点を、ドライバの頭位置として検出する。なお、これは一例に過ぎず、撮像画像におけるドライバの頭の位置は、例えば、ドライバの顔領域の中心又はドライバの両目頭を結ぶ直線の中心で示されてもよい。この場合、頭位置検出部１３２は、例えば、撮像画像上のドライバの顔領域の中心、又は、ドライバの両目頭を結ぶ直線の中心に対応する実空間上の点を、実空間上のドライバの頭位置として検出する。
　頭位置検出部１３２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検出すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。頭位置検出部１３２は、検出したドライバの頭位置に関する情報（以下「頭位置情報」という。）を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。頭位置情報は、ドライバの頭位置の座標情報を含む。
　検出信頼度算出部１３３は、検出ドライバ姿勢が予め定められた顔向き及び頭位置の少なくとも一方である信頼度を示す検出信頼度を算出する。そして、検出信頼度算出部１３３は、算出された検出信頼度を、基準姿勢推定部１４及び姿勢崩れ判定部１８の少なくとも一方に出力する。検出信頼度の算出方法については、例えば、例えば、文献「“ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ”，２００１，ＰａｕｌＶｉｏｌａ，ｅｔａｌ．」に示された方法等を用いることができる。当該文献では、事前に大量の顔画像から学習しておいた顔向き及び頭位置の少なくとも一方と、ドライバを撮影した画像から抽出された顔向き及び頭位置の少なくとも一方のマッチングにおけるマッチ度合いから、顔向き及び頭位置の少なくとも一方の検出信頼度が算出される。
　なお、上記文献に記載の方法ではなくても、顔向き及び頭位置の少なくとも一方に相当する特定の対象物を画像から検出し、その検出信頼度を算出することができる方法であれば、検出信頼度算出部１３３でその方法を利用することができる。
　基準姿勢推定部１４は、検出ドライバ姿勢が第１の閾値未満である場合、ドライバが基準姿勢であるとみなすことができる検出ドライバ姿勢（以下、検出ドライバ姿勢Ａという。）とし、検出ドライバ姿勢が第１の閾値以上である場合、ドライバが基準姿勢から姿勢変更したとみなすことができる検出ドライバ姿勢（以下、検出ドライバ姿勢Ｂという。）とする。
　そして、予め定められた期間（以下「基準設定期間」という。）における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する。
　基準設定期間は、例えば、車両のイグニッションがＯＮにされてから予め設定された時間（例えば、１０秒）が経過するまでの期間である。なお、これは一例に過ぎず、基準設定期間は、例えば、車速が予め決められた速度（例えば、２５［ｋｍ／ｈ］）以上であって、かつ、操舵角が予め決められた範囲内（例えば、±２０度）である場合の所定時間（例えば、３秒）としてもよい。
　また、検出ドライバ姿勢を用いて、ドライバの基準となる顔向き及び頭位置の少なくとも一方を基準姿勢として推定したが、検出ドライバ姿勢と顔向きの検出信頼度及び頭位置の検出信頼度の少なくとも一方を用いて、基準姿勢を推定してもよい。
　基準姿勢推定部１４は、撮像画像における最頻値を用いて推定した基準姿勢（以下、第１の基準姿勢）を、基準姿勢記憶部１５に出力し、基準姿勢推定部１４は、基準姿勢記憶部１５に第１の基準姿勢を出力した後は、基準姿勢記憶部１５に出力された第１の基準姿勢を推定した撮像画像とは異なる撮像画像における最頻値を用いて推定した基準姿勢（以下、第２の基準姿勢）を基準姿勢候補記憶部１６に出力する。
　また、基準姿勢推定部１４は、基準姿勢記憶部１５から第１の基準姿勢を姿勢崩れ判定部１８に出力する基準姿勢として取得する。
　第１の基準姿勢及び第２の基準姿勢のうちの顔向きは、ヨー角、ピッチ角及びロール角のうち少なくともいずれか一方であらわされる。第１の基準姿勢及び第２の基準姿勢のうちの頭位置は、例えば、実空間上の座標であらわされる。また、基準姿勢情報は、ドライバの頭位置の情報として、ドライバの頭位置の座標情報を含む。
　図２に、基準姿勢推定部１４がドライバの基準姿勢を推定する際に用いられる、検出ドライバ姿勢と予め定められた期間において検出ドライバ姿勢の各値が特徴検出部１３によって検出された頻度（以下、検出頻度という。）との関係を示すグラフを示す。
　縦軸は検出頻度を示しており、図２では０～３５の値をとる。横軸は検出ドライバ姿勢を示しており、図２では１５０～２５０の値をとる。ここで、図２における検出ドライバ姿勢は、特徴検出部１３で検出されたドライバの頭位置を指す。また、ドライバが特定の頭位置に位置している場合、当該特定の頭位置の検出頻度は他の頭位置よりも高くなる。
　ここで、検出ドライバ姿勢は、検出ドライバ姿勢Ａと、検出ドライバ姿勢Ｂに分類される。例えば、第１の閾値を２４０とすると、検出ドライバ姿勢が第１の閾値未満の場合、検出ドライバ姿勢Ａに、検出ドライバ姿勢が第１の閾値以上の場合、検出ドライバ姿勢Ｂに分類される。図２において、検出ドライバ姿勢Ａは１５０～２３０、検出ドライバ姿勢Ｂは２４０～２５０となる。
　基準姿勢推定部１４は、図２に示される検出ドライバ姿勢Ａ及び検出ドライバ姿勢Ｂからなる検出ドライバ姿勢のうち、検出ドライバ姿勢の最頻値を第１の基準姿勢として推定する。図２において、基準姿勢推定部１４は、１９０を第１の基準姿勢として推定し、推定した第１の基準姿勢を基準姿勢記憶部１５に出力する。
　基準姿勢記憶部１５は、基準姿勢推定部１４から出力された第１の基準姿勢を格納する。また、後述する、基準姿勢更新判定部１７が、第１の基準姿勢を第２の基準姿勢に更新する判定を行った場合、第１の基準姿勢は第２の基準姿勢に更新される。
　基準姿勢候補記憶部１６は、基準姿勢推定部１４から出力された第２の基準姿勢を格納する。
　基準姿勢更新判定部１７は、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、
　当該差分が第２の閾値未満である場合、第１の基準姿勢を更新しない。
　図３に、図２に示すグラフで基準姿勢推定部１４が基準姿勢を推定した後、ドライバが基準姿勢から姿勢変更した場合の検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示すグラフを示す。
　縦軸は検出頻度を示しており、図３では０～３５の値をとる。横軸は検出ドライバ姿勢を示しており、図３では１５０～２５０の値をとる。ここで、図３における検出ドライバ姿勢は、特徴検出部１３で検出されたドライバの頭位置を指す。また、ドライバが特定の頭位置に位置している場合、当該特定の頭位置の検出頻度は他の頭位置よりも高くなる。また、図２と同様に、検出ドライバ姿勢は、検出ドライバ姿勢Ａ又は検出ドライバ姿勢Ｂに分類される。
　図３に示された状況における、基準姿勢更新判定部１７の基準姿勢の更新判定について説明する。
　図３において、基準姿勢推定部１４は、図３に示される検出ドライバ姿勢Ａ及び検出ドライバ姿勢Ｂからなる検出ドライバ姿勢のうち、検出ドライバ姿勢の最頻値を第１の基準姿勢として推定する。図３において、基準姿勢推定部１４は、２４０を第２の基準姿勢として基準姿勢候補記憶部１６に出力する。
　ここで、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分を第２の閾値と比較することで、第１の基準姿勢を更新するか否かを判定する。
　例えば、第２の閾値を４５とすると、当該差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新する。当該差分が第２の閾値未満である場合、第１の基準姿勢を更新しない。ここで、第１の基準姿勢が１９０、第２の基準姿勢が２４０である場合、当該差分は第２の閾値以上の条件を満たす５０となる。そのため、第１の基準姿勢を第２の基準姿勢２４０に更新する。
　図４に、図２に示すグラフで基準姿勢推定部１４が基準姿勢を推定した後、状況Ａの検出ドライバ姿勢と予め定められた期間における検出ドライバ姿勢の各値の検出頻度との関係を示すグラフを示す。
　縦軸は検出頻度を示しており、図４では０～３５の値をとる。横軸は検出ドライバ姿勢を示しており、図４では１５０～２５０の値をとる。ここで、図４における検出ドライバ姿勢は、特徴検出部１３で検出されたドライバの頭位置を指す。また、ドライバが特定の頭位置に位置している場合、当該特定の頭位置の検出頻度は他の頭位置よりも高くなる。また、図２と同様に、検出ドライバ姿勢は、検出ドライバ姿勢Ａ又は検出ドライバ姿勢Ｂに分類される。
　ここで、状況Ａとは、実際には、ドライバの姿勢が基準姿勢に位置し、ドライバが基準姿勢からの姿勢変更がない場合であっても、車両の振動等により、検出ドライバ姿勢が、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂを行き来する状況を指す。
　状況Ａの場合、検出ドライバ姿勢Ａの検出頻度（図４の２３０の検出頻度）と検出ドライバ姿勢Ｂの検出頻度（図４の２４０の検出頻度）の両方が、予め定められた頻度以上となることがある。
　また、状況Ａの場合、検出ドライバ姿勢Ａの検出頻度（図４の２３０の検出頻度）が検出ドライバ姿勢Ｂの検出頻度（図４の２４０の検出頻度）よりも高くなることがある。
　言い換えれば、検出ドライバ姿勢Ａの検出頻度が検出ドライバ姿勢Ｂの検出頻度よりも高いにも関わらず、検出ドライバ姿勢Ｂの検出頻度が予め定められた頻度以上となることがある。
　図４に示された状況における、基準姿勢更新判定部１７の基準姿勢の更新判定について説明する。
　基準姿勢推定部１４は、図４に示される検出ドライバ姿勢Ａ及び検出ドライバ姿勢Ｂからなる検出ドライバ姿勢のうち、検出ドライバ姿勢の最頻値を第２の基準姿勢として推定する。図４において、基準姿勢推定部１４は、２３０を第２の基準姿勢として推定し、推定した第２の基準姿勢を基準姿勢候補記憶部１６に出力する。
　ここで、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分を第２の閾値と比較することで、第１の基準姿勢を更新するか否かを判定する。
　例えば、第２の閾値を４５とすると、当該差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新する。当該差分が第２の閾値未満である場合、第１の基準姿勢を更新しない。ここで、第１の基準姿勢が１９０、第２の基準姿勢が２３０である場合、当該差分は第２の閾値以上の条件を満たさない４０となる。そのため、第１の基準姿勢である１９０を更新しない。
　姿勢崩れ判定部１８は、検出ドライバ姿勢と基準姿勢推定部１４から取得した基準姿勢との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプ（以下「姿勢崩れタイプ」という。）のうちのいずれかのタイプに該当するか否かを判定する。実施の形態１において、姿勢崩れ判定部１８による、ドライバの姿勢が複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかの判定を、「姿勢崩れタイプ判定」ともいう。
　複数の姿勢崩れタイプには、予め、ドライバが異常状態であることに起因する異常姿勢であるとする姿勢のタイプが設定されている。
　ここで、図５（国土交通省自動車局先進安全自動車推進検討会「ドライバー異常自動検知システム基本設計書」平成３０年３月の一部改変）は、複数の姿勢崩れタイプを説明するための図である。図５に示されているように、姿勢崩れには複数の態様がある。図５では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左又は右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左又は右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」又はドライバの上半身が左又は右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図５に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」及び「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、姿勢崩れ判定部１８が参照可能な場所に記憶されている。
　詳細には、姿勢崩れ判定部１８は、検出ドライバ姿勢が第１の基準姿勢と比べてどれぐらい変化しているかによって、ドライバが複数の姿勢崩れタイプのうちのいずれかのタイプに該当するかを判定する。なお、検出ドライバ姿勢が第１の基準姿勢と比べてどれぐらい変化している場合に、どの姿勢崩れタイプに該当すると判定するかの条件は、予め設定され、姿勢崩れ判定部１８が保持している。姿勢崩れ判定部１８は、例えば、ＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）等の学習器を使用して姿勢崩れタイプ判定を行ってもよい。
　姿勢崩れ判定部１８は、姿勢崩れタイプ判定結果を、異常姿勢判定部１９に出力する。姿勢崩れタイプ判定結果は、ドライバの姿勢が姿勢崩れタイプのいずれかに該当するか否かの情報を含む。
　異常姿勢判定部１９は、姿勢崩れ判定部１８が出力した姿勢崩れタイプ判定結果を用いて、ドライバの姿勢は異常姿勢であるか否かを判定する。
　異常姿勢判定部１９は、姿勢崩れ判定部１８が、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しないと判定した場合ドライバは異常姿勢ではないと判定する。
　異常姿勢判定部１９は、姿勢崩れ判定部１８がドライバの姿勢は姿勢崩れであると判定した場合、ドライバの姿勢が姿勢崩れである状態の継続時間を判定する。例えば、異常姿勢判定部１９は、取得した範囲判定結果又は姿勢崩れタイプ判定結果を、当該範囲判定結果又は当該姿勢崩れタイプ判定結果を取得した日時の情報と対応付けて、図示しない記憶部に記憶させておく。異常姿勢判定部１９は、記憶させている範囲判定結果又は姿勢崩れタイプ判定結果から、ドライバの姿勢が姿勢崩れである状態の継続時間を判定すればよい。異常姿勢判定部１９は、ドライバの姿勢が姿勢崩れである状態の継続時間が予め設定された閾値（以下「異常姿勢判定用閾値」という。）に達した場合、ドライバは異常姿勢であると判定する。
　異常姿勢判定部１９は、ドライバは異常姿勢であるか否かの判定結果（以下「異常姿勢判定結果」という。）を、出力制御部２０に出力する。
　出力制御部２０は、異常姿勢判定部１９がドライバは異常姿勢であると判定した場合、ドライバに警告を行うための警告情報を、出力装置３に出力する。
　実施の形態１に係る乗員状態判定装置１の動作について説明する。図６は、実施の形態１に係る乗員状態判定装置１の動作について説明するためのフローチャートである。
　なお、乗員状態判定装置１の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。また、撮像装置２から撮像画像を取得する度、つまり毎フレーム乗員状態の判定処理を行うと好ましい。
　画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
　画像取得部１１は、取得した撮像画像を、顔検出部１２に出力する。
　顔検出部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像においてドライバの顔を検出する（ステップＳＴ２）。
　顔検出部１２は、顔情報を、特徴検出部１３に出力する。
　顔向き検出部１３１は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検出する（ステップＳＴ３）。
　顔向き検出部１３１は、顔向き情報を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。
　頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
　頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。
　頭位置検出部１３２は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検出する（ステップＳＴ３）。
　頭位置検出部１３２は、頭位置情報を、基準姿勢推定部１４及び姿勢崩れ判定部１８に出力する。
　検出信頼度算出部１３３は、ステップＳＴ２にて顔検出部１２から出力された顔情報に基づき、詳細には、顔検出部１２が検出した撮像画像におけるドライバの顔に基づき、顔向き及び頭位置の少なくとも一方の検出信頼度を算出する（ステップＳＴ４）。
　検出信頼度算出部１３３は、検出信頼度を、基準姿勢推定部１４及び姿勢崩れ判定部１８の少なくとも一方に出力する。
　基準姿勢推定部１４は、検出ドライバ姿勢のうち、検出ドライバ姿勢が第１の閾値未満である場合、検出ドライバ姿勢Ａとし、検出ドライバ姿勢が第１の閾値以上である場合、検出ドライバ姿勢Ｂとする（ステップＳＴ５）。
　基準姿勢推定部１４は、基準設定期間における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する（ステップＳＴ６）。
　基準姿勢推定部１４は、基準姿勢推定部１４が前フレームにおいてドライバの基準姿勢の推定を完了している場合、言い換えれば、基準姿勢記憶部１５に第１の基準姿勢を出力した後は（ステップＳＴ７の“ＹＥＳ”の場合）、基準姿勢記憶部１５に出力された第１の基準姿勢を推定した撮像画像とは異なる撮像画像における最頻値を用いて推定した第２の基準姿勢を基準姿勢候補記憶部１６に出力する（ステップＳＴ８）。
　基準姿勢推定部１４が前フレームにおいてドライバの基準姿勢の推定を完了していない場合（ステップＳＴ７の“ＮＯ”の場合）、基準姿勢推定部１４は、撮像画像における最頻値を用いて推定した基準姿勢における第１の基準姿勢を、基準姿勢記憶部１５に出力する（ステップＳＴ９）。
　基準姿勢推定部１４は、ドライバの基準姿勢を推定すると、基準姿勢推定済フラグを「１」にする。基準姿勢推定済フラグの初期値は「０」であり、基準姿勢推定済フラグは、例えば、乗員状態判定装置１のイグニッションがＯＦＦされる際に初期化される。基準姿勢推定済フラグは、乗員状態判定装置１が参照可能な場所に記憶される（ステップＳＴ１０）。
　基準姿勢更新判定部１７は、基準姿勢記憶部１５に格納された第１の基準姿勢と基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分が第２の閾値以上である場合（ステップＳＴ１１の“ＹＥＳ”の場合）、第１の基準姿勢を第２の基準姿勢に更新する（ステップＳＴ１２）。
　基準姿勢更新判定部１７は、第１の基準姿勢と第２の基準姿勢との差分が第２の閾値未満である場合（ステップＳＴ１１の“ＮＯ”の場合）、第１の基準姿勢を更新しない（ステップＳＴ１３）。
　姿勢崩れ判定部１８は、検出ドライバ姿勢と基準姿勢推定部１４から取得した基準姿勢との比較によって、ドライバの姿勢が予め定められた複数の姿勢崩れのタイプのうちのいずれかのタイプに該当するか否かを判定する（ステップＳＴ１４）。
　姿勢崩れ判定部１８は、姿勢崩れタイプ判定結果を、異常姿勢判定部１９に出力する。
　異常姿勢判定部１９は、姿勢崩れ判定部１８が、ドライバの姿勢が姿勢崩れタイプのいずれかに該当しないと判定した場合（ステップＳＴ１４の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する（ステップＳＴ１５）。
　異常姿勢判定部１９は、姿勢崩れ判定部１８がドライバの姿勢は姿勢崩れであると判定した場合（ステップＳＴ１４の“ＹＥＳ”の場合）、ドライバの姿勢が姿勢崩れである状態の継続時間を判定する（ステップＳＴ１６）。
　異常姿勢判定部１９は、ドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達した場合（ステップＳＴ１６の“ＹＥＳ”の場合）、ドライバは異常姿勢であると判定し、ドライバの姿勢が異常姿勢であることに対する警告を、出力装置３から出力させる（ステップＳＴ１７）。
　異常姿勢判定部１９は、ドライバの姿勢が姿勢崩れである状態の継続時間が異常姿勢判定用閾値に達しない場合（ステップＳＴ１６の“ＮＯ”の場合）、ドライバは異常姿勢ではないと判定する。
　図７及び図８は、実施の形態１に係る乗員状態判定装置１のハードウェア構成の一例を示す図である。実施の形態１において、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能は、処理回路１００１により実現される。すなわち、乗員状態判定装置１は、撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるかを判定する制御を行うための処理回路１００１を備える。処理回路１００１は、図７に示すように専用のハードウェアであっても、図８に示すようにメモリ１００５に格納されるプログラムを実行するプロセッサ１００４であってもよい。なお、メモリ１０００には、基準姿勢推定部１４、基準姿勢記憶部１５が含まれる。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１００４の場合、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能を実行する。すなわち、乗員状態判定装置１は、プロセッサ１００４により実行されるときに、上述の図７のステップＳＴ１～ステップＳＴ１６が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の処理の手順又は方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、又は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等が該当する。
　なお、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、画像取得部１１と出力制御部２０については専用のハードウェアとしての処理回路１００１でその機能を実現し、顔検出部１２と、特徴検出部１３と、基準姿勢推定部１４と、姿勢崩れ判定部１８、異常姿勢判定部１９についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　図示しない記憶部は、例えば、メモリ１００５で構成される。また、乗員状態判定装置１は、撮像装置２又は出力装置３等の装置と、有線通信又は無線通信を行う入力インタフェース装置１００２及び出力インタフェース装置１００３を備える。
　以上のように、実施の形態１によれば、乗員状態判定装置１は、車両の乗員の顔が撮像された撮像画像において乗員の顔を検出する顔検出部１２と、顔検出部１２が検出した撮像画像における乗員の顔を用いて、乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部１３と、特徴検出部１３が検出した検出乗員姿勢が第１の閾値未満である場合、乗員が、乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる検出乗員姿勢とし、検出乗員姿勢が第１の閾値以上である場合、乗員が、基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢とし、予め定められた期間において取得された、乗員が基準姿勢であるとみなすことができる検出乗員姿勢と乗員が基準姿勢から姿勢変更したとみなすことができる検出乗員姿勢のうち、特徴検出部１３が検出した頻度が最も高い検出乗員姿勢である最頻値を基準姿勢として推定する基準姿勢推定部１４と、撮像画像における最頻値を用いて推定された基準姿勢である第１の基準姿勢と、撮像画像とは異なる撮像画像における最頻値を用いて推定された基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、第１の基準姿勢を第２の基準姿勢に更新し、差分が第２の閾値未満の場合、第１の基準姿勢を更新しない基準姿勢更新判定部１７と、検出乗員姿勢と第１の基準姿勢との比較によって、乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部１８と、姿勢崩れ判定部１８が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、乗員は異常姿勢であると判定し、姿勢崩れ判定部１８が、乗員の姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、乗員は異常姿勢ではないと判定する異常姿勢判定部１９と、を備える構成とした。
　基準姿勢推定部１４は、基準設定期間における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する。
　また、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分を第２の閾値と比較することで、基準姿勢記憶部１５に格納された第１の基準姿勢を更新するか否かを判定する。
　このような構成とすることで、乗員状態判定装置１は、長時間の運転や運転環境の変化（天候の変化や時間帯）などでドライバの意識的又は癖による姿勢変更があった場合、基準姿勢を更新する。そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することができる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知を抑制し、乗員状態の検出精度を向上することができる。
　また、図４に示された状況Ａにおいて、先述のとおり特許文献１を用いて基準姿勢の更新を行おうとした場合、乗員が基準姿勢である場合であっても乗員が基準姿勢から姿勢変更を行ったと判定され乗員の基準姿勢が更新されるという可能性がある。
　そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することが困難となる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知が発生し、ドライバの運転不能状態の検出精度が低下するという課題があった。
　一方で、乗員状態判定装置１は、基準姿勢推定部１４が、基準設定期間における、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定する。
　このような構成とすることで、状況Ａにおいて検出ドライバ姿勢Ａに該当する検出ドライバ姿勢が、基準姿勢推定部１４における最頻値算出の対象から除外され、検出ドライバ姿勢Ｂを含む検出ドライバ姿勢のみが、基準姿勢推定部１４における最頻値算出の対象となることを回避することができる。
　その結果、基準姿勢更新判定部１７により更新された第１の基準姿勢と実際のドライバの姿勢における顔向き及び頭位置の少なくとも一方に差異が生じることを抑制でき、ドライバが基準姿勢である場合であってもドライバが基準姿勢から姿勢変更を行ったと判定されドライバの基準姿勢が更新されることを回避することができる。
　そのため、姿勢崩れであるか否かの判定に用いられる基準姿勢からの変化量を精度よく算出することができる。その結果、姿勢崩れが発生しているにもかかわらず、当該変化量を精度よく算出できないために、姿勢崩れでないと判定される姿勢崩れの未検知を抑制し、乗員状態の検出精度を向上することができる。
　また、以上の実施の形態１では、基準姿勢更新判定部１７が、基準姿勢記憶部１５に格納された第１の基準姿勢と、基準姿勢候補記憶部１６に格納された第２の基準姿勢との差分と第２の閾値を比較することで、第１の基準姿勢を更新するか否かを判定していたが、基準姿勢更新判定部１７は、第１の基準姿勢を更新するか否かを機械学習により判定してもよい。
　また、以上の実施の形態１では、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が最も高い検出ドライバ姿勢である最頻値をドライバの基準姿勢として推定したが、検出ドライバ姿勢Ａと検出ドライバ姿勢Ｂのうち、特徴検出部１３が検出した頻度が予め定められた閾値以上の検出ドライバ姿勢を基準姿勢として推定してもよい。
　また、以上の実施の形態１では、乗員状態判定装置１が異常姿勢であるか否かを判定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。乗員状態判定装置１は、ドライバ以外の車両の乗員を、異常姿勢であるか否かを判定する対象とできる。
　また、以上の実施の形態１では、乗員状態判定装置１は、車両に搭載される車載装置とし、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０は、車載装置に備えられているものとした。
　これに限らず、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
　また、画像取得部１１、顔検出部１２、特徴検出部１３、基準姿勢推定部１４、基準姿勢記憶部１５、基準姿勢候補記憶部１６、基準姿勢更新判定部１７、姿勢崩れ判定部１８、異常姿勢判定部１９、及び出力制御部２０が全部サーバに備えられてもよい。
１　乗員状態判定装置、２　撮像装置、３　出力装置、１１　画像取得部、１２　顔検出部、１３　特徴検出部、１３１　顔向き検出部、１３２　頭位置検出部、１３３　検出信頼度算出部、１４　基準姿勢推定部、１５　基準姿勢記憶部、１６　基準姿勢候補記憶部、１７　基準姿勢更新判定部、１８　姿勢崩れ判定部、１９　異常姿勢判定部、２０　出力制御部、１００　乗員状態判定システム、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ

Claims (7)

  1. 　車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出する顔検出部と、
    　前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出する特徴検出部と、
    　前記特徴検出部が検出した前記検出乗員姿勢が第１の閾値未満である場合、前記乗員が、前記乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる前記検出乗員姿勢とし、前記検出乗員姿勢が前記第１の閾値以上である場合、前記乗員が、前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢とし、予め定められた期間において取得された、前記乗員が前記基準姿勢であるとみなすことができる前記検出乗員姿勢と前記乗員が前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢のうち、前記特徴検出部が検出した頻度が最も高い前記検出乗員姿勢である最頻値を前記基準姿勢として推定する基準姿勢推定部と、
    　前記撮像画像における前記最頻値を用いて推定された前記基準姿勢である第１の基準姿勢と、前記撮像画像とは異なる撮像画像における前記最頻値を用いて推定された前記基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、前記第１の基準姿勢を前記第２の基準姿勢に更新し、前記差分が第２の閾値未満の場合、前記第１の基準姿勢を更新しない基準姿勢更新判定部と、
    　前記検出乗員姿勢と前記第１の基準姿勢との比較によって、前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行う姿勢崩れ判定部と、
    　前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、前記乗員は異常姿勢であると判定し、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、前記乗員は異常姿勢ではないと判定する異常姿勢判定部と、
    　を備える乗員状態判定装置。
  2. 　前記乗員の顔向きは、予め決められた基準となる、前記車両の上下方向の軸に対する回転角であるヨー角、前記車両の左右方向の軸に対する回転角であるピッチ角及び前記車両の前後方向の軸に対する回転角であるロール角のうち少なくともいずれか一方であらわされ、
    　前記乗員の頭位置は、前記顔検出部が検出した前記撮像画像における前記乗員の顔に任意に設けられた点を、実空間上の点に変換したものである、
    　請求項１に記載の乗員状態判定装置。
  3. 　前記基準姿勢更新判定部は、前記第１の基準姿勢を前記第２の基準姿勢に更新するか、前記第１の基準姿勢を更新しないかを機械学習により判定する、
    　請求項１又は２に記載の乗員状態判定装置。
  4. 　前記異常姿勢判定部が前記乗員は前記異常姿勢であると判定した場合、前記乗員に警告を行うための警告情報を出力する出力制御部
    　を備えた請求項１から３のいずれか一項に記載の乗員状態判定装置。
  5. 　請求項１から請求項４のうちのいずれか一項に記載の乗員状態判定装置と、前記車両に少なくとも前記乗員の顔を撮像可能に設置された撮像装置と、前記車両に搭載され、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を出力する出力装置と、を備えた異常姿勢判定システムであって、
    　前記乗員状態判定装置は、前記撮像装置が撮像した撮像画像を用いて、前記乗員の前記姿勢が前記異常姿勢であるか否かを判定し、前記乗員の前記姿勢が前記異常姿勢であると判定した場合、前記乗員の前記姿勢が前記異常姿勢であることに対する警告を、前記出力装置から出力させる、
    　乗員状態判定システム。
  6. 　顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
    　特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、
    　基準姿勢推定部が、前記特徴検出部が検出した前記検出乗員姿勢が第１の閾値未満である場合、前記乗員が、前記乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる前記検出乗員姿勢とし、前記検出乗員姿勢が前記第１の閾値以上である場合、前記乗員が、前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢とし、予め定められた期間において取得された、前記乗員が前記基準姿勢であるとみなすことができる前記検出乗員姿勢と前記乗員が前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢のうち、前記特徴検出部が検出した頻度が最も高い前記検出乗員姿勢である最頻値を前記基準姿勢として推定するステップと、
    　基準姿勢更新判定部が、前記撮像画像における前記最頻値を用いて推定された前記基準姿勢である第１の基準姿勢と、前記撮像画像とは異なる撮像画像における前記最頻値を用いて推定された前記基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、前記第１の基準姿勢を前記第２の基準姿勢に更新し、前記差分が第２の閾値未満の場合、前記第１の基準姿勢を更新しないステップと、
    　姿勢崩れ判定部が、前記検出乗員姿勢と前記第１の基準姿勢との比較によって、前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、
    　異常姿勢判定部が、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、前記乗員は異常姿勢であると判定し、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、前記乗員は異常姿勢ではないと判定するステップと、
    　を備える乗員状態判定方法。
  7. 　顔検出部が、車両の乗員の顔が撮像された撮像画像において前記乗員の顔を検出するステップと、
    　特徴検出部が、前記顔検出部が検出した前記撮像画像における前記乗員の顔を用いて、前記乗員の顔向き及び頭位置の少なくとも一方である検出乗員姿勢を検出するステップと、
    　基準姿勢推定部が、前記特徴検出部が検出した前記検出乗員姿勢が第１の閾値未満である場合、前記乗員が、前記乗員の基準となる顔向き及び頭位置の少なくとも一方である基準姿勢であるとみなすことができる前記検出乗員姿勢とし、前記検出乗員姿勢が前記第１の閾値以上である場合、前記乗員が、前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢とし、予め定められた期間において取得された、前記乗員が前記基準姿勢であるとみなすことができる前記検出乗員姿勢と前記乗員が前記基準姿勢から姿勢変更したとみなすことができる前記検出乗員姿勢のうち、前記特徴検出部が検出した頻度が最も高い前記検出乗員姿勢である最頻値を前記基準姿勢として推定するステップと、
    　基準姿勢更新判定部が、前記撮像画像における前記最頻値を用いて推定された前記基準姿勢である第１の基準姿勢と、前記撮像画像とは異なる撮像画像における前記最頻値を用いて推定された前記基準姿勢である第２の基準姿勢との差分が第２の閾値以上である場合、前記第１の基準姿勢を前記第２の基準姿勢に更新し、前記差分が第２の閾値未満の場合、前記第１の基準姿勢を更新しないステップと、
    　姿勢崩れ判定部が、前記検出乗員姿勢と前記第１の基準姿勢との比較によって、前記乗員の姿勢が複数の姿勢崩れタイプのいずれに該当するかの姿勢崩れタイプ判定を行うステップと、
    　異常姿勢判定部が、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれに該当すると判定した場合、前記乗員は異常姿勢であると判定し、前記姿勢崩れ判定部が、前記乗員の前記姿勢は複数の姿勢崩れタイプのいずれに該当しないと判定した場合、前記乗員は異常姿勢ではないと判定するステップと、をコンピュータに実行させるプログラム。
PCT/JP2022/037819 2022-10-11 2022-10-11 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム WO2024079779A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037819 WO2024079779A1 (ja) 2022-10-11 2022-10-11 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/037819 WO2024079779A1 (ja) 2022-10-11 2022-10-11 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024079779A1 true WO2024079779A1 (ja) 2024-04-18

Family

ID=90668945

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037819 WO2024079779A1 (ja) 2022-10-11 2022-10-11 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024079779A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP2019088522A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP2019154929A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 算出システム、指標算出方法、およびコンピュータプログラム
JP2021028803A (ja) * 2019-08-09 2021-02-25 いすゞ自動車株式会社 基準位置決定装置
JP2021129700A (ja) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 基準値決定装置及び基準値決定方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
JP2019088522A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP2019154929A (ja) * 2018-03-15 2019-09-19 オムロン株式会社 算出システム、指標算出方法、およびコンピュータプログラム
JP2021028803A (ja) * 2019-08-09 2021-02-25 いすゞ自動車株式会社 基準位置決定装置
JP2021129700A (ja) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 基準値決定装置及び基準値決定方法

Similar Documents

Publication Publication Date Title
JP6811834B2 (ja) 運転状態判定装置および運転状態判定方法
US10372972B2 (en) Face detection apparatus, face detection method, and program
US7370970B2 (en) Eyeglass detection method
US9662977B2 (en) Driver state monitoring system
US20070159344A1 (en) Method of detecting vehicle-operator state
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
US20160262682A1 (en) Driver monitoring apparatus
JP2009073462A (ja) 運転状態判定装置及び運転支援装置
CN108698606A (zh) 用于分类驾驶员运动的方法
US20210073522A1 (en) Occupant state determining device, warning output control device, and occupant state determining method
JP5077128B2 (ja) 覚醒度判定装置
US11847562B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
US20190147268A1 (en) Eyelid opening/closing determination apparatus and drowsiness detection apparatus
EP3140777A1 (en) Method for performing diagnosis of a camera system of a motor vehicle, camera system and motor vehicle
US10423846B2 (en) Method for identifying a driver change in a motor vehicle
JP5498183B2 (ja) 行動検出装置
US20210370956A1 (en) Apparatus and method for determining state
WO2024079779A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
US20200192476A1 (en) Method for Operating an Assist System for a Vehicle, and Assist System
US20230227044A1 (en) Apparatus, method, and computer program for monitoring driver
WO2024075205A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム
WO2024209531A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及び乗員状態判定プログラム
US20240233405A9 (en) Occupant detection device, occupant detection system, and occupant detection method
WO2022176037A1 (ja) 調整装置、調整システム、表示装置、乗員監視装置、および、調整方法
WO2019030855A1 (ja) 運転不能状態判定装置および運転不能状態判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962000

Country of ref document: EP

Kind code of ref document: A1