WO2024100814A1 - 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム - Google Patents

異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム Download PDF

Info

Publication number
WO2024100814A1
WO2024100814A1 PCT/JP2022/041801 JP2022041801W WO2024100814A1 WO 2024100814 A1 WO2024100814 A1 WO 2024100814A1 JP 2022041801 W JP2022041801 W JP 2022041801W WO 2024100814 A1 WO2024100814 A1 WO 2024100814A1
Authority
WO
WIPO (PCT)
Prior art keywords
posture
unit
driver
vehicle
feature
Prior art date
Application number
PCT/JP2022/041801
Other languages
English (en)
French (fr)
Inventor
智大 松本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/041801 priority Critical patent/WO2024100814A1/ja
Publication of WO2024100814A1 publication Critical patent/WO2024100814A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to an abnormal posture detection device, an abnormal posture detection method, and a vehicle control system.
  • the machine learning model By using the machine learning model to determine whether or not the occupant has lost their posture, it is possible to detect the occupant's abnormal posture with high accuracy.
  • the presence or absence of the occupant's posture being lost is determined based on low-precision feature values and the machine learning model.
  • the occupant in the determination of posture loss using the machine learning model, the occupant may be determined to be in a state of posture loss even though he or she is not in a state of posture loss.
  • Patent Document 1 In conventional technology, in scenes where features such as facial direction cannot be reliably extracted from captured images, the presence or absence of an occupant's posture is determined based on low-precision features and a machine learning model, which results in a risk of falsely detecting an abnormal occupant's posture.
  • the technology disclosed in Patent Document 1 does not take into account the possibility that when a machine learning model is used to determine whether or not an occupant's posture is disturbed in a scene where features cannot be stably extracted from an captured image, the technology may misjudgment the occupant's posture, and therefore still cannot solve the above problem.
  • the present disclosure has been made to solve these problems, and aims to provide an abnormal posture detection device that can detect an abnormal posture of an occupant even in the event of a scene in which features cannot be stably extracted from a captured image.
  • the abnormal posture detection device includes an image acquisition unit that acquires an image of the area in which the face of a vehicle occupant should be located, a feature extraction unit that extracts features to be used in determining the posture of the occupant based on the image acquired by the image acquisition unit, a change amount calculation unit that calculates the amount of change in the feature extracted by the feature extraction unit from the feature in a reference posture of the occupant, and a change amount calculation unit that calculates the amount of change in the feature extracted by the feature extraction unit from the feature in a reference posture of the occupant by comparing the feature extracted by the feature extraction unit and the change amount calculated by the change amount calculation unit with conditions for determining a normal posture, or by comparing the feature extracted by the feature extraction unit with conditions for determining a normal posture,
  • the vehicle includes a first determination unit that determines whether the occupant's posture is normal by comparing the amount of change calculated by the amount calculation unit with a normal posture determination condition; a second determination unit that determines whether the occupant's posture is deformed based
  • the abnormal posture detection device disclosed herein can detect an abnormal posture of an occupant even in the event of a scene in which features cannot be stably extracted from a captured image.
  • FIG. 1 is a diagram illustrating a configuration example of an abnormal posture detection device according to a first embodiment; A figure for explaining the significance of the first judgment unit judging whether the driver's posture is normal or not based on a feature based on a current captured image and a relative change in the feature in embodiment 1.
  • FIG. 11 is a diagram for explaining a plurality of types of poor posture.
  • FIG. 1 is a diagram illustrating a configuration example of an operation control system according to a first embodiment. 11 is a flowchart for explaining an operation in a reference posture feature calculation process performed by the abnormal posture detection device according to the first embodiment.
  • 11 is a flowchart for explaining operations in a change amount calculation process, a first posture determination process, a second posture determination process, and an abnormal posture detection process performed by the abnormal posture detection device according to embodiment 1.
  • 7 is a flowchart for illustrating detailed operations of a first attitude determination process by a first determination unit, which is performed in step ST14 of FIG. 6; 7 is a flowchart for explaining a detailed operation of the second attitude determination process by the second determination unit, which is performed in step ST15 of FIG. 6 .
  • 7 is a flowchart for explaining detailed operations of an abnormal posture detection process by a detection unit, which is performed in step ST16 of FIG.
  • FIG. 6; 10A and 10B are diagrams for explaining an example of a scene in which feature amounts such as face direction cannot be stably extracted from a captured image.
  • 4 is a flowchart for explaining an example of an operation of a driving assistance function by the driving control system according to the first embodiment.
  • 12A and 12B are diagrams illustrating an example of a hardware configuration of the abnormal posture detection device according to the first embodiment.
  • Embodiment 1 detects whether or not the posture of a vehicle occupant is abnormal, based on a captured image in which at least the face of the vehicle occupant is captured.
  • the vehicle occupant for whom the abnormal posture detection device detects whether the vehicle is in an abnormal posture is the driver of the vehicle.
  • FIG. 1 is a diagram showing an example of the configuration of an abnormal posture detection device 1 according to the first embodiment.
  • the abnormal posture detection device 1 according to the first embodiment is assumed to be mounted on a vehicle.
  • the abnormal posture detection device 1 is connected to an imaging device 2 , and the abnormal posture detection device 1 and the imaging device 2 together constitute an abnormal posture detection system 100 .
  • the abnormal attitude detection system 100, together with the driving control system 300, the steering mechanism 3, and the braking/driving mechanism 4, constitutes a vehicle control system SYS.A.
  • the imaging device 2 is mounted on the vehicle and is installed so as to be able to capture at least an area where the driver's face should be present.
  • the imaging device 2 is installed, for example, near the center of the instrument panel in the vehicle width direction or on the center console.
  • the imaging device 2 may be shared with a so-called DMS (Driver Monitoring System) that is installed for the purpose of monitoring the interior of the vehicle.
  • the imaging device 2 is a visible light camera or an infrared camera.
  • the imaging device 2 outputs the captured image to the abnormal posture detection device 1.
  • the abnormal posture detection device 1 detects whether or not the posture of the driver is abnormal, based on the captured image captured by the imaging device 2.
  • the abnormal posture detection device 1 will be described in detail later.
  • the abnormal posture detection device 1 outputs the detection result as to whether or not the driver's posture is abnormal to a driving control system 300 connected to the abnormal posture detection system 100.
  • the abnormal posture detection system 100 is connected to a driving control system 300.
  • the driving control system 300 cooperates with the steering mechanism 3 or the braking/driving mechanism 4, and provides driving assistance using the detection results of the abnormal posture detection system 100. Details of the driving control system 300 will be described later.
  • the abnormal posture detection device 1 includes an image acquisition unit 11, a feature extraction unit 12, a reference posture feature calculation unit 13, a change amount calculation unit 14, a first determination unit 15, a second determination unit 16, a detection unit 17, and a memory unit 18.
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 .
  • the image acquisition unit 11 outputs the acquired captured image to the feature extraction unit 12 .
  • the feature extraction unit 12 extracts features used to determine the driver's posture based on the captured image acquired by the image acquisition unit 11 .
  • the feature amounts used to determine the driver's posture are the driver's facial direction, the driver's head position, and the face detection reliability.
  • the feature extraction unit 12 first detects the face of the driver in the captured image acquired by the image acquisition unit 11 .
  • the feature extraction unit 12 detects the driver's facial feature points indicating the driver's facial parts by using a known image recognition technique such as edge detection for the captured image.
  • the facial parts are the corners and corners of the eyes, the nose, the mouth, the eyebrows, the chin, etc.
  • the driver's facial feature points are represented by, for example, coordinates on the captured image.
  • the feature extraction unit 12 may also detect the driver's facial area.
  • the driver's facial area is, for example, the smallest rectangle that surrounds the outline of the driver's face.
  • the driver's facial area is, for example, represented by the coordinates of the four corners of the smallest rectangle on the captured image.
  • the feature extraction unit 12 can determine which area of the captured image is the driver's face. For example, an area in the captured image where the driver's face may be present (hereinafter referred to as the "driver detection area”) is set in advance, and the feature extraction unit 12 detects the feature points and face area of the driver's face in the driver detection area using a known image recognition technique.
  • the feature extraction unit 12 detects the driver's facial direction and head position based on the detected information about the driver's face (hereinafter referred to as "face information") and extracts this as a feature.
  • face information is, for example, a captured image to which information that can identify the feature points and face area of the driver's face has been added.
  • the facial direction and head position of the driver detected by the feature amount extraction unit 12 are, for example, the facial direction and head position in real space.
  • the feature extraction unit 12 detects the direction of the driver's face in real space based on the face information, specifically, based on the face of the driver in the captured image.
  • the feature extraction unit 12 may detect the driver's facial direction, for example, by using a known facial direction detection technique for detecting the facial direction from a captured image.
  • the driver's facial direction is expressed, for example, by an angle (yaw angle, pitch angle, or roll angle) relative to the reference axis, with the optical axis of the imaging device 2 as the reference axis.
  • the driver's facial direction may be expressed, for example, by an angle (yaw angle, pitch angle, or roll angle) relative to the reference axis, with a predetermined reference axis in the longitudinal direction of the vehicle as the reference axis.
  • the feature extraction unit 12 detects the head position of the driver in real space based on the face information, specifically, based on the face of the driver in the captured image.
  • the head position of the driver in the captured image is indicated, for example, by the center of the driver's eyebrows.
  • the feature extraction unit 12 detects, for example, a point in real space corresponding to the center of the driver's eyebrows in the captured image as the head position of the driver. Note that this is merely an example, and the position of the driver's head in the captured image may be indicated, for example, by the center of the driver's face area or the center of a straight line connecting the inner corners of the driver's eyes.
  • the feature extraction unit 12 detects, for example, a point in real space corresponding to the center of the driver's face area in the captured image or the center of a straight line connecting the inner corners of the driver's eyes as the head position of the driver in real space.
  • the feature amount extracting unit 12 may detect the driver's head position by using a known coordinate conversion technique for converting points on the captured image into points in real space.
  • the driver's head position is represented by coordinates in real space, for example.
  • the feature extraction unit 12 calculates the face detection reliability based on the face information, and sets this as the extracted feature.
  • face detection reliability indicates how reliable a face detected from a captured image is, i.e., how plausible it is as a face, or more specifically, the degree to which facial features can be detected from the captured image.
  • the feature extraction unit 12 calculates the face detection reliability in accordance with predetermined conditions that are set in advance. For example, the feature extraction unit 12 calculates the percentage of facial parts detected based on the captured image acquired by the image acquisition unit 11 out of all parts defined as facial parts, such as the corners and corners of the eyes, nose, mouth, eyebrows, or chin, as the face detection reliability.
  • the feature extraction unit 12 outputs information regarding the driver's facial direction, head position, and face detection reliability extracted as features (hereinafter referred to as "feature information") to the reference posture feature calculation unit 13 and the change amount calculation unit 14, and also stores the information in chronological order in the memory unit 18.
  • feature information is information that corresponds information on the driver's facial orientation relative to a reference axis (yaw angle, pitch angle, and roll angle), coordinate information of the driver's head position (X coordinate, Y coordinate, Z coordinate), information indicating the reliability of face detection, and a captured image.
  • the reference posture feature amount calculation unit 13 estimates a reference posture of the driver, and calculates a feature amount in the reference posture of the driver (hereinafter referred to as a "reference posture feature amount").
  • the reference posture refers to the posture of the driver in a state where the driver is considered to be facing forward with respect to the traveling direction of the vehicle.
  • the driver facing forward with respect to the traveling direction of the vehicle is assumed to be facing the driver's face with respect to the traveling direction of the vehicle.
  • "forward” is not limited to being strictly forward, and includes substantially forward.
  • the process of estimating the driver's reference posture and calculating the features in the reference posture performed by the reference posture feature amount calculation unit 13 in the abnormal posture detection device 1 according to embodiment 1 is referred to as a "reference posture feature amount calculation process.”
  • the reference posture feature calculation unit 13 determines whether the driver is facing forward in the vehicle's traveling direction, for example, based on whether the vehicle speed, steering wheel steering angle, and shift position satisfy preset conditions (hereinafter referred to as "vehicle conditions"), and estimates the driver's reference posture.
  • vehicle conditions include, for example, a preset condition that the vehicle speed is equal to or greater than a predetermined speed (e.g., 25 km/h), the steering wheel angle is within a predetermined angle range (e.g., ⁇ 20 degrees), and the shift position is in "D.”
  • the vehicle conditions include the vehicle speed, steering wheel angle, and shift position conditions assumed in a situation in which the driver is assumed to be facing forward in the direction in which the vehicle is traveling.
  • the reference posture feature amount calculation unit 13 assumes that the driver faces forward in the traveling direction of the vehicle. In other words, when the vehicle speed, the steering wheel angle, and the shift position satisfy the vehicle conditions, the reference posture feature amount calculation unit 13 estimates that the driver's posture is the reference posture.
  • the reference posture feature amount calculation unit 13 may obtain information on the vehicle speed from a vehicle speed sensor C62 (see FIG. 4 described later) mounted on the vehicle.
  • the reference posture feature amount calculation unit 13 may obtain information on the steering wheel steering angle from a steering torque sensor C63 (see FIG. 4 described later) mounted on the vehicle.
  • the reference posture feature amount calculation unit 13 may obtain information on the shift position from a shift position sensor (not shown) mounted on the vehicle.
  • the above-described method of determining whether or not the driver is considered to be facing forward with respect to the traveling direction of the vehicle by the reference posture feature amount calculation unit 13 is merely an example.
  • the reference posture feature amount calculation unit 13 may determine whether or not the driver is considered to be facing forward with respect to the traveling direction of the vehicle by using other methods. For example, the reference posture feature amount calculation unit 13 may determine, based on the feature amount information output from the feature amount extraction unit 12, whether or not the driver is considered to be facing forward with respect to the traveling direction of the vehicle.
  • the reference posture feature amount calculation unit 13 can determine the range of the driver's face direction and head position, respectively, for which the driver is considered to be facing forward with respect to the traveling direction of the vehicle. Note that, when the driver faces forward with respect to the traveling direction of the vehicle, the range of the driver's face direction and head position detected by the feature amount extraction unit 12 is assumed to be, respectively, is set in advance.
  • the reference posture feature calculation unit 13 estimates that the driver's posture is the reference posture, it stores the feature information output from the feature extraction unit 12 in the memory unit 18 or in a memory area inside the reference posture feature calculation unit 13 as candidate feature information that is a candidate for calculating the reference posture feature.
  • the reference posture feature calculation unit 13 calculates the driver's reference posture feature items, specifically, the face direction (yaw angle, pitch angle, and roll angle), head position (X coordinate, Y coordinate, and Z coordinate), and face detection reliability, from the stored preset number of candidate feature information items.
  • the reference posture feature calculation unit 13 calculates the most frequent value of the driver's face direction, the driver's head position, and the face detection reliability contained in a preset number of candidate feature information as the driver's reference posture feature. For example, the reference posture feature calculation unit 13 may calculate the average value of the driver's facial direction, the driver's head position, and the face detection reliability contained in a predetermined number of candidate feature information as the driver's reference posture feature.
  • the reference posture feature quantity calculation unit 13 performs a reference posture feature quantity calculation process, and when it calculates the driver's reference posture feature quantity, stores information indicating the calculated reference posture feature quantity of the driver (hereinafter referred to as “reference posture feature quantity information”) in the memory unit 18. Then, the reference posture feature value calculation unit 13 sets to "1" a reference posture feature value calculation completion flag, which is provided in a location that can be referenced by the abnormal posture detection device 1 and indicates that the reference posture feature value has been calculated. The initial value of the reference posture feature calculation completion flag is set to “0.” The reference posture feature calculation completion flag is initialized when the power supply of the vehicle is turned on, when the detection unit 17 detects an abnormal posture of the driver, etc. At this time, reference posture feature amount calculation section 13 may delete the candidate feature amount information stored in storage section 18 or an internal storage area of reference posture feature amount calculation section 13 .
  • the change amount calculation unit 14 calculates the amount of change of the feature amount extracted by the feature amount extraction unit 12 from the reference posture feature amount.
  • the process performed by the change amount calculation unit 14 to calculate the change amount from the reference posture feature amount of the feature amount extracted by the feature amount extraction unit 12 is referred to as the "change amount calculation process.”
  • the “change amount calculation process”, the “first posture determination process” by the first determination unit 15 described later, the “second posture determination process” by the second determination unit 16 described later, and the “abnormal posture detection process” by the detection unit 17 described later are performed after the "reference posture feature amount calculation process" by the reference posture feature amount calculation unit 13 is completed. Details of the "first posture determination process", "second posture determination process”, and “abnormal posture detection process” will be described later.
  • the change amount calculation unit 14 compares the features extracted by the feature amount extraction unit 12, specifically the driver's face direction, head position, and face detection reliability, with the features included in the reference posture feature amount information stored in the storage unit 18, specifically the driver's face direction, head position, and face detection reliability, and calculates the difference as the change amount.
  • the change amount calculation unit 14 calculates the change amount of the driver's face direction extracted by the feature amount extraction unit 12 from the face direction in the driver's reference posture, the change amount of the driver's head position extracted by the feature amount extraction unit 12 from the head position in the driver's reference posture, and the change amount of the face detection reliability extracted by the feature amount extraction unit 12 from the face detection reliability in the driver's reference posture.
  • the change amount calculation unit 14 calculates the change amount for each of the yaw angle, pitch angle, and roll angle of the driver's face direction.
  • the change amount calculation unit 14 also calculates the change amount for each of the X coordinate, Y coordinate, and Z coordinate of the driver's head position.
  • the change amount calculation section 14 outputs information indicating the calculated change amount (hereinafter referred to as “change amount information”) to the first determination section 15 together with the feature amount information output from the feature amount extraction section 12 .
  • the change amount information includes information on the change amount of the driver's facial direction (change amount in yaw angle, change amount in pitch angle, and change amount in roll angle), information on the change amount of the driver's head position (change amount in X-coordinate, Y-coordinate, and Z-coordinate), and information indicating the change amount of the face detection reliability.
  • the first judgment unit 15 judges whether the driver's posture is normal or not by comparing the features extracted by the feature extraction unit 12 and the change amount calculated by the change amount calculation unit 14 with the conditions for determining normal posture, by comparing the features extracted by the feature extraction unit 12 with the conditions for determining normal posture, or by comparing the change amount calculated by the change amount calculation unit 14 with the conditions for determining normal posture.
  • the process of determining whether or not the driver's posture is normal which is performed by the first determination unit 15 in the abnormal posture detection device 1 according to the first embodiment, is referred to as a "first posture determination process."
  • the normal posture determination conditions are conditions for determining whether the driver's posture is normal, and are set in advance by an administrator or the like and stored in a location that the first determination unit 15 can refer to.
  • the normal posture determination conditions are, for example, as follows:
  • the first determining unit 15 determines that the driver's posture is normal. If the feature extracted by the feature extractor 12 and the change calculated by the change calculator 14 do not satisfy the conditions for determining a normal posture, the first determiner 15 determines that the driver's posture is not a normal posture.
  • the first determination unit 15 determining whether the driver's posture is normal or not based on the feature extracted by the feature extraction unit 12, in other words, the feature based on the current captured image, and the change calculated by the change calculation unit 14, in other words, the relative change in the feature from the reference posture feature.
  • Figure 2 is a diagram for explaining the significance of the first judgment unit 15 in judging whether the driver's posture is normal or not based on features based on the current captured image and the relative change in the features in embodiment 1.
  • FIG. 2 is a simplified diagram showing an example of the concept of the determination by the first determination unit 15 as to whether or not the driver's posture is normal.
  • the reference posture is a posture in which the driver is considered to be facing forward with respect to the traveling direction of the vehicle.
  • a posture in which the driver is driving with his/her elbows on the ground and the roll angle of the face is 40 degrees as shown on the left side of FIG. 2 can also be estimated as the reference posture.
  • the first judgment unit 15 judges whether the driver's posture is normal or not based only on the change in the feature from the reference posture feature, the first judgment unit 15 may judge that the driver's posture in a state such as that shown on the right side of Figure 2 is not a normal posture.
  • the first judgment unit 15 judges whether the driver's posture is normal or not by taking into consideration not only the change in the feature from the reference posture feature but also the feature based on the current captured image. Therefore, even if the reference posture is estimated to be a posture as shown in the left side of Figure 2, the first judgment unit 15 can judge the driver's posture, which should be considered as a normal posture, as shown in the right side of Figure 2, to be the normal posture.
  • the driver's facial direction was used as an example, but the same can be said for the driver's head position.
  • the driver's facial direction was used as an example, but the same can be said for the driver's head position.
  • the first determination unit 15 outputs the determination result of whether or not the driver's posture is determined to be normal (hereinafter referred to as the "normal posture determination result") to the second determination unit 16. At this time, the first determination unit 15 outputs the change amount information output from the change amount calculation unit 14 together with the normal posture determination result to the second determination unit 16.
  • the second judgment unit 16 judges whether or not the driver is suffering from poor posture based on the amount of change calculated by the change amount calculation unit 14 and the machine learning model.
  • the machine learning model is a trained model that receives the change in feature amount from a reference posture feature amount and outputs information indicating whether the driver's posture is out of alignment.
  • the change amount is, in detail, the change in the driver's face direction from the face direction in the reference posture, the change in the driver's head position from the head position in the reference posture, and the change in the face detection reliability from the face detection reliability in the reference posture.
  • the information indicating whether or not the driver has poor posture output by the machine learning model includes information indicating whether or not the driver has poor posture, and, if the driver has poor posture, information indicating the type of poor posture (hereinafter referred to as "poor posture type").
  • the machine learning model is generated in advance and stored in a location that can be referenced by the second determination unit 16, such as the storage unit 18.
  • the second determination unit 16 such as the storage unit 18.
  • an administrator or the like generates a machine learning model by having multiple drivers test drive the vehicle, and stores the model in the storage unit 18 or the like.
  • FIG. 3 (partially modified from the "Basic Design Document for Driver Abnormality Automatic Detection System" of the Advanced Safety Vehicle Promotion Study Group, Road Transport Bureau, Ministry of Land, Infrastructure, Transport and Tourism, March 2018) is a diagram for explaining multiple types of posture imbalance. As shown in Fig. 3, there are several types of posture collapse. Fig.
  • FIG 3 shows “face down” in which the driver falls forward and continues to face near the steering wheel, "head down” in which the driver continues to face downward, “backward lean” in which the driver's upper body is tilted backward and the face continues to face upward, “backward lean” in which the driver's upper body is arched up and the face continues to face upward, “head-over-head” in which the driver's face continues to be tilted to the left or right, “sideways” in which the driver's upper body is tilted to the left or right and the face continues to be tilted in the same direction, and “leaning to the side” in which the driver's upper body is tilted to the left or right.
  • the multiple pre-defined types of posture problems are “face down”, “head down”, “backward arch”, “arched back”, “head only sideways”, “sideways”, and “leaning” shown in Fig. 3.
  • Information on the multiple types of posture problems is stored in a location that can be referenced by the second determination unit 16.
  • the second determination unit 16 inputs the amount of change into the machine learning model to obtain information indicating whether or not the driver has poor posture, and determines whether or not the driver has poor posture, and if so, the type of poor posture.
  • the second judgment unit 16 does not judge posture deviation using the machine learning model. In other words, the second judgment unit 16 judges that the driver's posture is not deviation, in other words, that the driver is not experiencing posture deviation.
  • the second determination unit 16 outputs the determination result as to whether or not the driver is experiencing poor posture (hereinafter referred to as the “poor posture determination result”) to the detection unit 17 .
  • the posture deviation judgment result is information in which information indicating whether or not the driver has a posture deviation is associated with information indicating the type of posture deviation if the driver has a posture deviation.
  • the process of determining whether or not the driver is experiencing poor posture which is performed by the second determination unit 16 in the abnormal posture detection device 1 according to embodiment 1 as described above, is referred to as the "second posture determination process.”
  • the detection unit 17 detects whether or not the driver's posture is abnormal based on the posture deviation determination result output from the second determination unit 16 .
  • the process performed by the detection unit 17 to detect whether the driver's posture is abnormal or not is referred to as an "abnormal posture detection process.”
  • the detection unit 17 detects that the driver's posture is abnormal when the state in which the second judgment unit 16 judges that the driver's posture is poor continues for a preset time (hereinafter referred to as the ⁇ abnormality detection time'').
  • the detection unit 17 detects that the driver's posture is not abnormal when the second judgment unit 16 judges that the driver is not suffering from poor posture, or when the state in which the second judgment unit 16 judges that the driver is suffering from poor posture does not continue for the abnormality detection time.
  • the detection unit 17 first determines whether or not the second determination unit 16 has determined that the driver has poor posture.
  • the detection unit 17 can determine whether or not the second determination unit 16 has determined that the driver has poor posture from the poor posture determination result output from the second determination unit 16.
  • the detection unit 17 detects that the driver's posture is not abnormal.
  • the detection unit 17 When the second judgment unit 16 judges that the driver has poor posture, that is, when the second judgment unit 16 outputs a posture deterioration judgment result indicating that the driver is experiencing poor posture, the detection unit 17 counts up a counter for counting the abnormality detection time (hereinafter referred to as the "abnormal posture detection counter"). On the other hand, if the second judgment unit 16 does not judge that the driver has poor posture, that is, if the second judgment unit 16 outputs a posture deviation judgment result indicating that the driver is not experiencing poor posture, the detection unit 17 resets the abnormal posture detection counter.
  • the second determination unit 16 determines whether or not the abnormal posture detection counter has reached a preset threshold value (hereinafter referred to as the "abnormality detection threshold value").
  • the detection unit 17 determines that the state in which the second determination unit 16 has determined that the driver is experiencing poor posture has continued for the abnormality detection time, and detects that the driver's posture is abnormal.
  • the detection unit 17 outputs information indicating that the driver's posture is abnormal (hereinafter referred to as "abnormal posture detection information”) to the driving control system 300.
  • the abnormal posture detection information includes information indicating that the driver's posture is abnormal and information indicating the posture failure type.
  • the detection unit 17 can identify the posture failure type based on the posture failure determination result output from the second determination unit 16.
  • the detection unit 17 may output the abnormal posture detection information to an output device (not shown) as information for analysis in case any unforeseen circumstances occur.
  • the detection unit 17 determines that the state in which the second determination unit 16 has determined that the driver is experiencing poor posture has not continued for the abnormality detection time, and does not detect that the driver's posture is abnormal. In other words, the detection unit 17 detects that the driver's posture is not abnormal.
  • the detection unit 17 may output information to the effect that it has not detected an abnormal posture of the driver as abnormal posture detection information to the driving control system 300, or may output it to an output device.
  • the storage unit 18 stores various information such as feature amount information, reference posture feature amount information, and machine learning models. 1, the storage unit 18 is provided in the abnormal posture detection device 1, but this is merely an example. The storage unit 18 may be provided in a location outside the abnormal posture detection device 1 that can be referenced by the abnormal posture detection device 1.
  • FIG. 4 is a diagram showing an example of the configuration of an operation control system 300 according to the first embodiment.
  • a vehicle equipped with the abnormal posture detection system 100 is referred to as a first vehicle, and a vehicle other than the first vehicle is referred to as a second vehicle.
  • the first vehicle and the second vehicle are not distinguished from each other, and the first vehicle and the second vehicle are each referred to as a vehicle.
  • the abnormal posture detection system 100 may be configured to be able to communicate with the driving control system 300 wirelessly or via a wire, as shown in FIG. 1.
  • the driving control system 300 includes a driving control device C3 that controls the driving of the first vehicle by outputting a control signal based on abnormal attitude detection information from the abnormal attitude detection system 100 to control the steering mechanism 3 and braking/driving mechanism 4 of the first vehicle.
  • the driving control system 300 also includes a map information storage device C4 that stores map information used for automatic driving of the vehicle, a surrounding situation monitoring device C5 that monitors the surrounding situation of the vehicle, a vehicle status acquisition device C6 that acquires information indicating the status of the first vehicle, and an alarm control device C7 that controls warnings or notifications to the driver.
  • the abnormal posture detection system 100, driving control device C3, map information storage device C4, surrounding conditions monitoring device C5, vehicle status acquisition device C6, and alarm control device C7 of the driving control system 300 are each connected to a communication bus C8, and data can be sent and received via the communication bus C8.
  • the steering mechanism 3 is a mechanism provided on the first vehicle for determining the direction of travel of the first vehicle, and includes, for example, a steering column, a steering shaft, a rack, a pinion, and a steering actuator 31.
  • the braking/driving mechanism 4 is a mechanism for controlling the traveling speed of the first vehicle and switching between forward and reverse, and includes, for example, an accelerator, a brake, a shift, and a braking/driving actuator 41.
  • the steering actuator 31 that controls the steering mechanism 3 is composed of, for example, an EPS (Electric Power Steering) motor, and the braking/driving actuator 41 that controls the braking/driving mechanism 4 is composed of, for example, an electronically controlled throttle, a brake actuator, etc.
  • the map information storage device C4 is a storage medium that stores map information including road connections, the number of lanes, intersection location information, and railroad crossing location information.
  • the map information storage device C4 is assumed to be mounted on the first vehicle, but the map information storage device C4 may be configured, for example, as a server that transmits map data to the driving control device C3 via communication.
  • a storage medium may be provided in the driving control system 300, and map information obtained from the map information storage device C4 via the vehicle-mounted communication device C52 described below may be stored in the storage medium.
  • the surrounding conditions monitoring device C5 monitors the conditions around the first vehicle and includes a GPS (Global Positioning System) receiver C51, an in-vehicle communication device C52, an external sensor C53, and a navigation system C54.
  • GPS Global Positioning System
  • the GPS receiver C51 receives signals transmitted from GPS positioning satellites and detects the current position of the first vehicle.
  • the outside-vehicle sensor C53 is composed of, for example, at least one of a camera that captures images outside the vehicle, a millimeter-wave radar, a LiDAR, and an ultrasonic sensor, and detects the position of a second vehicle, pedestrian, obstacle, etc. that is present in the vicinity of the first vehicle, or the distance from the first vehicle.
  • the navigation system C54 calculates a route from the current position of the first vehicle to the destination and provides guidance along the calculated route.
  • the navigation system C54 has a display unit, for example, a liquid crystal display, and is housed in an instrument panel.
  • the navigation system C54 also has an operation unit, such as a touch panel or physical buttons, and is configured to be able to accept operations by the occupant.
  • the operation unit of the navigation system C54 may also be configured with a microphone, etc., to be able to accept operations via voice uttered by the occupant.
  • the vehicle-mounted communication device C52 is, for example, a wireless communication device connected to an antenna for wireless communication.
  • the vehicle-mounted communication device C52 acquires information on the position of the second vehicle or pedestrians, traffic information, etc. by communicating with a communication device of a second vehicle or a communication device installed on the road.
  • traffic information is, for example, congestion information, traffic regulation information, construction zone information, etc.
  • the vehicle-mounted communication device C52 can also perform inter-vehicle communication via wireless communication with the vehicle-mounted communication device C52 of a second vehicle that is present around the first vehicle.
  • the vehicle-mounted communication device C52 may perform mobile communication with a base station outside the first vehicle.
  • the vehicle-mounted communication device C52 is configured to be able to transmit information about the first vehicle output onto the communication bus C8 to the second vehicle and a call center, etc.
  • the vehicle-mounted communication device C52 can output information received from the second vehicle and information received from the call center, etc., to the communication bus C8.
  • the vehicle-mounted communication device C52 may also be configured to be able to obtain information from a server, etc., that is present outside the vehicle, such as the map information storage device C4 configured as a server that transmits map data to the driving control device C3.
  • the vehicle state acquisition device C6 acquires information indicating the state of the first vehicle, and includes a steering angle sensor C61, a vehicle speed sensor C62, a steering torque sensor C63, an accelerator position sensor C64, and a brake position sensor C65.
  • the steering angle sensor C61 is provided, for example, on the EPS motor or steering wheel, and detects the steering angle of the first vehicle.
  • the vehicle speed sensor C62 is provided, for example, on the wheels, and detects the traveling speed of the first vehicle.
  • the steering torque sensor C63 is provided, for example, on the steering wheel and detects the magnitude of the steering wheel operating force applied by the driver.
  • the accelerator position sensor C64 detects the amount of depression of the accelerator pedal by the driver.
  • the brake position sensor C65 detects the amount of depression of the brake pedal by the driver.
  • the alarm control device C7 acquires abnormality detection information from the abnormal posture detection system 100.
  • the alarm control device C7 acquires abnormality detection information indicating that the driver's posture is abnormal, it outputs a warning to the driver via the warning unit C71.
  • the warning unit C71 is, for example, an audio device mounted on the first vehicle, and the warning is a voice or notification sound output from the audio device.
  • the warning unit C71 may also be configured as a display unit of the navigation system C54, and the warning may be a warning message displayed on the display unit of the navigation system C54. As described above, the warning may be one that the driver of the first vehicle can recognize.
  • the driving control device C3 may also be controlled to output a control signal to cause the alarm control device C7 to issue a warning.
  • the alarm control device C7 stops the alarm if the driver reacts to the alarm after issuing the alarm.
  • the driver reacts to the warning if it is determined that the driver made a conscious action in response to the warning, such as when the abnormal posture detection system 100 outputs information indicating that the driver's posture is not abnormal, or when an operation unit provided in the navigation system C54 and a switch provided on the steering wheel have accepted an operation by the driver.
  • the alarm control device C7 may output a signal indicating that the driver has reacted to the warning to the abnormal posture detection system 100.
  • the alarm control device C7 activates the notification unit C72, such as turn signals, hazard lamps, and headlights, which are provided on the vehicle exterior so as to be visible from the second vehicle, to notify people outside the first vehicle, such as passengers of the second vehicle, that the posture of the driver of the first vehicle is abnormal.
  • the alarm control device C7 activates the notification unit C72 to notify people outside the first vehicle that the posture of the driver of the first vehicle is abnormal.
  • the alarm control device C7 may also notify the occupants of the second vehicle that the posture of the driver of the first vehicle is abnormal by, for example, displaying a warning message on the display unit of the navigation system C54 of the second vehicle through vehicle-to-vehicle communication via the above-mentioned in-vehicle communication device C52.
  • the notification control unit may use the vehicle state acquired by the vehicle state acquisition unit or a signal output from the driving control device C3 to notify people outside the first vehicle, such as occupants of the second vehicle, of the direction of travel of the first vehicle or whether or not a lane change has occurred, by means of a notification unit C72 composed of the above-mentioned lamps, etc., provided on the vehicle exterior, etc.
  • the driving control device C3 of the driving control system 300 controls the steering actuator 31 or braking/driving actuator 41 mounted on the first vehicle to assist the driver in driving.
  • the driving control device C3 performs automatic driving control of the first vehicle, for example, by outputting a signal to the steering actuator 31 or braking/driving actuator 41.
  • the driving control device C3 performs braking/driving control of the first vehicle, such as by controlling the braking/driving actuator 41, which is composed of an electronically controlled throttle and a brake actuator, to operate the brakes to decelerate or stop the first vehicle.
  • the driving control device C3 performs steering control of the first vehicle, such as by controlling the steering actuator 31, which is composed of an EPS motor, to maintain the lane in which the first vehicle is traveling.
  • the driving control device C3 has multiple driving assistance functions that assist or substitute for the driver's driving operations by controlling the driving force, braking force, steering force, etc. of the first vehicle.
  • the driving assistance functions include a cruise control function and a lane departure prevention function.
  • the cruise control function is referred to as ACC (Adaptive Cruise Control)
  • the lane departure prevention function is referred to as LKA (Lane Keeping Assist).
  • the driving control device C3 executes ACC, it controls the driving speed of the first vehicle by adjusting the driving force and braking force based on monitoring information of the vehicle ahead obtained from the surrounding conditions monitoring device C5. If no vehicle ahead is detected, ACC causes the first vehicle to travel at a constant speed at a target speed preset by the driver or the like. On the other hand, if a vehicle ahead is detected, ACC causes the first vehicle to follow the vehicle ahead while maintaining a distance from the vehicle ahead.
  • the driving control device C3 controls the steering force and steering force based on the shape information of the lane markings in the travel direction obtained from the surrounding conditions monitoring device C5.
  • LKA causes the first vehicle to travel along the lane by applying a steering force to the steering wheel in a direction that prevents the first vehicle from approaching the lane markings.
  • road information output by the surrounding conditions monitoring device C5 may be used for vehicle control by ACC and LKA.
  • the driving control device C3 executes the emergency evacuation function, it can perform automatic evacuation control (evacuation processing) to automatically stop the first vehicle.
  • the driving control device C3 causes the surrounding situation monitoring device C5 to search for an evacuation location to stop the first vehicle. Then, the driving control device C3 moves the first vehicle to the evacuation location set by the search by the surrounding situation monitoring device C5, and stops the first vehicle at this evacuation location.
  • the above-mentioned evacuation location may be the shoulder outside the lane in which the vehicle is traveling, and on general roads, it may be a location that avoids locations where there is a high possibility of the second vehicle, trains, pedestrians, and other moving objects being present, such as intersections, railroad crossings, and sidewalks, in addition to the shoulder outside the lane in which the vehicle is traveling.
  • the driver's posture is abnormal, it is estimated that the driver is in an abnormal state. If the driver is in an abnormal state, there is a high possibility that any operation by the driver will be an incorrect operation. For example, if the driver's physical condition suddenly changes and they lean forward into the steering wheel, there will be an operation of the steering wheel, but this operation is likely to be an incorrect operation. Also, if the driver's physical condition suddenly changes and they lean back, there is a possibility that the accelerator pedal will be pressed by mistake.
  • the vehicle state acquisition device C6 may be provided with an override operation detection unit C66 that detects override operations.
  • accelerator operation may be disabled when the driving assistance function by the driving control device C3 is being executed. In other words, accelerator operation does not have to be included in the override operation.
  • the override operation detection unit C66 obtains the amount of depression of the brake pedal from the brake position sensor C65, and if the braking force obtained from depression of the brake pedal is greater than the braking force in the driving assistance function of the driving control device C3, it detects the operation of the brake pedal as an override operation.
  • the override operation detection unit C66 detects, as an override operation, the operation of the steering wheel performed when a detection result indicating that the driver's posture has not become distorted is obtained from the abnormal posture detection system 100.
  • the driving control system 300 may substitute the control of the steering actuator 31 or the braking/driving actuator 41 for the driving operation by the passenger or the driver.
  • the driving control of the vehicle may be performed by the override operation detected by the override operation detection unit C66.
  • FIG. 5 is a flowchart for explaining operations in a reference posture feature amount calculation process performed by the abnormal posture detection device 1 according to the first embodiment.
  • the operation of the reference posture feature calculation process by the abnormal posture detection device 1 shown in the flowchart of Figure 5 is repeatedly performed, for example, in accordance with instructions from a control unit (not shown) while the reference posture feature calculation completion flag is "0" until the reference posture feature calculation completion flag becomes "1".
  • the control unit refers to the reference posture feature calculation completion flag.
  • the control unit confirms that the reference posture feature calculation completion flag is "0"
  • the control unit instructs the image acquisition unit 11, the feature extraction unit 12, and the reference posture feature calculation unit 13 of the abnormal posture detection device 1 to perform a reference posture feature calculation process.
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 (step ST1).
  • the image acquisition unit 11 outputs the acquired captured image to the feature extraction unit 12 .
  • the feature extraction unit 12 extracts feature amounts used to determine the driver's posture based on the captured image acquired by the image acquisition unit 11 in step ST1 (step ST2).
  • the feature amount extraction unit 12 outputs the feature amount information to the reference posture feature amount calculation unit 13 and also stores the information in chronological order in the storage unit 18 .
  • the reference posture feature amount calculation unit 13 estimates a reference posture of the driver and performs a reference posture feature amount calculation process to calculate a reference posture feature amount (step ST3).
  • the reference posture feature amount calculation section 13 first estimates whether or not the driver's posture is a reference posture.
  • the reference posture feature calculation unit 13 estimates that the driver's posture is the reference posture, it stores the feature information output from the feature extraction unit 12 in the memory unit 18 or in a memory area inside the reference posture feature calculation unit 13 as candidate feature information that is a candidate for calculating the reference posture feature. If the preset number of candidate feature information pieces have not been stored, reference posture feature calculation unit 13 does not set the reference posture feature calculation completion flag to “1” and ends the process of step ST3.
  • step ST3 when a preset number of candidate feature information items are stored, the reference posture feature calculation unit 13 calculates the driver's reference posture feature and face detection reliability from the stored preset number of candidate feature information items.
  • Reference posture feature amount calculation unit 13 stores the reference posture feature amount information in storage unit 18, and sets the reference posture feature amount calculation completion flag to “1.” At this time, reference posture feature amount calculation unit 13 may delete the reference posture feature amount information stored in storage unit 18 or an internal storage area of reference posture feature amount calculation unit 13.
  • FIG. 6 is a flowchart for explaining operations in the change amount calculation process, the first posture determination process, the second posture determination process, and the abnormal posture detection process by the abnormal posture detection device 1 according to embodiment 1.
  • the operations of the change amount calculation process, first posture determination process, second posture determination process, and abnormal posture detection process by the abnormal posture detection device 1 shown in the flowchart of Figure 6 are repeatedly performed after the reference posture feature calculation process described using the flowchart of Figure 5 is completed, for example, until the vehicle ignition is turned off.
  • the control unit confirms this and instructs the image acquisition unit 11, feature extraction unit 12, change amount calculation unit 14, first determination unit 15, second determination unit 16, and detection unit 17 of the abnormal posture detection device 1 to perform change amount calculation process, first posture determination process, second posture determination process, or abnormal posture detection process.
  • the image acquisition unit 11 acquires a captured image from the imaging device 2 (step ST11).
  • the image acquisition unit 11 outputs the acquired captured image to the feature extraction unit 12 .
  • the feature extraction unit 12 extracts feature amounts used to determine the driver's posture based on the captured image acquired by the image acquisition unit 11 in step ST11 (step ST12).
  • the feature amount extraction section 12 outputs the feature amount information to the change amount calculation section 14 and also stores the feature amount information in chronological order in the storage section 18 .
  • the change amount calculation unit 14 performs a change amount calculation process to calculate the amount of change from a reference posture feature amount of the feature amount extracted by the feature amount extraction unit 12 in step ST12 (step ST13).
  • the change amount calculation section 14 outputs the change amount information to the first determination section 15 together with the feature amount information output from the feature amount extraction section 12 .
  • the first determination unit 15 performs a first posture determination process to determine whether the driver's posture is normal or not by comparing the feature extracted by the feature extraction unit 12 in step ST12 with the change calculated by the change calculation unit 14 in step ST13 with the normal posture determination conditions, or by comparing the feature extracted by the feature extraction unit 12 with the normal posture determination conditions, or by comparing the change calculated by the change calculation unit 14 with the normal posture determination conditions (step ST14).
  • FIG. 7 is a flowchart for explaining the detailed operation of the first attitude determination process by the first determination unit 15, which is performed in step ST14 of FIG. 6.
  • the first determination unit 15 compares the feature extracted by the feature extraction unit 12 and the change calculated by the change calculation unit 14 with the conditions for determining normal posture, compares the feature extracted by the feature extraction unit 12 with the conditions for determining normal posture, or compares the change calculated by the change calculation unit 14 with the conditions for determining normal posture (step ST110), and determines whether the feature extracted by the feature extraction unit 12 and the change calculated by the change calculation unit 14 satisfy the conditions for determining normal posture, whether the feature extracted by the feature extraction unit 12 satisfies the conditions for determining normal posture, or whether the change calculated by the change calculation unit 14 satisfies the conditions for determining normal posture (step ST120).
  • the first determination unit 15 determines that the driver's posture is normal (step ST130).
  • the first determination unit 15 outputs a normal posture determination result indicating that the driver's posture is normal to the second determination unit 16. At this time, the first determination unit 15 outputs the change amount information output from the change calculation unit 14 together with the normal posture determination result to the second determination unit 16.
  • the first judgment unit 15 does not determine that the driver's posture is normal. That is, the first judgment unit 15 determines that the driver's posture is not normal.
  • the first judgment unit 15 outputs a normal posture judgment result to the second judgment unit 16 indicating that the driver's posture has not been determined to be normal, in other words, that the driver's posture has been determined to be not normal.
  • the first judgment unit 15 outputs the change amount information output from the change calculation unit 14 together with the normal posture judgment result to the second judgment unit 16.
  • the second determination unit 16 performs a second posture determination process to determine whether or not the driver is suffering from poor posture based on the normal posture determination result output from the first determination unit 15 in step ST14 (step ST15).
  • FIG. 8 is a flowchart for explaining the detailed operation of the second attitude determination process by the second determination unit 16, which is performed in step ST15 of FIG. 6.
  • step ST210 If the first judgment unit 15 judges in step ST14 of FIG. 6 that the driver's posture is normal (if "YES" in step ST210), the second judgment unit 16 judges that the driver's posture is not poor, in other words, that the driver is not experiencing poor posture, and outputs a posture poor judgment result indicating that the driver is not experiencing poor posture to the detection unit 17, and ends the processing shown in the flowchart of FIG. 8.
  • the second judgment unit 16 judges whether the driver is experiencing poor posture based on the amount of change calculated by the change amount calculation unit 14 in step ST13 of FIG. 6 and the machine learning model (step ST220).
  • the second judgment unit 16 outputs a posture impairment judgment result indicating that the driver is experiencing poor posture to the detection unit 17.
  • the detection unit 17 performs an abnormal posture detection process to detect whether or not the driver's posture is abnormal based on the posture deviation determination result output from the second determination unit 16 in step ST15 (step ST16).
  • FIG. 9 is a flowchart for explaining the detailed operation of the abnormal posture detection process by the detection unit 17, which is performed in step ST16 of FIG. 6.
  • the detection unit 17 determines whether the second determination unit 16 has determined in step ST15 of FIG. 6 that the driver's posture is poor (step ST310).
  • step ST310 If the second judgment unit 16 judges that the driver has poor posture (if "YES” in step ST310), that is, if the second judgment unit 16 outputs a posture impairment judgment result indicating that the driver is experiencing poor posture, the detection unit 17 counts up the abnormal posture detection counter (step ST320).
  • step ST310 if the second judgment unit 16 does not judge that the driver has poor posture (if "NO" in step ST310), that is, if the second judgment unit 16 outputs a posture error judgment result indicating that the driver is not experiencing poor posture, the detection unit 17 resets the abnormal posture detection counter (step ST330).
  • the second determination unit 16 determines whether the abnormal posture detection counter has reached the abnormality detection threshold (step ST340).
  • the detection unit 17 determines that the state in which the second determination unit 16 determined that the driver is experiencing poor posture has continued for the abnormality detection time, and detects the driver's abnormal posture (step ST350).
  • the detection unit 17 outputs abnormal posture detection information indicating that the driver's abnormal posture has been detected to the driving control system 300.
  • the detection unit 17 may output the abnormal posture detection information to an output device as information for analysis in the event of any unforeseen circumstances.
  • the detection unit 17 determines that the state in which the second determination unit 16 has determined that the driver is experiencing poor posture has not continued for the abnormality detection time, and does not detect the driver's abnormal posture. In other words, the detection unit 17 detects that the driver's posture is not abnormal.
  • the detection unit 17 may output information to the effect that it has not detected the driver's abnormal posture to the driving control system 300, or to an output device.
  • the abnormal posture detection device 1 calculates the amount of change from the reference posture feature amount of the feature amount extracted based on the captured image in which the area in which the driver's face should be is captured.
  • the abnormal posture detection device 1 first determines whether the driver's posture is normal by comparing the extracted feature amount and the calculated amount of change with the normal posture determination conditions, or by comparing the extracted feature amount with the normal posture determination conditions, or by comparing the calculated amount of change with the normal posture determination conditions. After that, if the abnormal posture detection device 1 determines that the driver's posture is not normal, it determines whether the driver is suffering from poor posture based on the calculated amount of change and the machine learning model. Then, if the abnormal posture detection device 1 determines that the driver is suffering from poor posture for the abnormality detection time, it detects the driver's abnormal posture.
  • FIGS. 10A and 10B are diagrams for explaining an example of a scene in which feature amounts such as face direction cannot be stably extracted from a captured image.
  • FIG. 10A shows an example of a case where the driver's face is no longer captured in the captured image because the driver has taken a "prone" position.
  • FIG. 10B shows an example of a case where the driver touches his/her face with his/her hand, causing a part of the driver's face to be obscured in the captured image.
  • the captured image is indicated by Im
  • the driver is indicated by Dr.
  • the upper left corner of the captured image is the origin
  • the rightward direction of the captured image is the positive direction of the x-axis
  • the downward direction of the captured image is the positive direction of the y-axis.
  • the driver's face will not be captured in the captured image, and features such as the driver's facial orientation will not be extracted (see Figure 10A).
  • the driver is touching his/her face with his/her hands, part of the driver's face will be occluded in the captured image, and the feature amount such as the driver's facial direction will not be stably extracted from the captured image (see FIG. 10B).
  • the driver's eyes are occluded, and therefore the facial direction will not be stably extracted.
  • the abnormal posture detection device 1 first determines whether the driver's posture is normal by first comparing the extracted feature amount and the calculated amount of change with the conditions for determining normal posture, or by comparing the extracted feature amount with the conditions for determining normal posture, or by comparing the calculated amount of change with the conditions for determining normal posture. After that, if the abnormal posture detection device 1 determines that the driver's posture is not normal, it determines whether the driver is experiencing poor posture based on the calculated amount of change and the machine learning model, and detects the driver's abnormal posture if the state in which it has been determined that the driver is experiencing poor posture continues for the abnormality detection time.
  • the abnormal posture detection device 1 can detect the driver's abnormal posture even in the event of a scene in which feature values cannot be stably extracted from the captured image.
  • FIG. 11 is a flowchart for explaining an example of the operation of the driving assistance function by the driving control system 300 according to the first embodiment.
  • the driving control system 300 performs an emergency evacuation function for the vehicle as a driving assistance function when the abnormal posture detection system 100 detects that the driver's posture is abnormal. Note that the operation of the driving control system 300 is started, for example, after the ignition of the vehicle is turned on.
  • the driving control device C3 of the driving control system 300 acquires abnormal posture detection information from the abnormal posture detection system 100 (step ST401) and determines whether or not the driver's abnormal posture has been detected (step ST402). If the abnormal posture detection information does not indicate that the driver's abnormal posture has been detected (if "NO" in step ST402), the operation of the driving control system 300 proceeds to the processing of ST401.
  • the alarm control device C7 activates the warning unit C71 to start warning the driver (step ST403).
  • the warning given to the driver by the warning unit C71 is, for example, the display of a warning message on the display unit of the navigation system C54 mounted on the first vehicle, or the output of sound from an audio device mounted on the first vehicle.
  • the alarm control device C7 judges whether or not the driver has responded to the warning (step ST404).
  • the judgment of whether or not the driver has responded to the warning is made based on, for example, whether or not abnormal posture detection information indicating that an abnormal posture of the driver has been detected is obtained from the abnormal posture detection system 100 before a predetermined time has elapsed since the warning unit C71 issued the warning.
  • the warning control device C7 determines that the driver has responded to the warning.
  • the warning control device C7 determines that the driver has not responded to the warning.
  • the determination of whether or not the driver has responded to the warning may be made, for example, based on whether or not the driver has operated the operating unit to cancel the warning before a predetermined time has elapsed since the warning unit C71 was activated.
  • the predetermined time is, for example, 3 seconds.
  • the warning control device C7 stops the warning from the warning unit C71 (step ST405), and the operation of the driving control system 300 proceeds to the processing of step ST401.
  • the warning control device C7 activates the notification unit C72 to start notifying people outside the first vehicle (step ST406).
  • the notification to the second vehicle is to notify people outside the first vehicle, such as passengers of the second vehicle, that the driver of the first vehicle is not in a state where they can continue to drive, or to notify that the first vehicle will start a driving support function such as an emergency evacuation function.
  • the driving control device C3 starts the emergency evacuation function.
  • the driving control device C3 acquires information about the vehicle state from the vehicle state acquisition device C6 (step ST407).
  • the vehicle state is information that indicates the state of the first vehicle, and is used for vehicle control in driving assistance functions such as the emergency evacuation function.
  • the driving control device C3 acquires information on the surrounding conditions of the first vehicle from the surrounding conditions monitoring device C5 (step ST408), and sets a position to which the first vehicle is to be evacuated (step ST409).
  • the position to which the first vehicle is to be evacuated is referred to as the evacuation position.
  • the evacuation position may be within a range of 150 m from the current position of the first vehicle, or a position where the time required for the first vehicle to move from its current position is within 60 seconds. In this way, it is possible to prevent an unnecessary increase in the number of times the first vehicle enters the intersection as it moves to the evacuation position.
  • the driving control device C3 searches for a position where the first vehicle can be stopped safely from the surrounding condition monitoring device C5, and sets the safest position from among the candidate positions where the first vehicle can be stopped safely as the evacuation position.
  • the evacuation position is a position where there is no possibility of collision with a moving object such as a second vehicle or a pedestrian, or an obstacle, and where there is no possibility of collision with the above-mentioned moving object or obstacle on the route from the current position of the first vehicle to the evacuation position.
  • evacuation positions are the edge of the road such as the shoulder, inside a lane other than an intersection or a railroad crossing, etc. Furthermore, if the evacuation position is the edge of the road such as the shoulder, space may be secured to allow passengers to escape from the first vehicle.
  • the driving control device C3 After setting the evacuation position, the driving control device C3 performs vehicle control to stop the first vehicle at the evacuation position. After setting the evacuation position, the driving control device C3 may display the route from the current position of the first vehicle to the set evacuation position on the display unit of the navigation system C54.
  • the driving control device C3 determines whether a lane change is required before moving the first vehicle to the evacuation position (step ST410). If a lane change is not required before moving the first vehicle to the evacuation position ("NO" in step ST410), that is, if the evacuation position is set within the lane in which the first vehicle is currently traveling, the driving control device C3 controls the steering actuator 31 and braking/driving actuator 41 to cause the first vehicle to travel within the lane in which the first vehicle is currently traveling (step ST411). Then, the driving control device C3 controls the steering actuator 31 and braking/driving actuator 41 to decelerate the first vehicle and then stop it at the evacuation position (step ST412).
  • the driving control device C3 may drive the first vehicle at a speed at which an emergency stop can be performed, such as 10 km/h.
  • a speed at which an emergency stop can be performed such as 10 km/h.
  • the process of step ST411 may be omitted.
  • the driving control device C3 decelerates the first vehicle in the processes of steps ST411 and ST412, the deceleration may be, for example, 3 m/s2 or less in order to prevent the passenger from falling over.
  • a report is sent via the in-vehicle communication device C52 to a call center or the like outside the vehicle (step ST413).
  • the report sent via the in-vehicle communication device C52 includes, for example, a message indicating that the driver of the first vehicle is in an abnormal position and may be unable to continue driving, the current position of the first vehicle acquired by the surrounding conditions monitoring device C5, and the evacuation position set by the driving control device C3. Note that even when a report is sent via the in-vehicle communication device C52, the driving control device C3 may continue to keep the first vehicle stopped, and the alarm control device C7 may continue to alert people outside the first vehicle.
  • lane change includes a case where the first vehicle is moved to a lane adjacent to the lane in which the first vehicle is traveling, such as a lane change, and a case where the first vehicle is deviated from the lane in which the first vehicle is traveling so as to move the first vehicle to the side of the road.
  • the driving control device C3 determines that a lane change is required, it controls the steering actuator 31 and the braking/driving actuator 41 to change the lane of the first vehicle (step ST414).
  • the lateral movement speed of the vehicle during lane change may be about 0.3 m/s so that a second vehicle or pedestrian, etc., present at the lane change destination can recognize the lane change of the first vehicle and avoid a collision.
  • the warning control device C7 may notify people outside the first vehicle that the first vehicle will start changing lane by using the notification unit C72 at least a predetermined time before the lane change is initiated.
  • a notification is issued to the second vehicle via the notification unit C72 indicating that the posture of the driver of the first vehicle is abnormal and that the driver may be in a state where he/she is unable to continue driving.
  • the notification to the second vehicle by the notification unit C72 is not limited to a notification indicating that the posture of the driver of the first vehicle is abnormal, but may also be a notification indicating that the vehicle's emergency evacuation function will be initiated, or a notification indicating that the vehicle's emergency evacuation function is being executed, which is performed in subsequent processing.
  • step ST412 the driving control device C3 controls the steering actuator 31 and the braking/driving actuator 41 to decelerate the first vehicle and then stop it at the evacuation position (step ST415).
  • step ST415 the operation of the driving control system 300 proceeds to the process of step ST413, and a report is sent to a call center or the like outside the vehicle via the in-vehicle communication device C52.
  • the driving control system 300 may substitute the control of the steering actuator 31 or the braking/driving actuator 41 for driving operation by the passenger or the driver. That is, for example, if the override operation detection unit C66 detects an override operation during the processing of steps ST406 to ST415 in FIG. 11, the vehicle may be driven according to the detected override operation.
  • the driving control system 300 when the abnormal posture detection system 100 detects that the driver's posture is abnormal, the driving control system 300 performs an emergency evacuation function for the vehicle as a driving assistance function.
  • the driving control system 300 may also perform ACC or LKA as a driving assistance function.
  • the driving assistance functions may be combined, such as by having the driving control system 300 perform ACC and LKA and then perform the emergency evacuation function when the safety of the surroundings is ensured. Driving assistance functions can be combined as appropriate.
  • the abnormal posture detection device 1 includes the reference posture feature amount calculation unit 13 and has a function of estimating the reference posture of the driver and calculating the reference posture feature amount in the estimated reference posture, but this is merely an example.
  • the function of estimating the reference posture of the driver and calculating the reference posture feature amount in the reference posture may be possessed by a device (not shown) connected to the abnormal posture detection device 1 outside the abnormal posture detection device 1.
  • the abnormal posture detection device 1 does not necessarily have to include the reference posture feature amount calculation unit 13.
  • an administrator or the like may set a reference posture based on the face direction, head position, and face detection reliability of a typical driver in advance, and store the reference posture in a location that can be referenced by the abnormal posture detection device 1, such as the storage unit 18.
  • the abnormal posture detection device 1 does not necessarily have to include the reference posture feature amount calculation unit 13, and the operation of the reference posture feature amount calculation process as described using the flowchart shown in FIG. 5 can be omitted.
  • the abnormal posture detection device 1 can estimate a reference posture and calculate a reference posture feature amount that is more tailored to an individual by using a configuration having a function to estimate the reference posture in the reference posture feature amount calculation unit 13 or an external device than by using a configuration not having a function to estimate the reference posture in the reference posture feature amount calculation unit 13 or an external device. As a result, the abnormal posture detection device 1 can detect whether the driver is in an abnormal posture with higher accuracy.
  • the amount of change in the face detection reliability is included in the amount of change used as an input to the machine learning model, but this is merely an example.
  • the amount of change in the face detection reliability may not be included in the amount of change used as an input to the machine learning model.
  • the abnormal posture detection device 1 can determine whether or not posture is abnormal with greater accuracy than when face detection reliability is not included.
  • the imaging device 2 mounted on a vehicle has been miniaturized. In many cases, a narrow-angle lens is used in the miniaturized imaging device 2. When the imaging device 2 is a so-called narrow-angle camera, the imaging range is narrowed.
  • the possibility that the driver's facial parts are out of frame increases.
  • the degree of ease of detection of the driver's facial parts decreases.
  • the degree of plausibility of the detected driver's face decreases.
  • the vehicle occupant for which the abnormal posture detection device 1 detects whether the vehicle is in an abnormal posture is the vehicle driver, but this is merely one example.
  • the abnormal posture detection device 1 can detect whether any vehicle occupant other than the driver is in an abnormal posture.
  • the abnormal posture detection device 1 is an on-board device mounted on a vehicle, and the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first judgment unit 15, the second judgment unit 16, and the detection unit 17 are provided in the on-board device.
  • some of the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first determination unit 15, the second determination unit 16, and the detection unit 17 may be mounted on the in-vehicle device of the vehicle, and the others may be provided in a server connected to the in-vehicle device via a network, so that a system is configured with the in-vehicle device and the server.
  • the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first determination unit 15, the second determination unit 16, and the detection unit 17 may all be provided in the server.
  • the abnormal posture detection device 1 includes the processing circuit 101 for performing control to detect whether or not the posture of a vehicle occupant is an abnormal posture based on a captured image.
  • the processing circuitry 101 may be dedicated hardware as shown in FIG. 12A, or may be a processor 104 executing a program stored in a memory 105 as shown in FIG. 12B.
  • the processing circuit 101 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the processing circuit is the processor 104
  • the functions of the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first determination unit 15, the second determination unit 16, the detection unit 17, and the control unit are realized by software, firmware, or a combination of software and firmware.
  • the software or firmware is described as a program and stored in the memory 105.
  • the processor 104 reads out and executes the program stored in the memory 105 to execute the functions of the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first determination unit 15, the second determination unit 16, the detection unit 17, and the control unit (not shown).
  • the abnormal posture detection device 1 includes a memory 105 for storing a program that, when executed by the processor 104, results in the execution of steps ST1 to ST3 in FIG. 5 and steps ST11 to ST16 in FIG. 6 described above.
  • the program stored in memory 105 can also be said to cause a computer to execute the processing procedures or methods of the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first judgment unit 15, the second judgment unit 16, the detection unit 17, and a control unit (not shown).
  • memory 105 may be, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versatile Disc).
  • a non-volatile or volatile semiconductor memory such as a RAM, a ROM (Read Only Memory), a flash memory, an EPROM (Erasable Programmable Read Only Memory), or an EEPROM (Electrically Erasable Programmable Read-Only Memory), or a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, or a DVD (Digital Versatile Disc).
  • the functions of the image acquisition unit 11, the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first determination unit 15, the second determination unit 16, the detection unit 17, and the control unit may be partially realized by dedicated hardware and partially realized by software or firmware.
  • the function of the image acquisition unit 11 may be realized by a processing circuit 101 as dedicated hardware
  • the functions of the feature extraction unit 12, the reference posture feature calculation unit 13, the change amount calculation unit 14, the first determination unit 15, the second determination unit 16, the detection unit 17, and the control unit (not shown) may be realized by a processor 104 reading out and executing a program stored in a memory 105.
  • the storage unit 18 is composed of, for example, a memory 105 .
  • the abnormal posture detection device 1 also includes devices such as the imaging device 2 or various devices included in the operation control system 300, as well as an input interface device 102 and an output interface device 103 that perform wired or wireless communication.
  • the abnormal posture detection device 1 includes an image acquisition unit 11 that acquires an image of the area in which the face of a vehicle occupant should be located, a feature extraction unit 12 that extracts features to be used in determining the posture of the occupant based on the image acquired by the image acquisition unit 11, a change amount calculation unit 14 that calculates the change amount of the feature extracted by the feature extraction unit 12 from the feature in the reference posture of the occupant, and a normal posture determination condition by comparing the feature extracted by the feature extraction unit 12 and the change amount calculated by the change amount calculation unit 14 with the normal posture determination condition.
  • the abnormal posture detection device 1 is configured to include a first determination unit 15 that determines whether the posture of the occupant is normal by comparing the amount of change calculated by the change amount calculation unit 14 with a normal posture determination condition, a second determination unit 16 that determines whether the occupant has a bad posture based on the amount of change calculated by the change amount calculation unit 14 and a machine learning model that inputs the amount of change and outputs information indicating whether the occupant has a bad posture when the first determination unit 15 determines that the occupant's posture is not normal, and a detection unit 17 that detects an abnormal posture of the occupant when the state in which the second determination unit 16 has determined that the occupant has a bad posture continues for an abnormality detection time. Therefore, the abnormal posture detection device 1 can detect an abnormal posture of the occupant even when a scene occurs in which feature amounts cannot be stably extracted from a captured image.
  • this disclosure allows for modification of any of the components of the embodiments, or omission of any of the components of the embodiments.
  • the abnormal posture detection device disclosed herein can detect an abnormal posture of an occupant even in a scene in which features cannot be stably extracted from a captured image.
  • 1 Abnormal posture detection device 11 Image acquisition unit, 12 Feature extraction unit, 13 Reference posture feature calculation unit, 14 Change amount calculation unit, 15 First judgment unit, 16 Second judgment unit, 17 Detection unit, 18 Memory unit, 100 Abnormal posture detection system, 2 Imaging device, 300 Driving control system, 3 Steering mechanism, 31 Steering actuator, 4 Braking and driving mechanism, 41 Braking and driving actuator, 101 Processing circuit, 102 Input interface device, 103 Output interface device, 104 Processor C, 105 memory, C3 driving control device, C4 map information storage device, C5 surrounding conditions monitoring device, C51 GPS receiver, C52 in-vehicle communication device, C53 outside vehicle sensor, C54 navigation system, C6 vehicle status acquisition device, C61 steering angle sensor, C62 vehicle speed sensor, C63 steering torque sensor, C64 accelerator position sensor, C65 brake position sensor, C66 override operation detection unit, C7 alarm control device, C71 warning unit, C72 notification unit.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部（１１）と、撮像画像に基づき特徴量を抽出する特徴量抽出部（１２）と、特徴量の、乗員の基準姿勢における特徴量からの変化量を算出する変化量算出部（１４）と、特徴量と変化量とを正常姿勢判定用条件と比較することで、特徴量を正常姿勢判定用条件と比較することで、または、変化量を正常姿勢判定用条件と比較することで、乗員の姿勢は正常姿勢であるか否かを判定する第１判定部（１５）と、第１判定部（１５）が、乗員の姿勢は正常姿勢ではないと判定した場合、変化量と、変化量を入力とし乗員の姿勢崩れの有無を示す情報を出力する機械学習モデルとに基づき、乗員は姿勢崩れを起こしているか否かを判定する第２判定部（１６）と、第２判定部（１６）が乗員は姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、乗員の異常姿勢を検知する検知部（１７）とを備えた。

Description

異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム
　本開示は、異常姿勢検知装置、異常姿勢検知方法、および、車両制御システムに関する。
　従来、車両内の乗員を撮像した撮像画像に基づいて抽出された顔向き等の特徴量と、機械学習における学習済みのモデル（以下「機械学習モデル」という。）とに基づき、乗員の姿勢崩れを判定することで乗員の異常姿勢を検知する技術が知られている（例えば、特許文献１）。
国際公開２０１７／２０８５２９号
　機械学習モデルを用いて乗員の姿勢崩れの有無を判定することで、乗員の異常姿勢を高精度に検知することができる。一方で、撮像画像から顔向き等の特徴量が安定して抽出されないシーンにおいては、精度の低い特徴量と機械学習モデルとに基づいて乗員の姿勢崩れの有無を判定することとなる。この場合、機械学習モデルを用いた姿勢崩れの判定において、乗員は姿勢崩れの状態ではないにもかかわらず、姿勢崩れの状態であると判定される可能性がある。
　従来技術では、撮像画像から顔向き等の特徴量が安定して抽出されないシーンにおいて、精度の低い特徴量と機械学習モデルとに基づいて乗員の姿勢崩れの有無が判定されることとなり、その結果、乗員の異常姿勢を誤検知するおそれがあるという課題があった。
　なお、特許文献１に開示されているような技術では、撮像画像から特徴量が安定して抽出されないシーンにおいて機械学習モデルを用いた乗員の姿勢崩れの有無を判定した場合に乗員の姿勢崩れを誤判定する可能性があることを考慮できていないため、依然として上記課題を解決できない。
　本開示は、このような課題を解決するためになされたものであり、撮像画像から特徴量が安定して抽出されないシーンが発生しても、乗員の異常姿勢を検知することができる異常姿勢検知装置を提供することを目的とする。
　本開示に係る異常姿勢検知装置は、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づき、乗員の姿勢の判定に用いる特徴量を抽出する特徴量抽出部と、特徴量抽出部が抽出した特徴量の、乗員の基準姿勢における特徴量からの変化量を算出する変化量算出部と、特徴量抽出部が抽出した特徴量と変化量算出部が算出した変化量とを正常姿勢判定用条件と比較することで、特徴量抽出部が抽出した特徴量を正常姿勢判定用条件と比較することで、または、変化量算出部が算出した変化量を正常姿勢判定用条件と比較することで、乗員の姿勢は正常姿勢であるか否かを判定する第１判定部と、第１判定部が、乗員の姿勢は正常姿勢ではないと判定した場合、変化量算出部が算出した変化量と、変化量を入力とし乗員の姿勢崩れの有無を示す情報を出力する機械学習モデルとに基づき、乗員は姿勢崩れを起こしているか否かを判定する第２判定部と、第２判定部が乗員は姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、乗員の異常姿勢を検知する検知部とを備える。
　本開示に係る異常姿勢検知装置によれば、撮像画像から特徴量が安定して抽出されないシーンが発生しても、乗員の異常姿勢を検知することができる。
実施の形態１に係る異常姿勢検知装置の構成例を示す図である。 実施の形態１において、第１判定部が、現在の撮像画像に基づく特徴量と、特徴量の相対変化とに基づいて、ドライバの姿勢が正常姿勢であるか否かを判定する意義について説明するための図である。 複数の姿勢崩れタイプを説明するための図である。 実施の形態１に係る運転制御システムの構成例を示す図である。 実施の形態１に係る異常姿勢検知装置による基準姿勢特徴量算出処理における動作について説明するためのフローチャートである。 実施の形態１に係る異常姿勢検知装置による変化量算出処理、第１姿勢判定処理、第２姿勢判定処理、および、異常姿勢検知処理における動作について説明するためのフローチャートである。 図６のステップＳＴ１４にて行われる、第１判定部による第１姿勢判定処理の詳細な動作について説明するためのフローチャートである。 、図６のステップＳＴ１５にて行われる、第２判定部による第２姿勢判定処理の詳細な動作について説明するためのフローチャートである。 図６のステップＳＴ１６にて行われる、検知部による異常姿勢検知処理の詳細な動作について説明するためのフローチャートである。 図１０Ａおよび図１０Ｂは、撮像画像から顔向き等の特徴量が安定して抽出されないシーンの一例について説明するための図である。 実施の形態１に係る運転制御システムによる運転支援機能の動作の一例を説明するためのフローチャートである。 図１２Ａおよび図１２Ｂは、実施の形態１に係る異常姿勢検知装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る異常姿勢検知装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを検知する。
　以下の実施の形態１では、一例として、異常姿勢検知装置が異常姿勢であるか否かを検知する対象となる車両の乗員は、車両のドライバとする。
　図１は、実施の形態１に係る異常姿勢検知装置１の構成例を示す図である。
　実施の形態１に係る異常姿勢検知装置１は、車両に搭載されることを想定している。
　異常姿勢検知装置１は、撮像装置２と接続され、異常姿勢検知装置１と撮像装置２とで異常姿勢検知システム１００を構成する。
　異常姿勢検知システム１００は、運転制御システム３００、操舵機構３、および、制駆動機構４とともに、車両制御システムＳＹＳ．Ａを構成する。
　撮像装置２は、車両に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。実施の形態１では、撮像装置２は、例えば、インストルメントパネルの車幅方向の中央部付近、または、センターコンソールに設置されていることを想定している。例えば、撮像装置２は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）と共用のものでもよい。撮像装置２は、可視光カメラ、または、赤外線カメラである。撮像装置２は、撮像した撮像画像を、異常姿勢検知装置１に出力する。
　異常姿勢検知装置１は、撮像装置２が撮像した撮像画像に基づいて、ドライバの姿勢が異常姿勢であるか否かを検知する。異常姿勢検知装置１の詳細については、後述する。
　異常姿勢検知装置１は、ドライバの姿勢が異常姿勢であるか否かの検知結果を、異常姿勢検知システム１００と接続されている運転制御システム３００に出力する。
　図１に示されているように、異常姿勢検知システム１００は、運転制御システム３００と接続されている。運転制御システム３００は、操舵機構３または制駆動機構４と連動し、異常姿勢検知システム１００の検知結果を用いて運転支援を行う。運転制御システム３００の詳細は後述する。
　図１に示されているように、異常姿勢検知装置１は、画像取得部１１、特徴量抽出部１２、基準姿勢特徴量算出部１３、変化量算出部１４、第１判定部１５、第２判定部１６、検知部１７、および、記憶部１８を備える。
　画像取得部１１は、撮像装置２から撮像画像を取得する。
　画像取得部１１は、取得した撮像画像を、特徴量抽出部１２に出力する。
　特徴量抽出部１２は、画像取得部１１が取得した撮像画像に基づき、ドライバの姿勢の判定に用いる特徴量を抽出する。
　実施の形態１において、ドライバの姿勢の判定に用いる特徴量は、ドライバの顔向き、ドライバの頭位置、および、顔検知信頼度とする。
　特徴量抽出部１２は、まず、画像取得部１１が取得した撮像画像においてドライバの顔を検知する。
　詳細には、特徴量抽出部１２は、撮像画像に対して、エッジ検出等、公知の画像認識技術を用いて、ドライバの顔のパーツを示すドライバの顔の特徴点を検知する。なお、顔のパーツとは、目尻、目頭、鼻、口、眉、または、顎等である。ドライバの顔の特徴点は、例えば、撮像画像上の座標であらわされる。また、特徴量抽出部１２は、ドライバの顔領域を検出してもよい。ドライバの顔領域は、例えば、ドライバの顔の輪郭を囲む最小矩形とする。ドライバの顔領域は、例えば、撮像画像上の上記最小矩形の四隅の座標であらわされる。
　なお、撮像装置２の設置位置および画角は予めわかっているため、仮に、撮像画像には複数の乗員が撮像されていたとしても、特徴量抽出部１２は、撮像画像上、どの領域に撮像されている顔がドライバの顔であるかを判別できる。例えば、撮像画像において、ドライバの顔が存在し得る領域（以下「ドライバ検知領域」という。）が予め設定されており、特徴量抽出部１２は、ドライバ検知領域に対して、既知の画像認識技術を用いて、ドライバの顔の特徴点および顔領域を検知する。
　特徴量抽出部１２は、検知したドライバの顔に関する情報（以下「顔情報」という。）に基づき、ドライバの顔向きおよびドライバの頭位置を検知し、これを特徴量として抽出する。顔情報は、例えば、ドライバの顔の特徴点および顔領域を特定可能な情報が付与された撮像画像である。
　実施の形態１において、特徴量抽出部１２が検知するドライバの顔向きおよび頭位置は、例えば、実空間上の顔向きおよび頭位置である。
　特徴量抽出部１２は、顔情報に基づき、詳細には、撮像画像におけるドライバの顔に基づき、実空間上のドライバの顔向きを検知する。
　特徴量抽出部１２は、例えば、撮像画像から顔向きを検知する公知の顔向き検知技術を用いて、ドライバの顔向きを検知すればよい。ドライバの顔向きは、例えば、撮像装置２の光軸を基準軸とし、当該基準軸に対する角度（ヨー角、ピッチ角、または、ロール角）であらわされる。なお、これは一例に過ぎず、ドライバの顔向きは、例えば、予め決められた、基準となる車両の前後方向の軸を基準軸とし、当該基準軸に対する角度（ヨー角、ピッチ角、または、ロール角）であらわされてもよい。
　また、特徴量抽出部１２は、顔情報に基づき、詳細には、撮像画像におけるドライバの顔に基づき、実空間上のドライバの頭位置を検知する。実施の形態１において、撮像画像におけるドライバの頭位置は、例えば、ドライバの眉間の中心で示される。特徴量抽出部１２は、例えば、撮像画像上のドライバの眉間の中心に対応する実空間上の点を、ドライバの頭位置として検出する。なお、これは一例に過ぎず、撮像画像におけるドライバの頭の位置は、例えば、ドライバの顔領域の中心、または、ドライバの両目頭を結ぶ直線の中心で示されてもよい。この場合、特徴量抽出部１２は、例えば、撮像画像上のドライバの顔領域の中心、または、ドライバの両目頭を結ぶ直線の中心に対応する実空間上の点を、実空間上のドライバの頭位置として検知する。
　特徴量抽出部１２は、例えば、撮像画像上の点を実空間上の点に変換する公知の座標変換技術を用いて、ドライバの頭位置を検知すればよい。ドライバの頭位置は、例えば、実空間上の座標であらわされる。
　また、特徴量抽出部１２は、顔情報に基づき、顔検知信頼度を算出し、これを抽出した特徴量とする。
　実施の形態１において、顔検知信頼度は、撮像画像から検出された顔がどれぐらい信頼できるか、すなわち、顔としてもっともらしいか、より詳細には、撮像画像から顔のパーツがどれぐらい検出できたか、の度合いを示す。
　特徴量抽出部１２は、予め設定されている所定の条件に従って、顔検知信頼度を算出する。
　例えば、特徴量抽出部１２は、顔のパーツとして定義されている目尻、目頭、鼻、口、眉、または、顎等の全パーツのうち、画像取得部１１が取得した撮像画像に基づいて検知された顔のパーツの割合を、顔検知信頼度として算出する。
　特徴量抽出部１２は、特徴量として抽出したドライバの顔向き、頭位置、および、顔検知信頼度に関する情報（以下「特徴量情報」という。）を、基準姿勢特徴量算出部１３および変化量算出部１４に出力するとともに、記憶部１８に時系列で記憶させる。
　特徴量情報は、基準軸に対するドライバの顔向き（ヨー角、ピッチ角、および、ロール角）の情報と、ドライバの頭位置の座標情報（Ｘ座標、Ｙ座標、Ｚ座標）と、顔検知信頼度を示す情報と、撮像画像とが対応付けられた情報である。
　基準姿勢特徴量算出部１３は、ドライバの基準姿勢を推定し、ドライバの基準姿勢における特徴量（以下「基準姿勢特徴量」という。）を算出する。
　実施の形態１において、基準姿勢とは、ドライバが車両の進行方向に対して正面を向いているとみなす状態でのドライバの姿勢をいう。なお、実施の形態１において、ドライバが車両の進行方向に対して正面を向いているとは、ドライバの顔が車両の進行方向に対して正面を向いていることを想定している。実施の形態１において、「正面」とは厳密に正面であることに限定されず、略正面を含む。
　実施の形態１に係る異常姿勢検知装置１において基準姿勢特徴量算出部１３が行うドライバの基準姿勢の推定および基準姿勢における特徴量の算出の処理を、「基準姿勢特徴量算出処理」という。
　基準姿勢特徴量算出部１３は、ドライバが車両の進行方向に対して正面を向いているとみなすか否かを、例えば、車速とハンドル操舵角とシフトポジションが予め設定された条件（以下「車両条件」という。）を満たすか否かによって判定して、ドライバの基準姿勢を推定する。
　車両条件には、例えば、「車速が所定の速度（例えば、２５［ｋｍ／ｈ］）以上であること、ハンドル操舵角が所定の角度範囲（例えば、±２０度）内であること、かつ、シフトポジションが「Ｄ」であること」が予め設定されている。車両条件には、ドライバが車両の進行方向に対して正面を向いていると想定される状況において想定される車速、ハンドル舵角、および、シフトポジションの状態が設定されている。
　基準姿勢特徴量算出部１３は、車速とハンドル操舵角とシフトポジションとが車両条件を満たす場合、ドライバが車両の進行方向に対して正面を向いているとみなす。すなわち、基準姿勢特徴量算出部１３は、車速とハンドル操舵角とシフトポジションとが車両条件を満たす場合、ドライバの姿勢は基準姿勢であると推定する。
　基準姿勢特徴量算出部１３は、車速の情報を、車両に搭載されている車速センサＣ６２（後述の図４参照）から取得すればよい。また、基準姿勢特徴量算出部１３は、ハンドル操舵角の情報を、車両に搭載されている操舵トルクセンサＣ６３（後述の図４参照）から取得すればよい。また、基準姿勢特徴量算出部１３は、シフトポジションの情報を、車両に搭載されているシフトポジションセンサ（図示省略）から取得すればよい。
　なお、上述したような、基準姿勢特徴量算出部１３によるドライバが車両の進行方向に対して正面を向いているとみなすか否かの判定方法は、一例に過ぎない。基準姿勢特徴量算出部１３は、その他の方法で、ドライバが車両の進行方向に対して正面を向いているとみなすか否かを判定してもよい。
　例えば、基準姿勢特徴量算出部１３は、特徴量抽出部１２から出力された特徴量情報に基づき、ドライバは車両の進行方向に対して正面を向いているとみなすか否かを判定してもよい。
　例えば、ドライバの顔向きおよび頭位置の基準軸が撮像装置２の光軸とすると、ドライバの車両における撮像装置２の設置位置および画角は予めわかっているので、基準姿勢特徴量算出部１３は、ドライバの顔向きおよび頭位置が、それぞれ、どれぐらいの範囲である場合にドライバは車両の進行方向に対して正面を向いているとみなすかが判定できる。なお、ドライバが車両の進行方向に対して正面を向いているとき、特徴量抽出部１２によって検知されるドライバの顔向きおよび頭位置はそれぞれどれぐらいになると想定されるかの範囲は、予め設定されている。
　基準姿勢特徴量算出部１３は、ドライバの姿勢は基準姿勢であると推定した場合、特徴量抽出部１２から出力された特徴量情報を、基準姿勢特徴量を算出する候補となる候補特徴量情報として、記憶部１８、または、基準姿勢特徴量算出部１３の内部の記憶領域に記憶させる。
　基準姿勢特徴量算出部１３は、予め設定された数の候補特徴量情報が記憶されると、記憶された、予め設定された数の候補特徴量情報から、ドライバの基準姿勢特徴量、詳細には、顔向き（ヨー角、ピッチ角、および、ロール角）、頭位置（Ｘ座標、Ｙ座標、Ｚ座標）、および、顔検知信頼度、を算出する。
　例えば、基準姿勢特徴量算出部１３は、予め設定された数の候補特徴量情報に含まれているドライバの顔向き、ドライバの頭位置、および、顔検知信頼度の最頻値を、ドライバの基準姿勢特徴量として算出する。
　例えば、基準姿勢特徴量算出部１３は、予め設定された数の候補特徴量情報に含まれているドライバの顔向き、ドライバの頭位置、および、顔検知信頼度の平均値を、ドライバの基準姿勢特徴量として算出してもよい。
　基準姿勢特徴量算出部１３は、基準姿勢特徴量算出処理を行い、ドライバの基準姿勢特徴量を算出すると、算出したドライバの基準姿勢特徴量を示す情報（以下「基準姿勢特徴量情報」という。）を、記憶部１８に記憶させる。
　そして、基準姿勢特徴量算出部１３は、異常姿勢検知装置１が参照可能な場所に設けられている、基準姿勢特徴量を算出済みであることを示す基準姿勢特徴量算出完了フラグに「１」を設定する。
　なお、基準姿勢特徴量算出完了フラグの初期値は「０」とする。当該基準姿勢特徴量算出完了フラグは、車両の電源がオンにされたとき、検知部１７によってドライバの異常姿勢が検知されたとき等に初期化される。
　このとき、基準姿勢特徴量算出部１３は、記憶部１８または基準姿勢特徴量算出部１３の内部の記憶領域に記憶されている候補特徴量情報を削除してもよい。
　変化量算出部１４は、特徴量抽出部１２が抽出した特徴量の、基準姿勢特徴量からの変化量を算出する。
　実施の形態１に係る異常姿勢検知装置１において、当該変化量算出部１４が行う、特徴量抽出部１２が抽出した特徴量の、基準姿勢特徴量からの変化量の算出処理を、「変化量算出処理」という。
　当該「変化量算出処理」、後述する第１判定部１５による「第１姿勢判定処理」、後述する第２判定部１６による「第２姿勢判定処理」、および、後述する検知部１７による「異常姿勢検知処理」は、基準姿勢特徴量算出部１３による「基準姿勢特徴量算出処理」が完了した後に行われる。「第１姿勢判定処理」、「第２姿勢判定処理」、および、「異常姿勢検知処理」の詳細については、後述する。
　変化量算出部１４は、特徴量抽出部１２が抽出した特徴量、詳細にはドライバの顔向き、頭位置、および、顔検知信頼度と、記憶部１８に記憶されている基準姿勢特徴量情報に含まれている特徴量、詳細にはドライバの顔向き、頭位置、および、顔検知信頼度とを比較し、それぞれ、差分を、変化量として算出する。つまり、変化量算出部１４は、特徴量抽出部１２が抽出したドライバの顔向きの、ドライバの基準姿勢における顔向きからの変化量と、特徴量抽出部１２が抽出したドライバの頭位置の、ドライバの基準姿勢における頭位置からの変化量と、特徴量抽出部１２が抽出した顔検知信頼度の、ドライバの基準姿勢における顔検知信頼度からの変化量とを算出する。なお、変化量算出部１４は、ドライバの顔向きのヨー角、ピッチ角、ロール角それぞれについて、変化量を算出する。また、変化量算出部１４は、ドライバの頭位置のＸ座標、Ｙ座標、Ｚ座標それぞれについて、変化量を算出する。
　変化量算出部１４は、算出した変化量を示す情報（以下「変化量情報」という。）を、特徴量抽出部１２から出力された特徴量情報とともに、第１判定部１５に出力する。
　変化量情報は、ドライバの顔向きの変化量（ヨー角の変化量、ピッチ角の変化量、および、ロール角の変化量）の情報と、ドライバの頭位置の変化量（Ｘ座標の変化量、Ｙ座標の変化量、Ｚ座標の変化量）の情報と、顔検知信頼度の変化量を示す情報とを含む。
　第１判定部１５は、特徴量抽出部１２が抽出した特徴量と変化量算出部１４が算出した変化量とを正常姿勢判定用条件と比較することで、特徴量抽出部１２が抽出した特徴量を正常姿勢判定用条件と比較することで、または、変化量算出部１４が算出した変化量を正常姿勢判定用条件と比較することで、ドライバの姿勢は正常姿勢であるか否かを判定する。
　実施の形態１に係る異常姿勢検知装置１において第１判定部１５が行うドライバの姿勢は正常姿勢であるか否かの判定処理を、「第１姿勢判定処理」という。
　正常姿勢判定用条件は、ドライバの姿勢が正常姿勢であることを判定するための条件であり、予め管理者等によって設定され、第１判定部１５が参照可能な場所に記憶されている。
　正常姿勢判定用条件には、例えば、以下のような条件が設定されている。
　「以下の式（１－１）、式（１－２）、式（２－１）、式（２－２）、式（３－１）、式（３－２）、式（４－１）、式（４－２）、式（５－１）、式（５－２）、式（６－１）、式（６－２）のうち、式（１－１）または式（１－２）と、式（２－１）または式（２－２）と、式（３－１）または式（３－２）と、式（４－１）または式（４－２）と、式（５－１）または式（５－２）と、式（６－１）または式（６－２）を全て満たすこと。

・第１ヨー角閾値　＜　顔向きヨー角の基準姿勢における顔向きヨー角からの変化量　＜　第２ヨー角閾値　　　・・・（１－１）
・第３ヨー角閾値　＜　顔向きヨー角　＜　第４ヨー角閾値　　　・・・（１－２）
・第１ピッチ角閾値　＜　顔向きピッチ角の基準姿勢における顔向きピッチ角からの変化量　＜　第２ピッチ角閾値　　　・・・（２－１）
・第３ピッチ角閾値　＜　顔向きピッチ角　＜　第４ピッチ角閾値　　　・・・（２－２）
・第１ロール角閾値　＜　顔向きロール角の基準姿勢における顔向きロール角からの変化量　＜　第２ロール角閾値　　　・・・（３－１）
・第３ロール角閾値　＜　顔向きロール角　＜　第４ロール角閾値　　　・・・（３－２）
・第１Ｘ座標閾値　＜　頭位置のＸ座標の基準姿勢における頭位置のＸ座標からの変化量　＜　第２Ｘ座標閾値　　　・・・（４－１）
・第３Ｘ座標閾値　＜　頭位置のＸ座標　＜　第４Ｘ座標閾値　　　・・・（４－２）
・第１Ｙ座標閾値　＜　頭位置のＹ座標の基準姿勢における頭位置のＹ座標からの変化量　＜　第２Ｙ座標閾値　　　・・・（５－１）
・第３Ｙ座標閾値　＜　頭位置のＹ座標　＜　第４Ｙ座標閾値　　　・・・（５－２）
・第１座標Ｚ閾値　＜　頭位置のＺ座標の基準姿勢における頭位置のＺ座標からの変化量　＜　第２Ｚ座標閾値　　　・・・（６－１）
・第３座標Ｚ閾値　＜　頭位置のＺ座標　＜　第４Ｚ座標閾値　　　・・・（６－２）

　なお、
　第１ヨー角閾値＜第２ヨー角閾値、
　第３ヨー角閾値＜第４ヨー角閾値、
　第１ピッチ角閾値＜第２ピッチ角閾値、
　第３ピッチ角閾値＜第４ピッチ角閾値、
　第１ロール角閾値＜第２ロール角閾値、
　第３ロール角閾値＜第４ロール角閾値、
　第１Ｘ座標閾値＜第２Ｘ座標閾値、
　第３Ｘ座標閾値＜第４Ｘ座標閾値、
　第１Ｙ座標閾値＜第２Ｙ座標閾値、
　第３Ｙ座標閾値＜第４Ｙ座標閾値、
　第１Ｚ座標閾値＜第２Ｚ座標閾値、
　第３Ｚ座標閾値＜第４Ｚ座標閾値」
　第１判定部１５は、特徴量抽出部１２が抽出した特徴量または変化量算出部１４が算出した変化量が正常姿勢判定用条件を満たす場合、ドライバの姿勢は正常姿勢であると判定する。
　第１判定部１５は、特徴量抽出部１２が抽出した特徴量および変化量算出部１４が算出した変化量が正常姿勢判定用条件を満たさない場合、ドライバの姿勢は正常姿勢ではないと判定する。
　ここで、第１判定部１５が、特徴量抽出部１２が抽出した特徴量、言い換えれば、現在の撮像画像に基づく特徴量と、変化量算出部１４が算出した変化量、言い換えれば、基準姿勢特徴量からの特徴量の相対変化とに基づいて、ドライバの姿勢が正常姿勢であるか否かを判定する意義について、説明する。
　図２は、実施の形態１において、第１判定部１５が、現在の撮像画像に基づく特徴量と、特徴量の相対変化とに基づいて、ドライバの姿勢が正常姿勢であるか否かを判定する意義について説明するための図である。
　なお、図２は、第１判定部１５による、ドライバの姿勢が正常姿勢であるか否かの判定の概念の一例を示す図であり、簡略化された図である。
　上述したように、実施の形態１では、ドライバが車両の進行方向に対して正面を向いているとみなす姿勢を基準姿勢としている。
　ここで、例えば、図２の左側に示すように、ドライバがひじをついて運転をしており、顔向きのロール角が４０度である状態の姿勢も、基準姿勢と推定され得る。
　今、例えば、図２の右側に示すように、ドライバがひじをついて運転することをやめ、姿勢を正して運転するようになった、すなわち、顔向きのロール角が０度となったとする。
　この場合、仮に、第１判定部１５が、基準姿勢特徴量からの特徴量の変化量のみからドライバの姿勢が正常姿勢であるか否かを判定すると、第１判定部１５は、図２の右側に示すような状態のドライバの姿勢を、正常姿勢ではないと判定し得る。
　第１判定部１５は、基準姿勢特徴量からの特徴量の変化量のみならず現在の撮像画像に基づく特徴量も考慮してドライバの姿勢が正常姿勢であるか否かを判定することにより、基準姿勢が図２の左側に示すような状態の姿勢と推定された場合であっても、図２の右側に示すような、正常姿勢とみなすべき姿勢をとっているドライバの姿勢を正常姿勢と判定できる。
　なお、図２を用いた一例の説明では、ドライバの顔向きを例に挙げて説明したが、ドライバの頭位置についても同様に、基準姿勢特徴量からの特徴量の相対変化のみならず現在の撮像画像に基づく特徴量も考慮してドライバの姿勢が正常姿勢であるか否かを判定することにより、正常姿勢とみなすべき姿勢をとっているドライバの姿勢を正常姿勢と判定できる。
　第１判定部１５は、ドライバの姿勢は正常姿勢であると判定したか否かの判定結果（以下「正常姿勢判定結果」という。）を、第２判定部１６に出力する。このとき、第１判定部１５は、正常姿勢判定結果とともに、変化量算出部１４から出力された変化量情報を、第２判定部１６に出力する。
　第２判定部１６は、第１判定部１５が、ドライバの姿勢は正常姿勢ではないと判定した場合、変化量算出部１４が算出した変化量と機械学習モデルとに基づき、ドライバが姿勢崩れを起こしているか否かを判定する。
　機械学習モデルは、基準姿勢特徴量からの特徴量の変化量を入力としドライバの姿勢崩れの有無を示す情報を出力する学習済みのモデルである。変化量とは、詳細には、ドライバの顔向きの、基準姿勢における顔向きからの変化量と、ドライバの頭位置の、基準姿勢における頭位置からの変化量と、顔検知信頼度の、基準姿勢における顔検知信頼度からの変化量である。
　実施の形態１において、機械学習モデル出力するドライバの姿勢崩れの有無を示す情報は、ドライバが姿勢崩れを起こしているか否かを示す情報と、ドライバが姿勢崩れを起こしている場合、姿勢崩れのタイプ（以下「姿勢崩れタイプ」という。）を示す情報とを含む。
　機械学習モデルは、予め生成され、記憶部１８等、第２判定部１６が参照可能な場所に記憶されている。例えば、管理者等は、複数のドライバに車両を試験運転させることで機械学習モデルを生成し、記憶部１８等に記憶させておく。
　なお、予め、ドライバが姿勢崩れを起こしている場合の姿勢崩れタイプとして、複数の姿勢崩れタイプが定義されている。
　ここで、図３（国土交通省自動車局　先進安全自動車推進検討会「ドライバー異常自動検知システム基本設計書」平成３０年３月の一部改変）は、複数の姿勢崩れタイプを説明するための図である。
　図３に示されているように、姿勢崩れには複数の態様がある。図３では、ドライバが前方に倒れ、ハンドル付近まで顔が来ている姿勢が継続している状態である「突っ伏し」、ドライバの顔が下を向いている姿勢が継続している状態である「うつむき」、ドライバの上半身が後方に傾き、顔が上を向いている姿勢が継続している状態である「仰け反り」、ドライバの上半身が反り上がり、顔が上に向いている姿勢が継続している状態である「えび反り」、ドライバの顔が左または右に傾いている姿勢が継続している状態である「首のみ横倒れ」、ドライバの上半身が左または右に傾き、顔も同方向に傾いている姿勢が継続している状態である「横倒れ」、および、ドライバの上半身が左または右に傾いている姿勢が継続している状態である「横もたれ」が示されている。本開示では、図３に示されている「突っ伏し」、「うつむき」、「仰け反り」、「えび反り」、「首のみ横倒れ」、「横倒れ」および「横もたれ」を、予め設定されている複数の姿勢崩れタイプとする。複数の姿勢崩れタイプに関する情報は、第２判定部１６が参照可能な場所に記憶されている。
　第２判定部１６は、機械学習モデルに変化量を入力して、ドライバの姿勢崩れの有無を示す情報を得ることで、ドライバが姿勢崩れを起こしているか否かと、ドライバが姿勢崩れを起こしている場合は姿勢崩れタイプを判定する。
　なお、第２判定部１６は、第１判定部１５が、ドライバの姿勢は正常姿勢であると判定した場合は、機械学習モデルを用いた姿勢崩れの判定は行わない。すなわち、第２判定部１６は、ドライバの姿勢崩れはない、言い換えれば、ドライバは姿勢崩れを起こしていないと判定する。
　第２判定部１６は、ドライバが姿勢崩れを起こしているか否かの判定結果（以下「姿勢崩れ判定結果」という。）を、検知部１７に出力する。
　姿勢崩れ判定結果は、ドライバの姿勢崩れの有無を示す情報と、ドライバの姿勢崩れが有る場合は姿勢崩れタイプを示す情報とが対応付けられた情報である。
　上述したような、実施の形態１に係る異常姿勢検知装置１において第２判定部１６が行う、ドライバは姿勢崩れを起こしているか否かの判定の処理を、「第２姿勢判定処理」という。
　検知部１７は、第２判定部１６から出力された姿勢崩れ判定結果に基づき、ドライバの姿勢は異常姿勢であるか否かを検知する。
　実施の形態１に係る異常姿勢検知装置１において、当該検知部１７が行う、ドライバの姿勢は異常姿勢であるか否かを検知する処理を、「異常姿勢検知処理」という。
　検知部１７は、第２判定部１６がドライバは姿勢崩れを起こしていると判定した状態が予め設定された時間（以下「異常検知用時間」という。）継続した場合に、ドライバの姿勢は異常姿勢であると検知する。
　検知部１７は、第２判定部１６がドライバは姿勢崩れを起こしていないと判定した場合、または、第２判定部１６がドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続していない場合は、ドライバの姿勢は異常姿勢ではないと検知する。
　詳細には、検知部１７は、まず、第２判定部１６によってドライバは姿勢崩れ有と判定されたか否かを判定する。検知部１７は、第２判定部１６から出力された姿勢崩れ判定結果から、第２判定部１６によってドライバは姿勢崩れ有と判定されたか否かを判定できる。
　第２判定部１６によってドライバは姿勢崩れ無と判定された場合、すなわち、ドライバは姿勢崩れを起こしていない旨の姿勢崩れ判定結果が出力された場合、検知部１７は、ドライバの姿勢は異常姿勢ではないと検知する。
　第２判定部１６によってドライバは姿勢崩れ有と判定された場合、すなわち、第２判定部１６からドライバは姿勢崩れを起こしている旨の姿勢崩れ判定結果が出力された場合、検知部１７は、異常検知用時間をカウントするためのカウンタ（以下「異常姿勢検知カウンタ」という。）をカウントアップする。
　一方、第２判定部１６によって、ドライバは姿勢崩れ有と判定されなかった場合、すなわち、第２判定部１６からドライバは姿勢崩れを起こしていない旨の姿勢崩れ判定結果が出力された場合、検知部１７は、異常姿勢検知カウンタをリセットする。
　次に、第２判定部１６は、異常姿勢検知カウンタが予め設定された閾値（以下「異常検知用閾値」という。）に達したか否かを判定する。
　異常姿勢検知カウンタが異常検知用閾値に達した場合、検知部１７は、第２判定部１６がドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続したと判定し、ドライバの姿勢は異常姿勢であることを検知する。検知部１７は、ドライバの姿勢が異常姿勢であることを検知した旨の情報（以下「異常姿勢検知情報」という。）を、運転制御システム３００に出力する。異常姿勢検知情報は、ドライバの姿勢が異常姿勢であることを示す情報と、姿勢崩れタイプを示す情報を含む。なお、検知部１７は、第２判定部１６から出力された姿勢崩れ判定結果に基づけば、姿勢崩れタイプを特定できる。
　検知部１７は、異常姿勢検知情報を、何等かの不測の事態が生じた場合の分析用の情報として、出力装置（図示省略）に出力してもよい。
　異常姿勢検知カウンタが異常検知用閾値に達していない場合、検知部１７は、第２判定部１６がドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続していないと判定し、ドライバの姿勢が異常姿勢であることを検知しない。すなわち、検知部１７は、ドライバの姿勢は異常姿勢ではないと検知する。なお、検知部１７は、ドライバの異常姿勢を検知しなかった旨の情報を異常姿勢検知情報として運転制御システム３００に出力してもよいし、出力装置に出力してもよい。
　記憶部１８は、特徴量情報、基準姿勢特徴量情報、機械学習モデル等、種々の情報を記憶する。
　なお、図１では、記憶部１８は異常姿勢検知装置１に備えられているが、これは一例に過ぎない。記憶部１８は、異常姿勢検知装置１の外部の、異常姿勢検知装置１が参照可能な場所に備えられてもよい。
　図４は、実施の形態１に係る運転制御システム３００の構成例を示す図である。
　以下の説明において、異常姿勢検知システム１００を搭載した車両を第１の車両といい、第１の車両以外の車両を第２の車両という。なお、第１の車両と第２の車両とを区別せず、第１の車両および第２の車両をそれぞれ車両と表現する場合がある。以下では、異常姿勢検知システム１００が運転制御システム３００の一部として利用される例について説明するが、異常姿勢検知システム１００は、図１に示されているように、運転制御システム３００と無線または有線で通信可能に構成されていてもよい。
　運転制御システム３００は、異常姿勢検知システム１００による異常姿勢検知情報に基づいて制御信号を出力して第１の車両の操舵機構３および制駆動機構４を制御することにより、第１の車両の運転制御を行う運転制御装置Ｃ３を備える。また、運転制御システム３００は、車両の自動運転に用いられる地図情報を格納する地図情報記憶装置Ｃ４、車両の周辺状況を監視する周辺状況監視装置Ｃ５、第１の車両の状態を示す情報を取得する車両状態取得装置Ｃ６、および、ドライバへの警告または報知を制御する警報制御装置Ｃ７を備える。
　なお、運転制御システム３００が備える、異常姿勢検知システム１００、運転制御装置Ｃ３、地図情報記憶装置Ｃ４、周辺状況監視装置Ｃ５、車両状態取得装置Ｃ６、および、警報制御装置Ｃ７は、それぞれ通信バスＣ８に接続されており、通信バスＣ８を介してデータの送受信が可能である。
　操舵機構３は、第１の車両に設けられた、第１の車両の進行方向を定めるための機構であり、例えば、ステアリングコラム、ステアリングシャフト、ラック、ピニオン、および操舵アクチュエータ３１等を含む。制駆動機構４は、第１の車両の走行速度の制御および前進と後退の切り替えを行うための機構であり、例えば、アクセル、ブレーキ、シフト、および制駆動アクチュエータ４１等を含む。なお、操舵機構３を制御する操舵アクチュエータ３１は、例えば、ＥＰＳ（Electric　Power　Steering）モータ等で構成され、制駆動機構４を制御する制駆動アクチュエータ４１は、例えば、電子制御スロットル、ブレーキアクチュエータ等で構成される。
　地図情報記憶装置Ｃ４は、道路の接続関係、車線数、交差点の位置情報、および踏切の位置情報を含む、地図情報が記憶された記憶媒体である。ここでは地図情報記憶装置Ｃ４は、第１の車両に搭載されているものとするが、地図情報記憶装置Ｃ４は、例えば、通信により運転制御装置Ｃ３へ地図データを送信するサーバとして構成されていてもよい。なお、地図情報記憶装置Ｃ４を、上述のサーバとして構成する場合、例えば、運転制御システム３００に記憶媒体を設け、後述の車載通信機Ｃ５２を介して地図情報記憶装置Ｃ４から取得した地図情報を記憶媒体に格納すればよい。
　周辺状況監視装置Ｃ５は、第１の車両周辺の状況を監視するものであり、ＧＰＳ（Global　Positioning　System）受信機Ｃ５１、車載通信機Ｃ５２、車外センサＣ５３、およびナビゲーションシステムＣ５４を備える。
　ＧＰＳ受信機Ｃ５１は、ＧＰＳの測位衛星から送信された信号を受信して、第１の車両の現在位置を検出する。
　車外センサＣ５３は、例えば、車外を撮像するカメラ、ミリ波レーダ、ＬｉＤＡＲ、および超音波センサの少なくともいずれかで構成され、第１の車両の周辺に存在する第２の車両、歩行者、障害物等の位置または第１の車両からの距離を検出する。
　ナビゲーションシステムＣ５４は、第１の車両の現在位置から目的地までの経路を算出するとともに、算出した経路の案内を行う。ナビゲーションシステムＣ５４は、例えば、液晶ディスプレイで構成された表示部を有し、インストルメントパネル内に収納されている。また、ナビゲーションシステムＣ５４は、タッチパネルまたは物理ボタン等の操作部を有し、乗員の操作を受付可能に構成される。なお、ナビゲーションシステムＣ５４の操作部は、乗員により発せられた音声による操作を受付可能に、マイク等で構成されていてもよい。
　車載通信機Ｃ５２について説明する。車載通信機Ｃ５２は、例えば、無線通信のためのアンテナと接続された無線通信機である。車載通信機Ｃ５２は、第２の車両の通信機、または路上に設置された通信機等との通信を行うことで、第２の車両や歩行者の位置の情報や、交通情報等を取得する。ここで、交通情報とは、例えば、渋滞情報、交通規制情報、工事区間情報等である。
　また、車載通信機Ｃ５２は、第１の車両の周囲に存在する第２の車両の車載通信機Ｃ５２との間で、無線通信による車車間通信を行うことができる。加えて、車載通信機Ｃ５２は、第１の車両の外部の基地局との間にて、移動体通信を行ってもよい。さらに、車載通信機Ｃ５２は、通信バスＣ８上に出力された第１の車両の情報を、第２の車両およびコールセンター等へ送信可能に構成される。なお、車載通信機Ｃ５２は、第２の車両から受信した情報、およびコールセンター等から受信した情報を、通信バスＣ８へ出力可能である。また、車載通信機Ｃ５２は、運転制御装置Ｃ３へ地図データを送信するサーバとして構成された地図情報記憶装置Ｃ４のように、車両の外部に存在するサーバ等から情報を取得可能に構成されていてもよい。
　車両状態取得装置Ｃ６は、第１の車両の状態を示す情報を取得するものであり、舵角センサＣ６１、車速センサＣ６２、操舵トルクセンサＣ６３、アクセルポジションセンサＣ６４、ブレーキポジションセンサＣ６５を備える。
　舵角センサＣ６１は、例えば、ＥＰＳモータまたはステアリングホイールに設けられており、第１の車両のステアリング角を検出する。車速センサＣ６２は、例えば、車輪に設けられており、第１の車両の走行速度を検出する。
　操舵トルクセンサＣ６３は、例えば、ステアリングホイールに設けられており、ドライバによるステアリングホイールの操作力の大きさを検出する。アクセルポジションセンサＣ６４は、ドライバによるアクセルペダルの踏み込み量を検出する。ブレーキポジションセンサＣ６５は、ドライバによるブレーキペダルの踏み込み量を検出する。
　警報制御装置Ｃ７は、異常姿勢検知システム１００から異常検知情報を取得する。そして、警報制御装置Ｃ７は、ドライバの姿勢が異常姿勢である旨の異常検知情報を取得した場合、警告部Ｃ７１を介してドライバに対して警告を出力する。警告部Ｃ７１は、例えば、第１の車両に搭載されたオーディオ機器であり、警告は、オーディオ機器から出力される音声または通知音等である。また、警告部Ｃ７１を、ナビゲーションシステムＣ５４の表示部で構成し、警告を、ナビゲーションシステムＣ５４の表示部への警告メッセージの表示としてもよい。上述のように、警告は、第１の車両のドライバが認識可能なものであればよい。なお、運転制御装置Ｃ３が制御信号を出力して警報制御装置Ｃ７が警告を行うように制御されてもよい。
　また、警報制御装置Ｃ７は、警報を発してから、ドライバにより警報に対する反応があった場合、警告を停止する。ここで、ドライバより警告に対する反応があった場合とは、異常姿勢検知システム１００からドライバの姿勢が異常姿勢ではないことを示す情報が出力された場合、ナビゲーションシステムＣ５４に設けられた操作部およびステアリングホイールに設けられたスイッチ等がドライバによる操作を受け付けた場合等、警告に対するドライバの意識的な動作があったと認められる場合である。なお、警報制御装置Ｃ７は、ドライバにより警告に対する反応があったことを示す信号を、異常姿勢検知システム１００に出力してもよい。
　さらに、警報制御装置Ｃ７は、異常姿勢検知システム１００から、ドライバの姿勢が異常姿勢である旨の異常姿勢検知情報が出力された場合、第２の車両から視認可能に車両外装等に設けられた方向指示器、ハザードランプ、および前照灯等の報知部Ｃ７２を作動させ、第２の車両の乗員等、第１の車両外に存在する人間へ第１の車両のドライバの姿勢が異常姿勢であることを報知する。例えば、警報制御装置Ｃ７は、警報が発せられてから予め定められた期間、ドライバによる警報に対する反応がなかった場合、報知部Ｃ７２を作動させて、第１の車両外に存在する人間へ第１の車両のドライバの姿勢が異常姿勢であることを報知する。
　なお、警報制御装置Ｃ７は、上述の車載通信機Ｃ５２を介して、車車間通信により、第１の車両のドライバの姿勢が異常姿勢であることを、例えば第２の車両のナビゲーションシステムＣ５４の表示部に報知メッセージを表示する等して、第２の車両の乗員へ報知してもよい。
　さらに、報知制御部は、運転制御装置Ｃ３により運転支援が実行される場合、車両状態取得部が取得した車両状態、または運転制御装置Ｃ３から出力される信号を用いて、車両外装等に設けられた上述の灯具等で構成される報知部Ｃ７２により、第１の車両の進行方向または車線変更の有無等を第２の車両の乗員等、第１の車両外に存在する人間に報知してもよい。
　運転制御システム３００の運転制御装置Ｃ３は、第１の車両に搭載された、操舵アクチュエータ３１または制駆動アクチュエータ４１を制御して、ドライバの運転を支援する。運転制御装置Ｃ３は、例えば、操舵アクチュエータ３１または制駆動アクチュエータ４１等へ信号を出力することにより、第１の車両の自動運転制御を行う。運転制御装置Ｃ３は、例えば、電子制御スロットルおよびブレーキアクチュエータで構成される制駆動アクチュエータ４１を制御することにより、ブレーキを動作させて第１の車両を減速または停止させる等、第１の車両の制駆動制御を行う。運転制御装置Ｃ３は、例えば、ＥＰＳモータで構成される操舵アクチュエータ３１を制御して、第１の車両が走行している車線を維持する等、第１の車両の操舵制御を行う。
　さらに、運転制御装置Ｃ３は、第１の車両の駆動力、制動力、および操舵力等を制御することにより、ドライバによる運転操作の支援または代行を行う複数の運転支援機能を備えている。例えば、運転支援機能には、巡航制御機能および車線逸脱の防止機能が含まれている。以下の説明では、巡航制御機能をＡＣＣ（Adaptive　Cruise　Control）と記載し、車線逸脱の防止機能をＬＫＡ（Lane　Keeping　Assist）と記載する。
　運転制御装置Ｃ３は、ＡＣＣを実行すると、周辺状況監視装置Ｃ５から取得する前走車の監視情報に基づいて駆動力および制動力を調整することにより、第１の車両の走行速度を制御する。前走車が検出されていない場合には、ＡＣＣは、ドライバ等によって予め設定された目標速度で、第１の車両を定速走行させる。一方、前走車が検出されている場合には、ＡＣＣは、前走車までの車間距離を維持しつつ、第１の車両を前走車に対して追従走行させる。
　また、運転制御装置Ｃ３は、ＬＫＡを実行すると、周辺状況監視装置Ｃ５から取得する進行方向の区画線の形状情報に基づいて、操舵力および保舵力を制御する。ＬＫＡは、区画線への接近を阻む方向への操舵力をステアリングに加えることで、第１の車両を車線に沿って走行させる。なお、周辺状況監視装置Ｃ５によって出力される道路情報が、ＡＣＣおよびＬＫＡによる車両制御に用いられてもよい。
　また、運転制御装置Ｃ３は、緊急退避機能を実行すると、第１の車両を自動で停止させる自動退避制御（退避処理）を実施できる。自動退避制御が開始されると、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５に第１の車両を停止させる退避場所を探索させる。そして、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５による探索によって設定された退避場所へ第１の車両を移動させて、この退避場所に第１の車両を停止させる。なお、上述の退避場所は、高速道路では、車両が走行する車線外の路肩であってよく、一般道では、車両が走行する車線外の路肩の他、交差点、踏切、および歩道等、第２の車両、電車、および歩行者等の移動体が存在する可能性の高い位置を避けた場所であってよい。
　ここで、ドライバの姿勢が異常姿勢である場合、ドライバは異常状態であると推定される。ドライバが異常状態である場合、ドライバによる操作は誤操作である可能性が高い。例えば、ドライバの体調が急変して、ステアリングホイールに突っ伏す等すれば、ステアリングホイールの操作はあるがこの操作は誤操作である可能性が高く、また、ドライバの体調が急変して仰け反る等すれば、アクセルペダルが誤って踏み込まれる可能性もある。
　そのため、ドライバが異常姿勢をとっていることにより、運転制御装置Ｃ３が運転支援機能を実行した場合は、ドライバの意図的な運転操作、または同乗者によるドライバを代替した運転操作といった、事故の防止を目的とした運転操作（以下、オーバーライド操作という）を有効にしつつ、ドライバによる誤操作を無効にしてもよい。車両状態取得装置Ｃ６に、オーバーライド操作を検出するオーバーライド操作検出部Ｃ６６を設けてもよい。
　以下、オーバーライド操作について説明する。車両の加速について、ドライバが異常状態である場合、ドライバの姿勢が崩れてアクセルペダルを誤って踏み込むことがあるため、運転制御装置Ｃ３による運転支援機能が実行されている場合、アクセル操作は無効にしてもよい。すなわち、オーバーライド操作にアクセル操作は含まれなくてよい。
　一方、車両の減速について、ドライバが異常状態である場合においても、意識が朦朧としたドライバが、障害物への衝突を回避しようとして、第１の車両を停止させることがある。そのため、オーバーライド操作検出部Ｃ６６は、ブレーキペダルの踏み込み量をブレーキポジションセンサＣ６５から取得し、ブレーキペダルの踏み込みから得られる制動力が運転制御装置Ｃ３による運転支援機能における制動力よりも大きい場合、ブレーキペダルの操作をオーバーライド操作として検出する。
　さらに、車両の進路変更について、ドライバが異常状態である場合においても、同乗者がドライバに代替してステアリングホイールを操作することがある。ただし、ドライバが異常状態である場合に、ドライバの姿勢が崩れ、ステアリングホイールに倒れ込むことがあるため、オーバーライド操作検出部Ｃ６６は、この誤操作をオーバーライド操作として検出しなくてよい。そのため、オーバーライド操作検出部Ｃ６６は、異常姿勢検知システム１００から、ドライバの姿勢崩れがないことを示す検知結果が得られた場合に行われたステアリングホイールの操作を、オーバーライド操作として検出する。
　そして、運転制御システム３００は、運転支援機能を実行中に、オーバーライド操作検出部Ｃ６６が、オーバーライド操作を検出した場合、操舵アクチュエータ３１または制駆動アクチュエータ４１の制御を、同乗者またはドライバによる運転操作に代替してもよい。すなわち、運転支援機能を実行中において、オーバーライド操作検出部Ｃ６６が検出したオーバーライド操作により車両の運転制御を行ってもよい。
　実施の形態１に係る異常姿勢検知装置１の動作について説明する。
　図５は、実施の形態１に係る異常姿勢検知装置１による基準姿勢特徴量算出処理における動作について説明するためのフローチャートである。
　図５のフローチャートに示す異常姿勢検知装置１による基準姿勢特徴量算出処理の動作は、例えば、制御部（図示省略）の指示に従い、基準姿勢特徴量算出完了フラグが「０」の間、当該基準姿勢特徴量算出完了フラグが「１」になるまで、繰り返し行われる。
　例えば、車両のイグニッションがＯＮにされると、制御部は、基準姿勢特徴量算出完了フラグを参照する。制御部は、基準姿勢特徴量算出完了フラグが「０」であることを確認すると、異常姿勢検知装置１の画像取得部１１、特徴量抽出部１２、および、基準姿勢特徴量算出部１３に対して、基準姿勢特徴量算出処理を行うよう指示する。
　画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１）。
　画像取得部１１は、取得した撮像画像を、特徴量抽出部１２に出力する。
　特徴量抽出部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づき、ドライバの姿勢の判定に用いる特徴量を抽出する（ステップＳＴ２）。
　特徴量抽出部１２は、特徴量情報を、基準姿勢特徴量算出部１３に出力するとともに、記憶部１８に時系列で記憶させる。
　基準姿勢特徴量算出部１３は、ドライバの基準姿勢を推定し、基準姿勢特徴量を算出する基準姿勢特徴量算出処理を行う（ステップＳＴ３）。
　当該ステップＳＴ３における基準姿勢特徴量算出処理において、基準姿勢特徴量算出部１３は、まず、ドライバの姿勢は基準姿勢であるか否かを推定する。
　基準姿勢特徴量算出部１３は、ドライバの姿勢は基準姿勢であると推定した場合、特徴量抽出部１２から出力された特徴量情報を、基準姿勢特徴量を算出する候補となる候補特徴量情報として、記憶部１８、または、基準姿勢特徴量算出部１３の内部の記憶領域に記憶させる。
　基準姿勢特徴量算出部１３は、予め設定された数の候補特徴量情報が記憶されていない間は、基準姿勢特徴量算出完了フラグに「１」を設定せず、当該ステップＳＴ３の処理を終了する。そして、異常姿勢検知装置１の動作は、ステップＳＴ１の処理に戻る。
　当該ステップＳＴ３において、予め設定された数の候補特徴量情報が記憶されると、基準姿勢特徴量算出部１３は、記憶された、予め設定された数の候補特徴量情報から、ドライバの基準姿勢特徴量および顔検知信頼度、を算出する。
　基準姿勢特徴量算出部１３は、基準姿勢特徴量情報を、記憶部１８に記憶させ、基準姿勢特徴量算出完了フラグに「１」を設定する。このとき、基準姿勢特徴量算出部１３は、記憶部１８または基準姿勢特徴量算出部１３の内部の記憶領域に記憶されている基準姿勢特徴量情報を削除してもよい。
　図６は、実施の形態１に係る異常姿勢検知装置１による変化量算出処理、第１姿勢判定処理、第２姿勢判定処理、および、異常姿勢検知処理における動作について説明するためのフローチャートである。
　図６のフローチャートに示す異常姿勢検知装置１による変化量算出処理、第１姿勢判定処理、第２姿勢判定処理、および、異常姿勢検知処理の動作は、図５のフローチャートを用いて説明した基準姿勢特徴量算出処理が完了した後、例えば、車両のイグニッションがＯＦＦされるまで、繰り返し行われる。
　基準姿勢特徴量算出処理が完了し、基準姿勢特徴量算出完了フラグに「１」が設定されると、制御部はこれを確認し、異常姿勢検知装置１の画像取得部１１、特徴量抽出部１２、変化量算出部１４、第１判定部１５、第２判定部１６、および、検知部１７に対して、変化量算出処理、第１姿勢判定処理、第２姿勢判定処理、または、異常姿勢検知処理を行うよう指示する。
　画像取得部１１は、撮像装置２から撮像画像を取得する（ステップＳＴ１１）。
　画像取得部１１は、取得した撮像画像を、特徴量抽出部１２に出力する。
　特徴量抽出部１２は、ステップＳＴ１１にて画像取得部１１が取得した撮像画像に基づき、ドライバの姿勢の判定に用いる特徴量を抽出する（ステップＳＴ１２）。
　特徴量抽出部１２は、特徴量情報を、変化量算出部１４に出力するとともに、記憶部１８に時系列で記憶させる。
　変化量算出部１４は、ステップＳＴ１２にて特徴量抽出部１２が抽出した特徴量の、基準姿勢特徴量からの変化量を算出する変化量算出処理を行う（ステップＳＴ１３）。
　変化量算出部１４は、変化量情報を、特徴量抽出部１２から出力された特徴量情報とともに、第１判定部１５に出力する。
　第１判定部１５は、ステップＳＴ１２にて特徴量抽出部１２が抽出した特徴量とステップＳＴ１３にて変化量算出部１４が算出した変化量とを正常姿勢判定用条件と比較することで、特徴量抽出部１２が抽出した特徴量を正常姿勢判定用条件と比較することで、または、変化量算出部１４が算出した変化量を正常姿勢判定用条件と比較することで、ドライバの姿勢は正常姿勢であるか否かを判定する第１姿勢判定処理を行う（ステップＳＴ１４）。
　ここで、図７は、図６のステップＳＴ１４にて行われる、第１判定部１５による第１姿勢判定処理の詳細な動作について説明するためのフローチャートである。
　第１判定部１５は、特徴量抽出部１２が抽出した特徴量と変化量算出部１４が算出した変化量とを正常姿勢判定用条件と比較し、特徴量抽出部１２が抽出した特徴量を正常姿勢判定用条件と比較し、または、変化量算出部１４が算出した変化量を正常姿勢判定用条件と比較し、（ステップＳＴ１１０）、特徴量抽出部１２が抽出した特徴量と変化量算出部１４が算出した変化量とが正常姿勢判定用条件を満たすか否か、特徴量抽出部１２が抽出した特徴量が正常姿勢判定用条件を満たすか否か、または、変化量算出部１４が算出した変化量が正常姿勢判定用条件を満たすか否か、を判定する（ステップＳＴ１２０）。
　特徴量抽出部１２が抽出した特徴量または変化量算出部１４が算出した変化量が正常姿勢判定用条件を満たす場合、特徴量抽出部１２が抽出した特徴量が正常姿勢判定用条件を満たす場合、または、変化量算出部１４が算出した変化量が正常姿勢判定用条件を満たすか場合（ステップＳＴ１２０の“ＹＥＳ”の場合）、第１判定部１５は、ドライバの姿勢は正常姿勢であると判定する（ステップＳＴ１３０）。第１判定部１５は、ドライバの姿勢は正常姿勢であると判定した旨の正常姿勢判定結果を、第２判定部１６に出力する。このとき、第１判定部１５は、正常姿勢判定結果とともに、変化量算出部１４から出力された変化量情報を、第２判定部１６に出力する。
　特徴量抽出部１２が抽出した特徴量および変化量算出部１４が算出した変化量が正常姿勢判定用条件を満たさない場合（ステップＳＴ１２０の“ＮＯ”の場合）、第１判定部１５は、ドライバの姿勢は正常姿勢であるとは判定しない。すなわち、第１判定部１５は、ドライバの姿勢は正常姿勢ではないと判定する。第１判定部１５は、ドライバの姿勢は正常姿勢であると判定しなかった、言い換えれば、ドライバの姿勢は正常姿勢ではないと判定した旨の正常姿勢判定結果を、第２判定部１６に出力する。このとき、第１判定部１５は、正常姿勢判定結果とともに、変化量算出部１４から出力された変化量情報を、第２判定部１６に出力する。
　図６のフローチャートの説明に戻る。
　第２判定部１６は、ステップＳＴ１４にて第１判定部１５から出力された正常姿勢判定結果に基づき、ドライバは姿勢崩れを起こしているか否かの第２姿勢判定処理を行う（ステップＳＴ１５）。
　ここで、図８は、図６のステップＳＴ１５にて行われる、第２判定部１６による第２姿勢判定処理の詳細な動作について説明するためのフローチャートである。
　図６のステップＳＴ１４にて、第１判定部１５が、ドライバの姿勢は正常姿勢であると判定した場合（ステップＳＴ２１０の“ＹＥＳ”の場合）、第２判定部１６は、ドライバの姿勢崩れはない、言い換えれば、ドライバは姿勢崩れを起こしていないと判定し、ドライバは姿勢崩れを起こしていない旨の姿勢崩れ判定結果を検知部１７に出力して、図８のフローチャートで示す処理を終了する。
　図６のステップＳＴ１４にて、第１判定部１５が、ドライバの姿勢は正常姿勢ではないと判定した場合（ステップＳＴ２１０の“ＮＯ”の場合）、第２判定部１６は、図６のステップＳＴ１３にて変化量算出部１４が算出した変化量と機械学習モデルとに基づき、ドライバが姿勢崩れを起こしているか否かを判定する（ステップＳＴ２２０）。第２判定部１６は、ドライバが姿勢崩れを起こしている旨の姿勢崩れ判定結果を、検知部１７に出力する。
　図６のフローチャートの説明に戻る。
　検知部１７は、ステップＳＴ１５にて第２判定部１６から出力された姿勢崩れ判定結果に基づき、ドライバの姿勢は異常姿勢であるか否かを検知する異常姿勢検知処理を行う（ステップＳＴ１６）。
　ここで、図９は、図６のステップＳＴ１６にて行われる、検知部１７による異常姿勢検知処理の詳細な動作について説明するためのフローチャートである。
　検知部１７は、図６のステップＳＴ１５にて、第２判定部１６によってドライバは姿勢崩れ有と判定されたか否かを判定する（ステップＳＴ３１０）。
　第２判定部１６によってドライバは姿勢崩れ有と判定された場合（ステップＳＴ３１０の“ＹＥＳ”の場合）、すなわち、第２判定部１６からドライバは姿勢崩れを起こしている旨の姿勢崩れ判定結果が出力された場合、検知部１７は、異常姿勢検知カウンタをカウントアップする（ステップＳＴ３２０）。
　一方、第２判定部１６によって、ドライバは姿勢崩れ有と判定されなかった場合（ステップＳＴ３１０の“ＮＯ”の場合）、すなわち、第２判定部１６からドライバは姿勢崩れを起こしていない旨の姿勢崩れ判定結果が出力された場合、検知部１７は、異常姿勢検知カウンタをリセットする（ステップＳＴ３３０）。
　第２判定部１６は、異常姿勢検知カウンタが異常検知用閾値に達したか否かを判定する（ステップＳＴ３４０）。
　異常姿勢検知カウンタが異常検知用閾値に達した場合（ステップＳＴ３４０の“ＹＥＳ”の場合）、検知部１７は、第２判定部１６がドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続したと判定し、ドライバの異常姿勢を検知する（ステップＳＴ３５０）。検知部１７は、ドライバの異常姿勢を検知した旨の異常姿勢検知情報を、運転制御システム３００に出力する。検知部１７は、異常姿勢検知情報を、何等かの不測の事態が生じた場合の分析用の情報として、出力装置に出力してもよい。
　異常姿勢検知カウンタが異常検知用閾値に達していない場合（ステップＳＴ３４０の“ＮＯ”の場合）、検知部１７は、第２判定部１６がドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続していないと判定し、ドライバの異常姿勢を検知しない。すなわち、検知部１７は、ドライバの姿勢は異常姿勢ではないと検知する。検知部１７は、ドライバの異常姿勢を検知しなかった旨の情報を運転制御システム３００に出力してもよいし、出力装置に出力してもよい。
　このように、実施の形態１に係る異常姿勢検知装置１は、ドライバの顔が存在すべき範囲が撮像された撮像画像に基づき抽出した特徴量の、基準姿勢特徴量からの変化量を算出する。異常姿勢検知装置１は、まず、抽出した特徴量と算出した変化量とを正常姿勢判定用条件と比較することで、抽出した特徴量を正常姿勢判定用条件と比較することで、または、算出した変化量を正常姿勢判定用条件と比較することで、ドライバの姿勢は正常姿勢であるか否かを判定する。その後、異常姿勢検知装置１は、ドライバの姿勢は正常姿勢ではないと判定した場合に、算出した変化量と機械学習モデルとに基づき、ドライバは姿勢崩れを起こしているか否かを判定する。そして、異常姿勢検知装置１は、ドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、ドライバの異常姿勢を検知する。
　機械学習モデルを用いて乗員の姿勢崩れの有無を判定することで、乗員の異常姿勢を高精度に検知することができる。一方で、撮像画像から顔向き等の特徴量が安定して抽出されないシーンにおいては、精度の低い特徴量と機械学習モデルとに基づいて乗員の姿勢崩れの有無を判定することとなる。この場合、機械学習モデルを用いた姿勢崩れの判定において、乗員は姿勢崩れの状態ではないにもかかわらず、姿勢崩れの状態であると判定される可能性がある。
　ここで、図１０Ａおよび図１０Ｂは、撮像画像から顔向き等の特徴量が安定して抽出されないシーンの一例について説明するための図である。
　図１０Ａは、ドライバが「突っ伏し」の姿勢をとったことにより撮像画像上でドライバの顔が撮像されなくなった場合の一例を示している。
　図１０Ｂは、ドライバが顔を手で触ったことにより撮像画像上でドライバの顔の一部が遮蔽されてしまった場合の一例を示している。
　図１０Ａおよび図１０Ｂにおいて、撮像画像はＩｍで示され、ドライバはＤｒで示されている。なお、実施の形態１では、撮像画像の左上を原点とし、撮像画像の右向きをｘ軸の正方向、撮像画像の下向きをｙ軸の正方向とする。
　例えば、ドライバが姿勢崩れである「突っ伏し」の状態となった場合、撮像画像上、ドライバの顔が撮像されなくなり、ドライバの顔向き等の特徴量が抽出されなくなる（図１０Ａ参照）。
　例えば、ドライバが顔を手で触っている場合、撮像画像上、ドライバの顔の一部が遮蔽され、撮像画像からドライバの顔向き等の特徴量が安定して抽出されなくなる（図１０Ｂ参照）。図１０Ｂの例でいうと、ドライバの目が遮蔽されたことにより、顔向きが安定して抽出されなくなる。
　図１０Ａに示すシーンにおいても、図１０Ｂに示すシーンにおいても、特徴量の基準姿勢特徴量からの変化量は大きくなると想定される。その結果、例えば、当該変化量を入力としてドライバの姿勢崩れを判定する機械学習モデルに当該変化量を入力すると、いずれのシーンにおいても、ドライバの姿勢崩れが有ると判定される可能性がある。実際には、図１０Ｂに示すシーンにおいては、ドライバの姿勢崩れが有ると判定されるべきではない。
　機械学習モデルを用いた姿勢崩れの判定では、このように、特徴量が安定して抽出されないシーンにおいて、意図しない特徴量の基準姿勢特徴量からの変化が発生し、ドライバの姿勢崩れの有無を誤判定してしまう可能性が高くなるおそれがある。
　これに対し、実施の形態１に係る異常姿勢検知装置１は、上述のとおり、まず、抽出した特徴量と算出した変化量とを正常姿勢判定用条件と比較することで、抽出した特徴量を正常姿勢判定用条件と比較することで、または、算出した変化量を正常姿勢判定用条件と比較することで、ドライバの姿勢は正常姿勢であるか否かを判定する。その後、異常姿勢検知装置１は、ドライバの姿勢は正常姿勢ではないと判定した場合に、算出した変化量と機械学習モデルとに基づき、ドライバは姿勢崩れを起こしているか否かを判定し、ドライバは姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、ドライバの異常姿勢を検知する。
　そのため、異常姿勢検知装置１は、撮像画像から特徴量が安定して抽出されないシーンが発生しても、ドライバの異常姿勢を検知することができる。
　図１１は、実施の形態１に係る運転制御システム３００による運転支援機能の動作の一例を説明するためのフローチャートである。
　以下の説明では、異常姿勢検知システム１００によりドライバの姿勢が異常姿勢であることが検知された場合、運転制御システム３００により、運転支援機能として、車両の緊急退避機能を行う例を挙げて説明する。なお、運転制御システム３００の動作は、例えば、車両のイグニッションがＯＮにされた後に開始される。
　まず、運転制御システム３００の運転制御装置Ｃ３は、異常姿勢検知システム１００から異常姿勢検知情報を取得し（ステップＳＴ４０１）、ドライバの異常姿勢が検知されたか否かを判定する（ステップＳＴ４０２）。異常姿勢検知情報から、ドライバの異常姿勢が検知されたことが示されなかった場合（ステップＳＴ４０２の“ＮＯ”の場合）、運転制御システム３００の動作は、ＳＴ４０１の処理に進む。
　一方、異常姿勢検知情報から、ドライバの異常姿勢が検知されたことが示された場合、警報制御装置Ｃ７は、警告部Ｃ７１を作動させ、ドライバに対する警告を開始する（ステップＳＴ４０３）。ここで、警告部Ｃ７１によるドライバに対する警告とは、例えば、第１の車両に搭載されたナビゲーションシステムＣ５４の表示部への警告メッセージの表示、または第１の車両に搭載されたオーディオ機器からの音声の出力である。
　次いで、警報制御装置Ｃ７は、警告に対してドライバから反応が得られたか否かを判定する（ステップＳＴ４０４）。ここで、警告に対してドライバから反応が得られたか否かの判定は、例えば、警告部Ｃ７１から警告が発せられてから、予め定められた時間が経過する前に、異常姿勢検知システム１００から、ドライバの異常姿勢が検知されたことを示す異常姿勢検知情報が得られたか否かに基づいて行う。
　すなわち、警報制御装置Ｃ７は、警告部Ｃ７１を作動させてから予め定められた時間が経過する前に、異常姿勢検知システム１００から、ドライバの異常姿勢を検知したことを示す異常姿勢検知情報が得られなかった場合、警告に対してドライバから反応が得られたと判定する。一方、警報制御装置Ｃ７は、警告部Ｃ７１を作動させてから、異常姿勢検知システム１００からドライバの異常姿勢を検知したことを示す異常姿勢検知情報が得られる状態のまま、予め定められた時間が経過した場合、警告に対してドライバから反応が得られなかったと判定する。なお、警告に対してドライバから反応が得られたか否かの判定は、例えば、警告部Ｃ７１を作動させてから予め定められた時間が経過する前に、ドライバによる操作部の操作により、警告を解除する操作が行われたか否かに基づいて行ってもよい。また、予め定められた時間とは、例えば３秒である。
　警告に対してドライバから反応が得られた場合（ステップＳＴ４０４の“ＹＥＳ”の場合）、警報制御装置Ｃ７は、警告部Ｃ７１からの警告を停止し（ステップＳＴ４０５）、運転制御システム３００の動作は、ステップＳＴ４０１の処理に進む。一方、警告に対してドライバの反応が得られなかった場合（ステップＳＴ４０４の“ＮＯ”の場合）、警報制御装置Ｃ７は、報知部Ｃ７２を作動させ、第１の車両外に存在する人間への報知を開始する（ステップＳＴ４０６）。ここで、第２の車両への報知とは、第２の車両の乗員等、第１の車両外に存在する人間へ、第１の車両の運転者が継続して運転可能な状態にないことを通知するもの、または第１の車両が緊急退避機能等の運転支援機能を開始することを通知するものである。
　そして、運転制御装置Ｃ３は、緊急退避機能を開始する。まず、運転制御装置Ｃ３は、車両状態取得装置Ｃ６から、車両状態に関する情報を取得する（ステップＳＴ４０７）。なお、車両状態とは、第１の車両の状態を示す情報であり、緊急退避機能等の運転支援機能における車両制御に用いられる。
　次に、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５から、第１の車両の周辺状況に関する情報を取得し（ステップＳＴ４０８）、第１の車両を退避させる位置を設定する（ステップＳＴ４０９）。以下、第１の車両を退避させる位置を、退避位置という。なお、退避位置は、第１の車両の現在位置から１５０ｍの範囲内、または第１の車両が現在位置からの移動に要する時間が６０秒以内に収まる位置であってよい。このようにすると、第１の車両の退避位置までの移動に伴う、交差点への侵入回数が必要以上に増加することを防止できる。
　例えば、運転制御装置Ｃ３は、周辺状況監視装置Ｃ５から、第１の車両を安全に停止可能な位置を探索し、安全に停止可能な位置の候補のうちから、最も安全性の高い位置を退避位置として設定する。ここで、退避位置は、第２の車両または歩行者等の移動体、および障害物との衝突の可能性がなく、第１の車両の現在位置から退避位置への経路において、前述の移動体および障害物との衝突の可能性がない位置である。退避位置の例は、路肩等の道路端、交差点および踏切以外の車線内等である。また、退避位置が路肩等の道路端である場合は、同乗者が第１の車両から脱出できるスペースを確保してもよい。
　退避位置を設定した後、運転制御装置Ｃ３は、車両制御を行い退避位置へ第１の車両を停止させる。運転制御装置Ｃ３は、退避位置を設定した後、第１の車両の現在の位置から設定した退避位置に至るまでの経路を、ナビゲーションシステムＣ５４の表示部へ表示させてもよい。
　まず、運転制御装置Ｃ３は、退避位置へ第１の車両を移動させるまでに、進路変更を要するか否かを判定する（ステップＳＴ４１０）。退避位置へ第１の車両を移動させるまでに、進路変更を要さない場合（ステップＳＴ４１０の“ＮＯ”の場合）、すなわち、退避位置を第１の車両が現在走行している車線内に設定した場合、操舵アクチュエータ３１および制駆動アクチュエータ４１を制御して、第１の車両に現在走行している車線内を走行させる（ステップＳＴ４１１）。そして、運転制御装置Ｃ３は、操舵アクチュエータ３１および制駆動アクチュエータ４１を制御して、第１の車両を減速させた後、退避位置に停止させる（ステップＳＴ４１２）。
　なお、ステップＳＴ４１１の処理において、運転制御装置Ｃ３は、例えば、１０ｋｍ／ｈ等、緊急停止が可能な速度で第１の車両を走行させてよい。また、退避位置が第１の車両の近傍に設定された場合等、第１の車両の走行を継続させる必要がない場合は、ステップＳＴ４１１の処理は省略可能である。さらに、ステップＳＴ４１１およびステップＳＴ４１２の処理において、運転制御装置Ｃ３により第１の車両を減速させる場合、同乗者の転倒を防止するため、例えば、３ｍ／ｓ２以下であってよい。
　そして、運転制御装置Ｃ３により、第１の車両を退避位置に停止させた後、車載通信機Ｃ５２を介して、車両外部のコールセンター等に通報を行う（ステップＳＴ４１３）。車載通信機Ｃ５２を介した通報には、例えば、第１の車両のドライバが異常姿勢の状態であり運転を継続できない状態にある可能性があることを示すメッセージ、周辺状況監視装置Ｃ５で取得した第１の車両の現在位置、および運転制御装置Ｃ３により設定した退避位置が含まれる。なお、車載通信機Ｃ５２により通報を行う場合においても、運転制御装置Ｃ３により第１の車両の停止状態を継続させ、警報制御装置Ｃ７により、第１の車両外に存在する人間に対する報知を継続させてもよい。
　ステップＳＴ４１０の処理で、運転制御装置Ｃ３により、退避位置へ第１の車両を移動させるまでに、進路変更を要すると判定された場合（ステップＳＴ４１０の“ＹＥＳ”の場合）について説明する。なお、進路変更とは、車線変更のように、第１の車両が走行する車線と隣接する車線へ第１の車両を移動させる場合と、道路端に第１の車両を寄せるように、第１の車両が走行する車線から第１の車両を逸脱させる場合とを含む。
　運転制御装置Ｃ３は、進路変更を要すると判定した場合、操舵アクチュエータ３１および制駆動アクチュエータ４１を制御して、第１の車両の進路変更を行う（ステップＳＴ４１４）。ここで、進路変更先に存在する第２の車両または歩行者等が、第１の車両の進路変更を認識して衝突を回避できるよう、進路変更における車両横方向への移動速度は０．３ｍ／ｓ程度であってよい。さらに、進路変更を行う場合、警報制御装置Ｃ７は、進路変更が開始される時点から、予め定められた時間以上前に、報知部Ｃ７２により第１の車両が進路変更を開始する旨を第１の車両外の人間に報知してよい。
　次に、警報部による警報に対してドライバから反応が得られなかった場合、報知部Ｃ７２を介して、第２の車両に対して、第１の車両のドライバの姿勢が異常姿勢であり、ドライバは運転を継続できない状態にある可能性があることを示す報知を行う。なお、報知部Ｃ７２による第２の車両への報知は、第１の車両のドライバの姿勢が異常姿勢であることを示す報知に限らず、以降の処理にて行われる、車両の緊急退避機能が開始されることを示す報知、または車両の緊急退避機能が実行されていることを示す報知であってもよい。
　そして、運転制御装置Ｃ３は、ステップＳＴ４１２の処理と同様に、操舵アクチュエータ３１および制駆動アクチュエータ４１を制御して、第１の車両を減速させた後、退避位置に停止させる（ステップＳＴ４１５）。運転制御装置Ｃ３により、第１の車両を退避位置に停止させた後、運転制御システム３００の動作は、ステップＳＴ４１３の処理に進み、車載通信機Ｃ５２を介して、車両外部のコールセンター等に通報を行う。
　また、運転制御システム３００は、運転支援機能を実行中に、オーバーライド操作があった場合、操舵アクチュエータ３１または制駆動アクチュエータ４１の制御を、同乗者またはドライバによる運転操作に代替してもよい。すなわち、例えば、図１１における、ステップＳＴ４０６～ステップＳＴ４１５の処理の間に、オーバーライド操作検出部Ｃ６６が、オーバーライド操作を検出した場合、検出されたオーバーライド操作により、車両の運転を行ってもよい。
　なお、上述の例では、異常姿勢検知システム１００によりドライバの姿勢が異常姿勢であることが検知された場合、運転制御システム３００により、運転支援機能として、車両の緊急退避機能を行う例を挙げて説明したが、運転制御システム３００は、運転支援機能として、ＡＣＣまたはＬＫＡを実行してもよい。また、運転制御システム３００により、ＡＣＣおよびＬＫＡを実行した後、周囲の安全が確保できた場合に緊急退避機能を実行させるようにするなど、運転支援機能を組み合わせてもよい。運転支援機能は適宜組み合わせ可能である。
　以上の実施の形態１では、異常姿勢検知装置１は基準姿勢特徴量算出部１３を備え、ドライバの基準姿勢を推定し、推定した基準姿勢における基準姿勢特徴量を算出する機能を有しているものとしたが、これは一例に過ぎない。例えば、ドライバの基準姿勢の推定および当該基準姿勢における基準姿勢特徴量を算出する機能は、異常姿勢検知装置１の外部において異常姿勢検知装置１と接続されている装置（図示省略）が有していてもよい。
　この場合、異常姿勢検知装置１は、基準姿勢特徴量算出部１３を備えることを必須としない。また、異常姿勢検知装置１の動作について、図５に示すフローチャートを用いて説明したような、基準姿勢特徴量算出処理の動作は省略可能である。
　また、例えば、予め、管理者等が、一般的なドライバの顔向き、頭位置、および、顔検知信頼度に基づいて基準姿勢を設定し、記憶部１８等、異常姿勢検知装置１が参照可能な場所に記憶させておいてもよい。この場合も、異常姿勢検知装置１は、基準姿勢特徴量算出部１３を備えることを必須とせず、図５に示すフローチャートを用いた説明したような、基準姿勢特徴量算出処理の動作は省略可能である。ただし、基準姿勢特徴量算出部１３または外部の装置にて基準姿勢を推定する機能を有する構成としたほうが、基準姿勢特徴量算出部１３または外部の装置にて基準姿勢を推定する機能を有しない構成とするよりも、異常姿勢検知装置１は、より個人にあわせた基準姿勢の推定、および、基準姿勢特徴量の算出ができる。その結果、異常姿勢検知装置１は、より精度よく、ドライバが異常姿勢であるか否かの検知を行うことができる。
　また、以上の実施の形態１では、機械学習モデルの入力とする変化量には顔検知信頼度の変化量が含まれていたが、これは一例に過ぎない。機械学習モデルの入力とする変化量には顔検知信頼度の変化量が含まれていないものとしてもよい。
　ただし、機械学習モデルの入力とする変化量には顔検知信頼度を含めるほうが、顔検知信頼度を含めない場合と比べ、異常姿勢検知装置１は、より精度の高い姿勢崩れの有無の判定を行うことができる。
　昨今、車両に搭載される撮像装置２は、小型化されている。小型化された撮像装置２では狭角レンズが採用されている場合が多い。撮像装置２がいわゆる狭角カメラである場合、撮像範囲が狭くなる。すなわち、ドライバの顔のパーツがフレームアウトする可能性が高くなる。言い換えれば、ドライバの顔のパーツの検知のしやすさ度合いが低くなる。この場合、ドライバの姿勢が異常姿勢でなくても、検知されるドライバの顔のもっともらしさの度合いは低くなる。機械学習モデルの入力として当該顔検知信頼度を採用することで、姿勢崩れが過検知されることを防ぎ、機械学習モデルから得られるドライバの姿勢崩れの有無を示す情報について、より精度の高い推論結果としての情報を得られることが期待できる。
　また、以上の実施の形態１では、異常姿勢検知装置１が異常姿勢であるか否かを検知する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。異常姿勢検知装置１は、ドライバ以外の車両の乗員を、異常姿勢であるか否かを検知する対象とできる。
　また、以上の実施の形態１では、異常姿勢検知装置１は、車両に搭載される車載装置とし、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７は、車載装置に備えられているものとした。
　これに限らず、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでシステムを構成するようにしてもよい。
　また、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７が全部サーバに備えられてもよい。
　図１２Ａおよび図１２Ｂは、実施の形態１に係る異常姿勢検知装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７と、図示しない制御部の機能は、処理回路１０１により実現される。すなわち、異常姿勢検知装置１は、撮像画像に基づき、車両の乗員の姿勢が異常姿勢であるか否かを検知する制御を行うための処理回路１０１を備える。
　処理回路１０１は、図１２Ａに示すように専用のハードウェアであっても、図１２Ｂに示すようにメモリ１０５に格納されるプログラムを実行するプロセッサ１０４であってもよい。
　処理回路１０１が専用のハードウェアである場合、処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１０４の場合、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７と、図示しない制御部の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７と、図示しない制御部の機能を実行する。すなわち、異常姿勢検知装置１は、プロセッサ１０４により実行されるときに、上述の図５のステップＳＴ１～ステップＳＴ３、図６のステップＳＴ１１～ステップＳＴ１６が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７と、図示しない制御部の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、画像取得部１１と、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７と、図示しない制御部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１については専用のハードウェアとしての処理回路１０１でその機能を実現し、特徴量抽出部１２と、基準姿勢特徴量算出部１３と、変化量算出部１４と、第１判定部１５と、第２判定部１６と、検知部１７と、図示しない制御部についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　記憶部１８は、例えば、メモリ１０５で構成される。
　また、異常姿勢検知装置１は、撮像装置２または運転制御システム３００が備える各種装置等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。
　以上のように、実施の形態１によれば、異常姿勢検知装置１は、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像に基づき、乗員の姿勢の判定に用いる特徴量を抽出する特徴量抽出部１２と、特徴量抽出部１２が抽出した特徴量の、乗員の基準姿勢における特徴量からの変化量を算出する変化量算出部１４と、特徴量抽出部１２が抽出した特徴量と変化量算出部１４が算出した変化量とを正常姿勢判定用条件と比較することで、特徴量抽出部１２が抽出した特徴量を正常姿勢判定用条件と比較することで、または、変化量算出部１４が算出した変化量を正常姿勢判定用条件と比較することで、乗員の姿勢は正常姿勢であるか否かを判定する第１判定部１５と、第１判定部１５が、乗員の姿勢は正常姿勢ではないと判定した場合、変化量算出部１４が算出した変化量と、変化量を入力とし乗員の姿勢崩れの有無を示す情報を出力する機械学習モデルとに基づき、乗員は姿勢崩れを起こしているか否かを判定する第２判定部１６と、第２判定部１６が乗員は姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、乗員の異常姿勢を検知する検知部１７とを備えるように構成した。そのため、異常姿勢検知装置１は、撮像画像から特徴量が安定して抽出されないシーンが発生しても、乗員の異常姿勢を検知することができる。
　なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示の異常姿勢検知装置は、撮像画像から特徴量が安定して抽出されないシーンが発生しても、乗員の異常姿勢を検知することができる。
　１　異常姿勢検知装置、１１　画像取得部、１２　特徴量抽出部、１３　基準姿勢特徴量算出部、１４　変化量算出部、１５　第１判定部、１６　第２判定部、１７　検知部、１８　記憶部、１００　異常姿勢検知システム、２　撮像装置、３００　運転制御システム、３　操舵機構、３１　操舵アクチュエータ、４　制駆動機構、４１　制駆動アクチュエータ、１０１　処理回路、１０２　入力インタフェース装置、１０３　出力インタフェース装置、１０４　プロセッサ、１０５　メモリ、Ｃ３　運転制御装置、Ｃ４　地図情報記憶装置、Ｃ５　周辺状況監視装置、Ｃ５１　ＧＰＳ受信機、Ｃ５２　車載通信機、Ｃ５３　車外センサ、Ｃ５４　ナビゲーションシステム、Ｃ６　車両状態取得装置、Ｃ６１　舵角センサ、Ｃ６２　車速センサ、Ｃ６３　操舵トルクセンサ、Ｃ６４　アクセルポジションセンサ、Ｃ６５　ブレーキポジションセンサ、Ｃ６６　オーバーライド操作検出部、Ｃ７　警報制御装置、Ｃ７１　警告部、Ｃ７２　報知部。

Claims (6)

  1. 　車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部と、
    　前記画像取得部が取得した前記撮像画像に基づき、前記乗員の姿勢の判定に用いる特徴量を抽出する特徴量抽出部と、
    　前記特徴量抽出部が抽出した前記特徴量の、前記乗員の基準姿勢における前記特徴量からの変化量を算出する変化量算出部と、
    　前記特徴量抽出部が抽出した前記特徴量と前記変化量算出部が算出した前記変化量とを正常姿勢判定用条件と比較することで、前記特徴量抽出部が抽出した前記特徴量を前記正常姿勢判定用条件と比較することで、または、前記変化量算出部が算出した前記変化量を前記正常姿勢判定用条件と比較することで、前記乗員の姿勢は正常姿勢であるか否かを判定する第１判定部と、
    　前記第１判定部が、前記乗員の姿勢は正常姿勢ではないと判定した場合、前記変化量算出部が算出した前記変化量と、前記変化量を入力とし前記乗員の姿勢崩れの有無を示す情報を出力する機械学習モデルとに基づき、前記乗員は姿勢崩れを起こしているか否かを判定する第２判定部と、
    　前記第２判定部が前記乗員は姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、前記乗員の異常姿勢を検知する検知部
    　とを備えた異常姿勢検知装置。
  2. 　前記乗員の前記基準姿勢を推定し、前記基準姿勢における前記特徴量を算出する基準姿勢特徴量算出部
    　を備えた請求項１記載の異常姿勢検知装置。
  3. 　前記特徴量は、前記乗員の顔向きおよび前記乗員の頭位置を含む
    　ことを特徴とする請求項１または請求項２記載の異常姿勢検知装置。
  4. 　前記特徴量は、前記乗員の顔向き、前記乗員の頭位置、および、顔検知信頼度を含む
    　ことを特徴とする請求項１または請求項２記載の異常姿勢検知装置。
  5. 　画像取得部が、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得するステップと、
    　特徴量抽出部が、前記画像取得部が取得した前記撮像画像に基づき、前記乗員の姿勢の判定に用いる特徴量を抽出するステップと、
    　変化量算出部が、前記特徴量抽出部が抽出した前記特徴量の、前記乗員の基準姿勢における前記特徴量からの変化量を算出するステップと、
    　第１判定部が、前記特徴量抽出部が抽出した前記特徴量と前記変化量算出部が算出した前記変化量とを正常姿勢判定用条件と比較することで、前記特徴量抽出部が抽出した前記特徴量を前記正常姿勢判定用条件と比較することで、または、前記変化量算出部が算出した前記変化量を前記正常姿勢判定用条件と比較することで、前記乗員の姿勢は正常姿勢であるか否かを判定するステップと、
    　第２判定部が、前記第１判定部が前記乗員の姿勢は正常姿勢ではないと判定した場合、前記変化量算出部が算出した前記変化量と、前記変化量を入力とし前記乗員の姿勢崩れの有無を示す情報を出力する機械学習モデルとに基づき、前記乗員は姿勢崩れを起こしているか否かを判定するステップと、
    　検知部が、前記第２判定部が前記乗員は姿勢崩れを起こしていると判定した状態が異常検知用時間継続した場合に、前記乗員の異常姿勢を検知するステップ
    　とを備えた異常姿勢検知方法。
  6. 　請求項１から請求項４のうちのいずれか１項記載の異常姿勢検知装置と、前記車両の運転の制御を行う運転制御装置と、を備えた車両制御システムであって、
    　前記異常姿勢検知装置は、前記乗員が前記異常姿勢であるか否かの検知結果を前記運転制御装置に出力し、
    　前記運転制御装置は、前記検知結果に基づいて、前記乗員に対する警告の出力または前記車両の退避処理を行う制御信号を、前記車両に搭載された警報制御装置、操舵機構、または制駆動機構に出力する
    　ことを特徴とする車両制御システム。
PCT/JP2022/041801 2022-11-10 2022-11-10 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム WO2024100814A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041801 WO2024100814A1 (ja) 2022-11-10 2022-11-10 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/041801 WO2024100814A1 (ja) 2022-11-10 2022-11-10 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム

Publications (1)

Publication Number Publication Date
WO2024100814A1 true WO2024100814A1 (ja) 2024-05-16

Family

ID=91032464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/041801 WO2024100814A1 (ja) 2022-11-10 2022-11-10 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム

Country Status (1)

Country Link
WO (1) WO2024100814A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198540A1 (ja) * 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム
WO2018225176A1 (ja) * 2017-06-07 2018-12-13 三菱電機株式会社 状態判定装置および状態判定方法
WO2019102525A1 (ja) * 2017-11-21 2019-05-31 三菱電機株式会社 異常検知装置及び異常検知方法
JP2019091205A (ja) * 2017-11-14 2019-06-13 アイシン精機株式会社 車載警報装置
WO2021166791A1 (ja) * 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022143854A (ja) * 2021-03-18 2022-10-03 三菱電機株式会社 乗員状態判定装置および乗員状態判定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198540A1 (ja) * 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム
WO2018225176A1 (ja) * 2017-06-07 2018-12-13 三菱電機株式会社 状態判定装置および状態判定方法
JP2019091205A (ja) * 2017-11-14 2019-06-13 アイシン精機株式会社 車載警報装置
WO2019102525A1 (ja) * 2017-11-21 2019-05-31 三菱電機株式会社 異常検知装置及び異常検知方法
WO2021166791A1 (ja) * 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2022143854A (ja) * 2021-03-18 2022-10-03 三菱電機株式会社 乗員状態判定装置および乗員状態判定方法

Similar Documents

Publication Publication Date Title
US9963149B2 (en) Vehicle control device
JP6725568B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
JP6964271B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム
JP5979259B2 (ja) 衝突回避制御装置
JP5888407B2 (ja) 運転支援装置
US10967855B2 (en) Vehicle and method for controlling the same
US11970158B2 (en) Driving assistance system, driving assistance device, and driving assistance method for avoidance of an obstacle in a traveling lane
JP6693354B2 (ja) 車両用情報提示装置
JP6460579B2 (ja) 運転支援制御装置
JP6631567B2 (ja) 自動運転支援装置、方法及びプログラム
JP6930152B2 (ja) 自動運転システム
JP7152521B2 (ja) 運転者支援システム
JP6773911B2 (ja) 車両制御装置、車両制御方法、車両制御プログラム
JP2020077266A (ja) 車両制御装置
JP2022060078A (ja) 運転支援装置
JP2020106915A (ja) 情報提示装置
JP2007128227A (ja) 運転者心理状態判定装置及び運転者心理状態判定システム
JP6819056B2 (ja) 自動運転車両
US11299163B2 (en) Control system of vehicle, control method of the same, and non-transitory computer-readable storage medium
JP4235090B2 (ja) 車両走行支援装置
US20220315029A1 (en) Driving support device
JP7514166B2 (ja) 車両の運転支援装置
JP6819054B2 (ja) 自動運転車両
WO2024100814A1 (ja) 異常姿勢検知装置、異常姿勢検知方法、および、車両制御システム
WO2024069785A1 (ja) 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法、プログラム及び車両制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965139

Country of ref document: EP

Kind code of ref document: A1