WO2023218546A1 - 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法 - Google Patents

覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法 Download PDF

Info

Publication number
WO2023218546A1
WO2023218546A1 PCT/JP2022/019885 JP2022019885W WO2023218546A1 WO 2023218546 A1 WO2023218546 A1 WO 2023218546A1 JP 2022019885 W JP2022019885 W JP 2022019885W WO 2023218546 A1 WO2023218546 A1 WO 2023218546A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
face
learning
acquisition unit
learning data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/019885
Other languages
English (en)
French (fr)
Inventor
智大 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2024520133A priority Critical patent/JP7515771B2/ja
Priority to DE112022006764.0T priority patent/DE112022006764T5/de
Priority to PCT/JP2022/019885 priority patent/WO2023218546A1/ja
Publication of WO2023218546A1 publication Critical patent/WO2023218546A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Definitions

  • the present disclosure relates to an arousal level reduction estimation device, a learning device, and an arousal level reduction estimation method.
  • a face with wrinkled eyebrows or a distorted mouth is not necessarily a face made when the passenger is trying to hold back sleepiness. For example, passengers may wrinkle their eyebrows to avoid glare or use the toilet during a long drive. You may have a face that is close together or your mouth is distorted.
  • the point that a person's face with wrinkles between the eyebrows or a distorted mouth is not necessarily a sign of a decrease in alertness. Since this is not taken into account, there is a risk of erroneously estimating that a person's level of alertness has decreased.
  • the present disclosure has been made to solve the above-mentioned problems, and an object thereof is to provide an alertness level reduction estimating device that prevents erroneous estimation of an occupant's alertness level decrease in a vehicle.
  • the alertness level reduction estimation device includes an image acquisition unit that acquires a captured image in which a range where the face of a vehicle occupant should be present is captured, and a machine learning model based on the captured image acquired by the image acquisition unit and a machine learning model. , a face estimation section that estimates whether or not the occupant is making a face that is trying to hold back drowsiness; and an alertness level reduction estimator for estimating whether or not the alertness level of the user has decreased.
  • FIG. 1 is a diagram illustrating a configuration example of an alertness level reduction estimation device according to Embodiment 1.
  • FIG. 3 is a flowchart for explaining the operation of the learning device according to the first embodiment. 3 is a flowchart for explaining the operation of the alertness level reduction estimating device according to the first embodiment.
  • It is. 5 is a flowchart for explaining the operation of the learning device shown in FIG. 4.
  • FIG. 6A and 6B are diagrams illustrating an example of the hardware configuration of the alertness level reduction estimation device according to the first embodiment.
  • FIG. 3 is a diagram illustrating a configuration example of an alertness level reduction estimation device according to a second embodiment.
  • 7 is a flowchart for explaining the operation of the learning device according to Embodiment 2.
  • FIG. 7 is a flowchart for explaining the operation of the alertness level reduction estimating device according to the second embodiment.
  • Embodiments of the present disclosure will be described in detail below with reference to the drawings.
  • Embodiment 1. The alertness level reduction estimating device according to the first embodiment estimates whether the alertness level of a vehicle occupant is decreasing based on a captured image in which at least the face of the vehicle occupant is captured. Vehicle occupants may show signs of decreased alertness, such as wrinkled eyebrows, distorted mouth, squinted eyes, or clenched teeth, as they try to resist drowsiness. . However, it is not only when the passenger is trying to hold back sleepiness that the passenger makes a face with wrinkled eyebrows, a distorted mouth, squinted eyes, or gritted teeth.
  • a face with wrinkled eyebrows when occupants are trying to avoid glare from light shining into the vehicle, or when they are trying to avoid using the toilet after a long drive, they may In order to hold back, the person may make a face with wrinkled eyebrows, a distorted mouth, squinted eyes, or gritted teeth. In this way, a face with wrinkles between the eyebrows, a distorted mouth, a face with narrowed eyes, a face with gritted teeth, or a face of holding back something (hereinafter referred to as a ⁇ holding back face'').
  • the passenger wearing a patient face is not necessarily putting up with sleepiness due to a decrease in alertness level.
  • the alertness level reduction estimation device distinguishes whether or not the occupant is making a patience face, which is a sign of a decrease in alertness level, that is, a face of trying to endure sleepiness (hereinafter referred to as the "drowsiness patience face”), When it is estimated that the occupant has a patience face, which is a sign of a decrease in the alertness level, that is, a drowsy patience face, it is estimated that the occupant's alertness level is decreasing.
  • the occupant of the vehicle for whom the alertness level reduction estimating device estimates whether or not the alertness level has decreased is the driver of the vehicle.
  • the result of estimating whether the driver's alertness level has decreased, in other words, whether the driver is drowsy, estimated by the alertness level reduction estimation device, is used, for example, to detect the driver's dozing.
  • the alertness level reduction estimating device estimates that the driver's alertness level has decreased, it outputs a warning to the driver, for example.
  • FIG. 1 is a diagram showing a configuration example of an alertness level reduction estimation device 1 according to the first embodiment.
  • the alertness level reduction estimating device 1 is connected to an imaging device 3 and an output device 4.
  • the imaging device 3 is mounted on a vehicle (not shown) and is installed so as to be able to image at least an area where the driver's face should be present.
  • the imaging device 3 may be shared with a so-called DMS (Driver Monitoring System) installed for the purpose of monitoring the interior of a vehicle.
  • the imaging device 3 is a visible light camera or an infrared camera.
  • the imaging device 3 outputs the captured image to the alertness level reduction estimation device 1.
  • the alertness level reduction estimating device 1 estimates whether or not the driver is making a drowsy patience face using a learned model (hereinafter referred to as a "machine learning model") based on the captured image obtained from the imaging device 3. Then, it is estimated whether the driver's alertness level is decreasing based on the estimation result of whether the driver is wearing a sleepy face.
  • the machine learning model used by the alertness reduction estimation device 1 inputs a captured image of a driver's face, and outputs information indicating whether the driver is wearing a sleepy face. This is a machine learning model (hereinafter referred to as the "first machine learning model").
  • the information indicating whether the driver is making a sleepy face is, for example, "0" or "1".
  • the information indicating whether the driver is making a face trying to put up with sleepiness is "0"
  • the information indicates that the driver is not making a face trying to put up with sleepiness.
  • the driver may The information indicating whether or not the person is making a face of putting up with sleepiness is "0".
  • the information indicating whether or not the driver is making a face of trying to put up with sleepiness is "1"
  • the information indicates that the driver is making a face of trying to put up with sleepiness.
  • the information as to whether the driver is making a face of trying to put up with sleepiness may be any information that shows whether the driver is making a face of trying to put up with sleepiness or not.
  • the alertness level reduction estimating device 1 causes the output device 4 to output a warning to the driver based on the estimation result of whether the driver's alertness level has decreased.
  • the output device 4 is mounted on a vehicle.
  • the output device 4 is, for example, a speaker.
  • the alarm output control unit 13 causes the output device 4 to output an alarm or a voice message urging caution against drowsy driving.
  • the alertness level reduction estimation device 1 includes an image acquisition section 11, an estimation section 12, an alarm output control section 13, a model storage section 14, and a learning device 2.
  • the estimation unit 12 includes a face estimation unit 121 and an arousal level reduction estimation unit 122.
  • the learning device 2 includes a learning data acquisition section 21 and a learning section 22.
  • the image acquisition unit 11 acquires a captured image from the imaging device 3.
  • the image acquisition unit 11 outputs the acquired captured image to the estimation unit 12.
  • the estimating unit 12 estimates whether or not the driver is wearing a drowsiness-bearing face based on the captured image acquired by the image acquisition unit 11 and the first machine learning model, and determines whether the driver is wearing a drowsy-bearing face. Based on the estimation result, it is estimated whether the driver's alertness level is decreasing.
  • the face estimation unit 121 of the estimation unit 12 inputs the captured image acquired by the image acquisition unit 11 into the first machine learning model and obtains information indicating whether the driver has a sleepy face. Estimate whether or not the person is making a face of trying to tolerate sleepiness. For example, when the face estimating unit 121 obtains information "0" indicating whether the driver is making a face of trying to put up with sleepiness, it estimates that the driver is not making a face of trying to put up with sleepiness. When the face estimation unit 121 obtains information "1" indicating whether or not the driver is making a face of trying to put up with sleepiness, the face estimation unit 121 estimates that the driver is making a face of trying to put up with sleepiness.
  • the face estimation unit 121 outputs the estimation result of whether or not the driver is making a sleepy face to the alertness level reduction estimation unit 122.
  • the alertness level reduction estimation unit 122 of the estimation unit 12 determines whether the occupant's alertness level has decreased based on the estimation result of whether the face estimation unit 121 has estimated that the driver is wearing a sleepy face. presume. When the face estimation unit 121 estimates that the driver is wearing a sleepy face, the alertness level reduction estimation unit 122 estimates that the driver's alertness level has decreased. On the other hand, when the face estimation unit 121 estimates that the driver is not wearing a sleepy face, the alertness level reduction estimating unit 122 estimates that the driver's alertness level has not decreased. The alertness level reduction estimating unit 122 outputs the estimation result of whether the driver's alertness level is decreasing to the alarm output control unit 13.
  • the warning output control unit 13 outputs a warning to the driver when the alertness level reduction estimation unit 122 estimates that the alertness level of the occupant has decreased.
  • the alarm output control unit 13 causes the output device 4 to output an alarm.
  • the model storage unit 14 stores the first machine learning model. Note that in the first embodiment, the model storage unit 14 is included in the alertness level reduction estimation device 1, but this is only an example. The model storage unit 14 may be provided at a location outside of the alertness level reduction estimating device 1 that can be referenced by the alertness level decrease estimating device 1.
  • the learning device 2 generates a first machine learning model.
  • the learning data acquisition unit 21 of the learning device 2 acquires learning data including a captured image of the driver's face and information indicating whether or not the driver is wearing a sleepy face.
  • the learning data is generated in advance by an administrator or the like. For example, before product shipment of the vehicle, the administrator, etc. may have multiple subjects drive the vehicle, and may capture captured images of the subject making a drowsy patience face, or images of the subject making a drowsy patience face, or images of the subject making a patience face due to factors other than drowsiness.
  • training data is generated that includes at least a captured image when the subject is wearing a patient face other than a sleepy face.
  • the test subject when the subject is making a patient face due to factors other than drowsiness, in other words, when the subject is making a patient face other than the drowsy patient face, the test subject is wearing a patient face due to factors other than drowsiness.
  • Possible cases include when the subject's face appears to be putting up with glare from light shining on the subject's face, or when the subject is putting up with a physiological phenomenon other than drowsiness.
  • Physiological phenomena other than drowsiness include, for example, the urge to urinate or nausea due to long drives.
  • the subject's face captured in the captured image is a drowsy patience face, the administrator etc.
  • the learning data acquisition unit 21 outputs the acquired learning data to the learning unit 22.
  • the learning unit 22 of the learning device 2 generates a first machine learning model based on the learning data output from the learning data acquisition unit 21.
  • the learning unit 22 causes the model storage unit 14 to store the generated first machine learning model.
  • the face estimation unit 121 uses the first machine learning model generated by the learning unit 22 and stored in the model storage unit 14 to estimate whether the driver is wearing a sleepy face.
  • the learning device 2 is included in the alertness level reduction estimation device 1, but this is only an example.
  • the learning device 2 may be provided outside the alertness level reduction estimation device 1 and connected to the alertness level reduction estimation device 1 via a network.
  • the learning device 2 performs a learning process to generate a first machine learning model.
  • the alertness reduction estimating device 1 uses the first machine learning model generated by the learning device 2 to estimate whether or not the driver is making a drowsy patience face. Estimation processing is performed to estimate whether the driver's alertness level is decreasing based on the estimation result.
  • FIG. 2 is a flowchart for explaining the operation of the learning device 2 according to the first embodiment.
  • the operation of the learning device 2 shown in the flowchart of FIG. 2 is performed before the alertness level reduction estimating device 1 performs the estimation process, such as before the vehicle is shipped.
  • the learning data acquisition unit 21 acquires learning data including a captured image of the driver's face and information indicating whether or not the driver is wearing a sleepy face (step ST21).
  • the learning data acquisition unit 21 outputs the acquired learning data to the learning unit 22.
  • the learning unit 22 generates a first machine learning model based on the learning data output from the learning data acquisition unit 21 in step ST21 (step ST22).
  • the learning unit 22 causes the model storage unit 14 to store the generated first machine learning model.
  • FIG. 3 is a flowchart for explaining the operation of the alertness level reduction estimation device 1 according to the first embodiment. For example, when the power of the vehicle is turned on, the alertness level reduction estimating device 1 repeats the operation shown in the flowchart of FIG. 3 until the power of the vehicle is turned off.
  • the image acquisition unit 11 acquires a captured image from the imaging device 3 (step ST1).
  • the image acquisition unit 11 outputs the acquired captured image to the estimation unit 12.
  • the face estimation unit 121 of the estimation unit 12 inputs the captured image acquired by the image acquisition unit 11 in step ST1 to the first machine learning model to obtain information indicating whether the driver is making a sleepy face. Then, it is estimated whether the driver is wearing a sleepy face (step ST2). The face estimation unit 121 outputs the estimation result of whether or not the driver is making a sleepy face to the alertness level reduction estimation unit 122.
  • the alertness level reduction estimating unit 122 of the estimating unit 12 determines whether the occupant's alertness level has decreased based on the estimation result of whether or not the face estimation unit 121 estimated in step ST2 that the driver was wearing a sleepy face. It is estimated whether or not there is one (step ST3).
  • the alertness level reduction estimating unit 122 outputs the estimation result of whether the driver's alertness level is decreasing to the alarm output control unit 13.
  • the alarm output control unit 13 causes the output device 4 to output a warning to the driver (step ST4).
  • the learning device 2 determines whether the driver from the alertness reduction estimation device 1 is trying to tolerate sleepiness or not.
  • the first machine learning model may have a function of relearning the first machine learning model based on the estimation result.
  • the face estimation unit 121 estimates whether or not the driver is making a drowsy-persistent face, and then estimates the estimation result as to whether the driver is making a drowsy-persistent face;
  • the captured image outputted from the image acquisition unit 11 is associated with the captured image and outputted to the learning device 2.
  • the learning data acquisition unit 21 of the learning device 2 uses, as learning data, information in which the captured image is associated with the estimation result of whether or not the driver is making a drowsy patience face, which is output from the face estimation unit 121. (see step ST21 in FIG. 2). Then, the learning unit 22 re-learns the first machine learning model based on the learning data acquired by the learning data acquisition unit 21 (see step ST22 in FIG. 2). The learning unit 22 updates the first machine learning model stored in the model storage unit 14 with the first machine learning model after relearning.
  • the alertness level reduction estimating device 1 acquires a captured image in which the range in which the face of the vehicle driver should be present is captured, and based on the acquired captured image and the first machine learning model, the driver is able to tolerate drowsiness. It is estimated whether the driver is making a face or not, and based on the estimation result of whether the driver is making a face trying to put up with sleepiness, it is estimated whether the driver's alertness level is decreasing. Using the first machine learning model generated through learning, the alertness level reduction estimating device 1 distinguishes a patience face, which is a sign of a decrease in alertness level, from a simple patience face that is not caused by sleepiness, and detects whether the driver is suffering from a decrease in alertness level.
  • the alertness level reduction estimating device 1 can prevent erroneous estimation of the driver's alertness level decrease.
  • the alertness level reduction estimation device 1 can determine the alertness level of the driver in a single judgment based only on the captured image, in other words, based on the current state of the driver's face. It is possible to estimate whether or not the person is showing signs of sleepiness, which is a sign of sleepiness.
  • the learning data acquisition unit 21 of the learning device 2 acquires learning data generated by an administrator or the like in advance.
  • the learning device is not limited to this, and the learning device may generate learning data and acquire this as the learning data, which will be described below.
  • FIG. 4 shows an alertness level reduction estimating device 1a in the first embodiment in which the learning device 2 generates learning data, acquires this as the learning data, and generates the first machine learning model. It is a figure showing an example of composition.
  • the configuration example of the alertness level reduction estimation device 1a shown in FIG. 4 differs from the configuration example of the alertness level reduction estimation device 1 shown in FIG. 1 in that the learning device 2a includes a related information acquisition unit 23. Further, the specific operation of the learning data acquisition unit 21a is different from that of the learning data acquisition unit 21 included in the learning device 2 shown in FIG.
  • the related information acquisition unit 23 of the learning device 2a acquires information (hereinafter referred to as “related information”) including information regarding the occupant (hereinafter referred to as “occupant information”) or information regarding the vehicle (hereinafter referred to as “vehicle information”). do.
  • the occupant information includes, for example, information regarding the proportion of the occupant's eyes closed per set time (so-called PERCLOS), information regarding whether the occupant is yawning, information regarding whether or not the occupant is dizzy, information regarding the occupant's It includes at least one of information regarding heartbeat and information regarding occupant's breathing.
  • the related information acquisition unit 23 obtains, for example, information on the ratio of eye-closed time per set time, information on whether the occupant is yawning, or information on the presence or absence of light-headedness of the occupant from a so-called DMS, for example. get.
  • the related information acquisition unit 23 acquires captured images in time series from the image acquisition unit 11, performs known image recognition processing on the acquired time series captured images, and calculates the eye-closed time per set time. information regarding the percentage of yawning, information regarding whether the occupant is yawning, or information regarding whether or not the occupant is dizzy. Note that in FIG. 4, the arrow from the image acquisition unit 11 to the related information acquisition unit 23 is omitted. Further, the related information acquisition unit 23 acquires, for example, information regarding the occupant's heartbeat or information regarding the occupant's breathing from a biological sensor (not shown) installed in the vehicle.
  • the vehicle information includes, for example, at least one of information regarding steering wheel operation and information regarding vehicle speed.
  • the related information acquisition unit 23 acquires information regarding the steering wheel operation or information regarding the vehicle speed, for example, from a steering angle sensor (not shown) or a vehicle speed sensor (not shown) installed in the vehicle.
  • the related information acquisition unit 23 outputs the acquired related information to the learning data acquisition unit 21a.
  • the learning data acquisition unit 21a determines whether the driver is wearing a sleepy face based on the captured image acquired by the image acquisition unit 11 and the related information acquired by the related information acquisition unit 23. Note that in the alertness level reduction estimation device 1a, the image acquisition unit 11 outputs the captured image to the estimation unit 12 and the learning data acquisition unit 21a. Specifically, for example, the learning data acquisition unit 21a performs a known image recognition process on the captured image to determine whether the driver is wearing a restrained expression. When the learning data acquisition unit 21a determines that the driver is making a patient face, the learning data acquisition unit 21a uses patience face discrimination conditions that are generated in advance by an administrator or the like and stored in a location that can be referenced by the learning data acquisition unit 21a.
  • the condition for determining a patient face is information that defines information related to when the occupant of the vehicle is wearing a sleepy patient face. For example, before product shipment of the vehicle, the administrator, etc. has multiple subjects drive the vehicle, detects occupant information or vehicle information when the subject is making a drowsy patience face, and sets conditions for determining the patience face. Generate.
  • the conditions for determining a patient face include ⁇ the percentage of closed eyes during a set time is equal to or higher than a preset threshold'' and ⁇ the number of yawns during a set time is a preset value.''"The sway in the steering wheel operation is above the preset threshold.””The sway in the vehicle speed is above the preset threshold.””The heart rate is outside the preset range.” or "the respiratory rate is greater than or equal to a preset threshold”. If the related information satisfies the conditions for determining a patient face, the learning data acquisition unit 21a determines that the patient face that the driver is making is a sleepy patient face.
  • the learning data acquisition unit 21a acquires the learning data by generating learning data including the captured image acquired by the image acquisition unit 11 and information indicating whether the driver is making a sleepy face. get.
  • the learning data acquisition unit 21a outputs the acquired learning data to the learning unit 22.
  • the alertness level reduction estimation device 1a shown in FIG. 4 it is not essential that the alertness level reduction estimation device 1a includes the learning device 2a.
  • the learning device 2a is connected to the imaging device 3 and has the function of the image acquisition unit 11.
  • the learning device 2a includes an image acquisition section 11, a learning data acquisition section 21a, a learning section 22, and a related information acquisition section 23. Note that a diagram showing a configuration example in which the learning device 2a has the function of the image acquisition unit 11 is omitted.
  • FIG. 5 is a flowchart for explaining the operation of the learning device 2a shown in FIG.
  • the operation of the learning device 2a shown in the flowchart of FIG. 5 is performed before the alertness level reduction estimating device 1a performs the estimation process, such as until a predetermined time has elapsed after the vehicle starts traveling.
  • the learning data acquisition unit 21a acquires a captured image from the image acquisition unit 11 (step ST211).
  • the related information acquisition unit 23 acquires related information (step ST212).
  • the related information acquisition unit 23 outputs the acquired related information to the learning data acquisition unit 21a.
  • the learning data acquisition unit 21a acquires the related information output from the related information acquisition unit 23.
  • the learning data acquisition unit 21a determines whether the driver is making a drowsy patience face based on the captured image acquired from the image acquisition unit 11 in step ST211 and the related information acquired from the related information acquisition unit 23 in step ST212. is determined, and the learning data is acquired by generating learning data including the captured image acquired by the image acquisition unit 11 and information indicating whether the driver is making a sleepy face (step ST213). .
  • the learning data acquisition unit 21a outputs learning data to the learning unit 22.
  • the learning unit 22 generates a first machine learning model based on the learning data output from the learning data acquisition unit 21a in step ST213 (step ST214).
  • the learning unit 22 causes the model storage unit 14 to store the generated first machine learning model.
  • steps ST211 to ST213 may be repeated until captured images and related information for a preset time are acquired.
  • the accuracy of the first machine learning model improves as the number of learning data during learning increases.
  • the alertness level reduction estimating device 1a performs the processing in the order of step ST211 and step ST212, but this is only an example.
  • the order of the processing in step ST211 and the processing in step ST212 may be reversed, or the processing in step ST211 and the processing in step ST212 may be performed in parallel.
  • the operation of the estimation process by the alertness level reduction estimating device 1a shown in FIG. 4 is similar to the operation of the estimation process by the alertness level decrease estimation device 1 which has already been explained using the flowchart of FIG. omitted.
  • the learning device 2a may have a function of relearning the first machine learning model based on the estimation result of whether the driver's arousal level has decreased from the arousal level reduction estimating device 1a. Specifically, when the face estimating unit 121 estimates whether or not the driver is making a face that is trying to put up with sleepiness, the face estimation unit 121 estimates whether the driver is making a face that is trying to put up with sleepiness, and the result of the estimation of whether or not the driver is making a face that is trying to put up with sleepiness, and the information output from the image acquisition unit 11 . It is associated with the captured image and output to the learning device 2a.
  • the learning data acquisition unit 21a of the learning device 2a obtains, as learning data, information in which the captured image is associated with the estimation result of whether the driver is wearing a sleepy face, which is output from the face estimation unit 121. get.
  • the learning unit 22 then re-learns the first machine learning model based on the learning data acquired by the learning data acquisition unit 21a.
  • the learning unit 22 updates the first machine learning model stored in the model storage unit 14 with the first machine learning model after relearning.
  • the learning device 2a generates learning data for generating the first machine learning model from the captured image of the driver captured in the vehicle and related information, and uses the learning data to generate the first machine learning model. It may also be acquired as learning data. Thereby, the learning device 2a can generate the first machine learning model without requiring that learning data be generated in advance. Furthermore, the learning device 2a can generate a first machine learning model corresponding to the driver of the vehicle.
  • FIG. 6A and 6B are diagrams showing an example of the hardware configuration of the alertness level reduction estimation devices 1 and 1a according to the first embodiment.
  • the functions of the image acquisition section 11, the estimation section 12, and the alarm output control section 13 are realized by the processing circuit 101. That is, the alertness level reduction estimating devices 1 and 1a estimate whether or not the occupant of the vehicle is making a drowsy patience face based on the captured image and a machine learning model (first machine learning model), and estimate whether the vehicle occupant is making a drowsiness patience face.
  • a processing circuit 101 is provided for performing control for estimating whether or not the alertness level of the occupant is decreasing based on the estimation result of whether or not the occupant's alertness level is decreasing.
  • the processing circuit 101 may be dedicated hardware as shown in FIG. 6A, or may be a processor 104 that executes a program stored in memory as shown in FIG. 6B.
  • the processing circuit 101 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Circuit). Gate Array), or a combination of these.
  • the processing circuit is the processor 104
  • the functions of the image acquisition section 11, estimation section 12, and alarm output control section 13 are realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 105.
  • the processor 104 executes the functions of the image acquisition section 11, the estimation section 12, and the alarm output control section 13 by reading and executing a program stored in the memory 105. That is, the alertness reduction estimating devices 1 and 1a have a memory 105 for storing a program that, when executed by the processor 104, will result in the execution of steps ST1 to ST4 in FIG. Be prepared.
  • the program stored in the memory 105 causes the computer to execute the processing procedures or methods of the image acquisition section 11, the estimation section 12, and the alarm output control section 13.
  • the memory 105 includes, for example, RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically EEPROM).
  • RAM random access memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrical EEPROM
  • Nonvolatile or volatile such as rasable Programmable Read-Only Memory
  • the functions of the image acquisition section 11, the estimation section 12, and the alarm output control section 13 may be realized by dedicated hardware, and some may be realized by software or firmware.
  • the functions of the image acquisition unit 11 are realized by a processing circuit 101 as dedicated hardware, and the processor 104 reads and executes programs stored in the memory 105 for the estimation unit 12 and the alarm output control unit 13. By doing so, it is possible to realize this function.
  • the model storage unit 14 includes, for example, a memory 105.
  • the alertness reduction estimating devices 1 and 1a also include an input interface device 102 and an output interface device 103 that perform wired or wireless communication with a device such as the imaging device 3 or the output device 4.
  • FIGS. 6A and 6B An example of the hardware configuration of the learning devices 2 and 2a according to the first embodiment is also as shown in FIGS. 6A and 6B.
  • the functions of the learning data acquisition units 21 and 21a, the learning unit 22, and the related information acquisition unit 23 are realized by the processing circuit 101. That is, the learning devices 2 and 2a include a processing circuit 101 for controlling the generation of a machine learning model (first machine learning model) based on learning data.
  • the functions of the learning data acquisition units 21 and 21a, the learning unit 22, and the related information acquisition unit 23 are realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 105.
  • the processor 104 executes the functions of the learning data acquisition units 21 and 21a, the learning unit 22, and the related information acquisition unit 23 by reading and executing programs stored in the memory 105. That is, the learning devices 2 and 2a are programs that, when executed by the processor 104, result in the execution of steps ST21 to ST22 in FIG. 2 or steps ST211 to ST214 in FIG.
  • a memory 105 is provided for storing. It can also be said that the program stored in the memory 105 causes the computer to execute the processing procedures or methods of the learning data acquisition units 21 and 21a, the learning unit 22, and the related information acquisition unit 23.
  • the functions of the learning data acquisition units 21 and 21a, the learning unit 22, and the related information acquisition unit 23 may be realized by dedicated hardware, and some may be realized by software or firmware. good.
  • the functions of the learning data acquisition units 21 and 21a and the related information acquisition unit 23 are realized by the processing circuit 101 as dedicated hardware, and for the learning unit 22, the processor 104 executes the program stored in the memory 105. The function can be realized by reading and executing it.
  • the learning device 2 also includes devices such as the alertness reduction estimation devices 1 and 1a, and an input interface device 102 and an output interface device 103 that perform wired or wireless communication. Equipped with 03.
  • the occupant of the vehicle for whom the alertness level reduction estimation devices 1 and 1a estimate whether or not the alertness level has decreased is the vehicle driver, but this is only an example. .
  • the alertness level reduction estimation devices 1 and 1a can also use occupants of the vehicle other than the driver as targets for estimating whether or not the alertness level has decreased.
  • the first machine learning model can be a machine learning model that inputs a captured image of the occupant's face and outputs information indicating whether or not the occupant is wearing a sleepy face.
  • the alertness level reduction estimating devices 1 and 1a can also target a plurality of occupants of a vehicle to estimate whether or not their alertness level has decreased.
  • the alertness level reduction estimation devices 1 and 1a are in-vehicle devices installed in a vehicle, and include an image acquisition section 11, an estimation section 12, an alarm output control section 13, and learning data. It is assumed that the acquisition units 21 and 21a, the learning unit 22, and the related information acquisition unit 23 are included in the in-vehicle device. However, some of the image acquisition section 11, the estimation section 12, the alarm output control section 13, the learning data acquisition sections 21, 21a, the learning section 22, and the related information acquisition section 23 are not limited to this.
  • the alertness reduction estimation system may be configured to be installed in an in-vehicle device, and the other part is provided in a server connected to the in-vehicle device via a network, and the in-vehicle device and the server constitute an alertness level reduction estimation system. Further, the image acquisition section 11, the estimation section 12, the alarm output control section 13, the learning data acquisition sections 21 and 21a, the learning section 22, and the related information acquisition section 23 may all be included in the server.
  • the alertness level reduction estimation devices 1 and 1a include the image acquisition unit 11 that acquires a captured image in which the range where the face of a vehicle occupant should exist;
  • a face estimation unit 121 estimates whether or not the occupant is making a drowsiness-bearing face to hold back sleepiness, based on the captured image acquired by the unit 11 and the machine learning model;
  • the vehicle is configured to include an alertness level reduction estimating unit 122 that estimates whether or not the occupant's alertness level has decreased based on the estimation result of whether or not the occupant's alertness level has decreased. Therefore, the alertness level reduction estimation devices 1 and 1a can prevent erroneous estimation of the alertness level decrease of the vehicle occupant.
  • the machine learning model is a first machine learning model that receives a captured image of the face of an occupant and outputs information indicating whether or not the occupant is making a sleepy face
  • the face estimation unit 121 estimates whether or not the occupant is wearing a sleepy face, based on the captured image acquired by the image acquisition unit 11 and the first machine learning model. Therefore, the alertness level reduction estimation devices 1 and 1a can prevent erroneous estimation of the alertness level decrease of the vehicle occupant.
  • Embodiment 2 the machine learning model used by the alertness level reduction estimating device to estimate whether or not the occupant is making a sleepy face is inputted with a captured image of the occupant's face. It was a machine learning model (first machine learning model) that outputs information indicating whether or not the person was wearing a sleepy face.
  • the alertness level reduction estimation device inputs a captured image of the occupant's face and related information to a machine learning model used to estimate whether or not the occupant is making a sleepy face.
  • An embodiment using a machine learning model hereinafter referred to as a "second machine learning model" that outputs information indicating whether or not the occupant is wearing a sleepy face will be described.
  • FIG. 7 is a diagram showing a configuration example of an alertness level reduction estimation device 1b according to the second embodiment.
  • the specific operation of the face estimation unit 121a of the estimation unit 12a is the same as the face estimation unit of the estimation unit 12 of the alertness level reduction estimation device 1 described in Embodiment 1 using FIG. This is different from the specific operation of 121.
  • the alertness level reduction estimation device 1b according to the second embodiment differs from the alertness level reduction estimation device 1 according to the first embodiment described using FIG. 1 in that it includes a related information acquisition unit 15.
  • the specific operations of the learning data acquisition unit 21b and the learning unit 22a of the learning device 2b according to the second embodiment are the same as those of the learning data acquisition unit 21b and the learning unit 22a of the learning device 2 according to the first embodiment, respectively.
  • the specific operations of the data acquisition unit 21 and learning unit 22 are different.
  • the occupant of the vehicle for whom the alertness level reduction estimating device 1b estimates whether or not the alertness level has decreased is the driver of the vehicle.
  • the related information acquisition unit 15 acquires related information including occupant information or vehicle information.
  • the details of the related information acquisition section 15 are the same as those of the related information acquisition section 23 (see FIG. 4) already explained in Embodiment 1, so a duplicate explanation will be omitted.
  • the related information acquisition unit 15 outputs the acquired related information to the estimation unit 12a.
  • the face estimation unit 121a of the estimation unit 12a inputs the captured image acquired by the image acquisition unit 11 and the related information acquired by the related information acquisition unit 15 into a second machine learning model, and determines whether the driver has a sleepy face. By obtaining information indicating whether the driver is drowsy or not, it is estimated whether the driver is trying to put up with sleepiness or not. For example, when the face estimating unit 121a obtains information "0" indicating whether the driver is making a face of trying to put up with sleepiness, it estimates that the driver is not making a face of trying to put up with sleepiness.
  • the face estimation unit 121a When the face estimation unit 121a obtains information "1" indicating whether or not the driver is making a face of trying to put up with sleepiness, the face estimation unit 121a estimates that the driver is making a face of trying to put up with sleepiness. Note that the second machine learning model is generated by the learning device 2b and stored in the model storage unit 14. Details of the learning device 2b will be described later.
  • the face estimation unit 121a outputs the estimation result of whether or not the driver is making a sleepy face to the alertness level reduction estimation unit 122.
  • the learning device 2b generates a second machine learning model.
  • the learning data acquisition unit 21b of the learning device 2b acquires learning data including a captured image of the driver's face, related information, and information indicating whether the driver is wearing a sleepy face.
  • the learning data is generated in advance by an administrator or the like. For example, before product shipment of the vehicle, the administrator, etc. may have multiple subjects drive the vehicle, and provide captured images and related information when the subject is trying to put up with drowsiness.
  • learning data is generated that includes at least a captured image and related information when the subject is making a face, in other words, when the subject is making a face other than a sleepy face.
  • the administrator or the like also includes captured images and related information when the subject is making a face other than a patient face in the learning data.
  • the administrator etc. assigns information to that effect (specifically, "1") as a teacher label and updates the learning data. generate.
  • the face of the subject captured in the captured image is not a drowsy patience face, the administrator etc. assigns information to that effect (specifically, "0") as a teacher label and generates learning data. do.
  • the learning data acquisition unit 21b outputs the acquired learning data to the learning unit 22a.
  • the learning unit 22a of the learning device 2b generates a second machine learning model based on the learning data output from the learning data acquisition unit 21b.
  • the learning unit 22a causes the model storage unit 14 to store the generated second machine learning model.
  • the face estimation unit 121a uses the second machine learning model generated by the learning unit 22a and stored in the model storage unit 14 to estimate whether or not the driver is wearing a sleepy face.
  • the learning device 2b is included in the alertness level reduction estimation device 1b, but this is only an example.
  • the learning device 2b may be provided outside the arousal level reduction estimating device 1b, and may be connected to the arousal level reduction estimating device 1b via a network.
  • the learning device 2b performs a learning process to generate a second machine learning model.
  • the alertness reduction estimating device 1b uses the second machine learning model generated by the learning device 2b to estimate whether or not the driver is making a drowsy patience face. Estimation processing is performed to estimate whether the driver's alertness level is decreasing based on the estimation result.
  • FIG. 8 is a flowchart for explaining the operation of the learning device 2b according to the second embodiment.
  • the operation of the learning device 2b shown in the flowchart of FIG. 8 is performed before the alertness level reduction estimating device 1b performs the estimation process, such as before the vehicle is shipped.
  • the learning data acquisition unit 21b acquires learning data including a captured image of the driver's face, related information, and information indicating whether or not the driver is wearing a sleepy face (step ST21a).
  • the learning data acquisition unit 21b outputs the acquired learning data to the learning unit 22a.
  • the learning unit 22a generates a second machine learning model based on the learning data output from the learning data acquisition unit 21b in step ST21a (step ST22a).
  • the learning unit 22a causes the model storage unit 14 to store the generated second machine learning model.
  • FIG. 9 is a flowchart for explaining the operation of the alertness level reduction estimation device 1b according to the second embodiment. For example, when the power of the vehicle is turned on, the alertness level reduction estimating device 1b repeats the operation shown in the flowchart of FIG. 9 until the power of the vehicle is turned off.
  • the image acquisition unit 11 acquires a captured image from the imaging device 3 (step ST11).
  • the image acquisition unit 11 outputs the acquired captured image to the estimation unit 12a.
  • the related information acquisition unit 15 acquires related information including occupant information or vehicle information (step ST12).
  • the related information acquisition unit 15 outputs the acquired related information to the estimation unit 12a.
  • the face estimation unit 121a of the estimation unit 12a inputs the captured image acquired by the image acquisition unit 11 in step ST11 and the related information acquired by the related information acquisition unit 15 in step ST12 to the second machine learning model, By obtaining information indicating whether or not the driver is wearing a drowsy-bearing face, it is estimated whether the driver is wearing a drowsy-bearing face (step ST13).
  • the face estimation unit 121a outputs the estimation result of whether or not the driver is making a sleepy face to the alertness level reduction estimation unit 122.
  • the alertness level reduction estimating unit 122 of the estimating unit 12a determines whether the driver's alertness level has decreased based on the estimation result of whether the face estimation unit 121a has estimated that the driver is wearing a sleepy face in step ST13. It is estimated whether or not there is one (step ST14). The alertness level reduction estimating unit 122 outputs the estimation result of whether the driver's alertness level is decreasing to the alarm output control unit 13.
  • the alarm output control unit 13 causes the output device 4 to output a warning to the driver (step ST15).
  • the alertness level reduction estimating device 1b performs the processing in the order of step ST11 and step ST12, but this is only an example.
  • the order of the processing in step ST11 and the processing in step ST12 may be reversed, or the processing in step ST11 and the processing in step ST12 may be performed in parallel.
  • the learning device 2b determines whether the driver from the alertness level decrease estimation device 1b is wearing a sleepy face.
  • the second machine learning model may have a function of relearning the second machine learning model based on the estimation result.
  • the face estimation unit 121a estimates whether or not the driver is making a face that is trying to put up with sleepiness, and then estimates the result of the estimation as to whether or not the driver is making a face that is trying to put up with sleepiness;
  • the captured image output from the image acquisition unit 11 and the related information output from the related information acquisition unit 15 are associated with each other and output to the learning device 2b.
  • the learning data acquisition unit 21b of the learning device 2b learns information that is output from the face estimation unit 121a and associates the estimation result of whether or not the driver is wearing a sleepy face with the captured image and related information. (see step ST21a in FIG. 8).
  • the learning unit 22a then re-learns the second machine learning model based on the learning data acquired by the learning data acquisition unit 21b (see step ST22a in FIG. 8).
  • the learning unit 22a updates the second machine learning model stored in the model storage unit 14 with the second machine learning model after relearning.
  • the alertness level reduction estimating device 1b acquires a captured image in which the range in which the face of the vehicle driver should be present is captured, and based on the acquired captured image and the second machine learning model, the driver is able to tolerate drowsiness. It is estimated whether the driver is making a face or not, and based on the estimation result of whether the driver is making a face trying to put up with sleepiness, it is estimated whether the driver's alertness level is decreasing. Using the second machine learning model generated through learning, the alertness level reduction estimation device 1b distinguishes a patience face, which is a sign of a decrease in alertness level, from a simple patience face that is not caused by sleepiness, and detects whether the driver is experiencing a decrease in alertness level.
  • the alertness level reduction estimating device 1b can prevent erroneous estimation of the driver's alertness level decrease.
  • the alertness level reduction estimating device 1b calculates information about the current driver's facial appearance and the current driver from only the captured image and related information. Based on the information or information regarding the vehicle, it can be estimated in one judgment whether or not the driver is making a sleepy face, which is a sign of decreased alertness.
  • the learning data acquisition unit 21b of the learning device 2b acquires learning data generated by an administrator or the like in advance.
  • the learning device is not limited to this, and the learning device may generate learning data and acquire this as the learning data, which will be described below.
  • FIG. 10 shows an alertness reduction estimation device 1c in the second embodiment in which the learning device 2c generates learning data, acquires this as learning data, and generates a second machine learning model. It is a figure showing an example of composition.
  • the configuration example of the alertness level reduction estimation device 1c shown in FIG. 10 differs from the configuration example of the alertness level reduction estimation device 1b shown in FIG. 7 in the specific operation of the learning data acquisition unit 21c of the learning device 2c.
  • the learning data acquisition unit 21c of the learning device 2c determines whether or not the driver is trying to put up with sleepiness based on the captured image acquired by the image acquisition unit 11 and the related information acquired by the related information acquisition unit 15.
  • the image acquisition unit 11 outputs the captured image to the estimation unit 12a and the learning data acquisition unit 21c.
  • the related information acquisition unit 15 outputs related information to the estimation unit 12a and the learning data acquisition unit 21c.
  • the learning data acquisition unit 21c performs a known image recognition process on the captured image to determine whether the driver is wearing a restrained expression.
  • the learning data acquisition unit 21c uses patience face discrimination conditions that are generated in advance by an administrator or the like and stored in a location that can be referenced by the learning data acquisition unit 21c. It is compared with the related information acquired by the related information acquisition unit 15 to determine whether the patient face that the driver is making is a drowsy patient face.
  • the condition for determining a patient face is information that defines information related to when the occupant of the vehicle is wearing a sleepy patient face. For example, before product shipment of the vehicle, the administrator, etc. has multiple subjects drive the vehicle, detects occupant information or vehicle information when the subject is making a drowsy patience face, and sets conditions for determining the patience face. Generate.
  • the learning data acquisition unit 21c determines that the patient face the driver is making is a sleepy patient face.
  • the learning data acquisition unit 21c includes the captured image acquired by the image acquisition unit 11, the related information acquired by the related information acquisition unit 15, and information indicating whether or not the driver has a sleepy face. Obtain learning data by generating learning data.
  • the learning data acquisition unit 21c outputs the acquired learning data to the learning unit 22a.
  • the alertness level reduction estimation device 1c shown in FIG. 10 it is not essential that the alertness level reduction estimation device 1c includes the learning device 2c.
  • the learning device 2c is connected to the imaging device 3, and is connected to the image acquisition unit 11 and related information acquisition. It has the function of section 15.
  • the learning device 2c includes an image acquisition section 11, a related information acquisition section 15, a learning data acquisition section 21c, and a learning section 22a. Note that a diagram showing a configuration example in which the learning device 2c has the functions of the image acquisition section 11 and the related information acquisition section 15 is omitted.
  • FIG. 11 is a flowchart for explaining the operation of the learning device 2c shown in FIG.
  • the operation of the learning device 2c shown in the flowchart of FIG. 11 is performed before the alertness level reduction estimating device 1c performs the estimation process, such as until a predetermined time has elapsed after the vehicle starts traveling.
  • the learning data acquisition unit 21c acquires a captured image from the image acquisition unit 11 (step ST211a).
  • the learning data acquisition unit 21c acquires related information from the related information acquisition unit 15 (step ST212a).
  • the learning data acquisition unit 21c determines whether the driver is making a drowsy patience face based on the captured image acquired from the image acquisition unit 11 in step ST211a and the related information acquired from the related information acquisition unit 15 in step ST212a. and generates learning data including the captured image acquired by the image acquisition unit 11, the related information acquired by the related information acquisition unit 15, and information indicating whether the driver is wearing a sleepy face. By doing so, learning data is acquired (step ST213a). The learning data acquisition unit 21c outputs learning data to the learning unit 22a.
  • the learning unit 22a generates a second machine learning model based on the learning data output from the learning data acquisition unit 21c in step ST213a (step ST214a).
  • the learning unit 22a causes the model storage unit 14 to store the generated second machine learning model.
  • step ST211a to step ST213a may be repeated until captured images and related information for a preset time are acquired.
  • the accuracy of the second machine learning model improves as the number of learning data during learning increases.
  • the alertness level reduction estimating device 1c performs the processing in the order of step ST211a and step ST212a, but this is only an example.
  • the order of the processing in step ST211a and the processing in step ST212a may be reversed, or the processing in step ST211a and the processing in step ST212a may be performed in parallel.
  • the operation of the estimation process by the alertness level reduction estimation device 1c shown in FIG. 10 is similar to the operation of the estimation process by the alertness level reduction estimation device 1b already explained using the flowchart of FIG. 9, so the explanation will be redundant. omitted.
  • the learning device 2c may have a function of relearning the second machine learning model based on the estimation result of whether the driver's arousal level has decreased from the arousal level reduction estimating device 1c. Specifically, when the face estimating unit 121a estimates whether or not the driver is making a face that is trying to put up with sleepiness, the face estimation unit 121a estimates whether the driver is making a face that is trying to put up with drowsiness, and the result of estimation of whether the driver is making a face that is trying to put up with sleepiness and the result output from the image acquisition unit 11. The captured image and the related information output from the related information acquisition unit 15 are associated with each other and output to the learning device 2c.
  • the learning data acquisition unit 21c of the learning device 2c learns information that is output from the face estimation unit 121a and associates the estimation result of whether the driver is wearing a drowsy patience face, the captured image, and related information. Obtain it as data for use.
  • the learning unit 22a then re-learns the second machine learning model based on the learning data acquired by the learning data acquisition unit 21c.
  • the learning unit 22a updates the second machine learning model stored in the model storage unit 14 with the second machine learning model after relearning.
  • the learning device 2c generates learning data for generating the second machine learning model from the captured image of the driver captured in the vehicle and related information, and uses the learning data to generate the second machine learning model. It may also be acquired as learning data. Thereby, the learning device 2c can generate the second machine learning model without requiring that learning data be generated in advance. Furthermore, the learning device 2c can generate a second machine learning model corresponding to the driver of the vehicle.
  • the hardware configuration example of the alertness level reduction estimation devices 1b and 1c according to the second embodiment is the same as the hardware configuration example of the alertness level reduction estimation devices 1 and 1a described using FIGS. 6A and 6B in the first embodiment. The same is true.
  • the functions of the image acquisition section 11, the estimation section 12a, the alarm output control section 13, and the related information acquisition section 15 are realized by the processing circuit 101.
  • the alertness level reduction estimating devices 1b and 1c estimate whether or not the occupant of the vehicle is making a drowsiness-bearing face based on the captured image, related information, and a machine learning model (second machine learning model), and
  • a processing circuit 101 is provided for performing control for estimating whether or not the occupant's alertness level is decreasing based on the estimation result of whether or not the occupant is making a face.
  • the processing circuit 101 executes the functions of the image acquisition section 11, the estimation section 12a, the alarm output control section 13, and the related information acquisition section 15 by reading and executing a program stored in the memory 105.
  • the alertness level reduction estimating devices 1b and 1c have a memory 105 for storing a program that, when executed by the processing circuit 101, will result in the execution of steps ST11 to ST15 in FIG. Equipped with The program stored in the memory 105 can also be said to cause the computer to execute the processing procedures or methods of the image acquisition section 11, the estimation section 12a, the alarm output control section 13, and the related information acquisition section 15.
  • the alertness level reduction estimating devices 1b and 1c include a device such as the imaging device 3 or the output device 4, and an input interface device 102 and an output interface device 103 that perform wired or wireless communication.
  • FIGS. 6A and 6B An example of the hardware configuration of the learning devices 2b and 2c according to the second embodiment is also as shown in FIGS. 6A and 6B.
  • the functions of the learning data acquisition sections 21b and 21c and the learning section 22a are realized by the processing circuit 101. That is, the learning devices 2b and 2c include a processing circuit 101 for controlling the generation of a machine learning model (second machine learning model) based on learning data.
  • a machine learning model second machine learning model
  • the functions of the learning data acquisition sections 21b and 21c and the learning section 22a are realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 105.
  • the processor 104 executes the functions of the learning data acquisition units 21b and 21c and the learning unit 22a by reading and executing a program stored in the memory 105. That is, the learning devices 2b and 2c are programs that, when executed by the processor 104, result in the execution of steps ST21a to ST22a in FIG. 8 or steps ST211a to ST214a in FIG.
  • a memory 105 is provided for storing.
  • the program stored in the memory 105 causes the computer to execute the processing procedure or method of the learning data acquisition units 21b, 21c and the learning unit 22a.
  • the learning devices 2b and 2c include devices such as the alertness level reduction estimation devices 1b and 1c, and an input interface device 102 and an output interface device 103 that perform wired or wireless communication.
  • the occupant of the vehicle for whom the alertness level reduction estimation devices 1b and 1c estimate whether or not the alertness level has decreased is the vehicle driver, but this is only an example. .
  • the alertness level reduction estimating devices 1b and 1c can also use occupants of the vehicle other than the driver as targets for estimating whether or not the alertness level has decreased.
  • the second machine learning model can be a machine learning model that inputs a captured image of the occupant's face and related information, and outputs information indicating whether the occupant is wearing a sleepy face. Further, the alertness level reduction estimating devices 1b and 1c can also target a plurality of occupants of the vehicle to estimate whether or not their alertness level has decreased.
  • the alertness level reduction estimation devices 1b and 1c are in-vehicle devices installed in a vehicle, and include the image acquisition unit 11, the estimation unit 12a, the alarm output control unit 13, and the related information acquisition unit. It is assumed that the unit 15, the learning data acquisition units 21b and 21c, and the learning unit 22a are included in the in-vehicle device. However, some of the image acquisition section 11, the estimation section 12a, the alarm output control section 13, the related information acquisition section 15, the learning data acquisition sections 21b and 21c, and the learning section 22a are not limited to this.
  • the alertness reduction estimation system may be configured to be installed in an in-vehicle device, and the other part is provided in a server connected to the in-vehicle device via a network, and the in-vehicle device and the server constitute an alertness level reduction estimation system. Further, the image acquisition section 11, the estimation section 12a, the alarm output control section 13, the related information acquisition section 15, the learning data acquisition sections 21b and 21c, and the learning section 22a may all be included in the server.
  • the alertness level reduction estimation devices 1b and 1c include the image acquisition unit 11 that acquires a captured image in which the range where the face of the vehicle occupant should exist;
  • a face estimation unit 121a estimates whether or not the occupant is making a drowsiness-bearing face to hold back sleepiness based on the captured image acquired by the unit 11 and the machine learning model;
  • the vehicle is configured to include an alertness level reduction estimating unit 122 that estimates whether or not the occupant's alertness level has decreased based on the estimation result of whether or not the occupant's alertness level has decreased. Therefore, the alertness level reduction estimating devices 1b and 1c can prevent erroneous estimation of the alertness level decrease of the vehicle occupant.
  • the machine learning model inputs a captured image of an occupant's face and related information including occupant information about the occupant or vehicle information about the vehicle, and determines whether the occupant is making a sleepy face.
  • the face estimation unit 121a is a second machine learning model that outputs information indicating that Based on the acquired related information and the second machine learning model, it is estimated whether the occupant is trying to put up with sleepiness. Therefore, the alertness level reduction estimating devices 1b and 1c can prevent erroneous estimation of the alertness level decrease of the vehicle occupant.
  • an image acquisition unit that acquires a captured image in which a range where a face of a vehicle occupant should exist; a face estimation unit that estimates whether or not the occupant is wearing a drowsiness-bearing face to hold back sleepiness, based on the captured image acquired by the image acquisition unit and a machine learning model; an alertness level reduction estimating unit that estimates whether or not the alertness level of the occupant has decreased based on an estimation result of whether the face estimation unit estimates that the occupant has the sleepy face. Equipped with an alertness level reduction estimation device.
  • the machine learning model is a first machine learning model that receives the captured image in which the face of the occupant is captured and outputs information indicating whether or not the occupant is wearing the sleepy face, Supplementary note 1, characterized in that the face estimating unit estimates whether or not the occupant is wearing the sleepy face based on the captured image acquired by the image acquiring unit and the first machine learning model.
  • the alertness level reduction estimation device described.
  • the machine learning model inputs the captured image in which the face of the occupant is captured and related information including occupant information regarding the occupant or vehicle information regarding the vehicle, and determines whether or not the occupant is making the drowsy-bearing face.
  • a second machine learning model that outputs information indicating comprising a related information acquisition unit that acquires the related information
  • the face estimation unit is configured to estimate that the occupant makes the drowsiness-bearing face based on the captured image acquired by the image acquisition unit, the related information acquired by the related information acquisition unit, and the second machine learning model.
  • Supplementary Note 1 The alertness level reduction estimating device according to supplementary note 1, characterized in that the device estimates whether or not the alertness level is low.
  • the occupant information includes information regarding the proportion of the occupant's eyes closed per set time, information regarding whether the occupant is yawning, information regarding whether or not the occupant's head is dizzy, and information regarding the occupant's heartbeat.
  • the alertness level reduction estimating device characterized in that the device includes at least one of information and information regarding the occupant's breathing.
  • the alertness level reduction estimating device according to appendix 3, wherein the vehicle information includes at least one of information regarding steering wheel operation and information regarding vehicle speed.
  • Appendix 6 a learning data acquisition unit that acquires learning data including the captured image of the occupant's face and information indicating whether the occupant is making the sleepy face;
  • the alertness level reduction estimating device further comprising: a learning unit that generates the first machine learning model based on the learning data acquired by the learning data acquisition unit.
  • Appendix 7 comprising a related information acquisition unit that acquires related information including occupant information regarding the occupant or vehicle information regarding the vehicle;
  • the learning data acquisition unit determines whether the occupant is making the sleepy face based on the captured image acquired by the image acquisition unit and the related information acquired by the related information acquisition unit, The degree of alertness according to appendix 6, wherein the learning data is obtained by generating the learning data including the captured image and information indicating whether or not the occupant is making the sleepy face.
  • Decline estimation device comprising a related information acquisition unit that acquires related information including occupant information regarding the occupant or vehicle information regarding the vehicle.
  • (Appendix 8) a learning data acquisition unit that acquires learning data including the captured image of the occupant's face, the related information, and information indicating whether or not the occupant is making the sleepy face;
  • the alertness level reduction estimating device according to supplementary note 3, further comprising: a learning unit that generates the second machine learning model based on the learning data acquired by the learning data acquisition unit.
  • the learning data acquisition unit determines whether the occupant is making the sleepy face based on the captured image acquired by the image acquisition unit and the related information acquired by the related information acquisition unit, Supplementary note 8, characterized in that the learning data is obtained by generating the learning data including the captured image, the related information, and information indicating whether or not the occupant is wearing the sleepy face.
  • the alertness level reduction estimation device described. (Appendix 10) The apparatus according to any one of appendices 1 to 9, further comprising: an alarm output control section that outputs a warning to the occupant when the alertness level reduction estimation section estimates that the alertness level of the occupant has decreased. Arousal level decline estimation device. (Appendix 11) a learning data acquisition unit that acquires learning data; A learning unit that generates a machine learning model for estimating whether or not an occupant of a vehicle is making a sleepy-bearing face to hold back sleepiness based on the learning data acquired by the learning data acquiring unit. learning device.
  • the learning data acquisition unit acquires the learning data including a captured image of the occupant's face and information indicating whether or not the occupant is making the sleepy face, The learning unit receives the captured image in which the face of the occupant is captured and indicates whether or not the occupant is making the sleepy face, based on the learning data acquired by the learning data acquisition unit.
  • the learning device according to appendix 11, characterized in that it generates a first machine learning model that outputs information.
  • the learning data includes information in which the captured image of the occupant's drowsiness-bearing face is associated with information indicating that the occupant is making the drowsiness-bearing face, and the drowsiness of the occupant.
  • the patience face other than the drowsiness patience face of the occupant is a face in which the occupant is putting up with the glare caused by light shining on the occupant's face, or a face in which the occupant is putting up with a physiological phenomenon other than the drowsiness.
  • an image acquisition unit that acquires the captured image in which a range where the passenger's face should exist; comprising a related information acquisition unit that acquires related information including occupant information regarding the occupant or vehicle information regarding the vehicle;
  • the learning data acquisition unit determines whether the occupant is making the sleepy face based on the captured image acquired by the image acquisition unit and the related information acquired by the related information acquisition unit, Supplementary Note 12 or 13, characterized in that the learning data is obtained by generating the learning data including the captured image and information indicating whether or not the occupant is wearing the sleepy face. learning device.
  • the learning data acquisition unit is configured to acquire a captured image of the face of the occupant, related information including occupant information regarding the occupant or vehicle information regarding the vehicle, and determine whether or not the occupant is wearing the sleepy face. obtain the learning data including information indicating the
  • the learning unit inputs the captured image in which the face of the occupant is captured and the related information based on the learning data acquired by the learning data acquisition unit, and the learning unit receives the captured image in which the face of the occupant is captured and the related information, and the learning unit receives the captured image in which the face of the occupant is captured and the related information, and determines whether the occupant has the drowsiness patience face. 12.
  • the learning device wherein the learning device generates a second machine learning model that outputs information indicating whether or not the learning device exists.
  • Appendix 16 an image acquisition unit that acquires the captured image in which a range where the passenger's face should exist; comprising a related information acquisition unit that acquires the related information,
  • the learning data acquisition unit determines whether the occupant is making the sleepy face based on the captured image acquired by the image acquisition unit and the related information acquired by the related information acquisition unit, Supplementary note 15, characterized in that the learning data is obtained by generating the learning data including the captured image, the related information, and information indicating whether or not the occupant is wearing the sleepy face.
  • the learning data includes information in which the captured image of the occupant's drowsiness-bearing face is associated with information indicating that the occupant is making the drowsiness-bearing face, and the drowsiness of the occupant. including information in which the captured image of a patient face other than a patient face is associated with information indicating that the occupant is not making the sleepy patient face;
  • the patience face other than the drowsiness patience face of the occupant is a face in which the occupant is putting up with the glare caused by light shining on the occupant's face, or a face in which the occupant is putting up with a physiological phenomenon other than the drowsiness.
  • the learning device characterized in that it is a face.
  • the occupant information includes information regarding the proportion of the occupant's eyes closed per set time, information regarding whether the occupant is yawning, information regarding whether or not the occupant's head is dizzy, and information regarding the occupant's heartbeat.
  • the learning device according to any one of attachments 14 to 16, characterized in that the learning device includes at least one of information or information regarding the occupant's breathing.
  • the vehicle information includes at least one of information regarding steering wheel operation and information regarding vehicle speed.
  • a method for estimating a decrease in arousal level comprising steps.
  • the alertness level reduction estimation device can prevent erroneous estimation of the alertness level decrease of an occupant in a vehicle.
  • 1, 1a, 1b, 1c alertness level reduction estimation device 11 image acquisition unit, 12, 12a estimation unit, 121, 121a face estimation unit, 122 alertness level reduction estimation unit, 13 alarm output control unit, 14 model storage unit, 15 , 23 Related information acquisition unit, 2, 2a, 2b, 2c Learning device, 21, 21a, 21b, 21c Learning data acquisition unit, 22, 22a Learning unit, 3 Imaging device, 4 Output device, 101 Processing circuit, 102 Input Interface device, 103 Output interface device, 104 Processor, 105 Memory.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部（１１）と、画像取得部（１１）が取得した撮像画像と機械学習モデルとに基づき、乗員は眠気を我慢する眠気我慢顔をしているか否かを推定する顔推定部（１２１，１２１ａ）と、顔推定部（１２１，１２１ａ）が乗員は眠気我慢顔をしていると推定したか否かの推定結果に基づき、乗員の覚醒度は低下しているか否かを推定する覚醒度低下推定部（１２２）とを備えた。

Description

覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法
　本開示は、覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法に関するものである。
　車両において、乗員は、眠気を催し覚醒度が低下すると、眉間にしわを寄せた顔、または、口を歪めた顔等、眠気を我慢する顔をすることがある。従来、人の顔を撮像して得られた画像に基づいて人によるしかめ顔をするときの口の動き等のアクションを検出して人の覚醒度を推定する技術が知られている（例えば、特許文献１）。
特開２００７－２３６４８８号公報
　眉間にしわを寄せた顔、または、口を歪めた顔等は、乗員が眠気を我慢しているときになされる顔とは限らない。例えば、乗員は、眩しさをこらえるとき、または、長時間のドライブでトイレ等を我慢しているときにも、眩しさを我慢するため、または、トイレ等を我慢するために、眉間にしわを寄せた顔、または、口を歪めた顔等をする場合がある。
　特許文献１に開示されているような従来技術では、人が眉間にしわを寄せた顔、または、口を歪めた顔等をしていることが必ずしも覚醒度低下の前兆とは限らない点が考慮されていないため、人の覚醒度が低下していることを誤推定するおそれがあるという課題があった。
　本開示は上記のような課題を解決するためになされたもので、車両にて乗員の覚醒度低下の誤推定を防ぐ覚醒度低下推定装置を提供することを目的とする。
　本開示に係る覚醒度低下推定装置は、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像と機械学習モデルとに基づき、乗員は眠気を我慢する眠気我慢顔をしているか否かを推定する顔推定部と、顔推定部が乗員は眠気我慢顔をしていると推定したか否かの推定結果に基づき、乗員の覚醒度は低下しているか否かを推定する覚醒度低下推定部とを備えたものである。
　本開示によれば、車両にて乗員の覚醒度低下の誤推定を防ぐことができる。
実施の形態１に係る覚醒度低下推定装置の構成例を示す図である。 実施の形態１に係る学習装置の動作について説明するためのフローチャートである。 実施の形態１に係る覚醒度低下推定装置の動作について説明するためのフローチャートである。 実施の形態１において、学習装置が学習用データを生成し、これを学習用データとして取得して、第１機械学習モデルを生成するようにした場合の覚醒度低下推定装置の構成例を示す図である。 図４に示す学習装置の動作について説明するためのフローチャートである。 図６Ａおよび図６Ｂは、実施の形態１に係る覚醒度低下推定装置のハードウェア構成の一例を示す図である。 実施の形態２に係る覚醒度低下推定装置の構成例を示す図である。 実施の形態２に係る学習装置の動作について説明するためのフローチャートである。 実施の形態２に係る覚醒度低下推定装置の動作について説明するためのフローチャートである。 実施の形態２において、学習装置が学習用データを生成し、これを学習用データとして取得して、第２機械学習モデルを生成するようにした場合の覚醒度低下推定装置の構成例を示す図である。 図１０に示す学習装置の動作について説明するためのフローチャートである。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る覚醒度低下推定装置は、車両の乗員の少なくとも顔が撮像された撮像画像に基づき、車両の乗員の覚醒度が低下しているか否かを推定する。
　車両の乗員は、覚醒度低下の前兆として、眉間にしわを寄せた顔、口を歪めた顔、目を細めた顔、または、歯を食いしばる顔等、眠気を我慢する顔をすることがある。
　ただし、乗員が眉間にしわを寄せた顔、口を歪めた顔、目を細めた顔、または、歯を食いしばる顔等をするのは、眠気を我慢しているときに限られない。例えば、乗員は、車両に差し込む光による眩しさを我慢しているとき、または、長時間のドライブでトイレ等を我慢しているとき等にも、眩しさを我慢するため、または、トイレ等を我慢するために、眉間にしわを寄せた顔、口を歪めた顔、目を細めた顔、または、歯を食いしばる顔等をする場合がある。
　このように、眉間にしわを寄せた顔、口を歪めた顔、目を細めた顔、または、歯を食いしばる顔等、何かを我慢する顔（以下「我慢顔」という。）をしているとき、当該我慢顔をしている乗員は、覚醒度が低下することによる眠気を我慢しているとは限らない。
　覚醒度低下推定装置は、乗員が覚醒度低下の前兆である我慢顔、すなわち、眠気を我慢する顔（以下「眠気我慢顔」という。）、をしているかそうでないかを区別し、乗員が覚醒度低下の前兆である我慢顔、すなわち、眠気我慢顔をしていると推定された場合に、乗員の覚醒度が低下していると推定する。
　以下の実施の形態１では、一例として、覚醒度低下推定装置が、覚醒度が低下しているか否かを推定する対象となる車両の乗員は、車両のドライバとする。
　覚醒度低下推定装置が推定した、ドライバの覚醒度が低下しているか否か、言い換えれば、ドライバが眠気を催しているか否かの推定結果は、例えば、ドライバの居眠り検出に用いられる。覚醒度低下推定装置は、ドライバの覚醒度が低下していると推定した場合、例えば、ドライバに対して警報を出力する。
　図１は、実施の形態１に係る覚醒度低下推定装置１の構成例を示す図である。
　覚醒度低下推定装置１は、撮像装置３および出力装置４と接続される。撮像装置３は、車両（図示省略）に搭載され、少なくともドライバの顔が存在すべき範囲を撮像可能に設置されている。例えば、撮像装置３は、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）と共用のものでもよい。撮像装置３は、可視光カメラ、または、赤外線カメラである。撮像装置３は、撮像した撮像画像を、覚醒度低下推定装置１に出力する。
　覚醒度低下推定装置１は、撮像装置３から取得した撮像画像に基づき、学習済みのモデル（以下「機械学習モデル」という。）を用いて、ドライバが眠気我慢顔をしているか否かを推定し、ドライバが眠気我慢顔をしているか否かの推定結果に基づき、ドライバの覚醒度が低下しているか否かを推定する。
　実施の形態１において、覚醒度低下推定装置１が使用する機械学習モデルは、ドライバの顔が撮像された撮像画像を入力とし、当該ドライバが眠気我慢顔をしているか否かを示す情報を出力する機械学習モデル（以下「第１機械学習モデル」という。）である。実施の形態１において、ドライバが眠気我慢顔をしているか否かを示す情報は、例えば、「０」または「１」である。ドライバが眠気我慢顔をしているか否かを示す情報が「０」のとき、当該情報は、ドライバは眠気我慢顔をしていないことをあらわしている。例えば、ドライバが我慢顔をしていても、当該我慢顔が眠気我慢顔でないと推定される場合、言い換えれば、当該我慢顔が眠気を我慢することによるものではないと推定される場合、ドライバが眠気我慢顔をしているか否かを示す情報は「０」となる。一方、ドライバは眠気我慢顔をしているか否かを示す情報が「１」のとき、当該情報は、ドライバは眠気我慢顔をしていることをあらわしている。なお、これは一例に過ぎず、ドライバが眠気我慢顔をしているか否かの情報は、ドライバが眠気我慢顔をしているかそうでないかがわかる情報であればよい。
　覚醒度低下推定装置１は、ドライバの覚醒度が低下しているか否かの推定結果に基づき、出力装置４に、ドライバに対する警報を出力させる。
　出力装置４は、車両に搭載されている。出力装置４は、例えば、スピーカである。例えば、警報出力制御部１３は、出力装置４に対し、居眠り運転への注意を促す警報、または、音声メッセージを出力させる。
　図１に示すように、覚醒度低下推定装置１は、画像取得部１１、推定部１２、警報出力制御部１３、モデル記憶部１４、および、学習装置２を備える。推定部１２は、顔推定部１２１および覚醒度低下推定部１２２を備える。学習装置２は、学習用データ取得部２１および学習部２２を備える。
　画像取得部１１は、撮像装置３から撮像画像を取得する。
　画像取得部１１は、取得した撮像画像を推定部１２に出力する。
　推定部１２は、画像取得部１１が取得した撮像画像と第１機械学習モデルとに基づき、ドライバが眠気我慢顔をしているか否かを推定し、ドライバが眠気我慢顔をしているか否かの推定結果に基づき、ドライバの覚醒度が低下しているか否かを推定する。
　推定部１２の顔推定部１２１は、画像取得部１１が取得した撮像画像を第１機械学習モデルに入力してドライバが眠気我慢顔をしているか否かを示す情報を得ることで、ドライバが眠気我慢顔をしているか否かを推定する。例えば、顔推定部１２１は、ドライバが眠気我慢顔をしているか否かを示す情報「０」を得た場合、ドライバは眠気我慢顔をしていないと推定する。顔推定部１２１は、ドライバが眠気我慢顔をしているか否かを示す情報「１」を得た場合、ドライバは眠気我慢顔をしていると推定する。
　なお、第１機械学習モデルは、学習装置２によって生成され、モデル記憶部１４に記憶されている。学習装置２の詳細については、後述する。
　顔推定部１２１は、ドライバが眠気我慢顔をしているか否かの推定結果を、覚醒度低下推定部１２２に出力する。
　推定部１２の覚醒度低下推定部１２２は、顔推定部１２１がドライバは眠気我慢顔をしていると推定したか否かの推定結果に基づき、乗員の覚醒度は低下しているか否かを推定する。
　覚醒度低下推定部１２２は、顔推定部１２１が、ドライバは眠気我慢顔をしていると推定した場合、ドライバの覚醒度は低下していると推定する。一方、覚醒度低下推定部１２２は、顔推定部１２１が、ドライバは眠気我慢顔をしていないと推定した場合、ドライバの覚醒度は低下していないと推定する。
　覚醒度低下推定部１２２は、ドライバの覚醒度が低下しているか否かの推定結果を、警報出力制御部１３に出力する。
　警報出力制御部１３は、覚醒度低下推定部１２２が乗員の覚醒度は低下していると推定した場合、ドライバに対する警報を出力させる。
　警報出力制御部１３は、出力装置４に対し、警報を出力させる。
　モデル記憶部１４は、第１機械学習モデルを記憶する。
　なお、実施の形態１では、モデル記憶部１４は覚醒度低下推定装置１に備えられているが、これは一例に過ぎない。モデル記憶部１４は、覚醒度低下推定装置１の外部の、覚醒度低下推定装置１が参照可能な場所に備えられてもよい。
　学習装置２は、第１機械学習モデルを生成する。
　学習装置２の学習用データ取得部２１は、ドライバの顔を撮像した撮像画像とドライバが眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する。学習用データは、予め、管理者等によって生成される。管理者等は、例えば、車両の製品出荷前に、複数の被験者に車両を運転させ、当該被験者が眠気我慢顔をしているときの撮像画像、当該被験者が眠気以外の要因によって我慢顔をしているとき、言い換えれば、当該被験者が眠気我慢顔以外の我慢顔をしているときの撮像画像を少なくとも含む学習用データを生成しておく。なお、被験者が眠気以外の要因によって我慢顔をしているとき、言い換えれば、被験者が眠気我慢顔以外の我慢顔をしているときとは、車両に差し込む朝日または対向車等の光、より詳細には被験者の顔に差し込む光による眩しさを我慢している顔をしているとき、または、被験者が眠気以外の生理現象を我慢している顔をしているとき等が考えられる。眠気以外の生理現象は、例えば、長時間のドライブによる尿意、または、吐き気等が挙げられる。
　管理者等は、撮像画像で撮像されている被験者の顔が眠気我慢顔であるとき、その旨を示す情報（具体的には「１」）を、教師ラベルとして付与して、学習用データを生成する。管理者等は、撮像画像で撮像されている被験者の顔が眠気我慢顔でないとき、その旨を示す情報（具体的には「０」）を、教師ラベルとして付与して、学習用データを生成する。
　学習用データ取得部２１は、取得した学習用データを学習部２２に出力する。
　学習装置２の学習部２２は、学習用データ取得部２１から出力された学習用データに基づき、第１機械学習モデルを生成する。
　学習部２２は、生成した第１機械学習モデルをモデル記憶部１４に記憶させる。
　顔推定部１２１は、学習部２２が生成してモデル記憶部１４に記憶させた第１機械学習モデルを用いて、ドライバが眠気我慢顔をしているか否かを推定する。
　なお、実施の形態１では、学習装置２は、覚醒度低下推定装置１に備えられているが、これは一例に過ぎない。
　学習装置２は、覚醒度低下推定装置１の外部に備えられ、覚醒度低下推定装置１とネットワークを介して接続されてもよい。
　実施の形態１に係る覚醒度低下推定装置１の動作について説明する。
　上述のとおり、覚醒度低下推定装置１において、学習装置２は、第１機械学習モデルを生成する学習処理を行う。覚醒度低下推定装置１は、学習装置２が生成した第１機械学習モデルを用いて、ドライバが眠気我慢顔をしているか否かを推定し、ドライバが眠気我慢顔をしているか否かの推定結果に基づいてドライバの覚醒度が低下しているか否かを推定する推定処理を行う。
　まず、実施の形態１に係る学習装置２による学習処理の動作について説明する。
　図２は、実施の形態１に係る学習装置２の動作について説明するためのフローチャートである。
　図２のフローチャートで示す学習装置２の動作は、車両の製品出荷前等、覚醒度低下推定装置１が推定処理を行うよりも前に行われる。
　学習用データ取得部２１は、ドライバの顔を撮像した撮像画像とドライバが眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する（ステップＳＴ２１）。
　学習用データ取得部２１は、取得した学習用データを学習部２２に出力する。
　学習部２２は、ステップＳＴ２１にて学習用データ取得部２１から出力された学習用データに基づき、第１機械学習モデルを生成する（ステップＳＴ２２）。
　学習部２２は、生成した第１機械学習モデルをモデル記憶部１４に記憶させる。
　次に、実施の形態１に係る覚醒度低下推定装置１による推定処理の動作について説明する。
　図３は、実施の形態１に係る覚醒度低下推定装置１の動作について説明するためのフローチャートである。
　覚醒度低下推定装置１は、例えば、車両の電源がオンにされると、車両の電源がオフにされるまで、図３のフローチャートで示すような動作を繰り返す。
　画像取得部１１は、撮像装置３から撮像画像を取得する（ステップＳＴ１）。
　画像取得部１１は、取得した撮像画像を推定部１２に出力する。
　推定部１２の顔推定部１２１は、ステップＳＴ１にて画像取得部１１が取得した撮像画像を第１機械学習モデルに入力してドライバが眠気我慢顔をしているか否かを示す情報を得ることで、ドライバが眠気我慢顔をしているか否かを推定する（ステップＳＴ２）。
　顔推定部１２１は、ドライバが眠気我慢顔をしているか否かの推定結果を、覚醒度低下推定部１２２に出力する。
　推定部１２の覚醒度低下推定部１２２は、ステップＳＴ２にて顔推定部１２１がドライバは眠気我慢顔をしていると推定したか否かの推定結果に基づき、乗員の覚醒度は低下しているか否かを推定する（ステップＳＴ３）。
　覚醒度低下推定部１２２は、ドライバの覚醒度が低下しているか否かの推定結果を、警報出力制御部１３に出力する。
　警報出力制御部１３は、ステップＳＴ３にて覚醒度低下推定部１２２が乗員の覚醒度は低下していると推定した場合、出力装置４に対し、ドライバに対する警報を出力させる（ステップＳＴ４）。
　なお、図２および図３を用いて説明したような学習装置２および覚醒度低下推定装置１の動作について、学習装置２が、覚醒度低下推定装置１からのドライバは眠気我慢顔をしているか否かの推定結果に基づき、第１機械学習モデルを再学習する機能を有してもよい。具体的には、図３のステップＳＴ２にて、顔推定部１２１は、ドライバは眠気我慢顔をしているか否かを推定すると、ドライバは眠気我慢顔をしているか否かの推定結果と、画像取得部１１から出力された撮像画像とを対応付けて、学習装置２に出力する。学習装置２の学習用データ取得部２１は、顔推定部１２１から出力された、ドライバは眠気我慢顔をしているか否かの推定結果と撮像画像とが対応付けられた情報を学習用データとして取得する（図２のステップＳＴ２１参照）。そして、学習部２２は、学習用データ取得部２１が取得した学習用データに基づき、第１機械学習モデルを再学習する（図２のステップＳＴ２２参照）。学習部２２は、再学習した後の第１機械学習モデルで、モデル記憶部１４に記憶させている第１機械学習モデルを更新する。
　このように、覚醒度低下推定装置１は、車両のドライバの顔が存在すべき範囲が撮像された撮像画像を取得し、取得した撮像画像と第１機械学習モデルとに基づき、ドライバは眠気我慢顔をしているか否かを推定し、ドライバは眠気我慢顔をしていると推定したか否かの推定結果に基づき、ドライバの覚醒度は低下しているか否かを推定する。覚醒度低下推定装置１は、学習によって生成された第１機械学習モデルを用いて、覚醒度低下の前兆である我慢顔を、眠気に起因しない単なる我慢顔と区別し、ドライバが覚醒度低下の前兆である我慢顔（すなわち眠気我慢顔）をしていると推定した場合に、ドライバの覚醒度が低下していると推定する。そのため、覚醒度低下推定装置１は、ドライバの覚醒度低下の誤推定を防ぐことができる。
　覚醒度低下推定装置１は、第１機械学習モデルに撮像画像を入力することで、当該撮像画像のみから、言い換えれば、現在のドライバの顔の様子から、１回の判定で、ドライバが覚醒度低下の前兆である眠気我慢顔をしているか否かを推定することができる。
　以上の実施の形態１では、学習装置２の学習用データ取得部２１は、予め管理者等によって生成された学習用データを取得していた。これに限らず、学習装置は、学習用データを生成し、これを学習用データとして取得してもよいので、以下説明する。
　図４は、実施の形態１において、学習装置２が学習用データを生成し、これを学習用データとして取得して、第１機械学習モデルを生成するようにした場合の覚醒度低下推定装置１ａの構成例を示す図である。
　図４に示す覚醒度低下推定装置１ａの構成例は、図１に示した覚醒度低下推定装置１の構成例とは、学習装置２ａが関連情報取得部２３を備える点が異なる。また、学習用データ取得部２１ａの具体的な動作が、図１に示した学習装置２が備える学習用データ取得部２１とは異なる。
　図４に示す覚醒度低下推定装置１ａの構成例について、図１に示した覚醒度低下推定装置１と同様の構成については同じ符号を付して重複した説明を省略する。
　学習装置２ａの関連情報取得部２３は、乗員に関する情報（以下「乗員情報」という。）または車両に関する情報（以下「車両情報」という。）を含む情報（以下「関連情報」という。）を取得する。
　乗員情報は、例えば、乗員の、設定された時間あたりの閉眼時間の割合（いわゆるＰＥＲＣＬＯＳ）に関する情報、乗員があくびをしているか否かの情報、乗員の頭のふらつきの有無に関する情報、乗員の心拍に関する情報、または、乗員の呼吸に関する情報のうちの少なくとも１つを含む。関連情報取得部２３は、例えば、いわゆるＤＭＳから、設定された時間あたりの閉眼時間の割合に関する情報、乗員があくびをしているか否かの情報、または、乗員の頭のふらつきの有無に関する情報を取得する。関連情報取得部２３は、例えば、画像取得部１１から撮像画像を時系列で取得し、取得した時系列の撮像画像に対して公知の画像認識処理を行って、設定された時間あたりの閉眼時間の割合に関する情報、乗員があくびをしているか否かの情報、または、乗員の頭のふらつきの有無に関する情報を取得してもよい。なお、図４において、画像取得部１１から関連情報取得部２３への矢印は省略している。
　また、関連情報取得部２３は、例えば、車両に搭載されている生体センサ（図示省略）から、乗員の心拍に関する情報、または、乗員の呼吸に関する情報を取得する。
　車両情報は、例えば、ハンドル操作に関する情報、または、車速に関する情報のうちの少なくとも１つを含む。関連情報取得部２３は、例えば、車両に搭載されている操舵角センサ（図示省略）または車速センサ（図示省略）から、ハンドル操作に関する情報、または、車速に関する情報を取得する。
　関連情報取得部２３は、取得した関連情報を、学習用データ取得部２１ａに出力する。
　学習用データ取得部２１ａは、画像取得部１１が取得した撮像画像と関連情報取得部２３が取得した関連情報とに基づきドライバは眠気我慢顔をしているか否かを判定する。なお、覚醒度低下推定装置１ａにおいては、画像取得部１１は、撮像画像を、推定部１２および学習用データ取得部２１ａに出力する。
　詳細には、例えば、学習用データ取得部２１ａは、撮像画像に対して公知の画像認識処理を行って、ドライバが我慢顔をしているか否かを判定する。学習用データ取得部２１ａは、ドライバが我慢顔をしていると判定した場合、管理者等によって予め生成され学習用データ取得部２１ａが参照可能な場所に記憶されている我慢顔判別用条件と関連情報取得部２３が取得した関連情報とを比較して、ドライバがしている我慢顔は眠気我慢顔であるか否かを判定する。我慢顔判別用条件は、車両の乗員が眠気我慢顔をしているときの関連情報が定義された情報である。管理者等は、例えば、車両の製品出荷前に、複数の被験者に車両を運転させ、当該被験者が眠気我慢顔をしているときの乗員情報または車両情報を検知して、我慢顔判別用条件を生成しておく。
　具体例を挙げると、例えば、我慢顔判別用条件には、「設定された時間における閉眼割合が予め設定された閾値以上であること」、「設定された時間におけるあくびの回数が予め設定された閾値以上であること」、「ハンドル操作のふらつきが予め設定された閾値以上であること」、「車速のふらつきが予め設定された閾値以上であること」、「心拍数が予め設定された範囲外であること」、または、「呼吸数が予め設定された閾値以上であること」が設定されている。学習用データ取得部２１ａは、関連情報が我慢顔判別用条件を満たす場合、ドライバがしている我慢顔は眠気我慢顔であると判定する。
　そして、学習用データ取得部２１ａは、画像取得部１１が取得した撮像画像と、ドライバは眠気我慢顔をしているか否かを示す情報とを含む学習用データを生成することで学習用データを取得する。
　学習用データ取得部２１ａは、取得した学習用データを、学習部２２に出力する。
　なお、図４に示す覚醒度低下推定装置１ａにおいて、当該覚醒度低下推定装置１ａが学習装置２ａを備えることを必須としない。学習装置２ａが覚醒度低下推定装置１ａの外部の、覚醒度低下推定装置１ａが参照可能な場所に備えられる場合、学習装置２ａは、撮像装置３と接続され、画像取得部１１の機能を有する。具体的には、学習装置２ａは、画像取得部１１と、学習用データ取得部２１ａと、学習部２２と、関連情報取得部２３を備える。なお、学習装置２ａが画像取得部１１の機能を有する構成例を示す図については省略している。
　図５は、図４に示す学習装置２ａの動作について説明するためのフローチャートである。
　図５のフローチャートで示す学習装置２ａの動作は、車両が走行開始後、所定の時間が経過するまで等、覚醒度低下推定装置１ａが推定処理を行うよりも前に行われる。
　学習用データ取得部２１ａは、画像取得部１１から撮像画像を取得する（ステップＳＴ２１１）。
　関連情報取得部２３は、関連情報を取得する（ステップＳＴ２１２）。
　関連情報取得部２３は、取得した関連情報を、学習用データ取得部２１ａに出力する。学習用データ取得部２１ａは、関連情報取得部２３から出力された関連情報を取得する。
　学習用データ取得部２１ａは、ステップ２１１にて画像取得部１１から取得した撮像画像とステップＳＴ２１２にて関連情報取得部２３から取得した関連情報とに基づきドライバは眠気我慢顔をしているか否かを判定し、画像取得部１１が取得した撮像画像と、ドライバは眠気我慢顔をしているか否かを示す情報とを含む学習用データを生成することで学習用データを取得する（ステップＳＴ２１３）。
　学習用データ取得部２１ａは、学習用データを学習部２２に出力する。
　学習部２２は、ステップＳＴ２１３にて学習用データ取得部２１ａから出力された学習用データに基づき、第１機械学習モデルを生成する（ステップＳＴ２１４）。
　学習部２２は、生成した第１機械学習モデルをモデル記憶部１４に記憶させる。
　なお、上述の図５のフローチャートにおいて、例えば、予め設定されている時間分の撮像画像および関連情報が取得されるまで、ステップＳＴ２１１～ステップＳＴ２１３の処理を繰り返すようにしてもよい。第１機械学習モデルの精度は、学習時の学習用データの数が多いほど、向上する。
　また、上述の図５のフローチャートでは、覚醒度低下推定装置１ａは、ステップＳＴ２１１、ステップＳＴ２１２の順番で処理を行うものとしたが、これは一例に過ぎない。例えば、ステップＳＴ２１１の処理とステップＳＴ２１２の処理の順番が逆であってもよいし、ステップＳＴ２１１の処理とステップＳＴ２１２の処理とが並行して行われてもよい。
　図４に示す覚醒度低下推定装置１ａによる推定処理の動作は、説明済みの、図３のフローチャートを用いて説明した覚醒度低下推定装置１による推定処理の動作と同様であるため、重複した説明を省略する。
　学習装置２ａが、覚醒度低下推定装置１ａからのドライバの覚醒度は低下しているか否かの推定結果に基づき、第１機械学習モデルを再学習する機能を有してもよい。具体的には、顔推定部１２１は、ドライバは眠気我慢顔をしているか否かを推定すると、ドライバは眠気我慢顔をしているか否かの推定結果と、画像取得部１１から出力された撮像画像とを対応付けて、学習装置２ａに出力する。学習装置２ａの学習用データ取得部２１ａは、顔推定部１２１から出力された、ドライバは眠気我慢顔をしているか否かの推定結果と撮像画像とが対応付けられた情報を学習用データとして取得する。そして、学習部２２は、学習用データ取得部２１ａが取得した学習用データに基づき、第１機械学習モデルを再学習する。学習部２２は、再学習した後の第１機械学習モデルで、モデル記憶部１４に記憶させている第１機械学習モデルを更新する。
　このように、実施の形態１において、学習装置２ａは、車両にて撮像されたドライバの撮像画像と関連情報とから、第１機械学習モデルを生成するための学習用データを生成し、これを学習用データとして取得してもよい。これにより、学習装置２ａは、予め学習用データが生成されていることを必須とせず、第１機械学習モデルを生成することができる。また、学習装置２ａは、車両のドライバに対応する第１機械学習モデルを生成することができる。
　図６Ａおよび図６Ｂは、実施の形態１に係る覚醒度低下推定装置１，１ａのハードウェア構成の一例を示す図である。
　実施の形態１において、画像取得部１１と、推定部１２と、警報出力制御部１３の機能は、処理回路１０１により実現される。すなわち、覚醒度低下推定装置１，１ａは、撮像画像と機械学習モデル（第１機械学習モデル）とに基づき車両の乗員が眠気我慢顔をしているか否かを推定し、眠気我慢顔をしているか否かの推定結果に基づき乗員の覚醒度が低下しているか否かを推定する制御を行うための処理回路１０１を備える。
　処理回路１０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１０４であってもよい。
　処理回路１０１が専用のハードウェアである場合、処理回路１０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１０４の場合、画像取得部１１と、推定部１２と、警報出力制御部１３の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、推定部１２と、警報出力制御部１３の機能を実行する。すなわち、覚醒度低下推定装置１，１ａは、プロセッサ１０４により実行されるときに、上述の図３のステップＳＴ１～ステップＳＴ４が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、画像取得部１１と、推定部１２と、警報出力制御部１３の処理の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、画像取得部１１と、推定部１２と、警報出力制御部１３の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１については専用のハードウェアとしての処理回路１０１でその機能を実現し、推定部１２と、警報出力制御部１３についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　モデル記憶部１４は、例えば、メモリ１０５で構成される。
　また、覚醒度低下推定装置１，１ａは、撮像装置３または出力装置４等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。
　実施の形態１に係る学習装置２，２ａのハードウェア構成の一例も、図６Ａおよび図６Ｂに示すとおりである。
　実施の形態１において、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３の機能は、処理回路１０１により実現される。すなわち、学習装置２，２ａは、学習用データに基づき機械学習モデル（第１機械学習モデル）を生成する制御を行うための処理回路１０１を備える。
　処理回路がプロセッサ１０４の場合、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３の機能を実行する。すなわち、学習装置２，２ａは、プロセッサ１０４により実行されるときに、上述の図２のステップＳＴ２１～ステップＳＴ２２、または、図５のステップＳＴ２１１～ステップＳＴ２１４が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３の処理の手順または方法をコンピュータに実行させるものであるとも言える。
　なお、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、学習用データ取得部２１，２１ａと関連情報取得部２３については専用のハードウェアとしての処理回路１０１でその機能を実現し、学習部２２についてはプロセッサ１０４がメモリ１０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、学習装置２は、覚醒度低下推定装置１，１ａ等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。
０３を備える。
　以上の実施の形態１では、覚醒度低下推定装置１，１ａが、覚醒度が低下しているか否かを推定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。
　覚醒度低下推定装置１，１ａは、ドライバ以外の車両の乗員を、覚醒度が低下しているか否かを推定する対象とすることもできる。第１機械学習モデルは、乗員の顔が撮像された撮像画像を入力とし、乗員が眠気我慢顔をしているか否かを示す情報を出力する機械学習モデルとできる。
　また、覚醒度低下推定装置１，１ａは、車両の複数の乗員を、覚醒度が低下しているか否かを推定する対象とすることもできる。
　また、以上の実施の形態１では、覚醒度低下推定装置１，１ａは、車両に搭載される車載装置とし、画像取得部１１と、推定部１２と、警報出力制御部１３と、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３は、車載装置に備えられているものとした。
　これに限らず、画像取得部１１と、推定部１２と、警報出力制御部１３と、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３のうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで覚醒度低下推定システムを構成するようにしてもよい。
　また、画像取得部１１と、推定部１２と、警報出力制御部１３と、学習用データ取得部２１，２１ａと、学習部２２と、関連情報取得部２３が全部サーバに備えられてもよい。
　以上のように、実施の形態１によれば、覚醒度低下推定装置１，１ａは、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像と機械学習モデルとに基づき、乗員は眠気を我慢する眠気我慢顔をしているか否かを推定する顔推定部１２１と、顔推定部１２１が乗員は眠気我慢顔をしていると推定したか否かの推定結果に基づき、乗員の覚醒度は低下しているか否かを推定する覚醒度低下推定部１２２とを備えるように構成した。そのため、覚醒度低下推定装置１，１ａは、車両の乗員の覚醒度低下の誤推定を防ぐことができる。
　実施の形態１によれば、機械学習モデルは乗員の顔が撮像された撮像画像を入力とし当該乗員が眠気我慢顔をしているか否かを示す情報を出力する第１機械学習モデルであり、覚醒度低下推定装置１，１ａにおいて、顔推定部１２１は、画像取得部１１が取得した撮像画像と第１機械学習モデルとに基づき、乗員は眠気我慢顔をしているか否かを推定する。そのため、覚醒度低下推定装置１，１ａは、車両の乗員の覚醒度低下の誤推定を防ぐことができる。
実施の形態２．
　実施の形態１では、覚醒度低下推定装置が、乗員が眠気我慢顔をしているか否かを推定する際に用いる機械学習モデルは、乗員の顔が撮像された撮像画像を入力とし当該乗員が眠気我慢顔をしているか否かを示す情報を出力する機械学習モデル（第１機械学習モデル）としていた。
　実施の形態２では、覚醒度低下推定装置が、乗員が眠気我慢顔をしているか否かを推定する際に用いる機械学習モデルを、乗員の顔が撮像された撮像画像と関連情報とを入力とし当該乗員が眠気我慢顔をしているか否かを示す情報を出力する機械学習モデル（以下「第２機械学習モデル」という。）とする実施の形態について説明する。
　図７は、実施の形態２に係る覚醒度低下推定装置１ｂの構成例を示す図である。
　図７に示す実施の形態２に係る覚醒度低下推定装置１ｂの構成例について、実施の形態１にて図１を用いて説明した覚醒度低下推定装置１と同様の構成例には、同じ符号を付して重複した説明を省略する。
　覚醒度低下推定装置１ｂにおいて、推定部１２ａの顔推定部１２１ａの具体的な動作が、実施の形態１にて図１を用いて説明した覚醒度低下推定装置１の推定部１２の顔推定部１２１の具体的な動作と異なる。
　実施の形態２に係る覚醒度低下推定装置１ｂは、図１を用いて説明した実施の形態１に係る覚醒度低下推定装置１とは、関連情報取得部１５を備える点が異なる。また、実施の形態２に係る学習装置２ｂの学習用データ取得部２１ｂおよび学習部２２ａの具体的な動作が、それぞれ、図１を用いて説明した実施の形態１に係る学習装置２の学習用データ取得部２１および学習部２２の具体的な動作とは異なる。
　なお、以下の実施の形態２では、一例として、覚醒度低下推定装置１ｂが、覚醒度が低下しているか否かを推定する対象となる車両の乗員は、車両のドライバとする。
　関連情報取得部１５は、乗員情報または車両情報を含む関連情報を取得する。
　関連情報取得部１５の詳細は、実施の形態１にて説明済みの、関連情報取得部２３（図４参照）と同様であるため重複した説明を省略する。
　関連情報取得部１５は、取得した関連情報を、推定部１２ａに出力する。
　推定部１２ａの顔推定部１２１ａは、画像取得部１１が取得した撮像画像と関連情報取得部１５が取得した関連情報とを第２機械学習モデルに入力してドライバが眠気我慢顔をしているか否かを示す情報を得ることで、ドライバが眠気我慢顔をしているか否かを推定する。例えば、顔推定部１２１ａは、ドライバが眠気我慢顔をしているか否かを示す情報「０」を得た場合、ドライバは眠気我慢顔をしていないと推定する。顔推定部１２１ａは、ドライバが眠気我慢顔をしているか否かを示す情報「１」を得た場合、ドライバは眠気我慢顔をしていると推定する。
　なお、第２機械学習モデルは、学習装置２ｂによって生成され、モデル記憶部１４に記憶されている。学習装置２ｂの詳細については、後述する。
　顔推定部１２１ａは、ドライバが眠気我慢顔をしているか否かの推定結果を、覚醒度低下推定部１２２に出力する。
　学習装置２ｂは、第２機械学習モデルを生成する。
　学習装置２ｂの学習用データ取得部２１ｂは、ドライバの顔を撮像した撮像画像と、関連情報と、ドライバが眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する。
　学習用データは、予め、管理者等によって生成される。管理者等は、例えば、車両の製品出荷前に、複数の被験者に車両を運転させ、当該被験者が眠気我慢顔をしているときの撮像画像と関連情報、当該被験者が眠気以外の要因によって我慢顔をしているとき、言い換えれば、当該被験者が眠気我慢顔以外の我慢顔をしているときの撮像画像と関連情報を少なくとも含む学習用データを生成しておく。また、管理者等は、学習用データには、被験者が我慢顔以外の顔をしているときの撮像画像と関連情報も含めるようにする。
　管理者等は、撮像画像で撮像されている被験者の顔が眠気我慢顔であるとき、その旨を示す情報（具体的には「１」）を、教師ラベルとして付与して、学習用データを生成する。管理者等は、撮像画像で撮像されている被験者の顔が眠気我慢顔でないとき、その旨を示す情報（具体的には「０」）を、教師ラベルとして付与して、学習用データを生成する。
　学習用データ取得部２１ｂは、取得した学習用データを学習部２２ａに出力する。
　学習装置２ｂの学習部２２ａは、学習用データ取得部２１ｂから出力された学習用データに基づき、第２機械学習モデルを生成する。
　学習部２２ａは、生成した第２機械学習モデルをモデル記憶部１４に記憶させる。
　顔推定部１２１ａは、学習部２２ａが生成してモデル記憶部１４に記憶させた第２機械学習モデルを用いて、ドライバが眠気我慢顔をしているか否かを推定する。
　なお、実施の形態２では、学習装置２ｂは、覚醒度低下推定装置１ｂに備えられているが、これは一例に過ぎない。
　学習装置２ｂは、覚醒度低下推定装置１ｂの外部に備えられ、覚醒度低下推定装置１ｂとネットワークを介して接続されてもよい。
　実施の形態２に係る覚醒度低下推定装置１ｂの動作について説明する。
　上述のとおり、覚醒度低下推定装置１ｂにおいて、学習装置２ｂは、第２機械学習モデルを生成する学習処理を行う。覚醒度低下推定装置１ｂは、学習装置２ｂが生成した第２機械学習モデルを用いて、ドライバが眠気我慢顔をしているか否かを推定し、ドライバが眠気我慢顔をしているか否かの推定結果に基づいてドライバの覚醒度が低下しているか否かを推定する推定処理を行う。
　まず、実施の形態２に係る学習装置２ｂによる学習処理の動作について説明する。
　図８は、実施の形態２に係る学習装置２ｂの動作について説明するためのフローチャートである。
　図８のフローチャートで示す学習装置２ｂの動作は、車両の製品出荷前等、覚醒度低下推定装置１ｂが推定処理を行うよりも前に行われる。
　学習用データ取得部２１ｂは、ドライバの顔を撮像した撮像画像と、関連情報と、ドライバが眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する（ステップＳＴ２１ａ）。
　学習用データ取得部２１ｂは、取得した学習用データを学習部２２ａに出力する。
　学習部２２ａは、ステップＳＴ２１ａにて学習用データ取得部２１ｂから出力された学習用データに基づき、第２機械学習モデルを生成する（ステップＳＴ２２ａ）。
　学習部２２ａは、生成した第２機械学習モデルをモデル記憶部１４に記憶させる。
　次に、実施の形態２に係る覚醒度低下推定装置１ｂによる推定処理の動作について説明する。
　図９は、実施の形態２に係る覚醒度低下推定装置１ｂの動作について説明するためのフローチャートである。
　覚醒度低下推定装置１ｂは、例えば、車両の電源がオンにされると、車両の電源がオフにされるまで、図９のフローチャートで示すような動作を繰り返す。
　画像取得部１１は、撮像装置３から撮像画像を取得する（ステップＳＴ１１）。
　画像取得部１１は、取得した撮像画像を推定部１２ａに出力する。
　関連情報取得部１５は、乗員情報または車両情報を含む関連情報を取得する（ステップＳＴ１２）。
　関連情報取得部１５は、取得した関連情報を、推定部１２ａに出力する。
　推定部１２ａの顔推定部１２１ａは、ステップＳＴ１１にて画像取得部１１が取得した撮像画像とステップＳＴ１２にて関連情報取得部１５が取得した関連情報とを第２機械学習モデルに入力してドライバが眠気我慢顔をしているか否かを示す情報を得ることで、ドライバが眠気我慢顔をしているか否かを推定する（ステップＳＴ１３）。
　顔推定部１２１ａは、ドライバが眠気我慢顔をしているか否かの推定結果を、覚醒度低下推定部１２２に出力する。
　推定部１２ａの覚醒度低下推定部１２２は、ステップＳＴ１３にて顔推定部１２１ａがドライバは眠気我慢顔をしていると推定したか否かの推定結果に基づき、ドライバの覚醒度は低下しているか否かを推定する（ステップＳＴ１４）。
　覚醒度低下推定部１２２は、ドライバの覚醒度が低下しているか否かの推定結果を、警報出力制御部１３に出力する。
　警報出力制御部１３は、ステップＳＴ１４にて覚醒度低下推定部１２２が乗員の覚醒度は低下していると推定した場合、出力装置４に対し、ドライバに対する警報を出力させる（ステップＳＴ１５）。
　なお、上述の図９のフローチャートでは、覚醒度低下推定装置１ｂは、ステップＳＴ１１、ステップＳＴ１２の順番で処理を行うものとしたが、これは一例に過ぎない。例えば、ステップＳＴ１１の処理とステップＳＴ１２の処理の順番が逆であってもよいし、ステップＳＴ１１の処理とステップＳＴ１２の処理とが並行して行われてもよい。
　また、図８および図９を用いて説明したような学習装置２ｂおよび覚醒度低下推定装置１ｂの動作について、学習装置２ｂが、覚醒度低下推定装置１ｂからのドライバは眠気我慢顔をしているか否かの推定結果に基づき、第２機械学習モデルを再学習する機能を有してもよい。具体的には、図９のステップＳＴ１３にて、顔推定部１２１ａは、ドライバは眠気我慢顔をしているか否かを推定すると、ドライバは眠気我慢顔をしているか否かの推定結果と、画像取得部１１から出力された撮像画像と、関連情報取得部１５から出力された関連情報とを対応付けて、学習装置２ｂに出力する。学習装置２ｂの学習用データ取得部２１ｂは、顔推定部１２１ａから出力された、ドライバは眠気我慢顔をしているか否かの推定結果と撮像画像と関連情報とが対応付けられた情報を学習用データとして取得する（図８のステップＳＴ２１ａ参照）。そして、学習部２２ａは、学習用データ取得部２１ｂが取得した学習用データに基づき、第２機械学習モデルを再学習する（図８のステップＳＴ２２ａ参照）。学習部２２ａは、再学習した後の第２機械学習モデルで、モデル記憶部１４に記憶させている第２機械学習モデルを更新する。
　このように、覚醒度低下推定装置１ｂは、車両のドライバの顔が存在すべき範囲が撮像された撮像画像を取得し、取得した撮像画像と第２機械学習モデルとに基づき、ドライバは眠気我慢顔をしているか否かを推定し、ドライバは眠気我慢顔をしていると推定したか否かの推定結果に基づき、ドライバの覚醒度は低下しているか否かを推定する。覚醒度低下推定装置１ｂは、学習によって生成された第２機械学習モデルを用いて、覚醒度低下の前兆である我慢顔を、眠気に起因しない単なる我慢顔と区別し、ドライバが覚醒度低下の前兆である我慢顔（すなわち眠気我慢顔）をしていると推定した場合に、ドライバの覚醒度が低下していると推定する。そのため、覚醒度低下推定装置１ｂは、ドライバの覚醒度低下の誤推定を防ぐことができる。
　覚醒度低下推定装置１ｂは、第２機械学習モデルに撮像画像と関連情報とを入力することで、当該撮像画像と関連情報のみから、言い換えれば、現在のドライバの顔の様子と現在のドライバに関する情報または車両に関する情報とから、１回の判定で、ドライバが覚醒度低下の前兆である眠気我慢顔をしているか否かを推定することができる。
　以上の実施の形態２では、学習装置２ｂの学習用データ取得部２１ｂは、予め管理者等によって生成された学習用データを取得していた。これに限らず、学習装置は、学習用データを生成し、これを学習用データとして取得してもよいので、以下説明する。
　図１０は、実施の形態２において、学習装置２ｃが学習用データを生成し、これを学習用データとして取得して、第２機械学習モデルを生成するようにした場合の覚醒度低下推定装置１ｃの構成例を示す図である。
　図１０に示す覚醒度低下推定装置１ｃの構成例は、図７に示した覚醒度低下推定装置１ｂの構成例とは、学習装置２ｃの学習用データ取得部２１ｃの具体的な動作が異なる。
　図１０に示す覚醒度低下推定装置１ｃの構成例について、図７に示した覚醒度低下推定装置１ｂと同様の構成については同じ符号を付して重複した説明を省略する。
　学習装置２ｃの学習用データ取得部２１ｃは、画像取得部１１が取得した撮像画像と関連情報取得部１５が取得した関連情報とに基づきドライバは眠気我慢顔をしているか否かを判定する。なお、覚醒度低下推定装置１ｃにおいては、画像取得部１１は、撮像画像を、推定部１２ａおよび学習用データ取得部２１ｃに出力する。また、覚醒度低下推定装置１ｃにおいては、関連情報取得部１５は、関連情報を、推定部１２ａおよび学習用データ取得部２１ｃに出力する。
　詳細には、例えば、学習用データ取得部２１ｃは、撮像画像に対して公知の画像認識処理を行って、ドライバが我慢顔をしているか否かを判定する。学習用データ取得部２１ｃは、ドライバが我慢顔をしていると判定した場合、管理者等によって予め生成され学習用データ取得部２１ｃが参照可能な場所に記憶されている我慢顔判別用条件と関連情報取得部１５が取得した関連情報とを比較して、ドライバがしている我慢顔は眠気我慢顔であるか否かを判定する。我慢顔判別用条件は、車両の乗員が眠気我慢顔をしているときの関連情報が定義された情報である。管理者等は、例えば、車両の製品出荷前に、複数の被験者に車両を運転させ、当該被験者が眠気我慢顔をしているときの乗員情報または車両情報を検知して、我慢顔判別用条件を生成しておく。我慢顔判別用条件の詳細については、実施の形態１にて説明済みであるため、重複した説明を省略する。
　学習用データ取得部２１ｃは、関連情報が我慢顔判別用条件を満たす場合、ドライバがしている我慢顔は眠気我慢顔であると判定する。
　そして、学習用データ取得部２１ｃは、画像取得部１１が取得した撮像画像と、関連情報取得部１５が取得した関連情報と、ドライバは眠気我慢顔をしているか否かを示す情報とを含む学習用データを生成することで学習用データを取得する。
　学習用データ取得部２１ｃは、取得した学習用データを、学習部２２ａに出力する。
　なお、図１０に示す覚醒度低下推定装置１ｃにおいて、当該覚醒度低下推定装置１ｃが学習装置２ｃを備えることを必須としない。学習装置２ｃが覚醒度低下推定装置１ｃの外部の、覚醒度低下推定装置１ｃが参照可能な場所に備えられる場合、学習装置２ｃは、撮像装置３と接続され、画像取得部１１および関連情報取得部１５の機能を有する。具体的には、学習装置２ｃは、画像取得部１１と、関連情報取得部１５と、学習用データ取得部２１ｃと、学習部２２ａを備える。なお、学習装置２ｃが画像取得部１１および関連情報取得部１５の機能を有する構成例を示す図については省略している。
　図１１は、図１０に示す学習装置２ｃの動作について説明するためのフローチャートである。
　図１１のフローチャートで示す学習装置２ｃの動作は、車両が走行開始後、所定の時間が経過するまで等、覚醒度低下推定装置１ｃが推定処理を行うよりも前に行われる。
　学習用データ取得部２１ｃは、画像取得部１１から撮像画像を取得する（ステップＳＴ２１１ａ）。
　学習用データ取得部２１ｃは、関連情報取得部１５から関連情報を取得する（ステップＳＴ２１２ａ）。
　学習用データ取得部２１ｃは、ステップ２１１ａにて画像取得部１１から取得した撮像画像とステップＳＴ２１２ａにて関連情報取得部１５から取得した関連情報とに基づきドライバは眠気我慢顔をしているか否かを判定し、画像取得部１１が取得した撮像画像と、関連情報取得部１５が取得した関連情報と、ドライバは眠気我慢顔をしているか否かを示す情報とを含む学習用データを生成することで学習用データを取得する（ステップＳＴ２１３ａ）。
　学習用データ取得部２１ｃは、学習用データを学習部２２ａに出力する。
　学習部２２ａは、ステップＳＴ２１３ａにて学習用データ取得部２１ｃから出力された学習用データに基づき、第２機械学習モデルを生成する（ステップＳＴ２１４ａ）。
　学習部２２ａは、生成した第２機械学習モデルをモデル記憶部１４に記憶させる。
　なお、上述の図１１のフローチャートにおいて、例えば、予め設定されている時間分の撮像画像および関連情報が取得されるまで、ステップＳＴ２１１ａ～ステップＳＴ２１３ａの処理を繰り返すようにしてもよい。第２機械学習モデルの精度は、学習時の学習用データの数が多いほど、向上する。
　また、上述の図１１のフローチャートでは、覚醒度低下推定装置１ｃは、ステップＳＴ２１１ａ、ステップＳＴ２１２ａの順番で処理を行うものとしたが、これは一例に過ぎない。例えば、ステップＳＴ２１１ａの処理とステップＳＴ２１２ａの処理の順番が逆であってもよいし、ステップＳＴ２１１ａの処理とステップＳＴ２１２ａの処理とが並行して行われてもよい。
　図１０に示す覚醒度低下推定装置１ｃによる推定処理の動作は、説明済みの、図９のフローチャートを用いて説明した覚醒度低下推定装置１ｂによる推定処理の動作と同様であるため、重複した説明を省略する。
　学習装置２ｃが、覚醒度低下推定装置１ｃからのドライバの覚醒度は低下しているか否かの推定結果に基づき、第２機械学習モデルを再学習する機能を有してもよい。具体的には、顔推定部１２１ａは、ドライバは眠気我慢顔をしているか否かを推定すると、ドライバは眠気我慢顔をしているか否かの推定結果と、画像取得部１１から出力された撮像画像と、関連情報取得部１５から出力された関連情報とを対応付けて、学習装置２ｃに出力する。学習装置２ｃの学習用データ取得部２１ｃは、顔推定部１２１ａから出力された、ドライバは眠気我慢顔をしているか否かの推定結果と撮像画像と関連情報とが対応付けられた情報を学習用データとして取得する。そして、学習部２２ａは、学習用データ取得部２１ｃが取得した学習用データに基づき、第２機械学習モデルを再学習する。学習部２２ａは、再学習した後の第２機械学習モデルで、モデル記憶部１４に記憶させている第２機械学習モデルを更新する。
　このように、実施の形態２において、学習装置２ｃは、車両にて撮像されたドライバの撮像画像と関連情報とから、第２機械学習モデルを生成するための学習用データを生成し、これを学習用データとして取得してもよい。これにより、学習装置２ｃは、予め学習用データが生成されていることを必須とせず、第２機械学習モデルを生成することができる。また、学習装置２ｃは、車両のドライバに対応する第２機械学習モデルを生成することができる。
　実施の形態２に係る覚醒度低下推定装置１ｂ，１ｃのハードウェア構成例は、実施の形態１において図６Ａおよび図６Ｂを用いて説明した覚醒度低下推定装置１，１ａのハードウェア構成例と同様である。
　実施の形態２において、画像取得部１１と、推定部１２ａと、警報出力制御部１３と、関連情報取得部１５の機能は、処理回路１０１により実現される。すなわち、覚醒度低下推定装置１ｂ，１ｃは、撮像画像と関連情報と機械学習モデル（第２機械学習モデル）とに基づき車両の乗員が眠気我慢顔をしているか否かを推定し、眠気我慢顔をしているか否かの推定結果に基づき乗員の覚醒度が低下しているか否かを推定する制御を行うための処理回路１０１を備える。
　処理回路１０１は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、推定部１２ａと、警報出力制御部１３と、関連情報取得部１５の機能を実行する。すなわち、覚醒度低下推定装置１ｂ，１ｃは、処理回路１０１により実行されるときに、上述の図９のステップＳＴ１１～ステップＳＴ１５が結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、画像取得部１１と、推定部１２ａと、警報出力制御部１３と、関連情報取得部１５の処理の手順または方法をコンピュータに実行させるものとも言える。
　覚醒度低下推定装置１ｂ，１ｃは、撮像装置３または出力装置４等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。
　実施の形態２に係る学習装置２ｂ，２ｃのハードウェア構成の一例も、図６Ａおよび図６Ｂに示すとおりである。
　実施の形態２において、学習用データ取得部２１ｂ，２１ｃと学習部２２ａの機能は、処理回路１０１により実現される。すなわち、学習装置２ｂ，２ｃは、学習用データに基づき機械学習モデル（第２機械学習モデル）を生成する制御を行うための処理回路１０１を備える。
　処理回路がプロセッサ１０４の場合、学習用データ取得部２１ｂ，２１ｃと学習部２２ａの機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１０５に記憶される。プロセッサ１０４は、メモリ１０５に記憶されたプログラムを読み出して実行することにより、学習用データ取得部２１ｂ，２１ｃと、学習部２２ａの機能を実行する。すなわち、学習装置２ｂ，２ｃは、プロセッサ１０４により実行されるときに、上述の図８のステップＳＴ２１ａ～ステップＳＴ２２ａ、または、図１１のステップＳＴ２１１ａ～ステップＳＴ２１４ａが結果的に実行されることになるプログラムを格納するためのメモリ１０５を備える。また、メモリ１０５に記憶されたプログラムは、学習用データ取得部２１ｂ，２１ｃと学習部２２ａの処理の手順または方法をコンピュータに実行させるものであるとも言える。
　学習装置２ｂ，２ｃは、覚醒度低下推定装置１ｂ，１ｃ等の装置と、有線通信または無線通信を行う入力インタフェース装置１０２および出力インタフェース装置１０３を備える。
　以上の実施の形態２では、覚醒度低下推定装置１ｂ，１ｃが、覚醒度が低下しているか否かを推定する対象となる車両の乗員は車両のドライバとしたが、これは一例に過ぎない。
　覚醒度低下推定装置１ｂ，１ｃは、ドライバ以外の車両の乗員を、覚醒度が低下しているか否かを推定する対象とすることもできる。第２機械学習モデルは、乗員の顔が撮像された撮像画像と関連情報とを入力とし、乗員が眠気我慢顔をしているか否かを示す情報を出力する機械学習モデルとできる。
　また、覚醒度低下推定装置１ｂ，１ｃは、車両の複数の乗員を、覚醒度が低下しているか否かを推定する対象とすることもできる。
　また、以上の実施の形態２では、覚醒度低下推定装置１ｂ，１ｃは、車両に搭載される車載装置とし、画像取得部１１と、推定部１２ａと、警報出力制御部１３と、関連情報取得部１５と、学習用データ取得部２１ｂ，２１ｃと、学習部２２ａは、車載装置に備えられているものとした。
　これに限らず、画像取得部１１と、推定部１２ａと、警報出力制御部１３と、関連情報取得部１５と、学習用データ取得部２１ｂ，２１ｃと、学習部２２ａのうち、一部が車両の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで覚醒度低下推定システムを構成するようにしてもよい。
　また、画像取得部１１と、推定部１２ａと、警報出力制御部１３と、関連情報取得部１５と、学習用データ取得部２１ｂ，２１ｃと、学習部２２ａが全部サーバに備えられてもよい。
　以上のように、実施の形態２によれば、覚醒度低下推定装置１ｂ，１ｃは、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像と機械学習モデルとに基づき、乗員は眠気を我慢する眠気我慢顔をしているか否かを推定する顔推定部１２１ａと、顔推定部１２１ａが乗員は眠気我慢顔をしていると推定したか否かの推定結果に基づき、乗員の覚醒度は低下しているか否かを推定する覚醒度低下推定部１２２とを備えるように構成した。そのため、覚醒度低下推定装置１ｂ，１ｃは、車両の乗員の覚醒度低下の誤推定を防ぐことができる。
　実施の形態２によれば、機械学習モデルは乗員の顔が撮像された撮像画像と乗員に関する乗員情報または車両に関する車両情報を含む関連情報とを入力とし乗員が眠気我慢顔をしているか否かを示す情報を出力する第２機械学習モデルであり、関連情報を取得する関連情報取得部１５を備え、顔推定部１２１ａは、画像取得部１１が取得した撮像画像と、関連情報取得部１５が取得した関連情報と、第２機械学習モデルとに基づき、乗員は眠気我慢顔をしているか否かを推定する。そのため、覚醒度低下推定装置１ｂ，１ｃは、車両の乗員の覚醒度低下の誤推定を防ぐことができる。
　以下、本開示の諸態様を付記としてまとめて記載する。
　　（付記１）
　車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部と、
　前記画像取得部が取得した前記撮像画像と機械学習モデルとに基づき、前記乗員は眠気を我慢する眠気我慢顔をしているか否かを推定する顔推定部と、
　前記顔推定部が前記乗員は前記眠気我慢顔をしていると推定したか否かの推定結果に基づき、前記乗員の覚醒度は低下しているか否かを推定する覚醒度低下推定部
　とを備えた覚醒度低下推定装置。
　　（付記２）
　前記機械学習モデルは前記乗員の顔が撮像された前記撮像画像を入力とし当該乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第１機械学習モデルであり、
　前記顔推定部は、前記画像取得部が取得した前記撮像画像と前記第１機械学習モデルとに基づき、前記乗員は前記眠気我慢顔をしているか否かを推定する
　ことを特徴とする付記１記載の覚醒度低下推定装置。
　　（付記３）
　前記機械学習モデルは前記乗員の顔が撮像された前記撮像画像と前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報とを入力とし前記乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第２機械学習モデルであり、
　前記関連情報を取得する関連情報取得部を備え、
　前記顔推定部は、前記画像取得部が取得した前記撮像画像と、前記関連情報取得部が取得した前記関連情報と、前記第２機械学習モデルとに基づき、前記乗員は前記眠気我慢顔をしているか否かを推定する
　ことを特徴とする付記１記載の覚醒度低下推定装置。
　　（付記４）
　前記乗員情報は、前記乗員の設定された時間あたりの閉眼時間の割合に関する情報、前記乗員があくびをしているか否かの情報、前記乗員の頭のふらつきの有無に関する情報、前記乗員の心拍に関する情報、または、前記乗員の呼吸に関する情報のうちの少なくとも１つを含む
　ことを特徴とする付記３記載の覚醒度低下推定装置。
　　（付記５）
　前記車両情報は、ハンドル操作に関する情報、または、車速に関する情報のうちの少なくとも１つを含む
　ことを特徴とする付記３記載の覚醒度低下推定装置。
　　（付記６）
　前記乗員の顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する学習用データ取得部と、
　前記学習用データ取得部が取得した前記学習用データに基づき、前記第１機械学習モデルを生成する学習部
　とを備えた付記２記載の覚醒度低下推定装置。
　　（付記７）
　前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報を取得する関連情報取得部を備え、
　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
　ことを特徴とする付記６記載の覚醒度低下推定装置。
　　（付記８）
　前記乗員の顔を撮像した前記撮像画像と、前記関連情報と、前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する学習用データ取得部と、
　前記学習用データ取得部が取得した前記学習用データに基づき、前記第２機械学習モデルを生成する学習部
　とを備えた付記３記載の覚醒度低下推定装置。
　　（付記９）
　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記関連情報と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
　ことを特徴とする付記８記載の覚醒度低下推定装置。
　　（付記１０）
　前記覚醒度低下推定部が前記乗員の覚醒度は低下していると推定した場合、前記乗員に対する警報を出力させる警報出力制御部
　を備えた付記１から付記９のうちのいずれか１つ記載の覚醒度低下推定装置。
　　（付記１１）
　学習用データを取得する学習用データ取得部と、
　前記学習用データ取得部が取得した前記学習用データに基づき、車両の乗員が眠気を我慢する眠気我慢顔をしているか否かを推定するための機械学習モデルを生成する学習部
　とを備えた学習装置。
　　（付記１２）
　前記学習用データ取得部は、前記乗員の顔を撮像した撮像画像と、前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを取得し、
　前記学習部は、前記学習用データ取得部が取得した前記学習用データに基づき、前記乗員の顔が撮像された前記撮像画像を入力とし当該乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第１機械学習モデルを生成する
　ことを特徴とする付記１１記載の学習装置。
　　（付記１３）
　前記学習用データは、前記乗員の前記眠気我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていることを示す情報とが対応付けられた情報、および、前記乗員の前記眠気我慢顔以外の我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていないことを示す情報とが対応付けられた情報を含み、
　前記乗員の前記眠気我慢顔以外の前記我慢顔は、前記乗員による前記乗員の顔に差し込む光による眩しさを我慢している顔、または、前記乗員による前記眠気以外の生理現象を我慢している顔である
　ことを特徴とする付記１２記載の学習装置。
　　（付記１４）
　前記乗員の顔が存在すべき範囲が撮像された前記撮像画像を取得する画像取得部と、
　前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報を取得する関連情報取得部を備え、
　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
　ことを特徴とする付記１２または付記１３記載の学習装置。
　　（付記１５）
　前記学習用データ取得部は、前記乗員の顔を撮像した撮像画像と、前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報と、前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを取得し、
　前記学習部は、前記学習用データ取得部が取得した前記学習用データに基づき、前記乗員の顔が撮像された前記撮像画像と前記関連情報とを入力とし当該乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第２機械学習モデルを生成する
　ことを特徴とする付記１１記載の学習装置。
　　（付記１６）
　前記乗員の顔が存在すべき範囲が撮像された前記撮像画像を取得する画像取得部と、
　前記関連情報を取得する関連情報取得部を備え、
　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記関連情報と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
　ことを特徴とする付記１５記載の学習装置。
　　（付記１７）
　前記学習用データは、前記乗員の前記眠気我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていることを示す情報とが対応付けられた情報、および、前記乗員の前記眠気我慢顔以外の我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていないことを示す情報とが対応付けられた情報を含み、
　前記乗員の前記眠気我慢顔以外の前記我慢顔は、前記乗員による前記乗員の顔に差し込む光による眩しさを我慢している顔、または、前記乗員による前記眠気以外の生理現象を我慢している顔である
　ことを特徴とする付記１６記載の学習装置。
　　（付記１８）
　前記乗員情報は、前記乗員の設定された時間あたりの閉眼時間の割合に関する情報、前記乗員があくびをしているか否かの情報、前記乗員の頭のふらつきの有無に関する情報、前記乗員の心拍に関する情報、または、前記乗員の呼吸に関する情報のうちの少なくとも１つを含む
　ことを特徴とする付記１４から付記１６のうちのいずれか１つ記載の学習装置。
　　（付記１９）
　前記車両情報は、ハンドル操作に関する情報、または、車速に関する情報のうちの少なくとも１つを含む
　ことを特徴とする付記１４から付記１６のうちのいずれか１項記載の学習装置。
　　（付記２０）
　画像取得部が、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得するステップと、
　顔推定部が、前記画像取得部が取得した前記撮像画像と機械学習モデルとに基づき、前記乗員は眠気を我慢する眠気我慢顔をしているか否かを推定するステップと、
　覚醒度低下推定部が、前記顔推定部が前記乗員は前記眠気我慢顔をしていると推定したか否かの推定結果に基づき、前記乗員の覚醒度は低下しているか否かを推定するステップ
　とを備えた覚醒度低下推定方法。
　なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示に係る覚醒度低下推定装置は、車両にて乗員の覚醒度低下の誤推定を防ぐことができる。
　１，１ａ，１ｂ，１ｃ　覚醒度低下推定装置、１１　画像取得部、１２，１２ａ　推定部、１２１，１２１ａ　顔推定部、１２２　覚醒度低下推定部、１３　警報出力制御部、１４　モデル記憶部、１５，２３　関連情報取得部、２，２ａ，２ｂ，２ｃ　学習装置、２１，２１ａ，２１ｂ，２１ｃ　学習用データ取得部、２２，２２ａ　学習部、３　撮像装置、４　出力装置、１０１　処理回路、１０２　入力インタフェース装置、１０３　出力インタフェース装置、１０４　プロセッサ、１０５　メモリ。

Claims (20)

  1. 　車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得する画像取得部と、
    　前記画像取得部が取得した前記撮像画像と機械学習モデルとに基づき、前記乗員は眠気を我慢する眠気我慢顔をしているか否かを推定する顔推定部と、
    　前記顔推定部が前記乗員は前記眠気我慢顔をしていると推定したか否かの推定結果に基づき、前記乗員の覚醒度は低下しているか否かを推定する覚醒度低下推定部
    　とを備えた覚醒度低下推定装置。
  2. 　前記機械学習モデルは前記乗員の顔が撮像された前記撮像画像を入力とし当該乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第１機械学習モデルであり、
    　前記顔推定部は、前記画像取得部が取得した前記撮像画像と前記第１機械学習モデルとに基づき、前記乗員は前記眠気我慢顔をしているか否かを推定する
    　ことを特徴とする請求項１記載の覚醒度低下推定装置。
  3. 　前記機械学習モデルは前記乗員の顔が撮像された前記撮像画像と前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報とを入力とし前記乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第２機械学習モデルであり、
    　前記関連情報を取得する関連情報取得部を備え、
    　前記顔推定部は、前記画像取得部が取得した前記撮像画像と、前記関連情報取得部が取得した前記関連情報と、前記第２機械学習モデルとに基づき、前記乗員は前記眠気我慢顔をしているか否かを推定する
    　ことを特徴とする請求項１記載の覚醒度低下推定装置。
  4. 　前記乗員情報は、前記乗員の設定された時間あたりの閉眼時間の割合に関する情報、前記乗員があくびをしているか否かの情報、前記乗員の頭のふらつきの有無に関する情報、前記乗員の心拍に関する情報、または、前記乗員の呼吸に関する情報のうちの少なくとも１つを含む
    　ことを特徴とする請求項３記載の覚醒度低下推定装置。
  5. 　前記車両情報は、ハンドル操作に関する情報、または、車速に関する情報のうちの少なくとも１つを含む
    　ことを特徴とする請求項３記載の覚醒度低下推定装置。
  6. 　前記乗員の顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する学習用データ取得部と、
    　前記学習用データ取得部が取得した前記学習用データに基づき、前記第１機械学習モデルを生成する学習部
    　とを備えた請求項２記載の覚醒度低下推定装置。
  7. 　前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報を取得する関連情報取得部を備え、
    　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
    　ことを特徴とする請求項６記載の覚醒度低下推定装置。
  8. 　前記乗員の顔を撮像した前記撮像画像と、前記関連情報と、前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む学習用データを取得する学習用データ取得部と、
    　前記学習用データ取得部が取得した前記学習用データに基づき、前記第２機械学習モデルを生成する学習部
    　とを備えた請求項３記載の覚醒度低下推定装置。
  9. 　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記関連情報と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
    　ことを特徴とする請求項８記載の覚醒度低下推定装置。
  10. 　前記覚醒度低下推定部が前記乗員の覚醒度は低下していると推定した場合、前記乗員に対する警報を出力させる警報出力制御部
    　を備えた請求項１から請求項９のうちのいずれか１項記載の覚醒度低下推定装置。
  11. 　学習用データを取得する学習用データ取得部と、
    　前記学習用データ取得部が取得した前記学習用データに基づき、車両の乗員が眠気を我慢する眠気我慢顔をしているか否かを推定するための機械学習モデルを生成する学習部
    　とを備えた学習装置。
  12. 　前記学習用データ取得部は、前記乗員の顔を撮像した撮像画像と、前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを取得し、
    　前記学習部は、前記学習用データ取得部が取得した前記学習用データに基づき、前記乗員の顔が撮像された前記撮像画像を入力とし当該乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第１機械学習モデルを生成する
    　ことを特徴とする請求項１１記載の学習装置。
  13. 　前記学習用データは、前記乗員の前記眠気我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていることを示す情報とが対応付けられた情報、および、前記乗員の前記眠気我慢顔以外の我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていないことを示す情報とが対応付けられた情報を含み、
    　前記乗員の前記眠気我慢顔以外の前記我慢顔は、前記乗員による前記乗員の顔に差し込む光による眩しさを我慢している顔、または、前記乗員による前記眠気以外の生理現象を我慢している顔である
    　ことを特徴とする請求項１２記載の学習装置。
  14. 　前記乗員の顔が存在すべき範囲が撮像された前記撮像画像を取得する画像取得部と、
    　前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報を取得する関連情報取得部を備え、
    　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
    　ことを特徴とする請求項１２記載の学習装置。
  15. 　前記学習用データ取得部は、前記乗員の顔を撮像した撮像画像と、前記乗員に関する乗員情報または前記車両に関する車両情報を含む関連情報と、前記乗員が前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを取得し、
    　前記学習部は、前記学習用データ取得部が取得した前記学習用データに基づき、前記乗員の顔が撮像された前記撮像画像と前記関連情報とを入力とし当該乗員が前記眠気我慢顔をしているか否かを示す情報を出力する第２機械学習モデルを生成する
    　ことを特徴とする請求項１１記載の学習装置。
  16. 　前記乗員の顔が存在すべき範囲が撮像された前記撮像画像を取得する画像取得部と、
    　前記関連情報を取得する関連情報取得部を備え、
    　前記学習用データ取得部は、前記画像取得部が取得した前記撮像画像と前記関連情報取得部が取得した前記関連情報とに基づき前記乗員は前記眠気我慢顔をしているか否かを判定し、前記撮像画像と前記関連情報と前記乗員は前記眠気我慢顔をしているか否かを示す情報とを含む前記学習用データを生成することで前記学習用データを取得する
    　ことを特徴とする請求項１５記載の学習装置。
  17. 　前記学習用データは、前記乗員の前記眠気我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていることを示す情報とが対応付けられた情報、および、前記乗員の前記眠気我慢顔以外の我慢顔を撮像した前記撮像画像と前記乗員が前記眠気我慢顔をしていないことを示す情報とが対応付けられた情報を含み、
    　前記乗員の前記眠気我慢顔以外の前記我慢顔は、前記乗員による前記乗員の顔に差し込む光による眩しさを我慢している顔、または、前記乗員による前記眠気以外の生理現象を我慢している顔である
    　ことを特徴とする請求項１６記載の学習装置。
  18. 　前記乗員情報は、前記乗員の設定された時間あたりの閉眼時間の割合に関する情報、前記乗員があくびをしているか否かの情報、前記乗員の頭のふらつきの有無に関する情報、前記乗員の心拍に関する情報、または、前記乗員の呼吸に関する情報のうちの少なくとも１つを含む
    　ことを特徴とする請求項１４から請求項１６のうちのいずれか１項記載の学習装置。
  19. 　前記車両情報は、ハンドル操作に関する情報、または、車速に関する情報のうちの少なくとも１つを含む
    　ことを特徴とする請求項１４から請求項１６のうちのいずれか１項記載の学習装置。
  20. 　画像取得部が、車両の乗員の顔が存在すべき範囲が撮像された撮像画像を取得するステップと、
    　顔推定部が、前記画像取得部が取得した前記撮像画像と機械学習モデルとに基づき、前記乗員は眠気を我慢する眠気我慢顔をしているか否かを推定するステップと、
    　覚醒度低下推定部が、前記顔推定部が前記乗員は前記眠気我慢顔をしていると推定したか否かの推定結果に基づき、前記乗員の覚醒度は低下しているか否かを推定するステップ
    　とを備えた覚醒度低下推定方法。
PCT/JP2022/019885 2022-05-11 2022-05-11 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法 Ceased WO2023218546A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2024520133A JP7515771B2 (ja) 2022-05-11 2022-05-11 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法
DE112022006764.0T DE112022006764T5 (de) 2022-05-11 2022-05-11 Wachheitsabnahmeeinschätzvorrichtung, lernvorrichtung und wachheitsabnahmeeinschätzverfahren
PCT/JP2022/019885 WO2023218546A1 (ja) 2022-05-11 2022-05-11 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/019885 WO2023218546A1 (ja) 2022-05-11 2022-05-11 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法

Publications (1)

Publication Number Publication Date
WO2023218546A1 true WO2023218546A1 (ja) 2023-11-16

Family

ID=88729958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/019885 Ceased WO2023218546A1 (ja) 2022-05-11 2022-05-11 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法

Country Status (3)

Country Link
JP (1) JP7515771B2 (ja)
DE (1) DE112022006764T5 (ja)
WO (1) WO2023218546A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008212298A (ja) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2010204984A (ja) * 2009-03-04 2010-09-16 Nissan Motor Co Ltd 運転支援装置
JP2014229123A (ja) * 2013-05-23 2014-12-08 学校法人常翔学園 覚醒維持支援装置
JP2020013554A (ja) * 2018-07-05 2020-01-23 株式会社デンソー 覚醒度判定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5292671B2 (ja) 2006-03-06 2013-09-18 トヨタ自動車株式会社 覚醒度推定装置及びシステム並びに方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008212298A (ja) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
JP2010204984A (ja) * 2009-03-04 2010-09-16 Nissan Motor Co Ltd 運転支援装置
JP2014229123A (ja) * 2013-05-23 2014-12-08 学校法人常翔学園 覚醒維持支援装置
JP2020013554A (ja) * 2018-07-05 2020-01-23 株式会社デンソー 覚醒度判定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MATSUO, HIROSHI, KHIAT, ABDELAZIZ. : "The Development of Drowsy Driving Prediction by Monitoring Driver's Behavior", IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS, vol. J98-D, no. 4, 1 January 2015 (2015-01-01), pages 700 - 708, XP009550246 *

Also Published As

Publication number Publication date
JPWO2023218546A1 (ja) 2023-11-16
JP7515771B2 (ja) 2024-07-12
DE112022006764T5 (de) 2025-01-16

Similar Documents

Publication Publication Date Title
US12277262B1 (en) User comfort monitoring and notification
JP7031072B2 (ja) 認知機能推定装置、学習装置、および、認知機能推定方法
US11430231B2 (en) Emotion estimation device and emotion estimation method
US20210357701A1 (en) Evaluation device, action control device, evaluation method, and evaluation program
US20190370580A1 (en) Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
TW201837901A (zh) 情感識別裝置以及情感識別程式
US12171559B2 (en) Adjustment device, adjustment system, and adjustment method
JP2016036729A (ja) 車両用生体計測モニタシステム及び警報システム
BR112021004647A2 (pt) sistemas e métodos para detecção de sonolência
JP7550879B2 (ja) 睡眠検出装置及び睡眠検出システム
CN114684151A (zh) 基于穿戴式设备的车辆控制方法、装置及车辆
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
CN114084145A (zh) 车辆及其控制方法
WO2023218546A1 (ja) 覚醒度低下推定装置、学習装置、および、覚醒度低下推定方法
KR102689884B1 (ko) 차량 및 그 제어방법
CN107273789A (zh) 用于提供警告信号以识别将面临的微睡的方法
CN110525443A (zh) 用于在移动设备中识别车辆的驾驶员的疲劳的方法和装置
JP6853159B2 (ja) 状態推定装置
CN114792440A (zh) 用于确定车辆内部的人员的状态的方法和装置
KR102613180B1 (ko) 차량 및 그 제어방법
WO2022097185A1 (ja) 眠気検知装置および眠気検知方法
JP7843933B2 (ja) 眠気推定装置および眠気推定方法
WO2025203202A1 (ja) 覚醒度検出装置、運転支援システムおよび覚醒度検出方法
JP7702235B2 (ja) 制御装置およびプログラム
JP2020201657A (ja) 情報処理装置、状態推定方法、及び車両

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22941627

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024520133

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112022006764

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22941627

Country of ref document: EP

Kind code of ref document: A1