WO2021140583A1 - 眠気推定装置および眠気推定方法 - Google Patents

眠気推定装置および眠気推定方法 Download PDF

Info

Publication number
WO2021140583A1
WO2021140583A1 PCT/JP2020/000248 JP2020000248W WO2021140583A1 WO 2021140583 A1 WO2021140583 A1 WO 2021140583A1 JP 2020000248 W JP2020000248 W JP 2020000248W WO 2021140583 A1 WO2021140583 A1 WO 2021140583A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
drowsiness
temperature
unit
face
Prior art date
Application number
PCT/JP2020/000248
Other languages
English (en)
French (fr)
Inventor
慶友樹 小川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/000248 priority Critical patent/WO2021140583A1/ja
Publication of WO2021140583A1 publication Critical patent/WO2021140583A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • This disclosure relates to a technique for estimating the drowsiness of a vehicle occupant.
  • a drowsiness estimation device that estimates the drowsiness of a driver based on the degree of eye opening (eye opening, that is, the degree of eye opening) obtained from an image of the driver's face taken by an in-vehicle camera is known (for example).
  • a high degree of drowsiness means a low degree of arousal
  • a low degree of drowsiness means a high degree of arousal.
  • the present disclosure has been made to solve the above problems, and an object of the present disclosure is to provide a drowsiness estimation device capable of estimating the drowsiness level of a vehicle occupant from information other than the shape of eyes.
  • the drowsiness estimation device includes an image acquisition unit that acquires an image of a vehicle occupant, a face part detection unit that detects each part of the occupant's face based on the occupant's image, and a occupant's face part.
  • the AVA part temperature acquisition part that acquires the temperature of the arteriovenous anastomosis part
  • the reference temperature acquisition part that acquires the temperature of a specific part other than the arteriovenous anastomosis part of the occupant's face part as the reference temperature
  • the occupant It is provided with a drowsiness estimation unit that estimates the drowsiness of the occupant based on the difference between the temperature of the arteriovenous anastomosis portion of the face and the reference temperature.
  • the drowsiness of the occupant can be estimated based on the difference between the temperature of the arteriovenous anastomosis portion of the occupant's face and the reference temperature. Therefore, even when there are individual differences in the shape of the eyes or when it is difficult to detect the shape of the eyes, the degree of drowsiness can be estimated with high accuracy.
  • FIG. 1 It is a block diagram which shows the structure of the drowsiness estimation apparatus which concerns on Embodiment 1.
  • FIG. 2 It is a flowchart which shows the operation of the drowsiness estimation apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the modification example of the drowsiness estimation apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the modification example of the drowsiness estimation apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the hardware configuration example of the drowsiness estimation apparatus.
  • FIG. 2 shows the structure of the drowsiness estimation apparatus which concerns on Embodiment 2.
  • FIG. 1 is a block diagram showing a configuration of the drowsiness estimation device 10 according to the first embodiment.
  • the drowsiness estimation device 10 is mounted on the vehicle.
  • the drowsiness estimation device 10 is not limited to the one permanently installed in the vehicle, and may be built in a portable device that can be brought into the vehicle, such as a mobile phone, a smartphone, or a portable navigation device. Further, a part or all of the drowsiness estimation device 10 may be built on a server installed outside the vehicle and capable of communicating with the vehicle.
  • the drowsiness estimation device 10 is connected to the camera 21, the temperature sensor 22, and the warning device 23 provided in the vehicle.
  • the camera 21 photographs the inside of the vehicle and is installed at a position where the face of the occupant of the vehicle can be photographed.
  • the camera 21 is a wide-angle camera having a shooting range capable of shooting the faces of occupants in all seats of the vehicle.
  • the photographing range of the camera 21 may be at least wide enough to photograph the driver's seat.
  • the temperature sensor 22 is a non-contact type temperature sensor, and is installed at a position where the temperature of the face of a vehicle occupant can be measured.
  • the temperature sensor 22 can measure the faces of occupants in all seats of the vehicle.
  • the temperature sensor 22 may at least measure the temperature of the driver's face.
  • the drowsiness estimation device 10 refers to a portion (hereinafter referred to as "arteriovenous anastomoses" or “AVA”) in which the occupant's face is arteriovenous anastomoses (AVA). ) Is detected, the drowsiness of the occupant is estimated based on the temperature of the arteriovenous anastomosis portion measured by the temperature sensor 22, and the estimation result is output.
  • arteriovenous anastomoses arteriovenous anastomoses
  • AVA arteriovenous anastomosis part
  • AVA is a slightly thick blood vessel that directly connects the arteries and veins before branching into capillaries, and is mainly the ends of the limbs (palms, soles, pads of the toes) and part of the face (ears). , Nose, limbs, lips).
  • AVA plays a role of thermoregulation, and basically functions to carry heat to the end of the body where heat is easily taken away (a lot of heat is dissipated).
  • AVA contracts, reducing the blood flow to the end to prevent the body temperature from dropping, and giving priority to maintaining the temperature of the central part of the body necessary for life support. Therefore, the temperature change at the site where AVA is present is more remarkable than at other sites.
  • AVA is under the sympathetic innervation of the autonomic nervous system consisting of sympathetic nerves and parasympathetic nerves. Therefore, for example, when a person is feeling tension or stress, the sympathetic nerve becomes active, so that the blood flow of AVA decreases, and the temperature of the AVA portion drops. On the contrary, when a person is relaxing or feeling drowsy, the parasympathetic nerve becomes active, so that the blood flow of AVA increases and the temperature of the AVA portion rises.
  • the temperature of the AVA part of the occupant is due to moderate tension caused by the driving operation of the vehicle and the feeling of speed. It tends to be lower than other parts, and when the occupant feels drowsy, the temperature of the AVA part of the occupant tends to be higher than that of other parts.
  • the drowsiness estimation device 10 uses this characteristic to estimate the drowsiness level of the occupant.
  • the drowsiness estimation device 10 estimates the drowsiness level of all the occupants photographed by the camera 21. In this case, the drowsiness estimation device 10 outputs information on the seat position of each occupant together with the estimation result of the drowsiness degree of each occupant. That is, the drowsiness estimation device 10 outputs information such as which seat the occupant estimated to have a high degree of drowsiness is in and which seat the occupant estimated to have a low degree of drowsiness is in.
  • the warning device 23 issues an alarm to the inside of the vehicle according to the drowsiness of the occupant estimated by the drowsiness estimation device 10, and includes a speaker that issues a warning sound and a warning message, a display that displays an alarm screen, and the like.
  • the warning device 23 issues a warning when it is estimated that the occupant (driver) in the driver's seat has a high degree of drowsiness.
  • a warning may be issued even when it is estimated that the occupants other than the driver have a high degree of drowsiness.
  • the drowsiness estimation device 10 includes an image acquisition unit 11, a face part detection unit 12, an AVA unit temperature acquisition unit 13, a reference temperature acquisition unit 14, and a drowsiness estimation unit 15.
  • the image acquisition unit 11 acquires an image of the occupant's face taken by the camera 21.
  • the image acquisition unit 11 uses the face recognition technology to obtain an image of the face of each occupant from the image of the inside of the vehicle taken by the camera 21. Is extracted.
  • the face part detection unit 12 is based on the image of the occupant's face acquired by the image acquisition unit 11, and is based on each part of the occupant's face (for example, eyes (eyelids), nose, mouth (lips), ears, forehead, cheeks, etc. ) Is detected.
  • the AVA unit temperature acquisition unit 13 uses the temperature sensor 22 to measure the temperature of the AVA unit among the occupant's facial parts detected by the face region detection unit 12, and the temperature of the AVA unit measured by the temperature sensor 22. Get information.
  • the AVA unit temperature acquisition unit 13 acquires the temperature of at least one of the occupant's nose, lips, and ears.
  • AVA unit The AVA unit targeted for temperature measurement by the temperature acquisition unit 13 may include the occupant's eyelids, but if only the eyelids are targeted, the accuracy of the temperature measurement when the driver is wearing sunglasses or the like. Will decrease, and the same problem as in Patent Document 1 described above will occur. Therefore, the temperature measurement target preferably includes at least one of the occupant's nose, lips, and ears.
  • the reference temperature acquisition unit 14 uses the temperature sensor 22 to measure the temperature of a specific part other than the AVA part of the occupant's face part detected by the face part detection unit 12, and the identification measured by the temperature sensor 22. Acquire the temperature of the part as the reference temperature.
  • the specific portion targeted for temperature measurement by the reference temperature acquisition unit 14 is preferably a portion having a larger area than the AVA unit so that the temperature is stable and the temperature can be measured with high accuracy.
  • the reference temperature acquisition unit 14 acquires the temperature of the occupant's forehead or cheek as the reference temperature.
  • the drowsiness estimation unit 15 determines the degree of drowsiness of the occupant based on the difference between the temperature of the AVA unit of the occupant's face acquired by the AVA unit temperature acquisition unit 13 and the reference temperature of the occupant acquired by the reference temperature acquisition unit 14. presume.
  • the drowsiness estimation unit 15 determines whether or not the occupant is drowsy (high or low degree of drowsiness) by determining whether or not the value of ⁇ T of the occupant exceeds a predetermined threshold value.
  • the threshold value for determining the presence or absence of drowsiness may be a fixed value, but since it is considered that there are individual differences in the value of ⁇ T in the normal state of not feeling drowsiness, the user of the drowsiness estimation device 10 adjusts the threshold value. You may be able to do it.
  • the threshold value for determining the presence or absence of drowsiness may be set to a different value for each occupant.
  • the image of the occupant's face and the threshold value for the occupant can be registered in advance in the drowsiness estimation device 10, and the drowsiness estimation unit 15 identifies each occupant in the vehicle from the image taken by the camera 21 for each occupant. May use different thresholds for.
  • the threshold value for each occupant may be automatically set based on the history of the past ⁇ T of the occupant. For example, a value obtained by adding a certain margin to the average value of the past ⁇ T is set as the threshold value. May be done.
  • the drowsiness degree of the occupant can be estimated based on the difference between the temperature of the AVA portion of the occupant's face and the reference temperature. Therefore, even when there are individual differences in the shape of the eyes or when it is difficult to detect the shape of the eyes, the degree of drowsiness can be estimated with high accuracy.
  • FIG. 2 is a flowchart showing the operation of the drowsiness estimation device 10 according to the first embodiment.
  • the operation of the drowsiness estimation device 10 of the first embodiment will be described with reference to FIG.
  • the image acquisition unit 11 first acquires an image of the occupant's face taken by the camera 21 (step S101).
  • the image taken by the camera 21 includes only the image of the face of one occupant.
  • the camera 21 is a wide-angle camera as in the present embodiment, images of the faces of a plurality of occupants may be acquired in step S101. In that case, the following processes of steps S102 to S107 are performed on the images of the faces of the respective occupants.
  • the face part detection unit 12 detects each part of the occupant's face based on the image of the occupant's face acquired by the image acquisition unit 11 (step S102). At this time, the face portion detecting unit 12 confirms whether or not the AVA portion of the occupant's face can be detected (step S103), and if it cannot be detected (NO in step S103), returns to step S101.
  • the face part detection unit 12 can detect the AVA part of the occupant's face (YES in step S103)
  • the AVA part temperature acquisition unit 13 acquires the temperature of the AVA part from the temperature sensor 22 (step S104).
  • the reference temperature acquisition unit 14 acquires the temperature of a specific portion other than the AVA unit from the temperature sensor 22 as the reference temperature (step S105).
  • the drowsiness estimation unit 15 determines the drowsiness of the occupant based on the difference between the temperature of the AVA unit of the occupant's face acquired by the AVA unit temperature acquisition unit 13 and the reference temperature of the occupant acquired by the reference temperature acquisition unit 14.
  • the temperature is estimated (step S106), and the estimation result is output to the warning device 23 (step S107).
  • the warning device 23 issues a warning according to the estimation result of the drowsiness of the occupant.
  • the drowsiness estimation device 10 repeatedly executes the above flow.
  • the flow may be executed all the time after the drowsiness estimation device 10 is activated (after the vehicle ignition is turned on), or may be executed only while the vehicle is running (while the vehicle is stopped). It may not be executed).
  • the flow is always executed, the drowsiness of the occupants is estimated before the vehicle starts moving, which can contribute to the improvement of the safety of the vehicle.
  • it is not very necessary to estimate the drowsiness of the occupant while the vehicle is stopped so that the flow is executed only while the vehicle is running so that the processing load of the drowsiness estimation device 10 is executed. And the power consumption may be reduced.
  • the drowsiness estimation unit 15 outputs the estimation result of the drowsiness degree of the occupant to the warning device 23, but the output destination is not limited to the warning device 23, and any device can be used. Good.
  • the estimation result of the drowsiness of the occupant by the drowsiness estimation unit 15 may be input to the automatic driving control device 24 which is an ECU (Electronic Control Unit) that automatically drives the vehicle.
  • ECU Electronic Control Unit
  • the automatic driving control device 24 may automatically evacuate the vehicle to a safe place (for example, a wide shoulder or a parking area) and stop the vehicle. ..
  • the estimation result of the drowsiness of the occupant by the drowsiness estimation unit 15 is input to the audio device (not shown) of the vehicle, and when the drowsiness of the occupant other than the driver becomes high, the volume of the audio device is lowered. , It is considered as one of the modified examples that the sleep of the occupant is not disturbed.
  • the drowsiness estimation device 10 estimates the drowsiness degree of the occupant based on the temperature of the AVA portion of the occupant's face, but as described above, the palm also corresponds to the AVA portion. Therefore, as shown in FIG. 4, the palm temperature sensor 22a for measuring the temperature of the occupant's palm is connected to the drowsiness estimation device 10, so that the AVA unit temperature acquisition unit 13 can also acquire the temperature of the occupant's palm to estimate drowsiness.
  • the unit 15 may estimate the degree of drowsiness by taking into account not only the difference between the temperature of the AVA portion of the occupant's face and the reference temperature but also the difference between the temperature of the palm and the reference temperature.
  • the accuracy of estimating the drowsiness of the occupant can be improved. If a contact-type temperature sensor incorporated in the steering wheel of the vehicle is used as the palm temperature sensor 22a, it is possible to measure the temperature of the palm of the driver of the vehicle.
  • FIG. 1 are diagrams showing an example of the hardware configuration of the drowsiness estimation device 10, respectively.
  • Each function of the component of the drowsiness estimation device 10 shown in FIG. 1 is realized by, for example, the processing circuit 50 shown in FIG. That is, the drowsiness estimation device 10 acquires an image of the occupant of the vehicle, detects each part of the occupant's face based on the occupant's image, and determines the temperature of the arteriovenous anastomosis part of the occupant's face.
  • the processing circuit 50 may be dedicated hardware, or may be a processor (Central Processing Unit (CPU), processing unit, arithmetic unit, microprocessor, microprocessor, etc.) that executes a program stored in the memory. It may be configured by using a DSP (also called a Digital Signal Processor).
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the processing circuit 50 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). GateArray), or a combination of these, etc.
  • the functions of the components of the drowsiness estimation device 10 may be realized by individual processing circuits, or these functions may be collectively realized by one processing circuit.
  • FIG. 6 shows an example of the hardware configuration of the drowsiness estimation device 10 when the processing circuit 50 is configured by using the processor 51 that executes the program.
  • the function of the component of the drowsiness estimation device 10 is realized by software (software, firmware, or a combination of software and firmware).
  • the software or the like is described as a program and stored in the memory 52.
  • the processor 51 realizes the functions of each part by reading and executing the program stored in the memory 52. That is, the drowsiness estimation device 10 has a process of acquiring an image of the occupant of the vehicle when executed by the processor 51, a process of detecting each part of the occupant's face based on the image of the occupant, and a process of detecting the occupant's face.
  • the process of acquiring the temperature of the arteriovenous anastomosis part of the face part includes a process of estimating the drowsiness of the occupant based on the difference between the temperature of the anastomotic site and the reference temperature, and a memory 52 for storing a program to be executed as a result.
  • this program causes the computer to execute the procedure or method of operation of the components of the drowsiness estimation device 10.
  • the memory 52 is a non-volatile or non-volatile memory such as a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a flash memory, an EPROM (ErasableProgrammableReadOnlyMemory), or an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory). Volatile semiconductor memory, HDD (HardDiskDrive), magnetic disk, flexible disk, optical disk, compact disk, minidisk, DVD (DigitalVersatileDisc) and its drive device, etc., or any storage medium used in the future. You may.
  • HDD HardDiskDrive
  • magnetic disk magnetic disk
  • flexible disk flexible disk
  • optical disk compact disk
  • minidisk DVD
  • DVD DigitalVersatileDisc
  • the present invention is not limited to this, and a configuration in which a part of the components of the drowsiness estimation device 10 is realized by dedicated hardware and another part of the components is realized by software or the like may be used.
  • the function is realized by the processing circuit 50 as dedicated hardware, and for some other components, the processing circuit 50 as the processor 51 is stored in the memory 52. It is possible to realize the function by reading and executing it.
  • the drowsiness estimation device 10 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.
  • FIG. 7 is a block diagram showing the configuration of the drowsiness estimation device 10 according to the second embodiment.
  • the configuration of the drowsiness estimation device 10 of FIG. 7 is obtained by adding the AVA unit exposure degree calculation unit 16 to the configuration of FIG. Others are basically the same as those in FIG. 1, so only the differences from the drowsiness estimation device 10 of FIG. 1 will be described here.
  • the AVA unit exposure degree calculation unit 16 calculates the exposure degree of the AVA unit of the occupant's face detected by the face portion detection unit 12 based on the occupant image acquired by the image acquisition unit 11. For example, a state in which the AVA portion is completely covered with the occupant's hair, sunglasses, a mask, etc. can be defined as a state of 0% exposure, and a state in which the entire AVA portion is exposed can be defined as a state of 100% exposure. ..
  • the drowsiness estimation unit 15 of the second embodiment estimates the drowsiness of the occupant based on the difference between the temperature of the AVA unit whose exposure degree is equal to or higher than a predetermined threshold value and the reference temperature. That is, the drowsiness estimation unit 15 estimates the drowsiness degree without using the temperature information of the AVA unit having a low degree of exposure. Since it is considered that the measurement accuracy of the temperature of the AVA portion having a low degree of exposure is low, it is possible to prevent a decrease in the estimation accuracy of the drowsiness degree by not using the temperature of the AVA portion having a low degree of exposure.
  • FIG. 8 is a flowchart showing the operation of the drowsiness estimation device 10 according to the second embodiment.
  • the operation of the drowsiness estimation device 10 of the second embodiment will be described with reference to FIG.
  • the image acquisition unit 11 first acquires an image of the occupant's face taken by the camera 21 (step S201). Again, it is assumed that the image taken by the camera 21 includes only the image of the face of one occupant. When the image includes images of the faces of a plurality of occupants, the following processes of steps S202 to S208 are performed on the images of the faces of the respective occupants.
  • the face part detection unit 12 detects each part of the occupant's face based on the image of the occupant's face acquired by the image acquisition unit 11 (step S202). At this time, the face portion detecting unit 12 confirms whether or not the AVA portion of the occupant's face can be detected (step S203), and if it cannot be detected (NO in step S203), returns to step S201.
  • the AVA part temperature acquisition unit 13 acquires the temperature of the AVA part from the temperature sensor 22 (step S204). Further, the reference temperature acquisition unit 14 acquires the temperature of a specific portion other than the AVA unit from the temperature sensor 22 as the reference temperature (step S205). Further, the AVA unit exposure degree calculation unit 16 calculates the exposure degree of the AVA unit of the occupant's face based on the image of the occupant acquired by the image acquisition unit 11 (step S206).
  • the drowsiness estimation unit 15 determines the temperature of the AVA unit whose exposure degree is equal to or higher than the threshold value among the temperatures of the AVA unit of the occupant's face acquired by the AVA unit temperature acquisition unit 13 and the temperature of the occupant acquired by the reference temperature acquisition unit 14.
  • the drowsiness of the occupant is estimated based on the difference from the reference temperature (step S207), and the estimation result is output to the warning device 23 (step S208).
  • the warning device 23 issues a warning according to the estimation result of the drowsiness of the occupant.
  • the process in which the AVA unit exposure calculation unit 16 calculates the exposure degree of the AVA unit is the process in which the AVA unit temperature acquisition unit 13 acquires the temperature of the AVA unit (step S204). It is done after, but the order may be reversed. That is, the process of calculating the degree of exposure of the AVA unit by the AVA unit exposure degree calculation unit 16 may be performed first, and then the process of acquiring the temperature of the AVA unit by the AVA unit temperature acquisition unit 13 may be performed. In that case, the AVA unit temperature acquisition unit 13 does not need to acquire the temperature of the AVA unit whose degree of exposure is smaller than the threshold value.
  • the output destination of the estimation result of the drowsiness of the occupant by the drowsiness estimation device 10 is not limited to the warning device 23, and as in the modification of the first embodiment, for example, the automatic operation control device 24 (FIG. 3). ) Or audio equipment. Further, as in the modified example of FIG. 4, the drowsiness of the occupant may be estimated in consideration of the difference between the temperature of the occupant's palm and the reference temperature.
  • FIG. 9 is a block diagram showing the configuration of the drowsiness estimation device 10 according to the third embodiment.
  • the configuration of the drowsiness estimation device 10 of FIG. 9 is obtained by adding the opening degree calculation unit 17 to the configuration of FIG. Others are basically the same as those in FIG. 1, so only the differences from the drowsiness estimation device 10 of FIG. 1 will be described here.
  • the opening degree calculation unit 17 calculates the opening degree, which is the opening degree of the occupant's mouth, based on the image of the occupant acquired by the image acquisition unit 11.
  • the degree of opening can be defined as, for example, the distance between the upper lip and the lower lip of the occupant.
  • the drowsiness estimation unit 15 of the third embodiment estimates the drowsiness of the occupant based on the difference between the temperature of the AVA unit other than the lips and the reference temperature when the opening degree of the occupant is equal to or higher than a predetermined threshold value. To do. That is, the drowsiness estimation unit 15 estimates the drowsiness degree without using the information on the temperature of the lips when the occupant has his mouth open. When the occupant has his mouth open, it is difficult to accurately detect the lip area from the facial image, and it is thought that the measurement accuracy of the lip temperature will decrease. It is possible to prevent a decrease in the estimation accuracy of.
  • FIG. 10 is a flowchart showing the operation of the drowsiness estimation device 10 according to the third embodiment.
  • the operation of the drowsiness estimation device 10 of the third embodiment will be described with reference to FIG.
  • the image acquisition unit 11 first acquires an image of the occupant's face taken by the camera 21 (step S301). Again, it is assumed that the image taken by the camera 21 includes only the image of the face of one occupant. When the image includes images of the faces of a plurality of occupants, the following processes of steps S302 to S310 are performed on the images of the faces of the respective occupants.
  • the face part detection unit 12 detects each part of the occupant's face based on the image of the occupant's face acquired by the image acquisition unit 11 (step S302). At this time, the face portion detecting unit 12 confirms whether or not the AVA portion of the occupant's face can be detected (step S303), and if it cannot be detected (NO in step S303), returns to step S301.
  • the AVA part temperature acquisition unit 13 acquires the temperature of the AVA part from the temperature sensor 22 (step S304). Further, the reference temperature acquisition unit 14 acquires the temperature of a specific portion other than the AVA unit from the temperature sensor 22 as the reference temperature (step S305). Further, the opening degree calculation unit 17 calculates the opening degree of the occupant based on the image of the occupant acquired by the image acquisition unit 11 (step S306).
  • the drowsiness estimation unit 15 determines whether or not the occupant's opening degree calculated by the opening degree calculation unit 17 is smaller than the threshold value (step S307). If the degree of opening is smaller than the threshold value (YES in step S307), the drowsiness estimation unit 15 is the AVA portion (including the lips) of the occupant's face acquired by the AVA unit temperature acquisition unit 13 as in the first embodiment. The drowsiness of the occupant is estimated based on the difference between the temperature and the reference temperature of the occupant acquired by the reference temperature acquisition unit 14 (step S308).
  • the drowsiness estimation unit 15 is the temperature of the AVA portion other than the lips among the temperatures of the AVA portion of the occupant's face acquired by the AVA unit temperature acquisition unit 13. , The drowsiness of the occupant is estimated based on the difference from the reference temperature of the occupant acquired by the reference temperature acquisition unit 14 (step S309).
  • the drowsiness estimation unit 15 outputs the estimation result of the drowsiness of the occupant in step S308 or step S309 to the warning device 23 (step S310).
  • the warning device 23 issues a warning according to the estimation result of the drowsiness of the occupant.
  • the drowsiness estimation device 10 repeatedly executes the above flow.
  • the process of calculating the opening degree of the occupant by the opening degree calculation unit 17 is performed after the process of the AVA unit temperature acquisition unit 13 acquiring the temperature of the AVA unit (step S304).
  • the order may be reversed. That is, the processing in which the opening degree calculation unit 17 calculates the opening degree of the occupant may be performed first, and then the processing in which the AVA unit temperature acquisition unit 13 acquires the temperature of the AVA unit may be performed. In that case, the AVA unit temperature acquisition unit 13 does not need to acquire the lip temperature when the opening degree of the occupant is equal to or greater than the threshold value.
  • the output destination of the estimation result of the drowsiness of the occupant by the drowsiness estimation device 10 is not limited to the warning device 23, and as in the modification of the first embodiment, for example, the automatic operation control device 24 (FIG. 3). ) Or audio equipment. Further, as in the modified example of FIG. 4, the drowsiness of the occupant may be estimated in consideration of the difference between the temperature of the occupant's palm and the reference temperature.
  • FIG. 11 is a block diagram showing the configuration of the drowsiness estimation device 10 according to the fourth embodiment.
  • the configuration of the drowsiness estimation device 10 of FIG. 11 is obtained by adding the eye closing time calculation unit 18 to the configuration of FIG. Others are basically the same as those in FIG. 1, so only the differences from the drowsiness estimation device 10 of FIG. 1 will be described here.
  • the eye closing time calculation unit 18 calculates the eye closing time, which is the length of time that the occupant's eyes are closed, based on the image of the occupant's face acquired by the image acquisition unit 11.
  • the eye closing time may be the duration of the eye closing state or the ratio of the eye closing time per unit time (referred to as "PERCLOS").
  • the eye closing time calculation unit 18 calculates the degree of eye opening (eye opening degree) of the occupant from the image of the occupant's face, and sets the state in which the degree of eye opening is equal to or less than a predetermined threshold value as the eye closing state. By detecting it, the eye closure time is calculated.
  • the method for calculating the degree of eye opening (or degree of closing) is not particularly limited, and for example, the method shown in Patent Document 1 above may be used.
  • the eye closing time calculation unit 18 calculates the eye closing time of each of the plurality of occupants.
  • the drowsiness estimation unit 15 of the fourth embodiment estimates the drowsiness level of the occupant in consideration of not only the difference between the temperature of the AVA unit and the reference temperature but also the closing time of the occupant's eyes. Since the eye closing time tends to be longer as the degree of drowsiness increases, the drowsiness estimation unit 15 estimates that the longer the occupant's eye closing time, the higher the degree of drowsiness of the occupant. In this way, by combining the estimation of the drowsiness level based on the temperature of the AVA section and the estimation of the drowsiness level based on the closing time, the estimation accuracy of the drowsiness level of the occupant can be improved.
  • FIG. 12 is a flowchart showing the operation of the drowsiness estimation device 10 according to the fourth embodiment.
  • the operation of the drowsiness estimation device 10 of the fourth embodiment will be described with reference to FIG.
  • the image acquisition unit 11 first acquires an image of the occupant's face taken by the camera 21 (step S401). Again, it is assumed that the image taken by the camera 21 includes only the image of the face of one occupant. When the image includes images of the faces of a plurality of occupants, the following processes of steps S402 to S408 are performed on the images of the faces of the respective occupants.
  • the face part detection unit 12 detects each part of the occupant's face based on the image of the occupant's face acquired by the image acquisition unit 11 (step S402). At this time, the face portion detecting unit 12 confirms whether or not the AVA portion of the occupant's face can be detected (step S403), and if it cannot be detected (NO in step S403), returns to step S401.
  • the face part detection unit 12 can detect the AVA part of the occupant's face (YES in step S403)
  • the AVA part temperature acquisition unit 13 acquires the temperature of the AVA part from the temperature sensor 22 (step S404).
  • the reference temperature acquisition unit 14 acquires the temperature of a specific portion other than the AVA unit from the temperature sensor 22 as the reference temperature (step S405).
  • the eye closing time calculation unit 18 calculates the occupant's eye closing time based on the occupant's image acquired by the image acquisition unit 11 (step S406).
  • the drowsiness estimation unit 15 determines the difference between the temperature of the AVA unit of the occupant's face acquired by the AVA unit temperature acquisition unit 13 and the reference temperature of the occupant acquired by the reference temperature acquisition unit 14, and the eye closing time calculation unit. Based on the occupant's eye closing time calculated by 18, the occupant's drowsiness is estimated (step S407), and the estimation result is output to the warning device 23 (step S408).
  • the warning device 23 issues a warning according to the estimation result of the drowsiness of the occupant.
  • the drowsiness estimation device 10 repeatedly executes the above flow.
  • the output destination of the estimation result of the drowsiness of the occupant by the drowsiness estimation device 10 is not limited to the warning device 23, and as in the modification of the first embodiment, for example, the automatic operation control device 24 (FIG. 3). ) Or audio equipment. Further, as in the modified example of FIG. 4, the drowsiness of the occupant may be estimated in consideration of the difference between the temperature of the occupant's palm and the reference temperature.
  • the fifth embodiment shows an example in which the drowsiness estimation device 10 shown in the first embodiment is applied to an automatic driving support device that supports automatic driving of a vehicle.
  • the definition of the automation level (autonomous driving level) of the automatic driving of a car will be explained.
  • SAE Society of Automotive Engineers
  • J3016 September 2016
  • JASO TP1804 December 2018
  • the automatic driving level of the automatic driving system is defined as follows. Has been done.
  • Level 0 no driving automation: driver performs some or all dynamic driving tasks
  • Level 1 driving assistance
  • Level 2 partial driving automation: The system performs both vertical and lateral vehicle motion control subtasks in a limited area
  • Level 3 conditional driving automation: the system performs all dynamic driving tasks in a limited area
  • Level 4 advanced operation automation: The system responds to all dynamic operation tasks and when it is difficult to continue operation.
  • Level 5 (fully automated operation): The system executes an unlimited number of responses to all dynamic operation tasks and when it is difficult to continue operation (that is, not within the limited area). Means all operational and tactical functions (excluding strategic functions such as itinerary planning and waypoint selection) that must be performed in real time when operating a vehicle in road traffic.
  • a "limited area” is a specific condition (geographical constraint, road surface constraint, environmental constraint, traffic constraint, speed constraint, temporal constraint) designed to operate the system or its function. (Including restrictions, etc.).
  • FIG. 13 is a block diagram showing the configuration of the automatic driving support device 30 according to the fifth embodiment.
  • elements that function in the same manner as those shown in FIG. 1 are designated by the same reference numerals as those in FIG. 1, and their description thereof will be omitted here.
  • the automatic driving support device 30 is connected to the camera 21, the temperature sensor 22, the automatic driving control device 24, and the notification device 25.
  • the automatic driving control device 24 is an ECU that automatically drives a vehicle, and corresponds to the above-mentioned "system". In the present embodiment, the automatic operation control device 24 shall perform at least level 3 automatic operation.
  • the notification device 25 notifies the occupants of the vehicle, and includes a speaker that emits a notification sound and a voice of a notification message, a display that displays a notification screen, and the like.
  • the automatic driving support device 30 includes a drowsiness estimation device 10 and an occupant selection unit 31.
  • the drowsiness estimation device 10 estimates the drowsiness of the occupants of the vehicle in the same manner as described in the first embodiment, and outputs the estimation result to the occupant selection unit 31.
  • the occupant selection unit 31 selects an occupant (an occupant to be a driver) to intervene in the driving of the vehicle in response to an intervention request from the automatic driving support device 30.
  • the intervention request is input from the automatic driving support device 30 to the occupant selection unit 31 when the automatic driving support device 30 is executing the level 3 automatic driving and it becomes difficult to continue the automatic driving.
  • the occupant selection unit 31 confirms the estimation result of the drowsiness level of the occupant by the drowsiness estimation device 10, and puts the occupant estimated to have a low drowsiness level into driving the vehicle. Select as the occupant to intervene.
  • the selection result by the occupant selection unit 31 is input to the notification device 25.
  • the notification device 25 notifies the occupant selected by the occupant selection unit 31 to instruct the occupant to intervene in the driving of the vehicle.
  • the driving authority of the vehicle can be transferred to that occupant without stopping the vehicle.
  • the automatic driving control device 24 stops the vehicle in a safe place, the selected occupant moves to the driver's seat, and then the occupant drives. All you have to do is transfer the authority.
  • the occupant selection unit 31 may select any of them, but may preferentially select the occupant in the driver's seat.
  • the automatic driving support device 30 of the fifth embodiment supports the so-called handover process in which the automatic driving support device 30 hands over the driving authority to the occupant, and the driving authority is transferred to the occupant with a high degree of drowsiness. Can be prevented.
  • the drowsiness estimation device 10 shown in the first embodiment is applied to the automatic driving support device for supporting the automatic driving of the vehicle is shown, but the drowsiness estimation shown in the second to fourth embodiments is shown. Needless to say, the device 10 is also applicable to the automatic driving support device.
  • 10 drowsiness estimation device 11 image acquisition unit, 12 face part detection unit, 13 AVA unit temperature acquisition unit, 14 reference temperature acquisition unit, 15 drowsiness estimation unit, 16 AVA unit exposure degree calculation unit, 17 opening degree calculation unit, 18 eye closure Time calculation unit, 21 camera, 22 temperature sensor, 22a palm temperature sensor, 23 warning device, 24 automatic operation control device, 25 notification device, 50 processing circuit, 51 processor, 52 memory.

Abstract

眠気推定装置（１０）において、画像取得部（１１）は、車両の乗員を撮影した画像を取得する。顔部位検出部（１２）は、画像取得部（１１）が撮影した乗員の画像に基づいて乗員の顔の各部位を検出する。ＡＶＡ部温度取得部（１３）は、顔部位検出部（１２）が検出した乗員の顔の部位のうちの動静脈吻合部の温度を取得する。基準温度取得部（１４）は、顔部位検出部（１２）が検出した乗員の顔の部位のうちの動静脈吻合部以外の特定部位の温度を基準温度として取得する。眠気推定部（１５）は、ＡＶＡ部温度取得部（１３）が取得した乗員の顔の動静脈吻合部の温度と基準温度取得部（１４）が取得した基準温度との差に基づいて、乗員の眠気度を推定する。

Description

眠気推定装置および眠気推定方法
　本開示は車両の乗員の眠気度を推定する技術に関するものである。
　車載カメラで撮影した運転者の顔の画像から求めた開眼度（目の開度、すなわち目の開き具合）に基づいて、運転者の眠気度を推定する眠気推定装置が知られている（例えば特許文献１）。ここで、眠気度が高いことは覚醒度が低いことを意味し、眠気度が低いことは覚醒度が高いことを意味する。
特開２０１９－６３６３号公報
　特許文献１のように目の開眼度（または閉眼度）に基づいて運転者の眠気度を推定する技術では、運転者の目の形状の情報が用いられるため、目の形状に個人差がある場合や、例えば運転者が透過性の低いサングラスを掛けているときなど、目の形状の検出が困難な場合に、眠気度の推定精度が低下する問題がある。
　本開示は以上のような課題を解決するためになされたものであり、目の形状以外の情報から車両の乗員の眠気度を推定可能な眠気推定装置を提供することを目的とする。
　本開示に係る眠気推定装置は、車両の乗員を撮影した画像を取得する画像取得部と、乗員の画像に基づいて乗員の顔の各部位を検出する顔部位検出部と、乗員の顔の部位のうちの動静脈吻合部の温度を取得するＡＶＡ部温度取得部と、乗員の顔の部位のうちの動静脈吻合部以外の特定部位の温度を基準温度として取得する基準温度取得部と、乗員の顔の動静脈吻合部の温度と基準温度との差に基づいて、乗員の眠気度を推定する眠気推定部とを備えるものである。
　本開示によれば、乗員の顔の動静脈吻合部の温度と基準温度との差に基づいて、乗員の眠気度を推定することができる。よって、目の形状に個人差がある場合や、目の形状の検出が困難な場合でも、眠気度の推定を高い精度で行うことができる。
　本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る眠気推定装置の構成を示すブロック図である。 実施の形態１に係る眠気推定装置の動作を示すフローチャートである。 実施の形態１に係る眠気推定装置の変更例を示すブロック図である。 実施の形態１に係る眠気推定装置の変更例を示すブロック図である。 眠気推定装置のハードウェア構成例を示す図である。 眠気推定装置のハードウェア構成例を示す図である。 実施の形態２に係る眠気推定装置の構成を示すブロック図である。 実施の形態２に係る眠気推定装置の動作を示すフローチャートである。 実施の形態３に係る眠気推定装置の構成を示すブロック図である。 実施の形態３に係る眠気推定装置の動作を示すフローチャートである。 実施の形態４に係る眠気推定装置の構成を示すブロック図である。 実施の形態４に係る眠気推定装置の動作を示すフローチャートである。 実施の形態５に係る自動運転支援装置の構成を示すブロック図である。
　＜実施の形態１＞
　図１は、実施の形態１に係る眠気推定装置１０の構成を示すブロック図である。本実施の形態では、眠気推定装置１０は車両に搭載されているものと仮定する。ただし、眠気推定装置１０は、車両に常設されるものに限られず、例えば、携帯電話やスマートフォン、ポーダブルナビゲーション装置など、車両に持ち込み可能な携帯型のデバイスに構築されていてもよい。また、眠気推定装置１０の一部または全部が、車両の外部に設置され車両との通信が可能なサーバー上に構築されていてもよい。
　図１のように、眠気推定装置１０は、車両に配備されたカメラ２１、温度センサ２２および警告装置２３と接続されている。
　カメラ２１は、車内を撮影するものであり、車両の乗員の顔を撮影可能な位置に設置されている。本実施の形態では、カメラ２１は、車両の全座席の乗員の顔を撮影できるだけの撮影範囲を持つ広角カメラであるものとする。ただし、例えば眠気推定装置１０が運転席の乗員（運転者）の眠気度のみを推定すればよい場合は、カメラ２１の撮影範囲は少なくとも運転席を撮影できる広さでよい。
　温度センサ２２は、非接触型の温度センサであり、車両の乗員の顔の温度を測定可能な位置に設置されている。本実施の形態では、温度センサ２２は、車両の全座席の乗員の顔を測定できるものとする。ただし、例えば眠気推定装置１０が運転席の乗員（運転者）の眠気度のみを推定すればよい場合は、温度センサ２２は少なくとも運転者の顔の温度を測定できればよい。
　眠気推定装置１０は、カメラ２１が撮影した乗員の顔の画像から、乗員の顔の動静脈吻合（Arteriovenous anastomoses：ＡＶＡ）が存在する部位（以下、「動静脈吻合部」または「ＡＶＡ部」という）を検出し、温度センサ２２によって測定された動静脈吻合部の温度に基づいて乗員の眠気度を推定し、その推定結果を出力する。
　ここで、動静脈吻合部（ＡＶＡ部）について説明する。ＡＶＡは、毛細血管に枝分かれする前の動脈と静脈とを直接つなぐやや太い血管のことであり、主に手足の末端（手のひら、足の裏、手足の指の腹）および顔の一部（耳、鼻、瞼、唇）に存在する。ＡＶＡは、通常の血管とは違い体温調節の役割を担っており、基本的には、熱を奪われやすい（放熱の多い）体の末端部に熱を運ぶよう機能する。ただし、気温が下がるとＡＶＡは収縮し、末端部への血流を減らすことで体温の低下を防ぎ、生命維持に必要な体の中心部の温度を保つことを優先する。そのため、ＡＶＡが存在する部位の温度変化は、その他の部位に比べて顕著である。
　ＡＶＡは、交感神経と副交感神経とから成る自律神経系の交感神経支配下にある。そのため、例えば、人が緊張やストレスを感じているときには、交感神経が活発になるためＡＶＡの血流量が減少し、ＡＶＡ部の温度は下降する。逆に、人がリラックスしているときや眠気を感じているときは、副交感神経が活発になるためＡＶＡの血流量が増加し、ＡＶＡ部の温度は上昇する。
　このＡＶＡの特性を車両の乗員に当てはめると、車両の乗員が眠気を感じていない通常の状態では、車両の運転操作や速度感などに起因する適度な緊張から、当該乗員のＡＶＡ部の温度は他の部位に比べて低くなる傾向となり、乗員が眠気を感じている状態では、当該乗員のＡＶＡ部の温度は他の部位に比べて高く傾向となる。眠気推定装置１０は、この特性を利用して、乗員の眠気度を推定する。
　なお、本実施の形態では、眠気推定装置１０は、カメラ２１で撮影された全乗員の眠気度を推定するものとする。この場合、眠気推定装置１０は、各乗員の眠気度の推定結果とともに、各乗員の座席の位置の情報を出力する。すなわち、眠気推定装置１０からは、眠気度が高いと推定される乗員がどの座席にいて、眠気度が低いと推定される乗員がどの座席にいるのか、といった情報が出力される。
　警告装置２３は、眠気推定装置１０が推定した乗員の眠気度に応じて、車内へ警報を発するものであり、警告音や警告メッセージを発するスピーカ、警報画面を表示するディスプレイなどを備えている。本実施の形態では、警告装置２３は、運転席の乗員（運転者）の眠気度が高いと推定された場合に警告を発するものとする。ただし、警告装置２３の動作内容に制約はなく、例えば、運転者以外の乗員の眠気度が高いと推定された場合にも、警告を発してもよい。
　図１のように、眠気推定装置１０は、画像取得部１１、顔部位検出部１２、ＡＶＡ部温度取得部１３、基準温度取得部１４および眠気推定部１５を備えている。
　画像取得部１１は、カメラ２１が撮影した乗員の顔の画像を取得する。本実施の形態では、カメラ２１は車両の全座席を撮影できる広角カメラであるため、画像取得部１１は、顔認識技術を用いて、カメラ２１が撮影した車内の画像から乗員ごとの顔の画像を抽出する。
　顔部位検出部１２は、画像取得部１１が取得した乗員の顔の画像に基づいて、乗員の顔の各部位（例えば、目（瞼）、鼻、口（唇）、耳、額、頬など）を検出する。
　ＡＶＡ部温度取得部１３は、温度センサ２２を用いて、顔部位検出部１２が検出した乗員の顔の部位のうちのＡＶＡ部の温度を測定し、温度センサ２２が測定したＡＶＡ部の温度の情報を取得する。本実施の形態では、ＡＶＡ部温度取得部１３は、乗員の鼻、唇、耳のうちの少なくとも１つの温度を取得するものとする。ＡＶＡ部温度取得部１３が温度測定の対象とするＡＶＡ部に、乗員の瞼を含ませてもよいが、瞼のみを対象とすると、運転者がサングラスを掛けているときなどに温度測定の精度が低下し、上記した特許文献１と同様の問題が生じる。そのため、温度測定の対象には、乗員の鼻、唇、耳のうちの少なくとも１つが含まれることが好ましい。
　基準温度取得部１４は、温度センサ２２を用いて、顔部位検出部１２が検出した乗員の顔の部位のうちのＡＶＡ部以外の特定部位の温度を測定し、温度センサ２２により測定された特定部位の温度を基準温度として取得する。基準温度取得部１４が温度測定の対象とする特定部位は、ＡＶＡ部よりも温度が安定し、且つ、温度測定を高い精度で行える程度に広い面積を有する部位であることが好ましい。本実施の形態では、基準温度取得部１４は、基準温度として、乗員の額または頬の温度を取得するものとする。
　眠気推定部１５は、ＡＶＡ部温度取得部１３が取得した乗員の顔のＡＶＡ部の温度と、基準温度取得部１４が取得した当該乗員の基準温度との差に基づいて、乗員の眠気度を推定する。基準温度取得部１４が取得した乗員の基準温度をＴ１、ＡＶＡ部温度取得部１３が取得した当該乗員のＡＶＡ部の温度をＴ２すると、眠気推定部１５は、その差分ΔＴ＝Ｔ２－Ｔ１の時間的な変化を観察し、ΔＴの値が増加傾向にあると当該乗員の眠気度が上がっていると推定し、ΔＴの値が減少傾向にあると当該乗員の眠気度が下がっている推定する。
　本実施の形態では、眠気推定部１５は、乗員のΔＴの値が予め定められた閾値を超えたか否かを判断することで、当該乗員の眠気の有無（眠気度の高低）を判断するものとする。眠気の有無を判断するための閾値は固定値でもよいが、眠気を感じていない通常の状態におけるΔＴの値には個人差があると考えられるため、眠気推定装置１０のユーザが当該閾値を調整できるようにしてもよい。
　また、眠気の有無を判断するための閾値は、乗員ごとに異なる値が設定されてもよい。例えば、眠気推定装置１０に予め乗員の顔の画像とその乗員用の閾値とを登録可能にし、眠気推定部１５が、カメラ２１が撮影した画像から車内の個々の乗員を識別して、乗員ごとに異なる閾値を使用するようにしてもよい。さらに、各乗員用の閾値は、その乗員の過去のΔＴの履歴に基づいて自動的に設定されてもよく、例えば、過去のΔＴの平均値に一定のマージンを加えた値などを閾値として設定されてもよい。
　このように、実施の形態１に係る眠気推定装置１０によれば、乗員の顔のＡＶＡ部の温度と基準温度との差に基づいて、乗員の眠気度を推定することができる。よって、目の形状に個人差がある場合や、目の形状の検出が困難な場合でも、眠気度の推定を高い精度で行うことができる。
　図２は、実施の形態１に係る眠気推定装置１０の動作を示すフローチャートである。以下、図２を参照しつつ、実施の形態１の眠気推定装置１０の動作を説明する。
　車両のイグニッションがオンになり、眠気推定装置１０が起動すると、まず、画像取得部１１が、カメラ２１が撮影した乗員の顔の画像を取得する（ステップＳ１０１）。ここでは説明の簡単のため、カメラ２１が撮影した画像には、１人の乗員の顔の画像だけが含まれているものと仮定する。ただし、本実施の形態のようにカメラ２１が広角カメラであれば、ステップＳ１０１で複数の乗員の顔の画像が取得されることもある。その場合、以下のステップＳ１０２～Ｓ１０７の処理は、それぞれの乗員の顔の画像に対して実施される。
　次に、顔部位検出部１２が、画像取得部１１が取得した乗員の顔の画像に基づいて、乗員の顔の各部位を検出する（ステップＳ１０２）。このとき、顔部位検出部１２は、乗員の顔のＡＶＡ部を検出できたか否かを確認し（ステップＳ１０３）、検出できなかったときは（ステップＳ１０３でＮＯ）、ステップＳ１０１へ戻る。
　顔部位検出部１２が乗員の顔のＡＶＡ部を検出できていれば（ステップＳ１０３でＹＥＳ）、ＡＶＡ部温度取得部１３が、温度センサ２２から当該ＡＶＡ部の温度を取得する（ステップＳ１０４）。また、基準温度取得部１４が、温度センサ２２からＡＶＡ部以外の特定部位の温度を、基準温度として取得する（ステップＳ１０５）。
　そして、眠気推定部１５が、ＡＶＡ部温度取得部１３が取得した乗員の顔のＡＶＡ部の温度と、基準温度取得部１４が取得した当該乗員の基準温度との差に基づいて、乗員の眠気度を推定し（ステップＳ１０６）、その推定結果を警告装置２３へ出力する（ステップＳ１０７）。警告装置２３からは、乗員の眠気度の推定結果に応じた警告が発せられる。
　眠気推定装置１０は、以上のフローを繰り返し実行する。なお、当該フローは、例えば、眠気推定装置１０の起動後（車両のイグニッションがオンになった後）、常時実行されてもよいし、車両の走行中のみに実行される（車両の停止中は実行されない）ようにしてもよい。当該フローが常時実行される場合、車両が動き出す前から乗員の眠気度が推定されるため、車両の安全性の向上に寄与できる。ただし、一般的には、車両の停止中に乗員の眠気度を推定する必要性はあまり高くないため、当該フローが車両の走行中のみに実行されるようにして、眠気推定装置１０の処理負荷の低減および消費電力の低減を図ってもよい。
　［変更例］
　実施の形態１の眠気推定装置１０では、眠気推定部１５が、乗員の眠気度の推定結果を警告装置２３に出力していたが、その出力先は警告装置２３に限られず、任意の装置でよい。例えば、図３のように、眠気推定部１５による乗員の眠気度の推定結果が、車両の自動運転を行うＥＣＵ（Electronic Control Unit）である自動運転制御装置２４にも入力されてもよい。
　図３の自動運転制御装置２４の動作としては、例えば、眠気推定部１５が運転席の乗員（運転者）の眠気度が高いと判断し、警告装置２３が警告を発したにもかかわらず、運転者の眠気度が下がらなかった場合に、自動運転制御装置２４が、車両を自動的に安全な場所（例えば、幅の広い路肩やパーキングエリアなど）へ退避させて停止させるといった動作が考えられる。
　また、眠気推定部１５による乗員の眠気度の推定結果を、車両のオーディオ機器（不図示）に入力し、運転者以外の乗員の眠気度が高くなったときに、オーディオ機器の音量を下げて、当該乗員の睡眠を妨げないようにすることも変更例の１つとして考えられる。
　また、実施の形態１では、眠気推定装置１０が、乗員の顔のＡＶＡ部の温度に基づいて乗員の眠気度を推定したが、上述したように、手のひらもＡＶＡ部に該当する。そのため、図４のように乗員の手のひらの温度を測定する手のひら用温度センサ２２ａを眠気推定装置１０に接続し、ＡＶＡ部温度取得部１３が、乗員の手のひらの温度も取得できるようにし、眠気推定部１５が、乗員の顔のＡＶＡ部の温度と基準温度との差だけでなく、手のひらの温度と基準温度との差も加味して、眠気度を推定するようにしてもよい。これにより、乗員の眠気度の推定精度を向上させることができる。手のひら用温度センサ２２ａとして、車両のハンドルに組み込まれた接触型の温度センサを用いれば、車両の運転者の手のひらの温度を測定することが可能である。
　［ハードウェア構成例］
　図５および図６は、それぞれ眠気推定装置１０のハードウェア構成の例を示す図である。図１に示した眠気推定装置１０の構成要素の各機能は、例えば図５に示す処理回路５０により実現される。すなわち、眠気推定装置１０は、車両の乗員を撮影した画像を取得し、乗員の画像に基づいて乗員の顔の各部位を検出し、乗員の顔の部位のうちの動静脈吻合部の温度を取得し、乗員の顔の部位のうちの動静脈吻合部以外の特定部位の温度を基準温度として取得し、乗員の顔の動静脈吻合部の温度と基準温度との差に基づいて、乗員の眠気度を推定する、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。
　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。眠気推定装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
　図６は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における眠気推定装置１０のハードウェア構成の例を示している。この場合、眠気推定装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、眠気推定装置１０は、プロセッサ５１により実行されるときに、車両の乗員を撮影した画像を取得する処理と、乗員の画像に基づいて乗員の顔の各部位を検出する処理と、乗員の顔の部位のうちの動静脈吻合部の温度を取得する処理と、乗員の顔の部位のうちの動静脈吻合部以外の特定部位の温度を基準温度として取得する処理と、乗員の顔の動静脈吻合部の温度と基準温度との差に基づいて、乗員の眠気度を推定する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、眠気推定装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、眠気推定装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、眠気推定装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、眠気推定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　＜実施の形態２＞
　図７は、実施の形態２に係る眠気推定装置１０の構成を示すブロック図である。図７の眠気推定装置１０の構成は、図１の構成に対し、ＡＶＡ部露出度算出部１６を追加したものである。その他は、基本的に図１と同様であるため、ここでは図１の眠気推定装置１０と相違する点のみ説明する。
　ＡＶＡ部露出度算出部１６は、顔部位検出部１２により検出された乗員の顔のＡＶＡ部の露出度を、画像取得部１１が取得した乗員の画像に基づいて算出する。例えば、乗員の髪の毛や、サングラス、マスクなどによりＡＶＡ部が完全に覆われた状態を露出度０％の状態、ＡＶＡ部の全体が露出している状態を露出度１００％の状態などと定義できる。
　実施の形態２の眠気推定部１５は、露出度が予め定められた閾値以上のＡＶＡ部の温度と基準温度との差に基づいて、乗員の眠気度を推定する。つまり、眠気推定部１５は、露出度の低いＡＶＡ部の温度の情報を用いずに、眠気度の推定を行う。露出度の低いＡＶＡ部の温度の測定精度は低いと考えられるため、露出度の低いＡＶＡ部の温度を用いないことで、眠気度の推定精度の低下を防止できる。
　図８は、実施の形態２に係る眠気推定装置１０の動作を示すフローチャートである。以下、図８を参照しつつ、実施の形態２の眠気推定装置１０の動作を説明する。
　眠気推定装置１０が起動すると、まず、画像取得部１１が、カメラ２１が撮影した乗員の顔の画像を取得する（ステップＳ２０１）。ここでも、カメラ２１が撮影した画像には、１人の乗員の顔の画像だけが含まれているものと仮定する。当該画像に複数の乗員の顔の画像が含まれている場合には、以下のステップＳ２０２～Ｓ２０８の処理は、それぞれの乗員の顔の画像に対して実施される。
　次に、顔部位検出部１２が、画像取得部１１が取得した乗員の顔の画像に基づいて、乗員の顔の各部位を検出する（ステップＳ２０２）。このとき、顔部位検出部１２は、乗員の顔のＡＶＡ部を検出できたか否かを確認し（ステップＳ２０３）、検出できなかったときは（ステップＳ２０３でＮＯ）、ステップＳ２０１へ戻る。
　顔部位検出部１２が乗員の顔のＡＶＡ部を検出できていれば（ステップＳ２０３でＹＥＳ）、ＡＶＡ部温度取得部１３が、温度センサ２２から当該ＡＶＡ部の温度を取得する（ステップＳ２０４）。また、基準温度取得部１４が、温度センサ２２からＡＶＡ部以外の特定部位の温度を、基準温度として取得する（ステップＳ２０５）。さらに、ＡＶＡ部露出度算出部１６が、画像取得部１１が取得した乗員の画像に基づいて、乗員の顔のＡＶＡ部の露出度を算出する（ステップＳ２０６）。
　そして、眠気推定部１５が、ＡＶＡ部温度取得部１３が取得した乗員の顔のＡＶＡ部の温度のうち露出度が閾値以上のＡＶＡ部の温度と、基準温度取得部１４が取得した当該乗員の基準温度との差に基づいて、乗員の眠気度を推定し（ステップＳ２０７）、その推定結果を警告装置２３へ出力する（ステップＳ２０８）。警告装置２３からは、乗員の眠気度の推定結果に応じた警告が発せられる。
　眠気推定装置１０は、以上のフローを繰り返し実行する。なお、図８のフローでは、ＡＶＡ部露出度算出部１６がＡＶＡ部の露出度を算出する処理（ステップＳ２０６）が、ＡＶＡ部温度取得部１３がＡＶＡ部の温度を取得する処理（ステップＳ２０４）の後に行われているが、その順番は逆でもよい。つまり、ＡＶＡ部露出度算出部１６がＡＶＡ部の露出度を算出する処理が先に行われ、その後、ＡＶＡ部温度取得部１３がＡＶＡ部の温度を取得する処理が行われてもよい。その場合、ＡＶＡ部温度取得部１３は、露出度が閾値よりも小さいＡＶＡ部の温度を取得する必要はない。
　実施の形態２においても、眠気推定装置１０による乗員の眠気度の推定結果の出力先は警告装置２３に限られず、実施の形態１の変更例と同様に、例えば自動運転制御装置２４（図３）やオーディオ機器でもよい。また、図４の変更例のように、乗員の手のひらの温度と基準温度との差を加味して、乗員の眠気度の推定が行われてもよい。
　＜実施の形態３＞
　図９は、実施の形態３に係る眠気推定装置１０の構成を示すブロック図である。図９の眠気推定装置１０の構成は、図１の構成に対し、開口度算出部１７を追加したものである。その他は、基本的に図１と同様であるため、ここでは図１の眠気推定装置１０と相違する点のみ説明する。
　開口度算出部１７は、画像取得部１１が取得した乗員の画像に基づいて、乗員の口の開度である開口度を算出する。開口度は、例えば乗員の上唇と下唇との間の距離として定義できる。
　実施の形態３の眠気推定部１５は、乗員の開口度が予め定められた閾値以上であった場合、唇以外のＡＶＡ部の温度と基準温度との差に基づいて、乗員の眠気度を推定する。つまり、眠気推定部１５は、乗員が口を開けているときは、唇の温度の情報を用いずに、眠気度の推定を行う。乗員が口を開けている状態では、顔の画像から唇の領域を正確に検出するのが難しく、唇の温度の測定精度が低下すると考えられるため、唇の温度を用いないことで、眠気度の推定精度の低下を防止できる。
　図１０は、実施の形態３に係る眠気推定装置１０の動作を示すフローチャートである。以下、図９を参照しつつ、実施の形態３の眠気推定装置１０の動作を説明する。
　眠気推定装置１０が起動すると、まず、画像取得部１１が、カメラ２１が撮影した乗員の顔の画像を取得する（ステップＳ３０１）。ここでも、カメラ２１が撮影した画像には、１人の乗員の顔の画像だけが含まれているものと仮定する。当該画像に複数の乗員の顔の画像が含まれている場合には、以下のステップＳ３０２～Ｓ３１０の処理は、それぞれの乗員の顔の画像に対して実施される。
　次に、顔部位検出部１２が、画像取得部１１が取得した乗員の顔の画像に基づいて、乗員の顔の各部位を検出する（ステップＳ３０２）。このとき、顔部位検出部１２は、乗員の顔のＡＶＡ部を検出できたか否かを確認し（ステップＳ３０３）、検出できなかったときは（ステップＳ３０３でＮＯ）、ステップＳ３０１へ戻る。
　顔部位検出部１２が乗員の顔のＡＶＡ部を検出できていれば（ステップＳ３０３でＹＥＳ）、ＡＶＡ部温度取得部１３が、温度センサ２２から当該ＡＶＡ部の温度を取得する（ステップＳ３０４）。また、基準温度取得部１４が、温度センサ２２からＡＶＡ部以外の特定部位の温度を、基準温度として取得する（ステップＳ３０５）。さらに、開口度算出部１７が、画像取得部１１が取得した乗員の画像に基づいて、乗員の開口度を算出する（ステップＳ３０６）。
　続いて、眠気推定部１５が、開口度算出部１７が算出した乗員の開口度が閾値よりも小さいか否かを判断する（ステップＳ３０７）。開口度が閾値よりも小さければ（ステップＳ３０７でＹＥＳ）、眠気推定部１５は、実施の形態１と同様に、ＡＶＡ部温度取得部１３が取得した乗員の顔のＡＶＡ部（唇を含む）の温度と、基準温度取得部１４が取得した当該乗員の基準温度との差に基づいて、乗員の眠気度を推定する（ステップＳ３０８）。また、開口度が閾値以上であれば（ステップＳ３０７でＮＯ）、眠気推定部１５は、ＡＶＡ部温度取得部１３が取得した乗員の顔のＡＶＡ部の温度のうち唇以外のＡＶＡ部の温度と、基準温度取得部１４が取得した当該乗員の基準温度との差に基づいて、乗員の眠気度を推定する（ステップＳ３０９）。眠気推定部１５は、ステップＳ３０８またはステップＳ３０９による乗員の眠気度の推定結果を警告装置２３へ出力する（ステップＳ３１０）。警告装置２３からは、乗員の眠気度の推定結果に応じた警告が発せられる。
　眠気推定装置１０は、以上のフローを繰り返し実行する。なお、図１０のフローでは、開口度算出部１７が乗員の開口度を算出する処理（ステップＳ３０６）が、ＡＶＡ部温度取得部１３がＡＶＡ部の温度を取得する処理（ステップＳ３０４）の後に行われているが、その順番は逆でもよい。つまり、開口度算出部１７が乗員の開口度を算出する処理が先に行われ、その後、ＡＶＡ部温度取得部１３がＡＶＡ部の温度を取得する処理が行われてもよい。その場合、ＡＶＡ部温度取得部１３は、乗員の開口度が閾値以上のとき唇の温度を取得する必要はない。
　実施の形態３においても、眠気推定装置１０による乗員の眠気度の推定結果の出力先は警告装置２３に限られず、実施の形態１の変更例と同様に、例えば自動運転制御装置２４（図３）やオーディオ機器でもよい。また、図４の変更例のように、乗員の手のひらの温度と基準温度との差を加味して、乗員の眠気度の推定が行われてもよい。
　＜実施の形態４＞
　図１１は、実施の形態４に係る眠気推定装置１０の構成を示すブロック図である。図１１の眠気推定装置１０の構成は、図１の構成に対し、閉眼時間算出部１８を追加したものである。その他は、基本的に図１と同様であるため、ここでは図１の眠気推定装置１０と相違する点のみ説明する。
　閉眼時間算出部１８は、画像取得部１１が取得した乗員の顔の画像に基づいて、乗員の目が閉じた時間の長さである閉眼時間を算出する。閉眼時間は、閉眼状態の継続時間でもよいし、単位時間あたりの閉眼時間の割合（「ＰＥＲＣＬＯＳ」と呼ばれる）でもよい。具体的には、閉眼時間算出部１８は、乗員の顔の画像から当該乗員の開眼度（目の開き具合）を算出し、開眼度が予め定められた閾値以下になった状態を閉眼状態として検出することで、閉眼時間を算出する。開眼度（または閉眼度）の算出方法に特に制約はなく、例えば、上記の特許文献１に示された方法を用いてもよい。なお、画像取得部１１により複数の乗員の顔の画像が取得される場合、閉眼時間算出部１８は、複数の乗員それぞれの閉眼時間を算出する。
　実施の形態４の眠気推定部１５は、ＡＶＡ部の温度と基準温度との差だけでなく、乗員の閉眼時間も考慮して、乗員の眠気度を推定する。眠気度が高くなるほど閉眼時間は長くなる傾向にあるため、眠気推定部１５は、乗員の閉眼時間が長いほど、当該乗員の眠気度が高いと推定する。このように、ＡＶＡ部の温度に基づく眠気度の推定と、閉眼時間に基づく眠気度の推定とを組み合わせることで、乗員の眠気度の推定精度を向上させることができる。
　図１２は、実施の形態４に係る眠気推定装置１０の動作を示すフローチャートである。以下、図１２を参照しつつ、実施の形態４の眠気推定装置１０の動作を説明する。
　眠気推定装置１０が起動すると、まず、画像取得部１１が、カメラ２１が撮影した乗員の顔の画像を取得する（ステップＳ４０１）。ここでも、カメラ２１が撮影した画像には、１人の乗員の顔の画像だけが含まれているものと仮定する。当該画像に複数の乗員の顔の画像が含まれている場合には、以下のステップＳ４０２～Ｓ４０８の処理は、それぞれの乗員の顔の画像に対して実施される。
　次に、顔部位検出部１２が、画像取得部１１が取得した乗員の顔の画像に基づいて、乗員の顔の各部位を検出する（ステップＳ４０２）。このとき、顔部位検出部１２は、乗員の顔のＡＶＡ部を検出できたか否かを確認し（ステップＳ４０３）、検出できなかったときは（ステップＳ４０３でＮＯ）、ステップＳ４０１へ戻る。
　顔部位検出部１２が乗員の顔のＡＶＡ部を検出できていれば（ステップＳ４０３でＹＥＳ）、ＡＶＡ部温度取得部１３が、温度センサ２２から当該ＡＶＡ部の温度を取得する（ステップＳ４０４）。また、基準温度取得部１４が、温度センサ２２からＡＶＡ部以外の特定部位の温度を、基準温度として取得する（ステップＳ４０５）。さらに、閉眼時間算出部１８が、画像取得部１１が取得した乗員の画像に基づいて、乗員の閉眼時間を算出する（ステップＳ４０６）。
　そして、眠気推定部１５が、ＡＶＡ部温度取得部１３が取得した乗員の顔のＡＶＡ部の温度と、基準温度取得部１４が取得した当該乗員の基準温度との差、および、閉眼時間算出部１８が算出した当該乗員の閉眼時間に基づいて、乗員の眠気度を推定し（ステップＳ４０７）、その推定結果を警告装置２３へ出力する（ステップＳ４０８）。警告装置２３からは、乗員の眠気度の推定結果に応じた警告が発せられる。
　眠気推定装置１０は、以上のフローを繰り返し実行する。
　実施の形態４においても、眠気推定装置１０による乗員の眠気度の推定結果の出力先は警告装置２３に限られず、実施の形態１の変更例と同様に、例えば自動運転制御装置２４（図３）やオーディオ機器でもよい。また、図４の変更例のように、乗員の手のひらの温度と基準温度との差を加味して、乗員の眠気度の推定が行われてもよい。
　＜実施の形態５＞
　実施の形態５では、実施の形態１で示した眠気推定装置１０を、車両の自動運転を支援する自動運転支援装置に適用した例を示す。
　ここで、自動車の自動運転の自動化レベル（自動運転レベル）の定義について説明する。ＳＡＥ（Society of Automotive Engineers）International のＪ３０１６（２０１６年９月）、および、その日本語参考訳であるＪＡＳＯ　ＴＰ１８００４（２０１８年２月）によると、自動運転システムの自動運転レベルは次のように定義されている。
　レベル０（運転自動化なし）：運転者が一部又は全ての動的運転タスクを実行
　レベル１（運転支援）：システムが縦方向又は横方向のいずれかの車両運動制御のサブタスクを限定領域において実行
　レベル２（部分運転自動化）：システムが縦方向及び横方向両方の車両運動制御のサブタスクを限定領域において実行
　レベル３（条件付運転自動化）：システムが全ての動的運転タスクを限定領域において実行するが、作動継続が困難な場合は、システムからの介入要求等に運転者が適切に応答
　レベル４（高度運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を限定領域において実行
　レベル５（完全運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を無制限に（すなわち限定領域内ではない）実行
　なお、「動的運転タスク」とは、道路交通において車両を操作する際にリアルタイムで行う必要がある全ての操作上及び戦術上の機能（行程計画並びに経由地の選択などの戦略上の機能は除く）をいう。また、「限定領域」とは、システム又はその機能が作動するように設計されている特定の条件（地理的制約、道路面の制約、環境的制約、交通の制約、速度上の制約、時間的な制約などを含む）をいう。
　図１３は、実施の形態５に係る自動運転支援装置３０の構成を示すブロック図である。図１３において、図１に示したものと同様に機能する要素には、図１と同一の参照符号を付しており、ここではそれらの説明は省略する。
　図１３のように、自動運転支援装置３０は、カメラ２１、温度センサ２２、自動運転制御装置２４および通知装置２５と接続されている。自動運転制御装置２４は、車両の自動運転を行うＥＣＵであり、上記の「システム」に相当する。本実施の形態では、自動運転制御装置２４は、少なくともレベル３の自動運転を行うものとする。通知装置２５は、車両の乗員に対する通知を行うものであり、通知音や通知メッセージの音声を発するスピーカ、通知画面を表示するディスプレイなどを備えている。
　また、自動運転支援装置３０は、眠気推定装置１０と、乗員選択部３１とを備えている。眠気推定装置１０は、実施の形態１で説明したものと同様に車両の乗員の眠気度を推定し、その推定結果を乗員選択部３１へ出力する。
　乗員選択部３１は、自動運転支援装置３０からの介入要求に応じて、車両の運転に介入させる乗員（運転者にする乗員）を選択する。介入要求は、自動運転支援装置３０がレベル３の自動運転を実行しており、自動運転の継続が困難になった場合に、自動運転支援装置３０から乗員選択部３１へ入力される。乗員選択部３１は、自動運転支援装置３０からの介入要求を受けると、眠気推定装置１０による乗員の眠気度の推定結果を確認し、眠気度が低いと推定された乗員を、車両の運転に介入させる乗員として選択する。
　乗員選択部３１による選択結果は、通知装置２５に入力される。通知装置２５は、乗員選択部３１が選択した乗員に対し、車両の運転へ介入を指示するための通知を行う。
　乗員選択部３１が運転席にいる乗員を選択した場合は、車両を停止させることなく、車両の運転権限をその乗員へ移行することができる。しかし、乗員選択部３１が運転席以外の乗員を選択した場合は、自動運転制御装置２４が車両を安全な場所に停止させ、選択された乗員が運転席へ移動してから、その乗員に運転権限を移行すればよい。眠気度が高いと推定された乗員が複数いる場合、乗員選択部３１はそのうちの誰を選択してもよいが、運転席にいる乗員を優先的に選択するようにしてもよい。
　このように、実施の形態５の自動運転支援装置３０は、自動運転支援装置３０が乗員へ運転権限を引き渡す、いわゆるハンドオーバーの処理を支援し、眠気度の高い乗員に運転権限が移行されることを防止することができる。
　実施の形態５では、実施の形態１で示した眠気推定装置１０を、車両の自動運転を支援する自動運転支援装置に適用した例を示したが、実施の形態２～４で示した眠気推定装置１０も、自動運転支援装置に適用可能であることは言うまでもない。
　なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
　本開示は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、例示されていない無数の変更例が想定され得るものと解される。
　１０　眠気推定装置、１１　画像取得部、１２　顔部位検出部、１３　ＡＶＡ部温度取得部、１４　基準温度取得部、１５　眠気推定部、１６　ＡＶＡ部露出度算出部、１７　開口度算出部、１８　閉眼時間算出部、２１　カメラ、２２　温度センサ、２２ａ　手のひら用温度センサ、２３　警告装置、２４　自動運転制御装置、２５　通知装置、５０　処理回路、５１　プロセッサ、５２　メモリ。

Claims (8)

  1. 　車両の乗員を撮影した画像を取得する画像取得部と、
    　前記乗員の画像に基づいて前記乗員の顔の各部位を検出する顔部位検出部と、
    　前記乗員の顔の部位のうちの動静脈吻合部の温度を取得するＡＶＡ部温度取得部と、
    　前記乗員の顔の部位のうちの前記動静脈吻合部以外の特定部位の温度を基準温度として取得する基準温度取得部と、
    　前記乗員の顔の前記動静脈吻合部の温度と前記基準温度との差に基づいて、前記乗員の眠気度を推定する眠気推定部と、
    を備える眠気推定装置。
  2. 　前記ＡＶＡ部温度取得部は、前記乗員の顔の前記動静脈吻合部の温度として、前記乗員の鼻、唇、耳のうちの少なくとも１つの温度を取得する、
    請求項１に記載の眠気推定装置。
  3. 　前記基準温度取得部は、前記基準温度として、乗員の額または頬の温度を取得する、
    請求項１に記載の眠気推定装置。
  4. 　前記乗員の画像に基づいて前記乗員の顔の前記動静脈吻合部の露出度を算出するＡＶＡ部露出度算出部をさらに備え、
    　前記眠気推定部は、前記露出度が予め定められた閾値以上の前記動静脈吻合部の温度と前記基準温度との差に基づいて、前記乗員の眠気度を推定する、
    請求項１に記載の眠気推定装置。
  5. 　前記乗員の画像に基づいて前記乗員の口の開度である開口度を算出する開口度算出部をさらに備え、
    　前記眠気推定部は、前記乗員の前記開口度が予め定められた閾値以上のときは、前記乗員の顔の唇以外の前記動静脈吻合部の温度と前記基準温度との差に基づいて、前記乗員の眠気度を推定する、
    請求項１に記載の眠気推定装置。
  6. 　前記ＡＶＡ部温度取得部は、さらに前記乗員の手のひらの温度を取得し、
    　前記眠気推定部は、前記乗員の手のひらの温度と前記基準温度との差を加味して、前記乗員の眠気度を推定する、
    請求項１に記載の眠気推定装置。
  7. 　前記乗員の画像に基づいて前記乗員の閉眼時間を算出する閉眼時間算出部をさらに備え、
    　前記眠気推定部は、前記乗員の閉眼時間を加味して、前記乗員の眠気度を推定する、
    請求項１に記載の眠気推定装置。
  8. 　眠気推定装置により行われる眠気推定方法であって、
    　前記眠気推定装置の画像取得部が、車両の乗員を撮影した画像を取得し、
    　前記眠気推定装置の顔部位検出部が、前記乗員の画像に基づいて前記乗員の顔の各部位を検出し、
    　前記眠気推定装置のＡＶＡ部温度取得部が、前記乗員の顔の部位のうちの動静脈吻合部の温度を取得し、
    　前記眠気推定装置の基準温度取得部が、前記乗員の顔の部位のうちの前記動静脈吻合部以外の特定部位の温度を基準温度として取得し、
    　前記眠気推定装置の眠気推定部が、前記乗員の顔の前記動静脈吻合部の温度と前記基準温度との差に基づいて、前記乗員の眠気度を推定する、
    眠気推定方法。
PCT/JP2020/000248 2020-01-08 2020-01-08 眠気推定装置および眠気推定方法 WO2021140583A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000248 WO2021140583A1 (ja) 2020-01-08 2020-01-08 眠気推定装置および眠気推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000248 WO2021140583A1 (ja) 2020-01-08 2020-01-08 眠気推定装置および眠気推定方法

Publications (1)

Publication Number Publication Date
WO2021140583A1 true WO2021140583A1 (ja) 2021-07-15

Family

ID=76788830

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000248 WO2021140583A1 (ja) 2020-01-08 2020-01-08 眠気推定装置および眠気推定方法

Country Status (1)

Country Link
WO (1) WO2021140583A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264785A (ja) * 2006-03-27 2007-10-11 Toyota Motor Corp 眠気検出装置
JP2008212298A (ja) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010155072A (ja) * 2008-12-01 2010-07-15 Fujitsu Ltd 覚醒度判定装置および覚醒度判定方法
WO2014054293A1 (ja) * 2012-10-05 2014-04-10 パナソニック株式会社 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体
WO2014141454A1 (ja) * 2013-03-15 2014-09-18 株式会社日立製作所 眠気度判定装置
JP2017012730A (ja) * 2015-06-29 2017-01-19 パナソニックＩｐマネジメント株式会社 人状態推定方法、及び、人状態推定システム
JP2019036018A (ja) * 2017-08-10 2019-03-07 株式会社Ｓｕｂａｒｕ 運転者支援装置及び運転者支援方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264785A (ja) * 2006-03-27 2007-10-11 Toyota Motor Corp 眠気検出装置
JP2008212298A (ja) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
JP2010155072A (ja) * 2008-12-01 2010-07-15 Fujitsu Ltd 覚醒度判定装置および覚醒度判定方法
WO2014054293A1 (ja) * 2012-10-05 2014-04-10 パナソニック株式会社 眠気推定装置、眠気推定方法、コンピュータ読み取り可能な非一時的な記録媒体
WO2014141454A1 (ja) * 2013-03-15 2014-09-18 株式会社日立製作所 眠気度判定装置
JP2017012730A (ja) * 2015-06-29 2017-01-19 パナソニックＩｐマネジメント株式会社 人状態推定方法、及び、人状態推定システム
JP2019036018A (ja) * 2017-08-10 2019-03-07 株式会社Ｓｕｂａｒｕ 運転者支援装置及び運転者支援方法

Similar Documents

Publication Publication Date Title
JP6699831B2 (ja) 運転意識推定装置
JP2017136922A (ja) 車両制御装置、車載機器制御装置、地図情報生成装置、車両制御方法及び車載機器制御方法
CN107303907B (zh) 用于确定驾驶者的睡意的装置和方法
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP2009015548A (ja) 運転支援装置および方法、並びに、プログラム
JP2008512153A (ja) 個人の警戒レベルの指示を生成するための方法及び装置
KR20180115986A (ko) 자율주행 제어 장치 및 방법, 그리고 차량 시스템
JP7031072B2 (ja) 認知機能推定装置、学習装置、および、認知機能推定方法
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US10384602B1 (en) Systems and methods for detecting and reducing distracted driving
US11866060B1 (en) Routing or driving systems and methods based on sleep pattern information
JP2017024711A (ja) 乗員の視線方向を予測する方法および装置
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP7109649B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
WO2021140583A1 (ja) 眠気推定装置および眠気推定方法
JP7267467B2 (ja) 注意方向判定装置および注意方向判定方法
JP7175381B2 (ja) 覚醒度推定装置、自動運転支援装置および覚醒度推定方法
JP4882420B2 (ja) 覚醒度推定装置及び方法
KR101890355B1 (ko) 차량 단말 장치
WO2020075215A1 (ja) 視線検出装置および視線検出方法
JP2021018665A (ja) 運転支援装置
JP2021028192A (ja) 運転支援装置及び運転支援方法
JP7450715B2 (ja) 運転不能判定装置および運転不能判定方法
JP2020090224A (ja) 車両暴走防止方法及び車両暴走防止装置
JP7466776B2 (ja) 報知制御装置、情報配信サーバ、および報知制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912450

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 20912450

Country of ref document: EP

Kind code of ref document: A1