WO2023017595A1 - 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム - Google Patents

乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム Download PDF

Info

Publication number
WO2023017595A1
WO2023017595A1 PCT/JP2021/029705 JP2021029705W WO2023017595A1 WO 2023017595 A1 WO2023017595 A1 WO 2023017595A1 JP 2021029705 W JP2021029705 W JP 2021029705W WO 2023017595 A1 WO2023017595 A1 WO 2023017595A1
Authority
WO
WIPO (PCT)
Prior art keywords
occupant
eye
state
line
determination
Prior art date
Application number
PCT/JP2021/029705
Other languages
English (en)
French (fr)
Inventor
和謙 中村
太郎 熊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2023541180A priority Critical patent/JP7378681B2/ja
Priority to DE112021007703.1T priority patent/DE112021007703T5/de
Priority to PCT/JP2021/029705 priority patent/WO2023017595A1/ja
Publication of WO2023017595A1 publication Critical patent/WO2023017595A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an occupant state determination device, an occupant state determination method, and an occupant state determination system that determine the state of a vehicle occupant.
  • the degree of eye opening of the occupant is determined on the captured image, and based on the determined degree of eye opening, the eye opening of the occupant is determined.
  • the driver's line of sight can be obtained from the image captured by the main camera.
  • an inattentive driving detection device that makes a clear distinction between inattentive driving and non-inattentive driving, as compared with a detection method based on the line of sight that is used (for example, Patent Literature 1).
  • the occupant In the conventional technology for determining whether the occupant is in the eye-open state or the eye-closed state based on the captured image, in order to determine that the occupant is in the eye-open state when the occupant actually has their eyes open, the occupant It is necessary to determine that the degree of eye opening of the eye is a certain size or more.
  • an imaging device that images an occupant is often installed near or above the front of the occupant. Therefore, when the occupant directs his or her line of sight downward from the line of sight in the normal riding state, the occupant is in a downcast state as viewed from the imaging device. That is, on the captured image, the upper eyelid and lower eyelid of the occupant appear closer together.
  • the degree of eye opening based on the captured image is determined to be small. That is, based on the captured image, there is a possibility that the occupant's downcast eyes state is determined to be the eye-closed state. In the prior art, the possibility that the occupant may be in the downcast state as seen from the imaging device is not taken into consideration, and there is the problem that the actual closed-eyes state and the downcast-eyed state cannot be distinguished.
  • the present disclosure has been made in order to solve the above-described problems. It is an object of the present invention to provide an occupant state determination device that determines whether there is a passenger.
  • An occupant state determination device includes an image acquisition unit that acquires a captured image in which the face of an occupant in the vehicle is captured by an imaging device provided in the vehicle, and based on the captured image acquired by the image acquisition unit.
  • an eye opening degree determination unit that determines the degree of eye openness of the occupant
  • a line of sight detection unit that detects the line of sight of the occupant based on the captured image acquired by the image acquisition unit; When it is less than the threshold, if the degree of eye opening becomes less than the first threshold after the line-of-sight direction of the occupant detected by the line-of-sight detection unit is directed downward, it is determined that the occupant is in the downcast state and the line of sight is determined.
  • an eye state determination unit for determining that the occupant is in a closed eye state unless the degree of eye opening becomes less than a first threshold value after the line of sight direction of the occupant detected by the detection unit has turned downward. be.
  • the present disclosure it is possible to determine whether the occupant is in the closed-eyes state or the downcast state, taking into consideration the case where the occupant's line of sight is directed downward from the line of sight in the normal riding state.
  • FIG. 1 is a diagram showing a configuration example of an occupant state determination device according to Embodiment 1;
  • FIG. FIG. 2 is a diagram for explaining an installation example of an imaging device and an example of how the imaging device captures an image of an occupant in Embodiment 1;
  • FIG. 4 is another diagram for explaining an example of installation of the imaging device and an example of how the imaging device captures an image of an occupant in the first embodiment;
  • 4A and 4B show an example of the state of an occupant on a captured image in which the imaging device captures the face of the occupant in a normal riding state, and an example of the state of the occupant in the face of the occupant when viewed from the imaging device when the occupant looks down in the first embodiment.
  • FIG. 4 is a flowchart for explaining the operation of the occupant state determination device according to Embodiment 1;
  • FIG. 6 is a flow chart explaining details of a bind-off eye determination process by an eye state determination unit in step ST7 of FIG. 5;
  • FIG. 6 is a flowchart for explaining details of inattentiveness determination processing by an inattentiveness determination unit in step ST9 of FIG. 5;
  • FIG. 6 is a flow chart illustrating details of dozing determination processing by a dozing determination unit in step ST10 of FIG. 5;
  • FIG. 9A and 9B are diagrams showing an example of the hardware configuration of the occupant state determination device according to Embodiment 1.
  • FIG. 1 is a flow chart explaining details of a bind-off eye determination process by an eye state determination unit in step ST7 of FIG. 5;
  • FIG. 6 is a flowchart for explaining details of inattentiveness determination processing by an inattentiveness determination unit in step ST9 of FIG. 5;
  • FIG. 6
  • Embodiment 1 determines the state of the occupant based on an image of the face of the occupant present in the vehicle (hereinafter referred to as "captured image"). Specifically, the occupant state determination apparatus according to Embodiment 1 determines whether the occupant is in an eye-open state in which the occupant has his/her eyes open, or in the case where the occupant is not in the eye-open state, the occupant's eyes are closed. It is determined whether the eyes should be closed or the gaze should be directed downward.
  • the "downcast eyes state” is assumed to be a state in which the passenger's line of sight is directed downward from the line of sight in the normal riding state.
  • the occupant's eyes are not closed when the occupant is actually in the downcast state.
  • the occupant's upper eyelid and lower eyelid are captured closer to each other on the captured image, and when the occupant's eye openness is determined from the captured image, the eye openness is determined to be small.
  • the occupant state determination device is characterized in that, in such a case, it is determined whether the occupant is in the closed-eyes state or in the downcast state. Furthermore, the occupant state determination device according to Embodiment 1 can determine whether the occupant is looking aside and is in a dozing state. In the first embodiment, inattentiveness determined by the occupant state determination device is assumed to be downward looking inattentive due to downward gaze. In Embodiment 1 below, an occupant present in the vehicle is referred to as an occupant in the vehicle, or simply as an "occupant.” In the first embodiment, the occupant whose state is to be determined by the occupant state determination device is assumed to be the driver of the vehicle.
  • FIG. 1 is a diagram showing a configuration example of an occupant state determination device 1 according to Embodiment 1.
  • the occupant state determination device 1 is mounted on a vehicle 30 (see FIG. 2 described later) and connected to the imaging device 2 .
  • An occupant condition determination system 100 is configured by the occupant condition determination device 1 and the imaging device 2 .
  • the imaging device 2 is mounted on the vehicle 30 and installed so as to be capable of imaging at least a range in which the face of the passenger 4 (see FIG. 2, which will be described later) should exist.
  • the imaging device 2 is provided near the front of the head of the occupant 4 or above the front of the head of the occupant 4 in the vehicle 30 .
  • the imaging device 2 is mounted in a vehicle 30 by a center visor 31 (see FIG. 2 described later) of an instrument panel (hereinafter referred to as "instrument panel") 32 (see FIG. 2 described later). Assuming it is on top. Note that this is only an example, and the imaging device 2 may be provided above a headrest 33a (see FIG. 2 described later) or above a steering wheel in the vehicle 30, for example. Above the headrest 33a or above the steering wheel in the vehicle 30 is, for example, the overhead console, the inner mirror 36 (see FIG. 3 described later), the upper part of the windshield W (see FIG. 3 described later), or the ceiling. is. Above the handle also includes, for example, pillars. In FIG.
  • the imaging device 2 is assumed to be shared with a so-called DMS (Driver Monitoring System) installed for the purpose of monitoring the interior of the vehicle, for example.
  • the imaging device 2 is a visible light camera or an infrared camera.
  • the imaging device 2 outputs the captured image to the occupant condition determination device 1 .
  • the image may be a still image or a moving image.
  • the occupant state determination device 1 determines the degree of eye opening of the occupant 4 based on the captured image acquired from the imaging device 2, and the determined degree of eye opening of the occupant 4 is less than a preset threshold (hereinafter referred to as "first threshold").
  • first threshold a preset threshold
  • the eye-opening degree of the occupant 4 is less than the first threshold, which occurs after the line of sight of the occupant 4 is directed downward and the face direction of the occupant 4 is directed downward. It is determined whether the occupant 4 is in the downcast state or in the closed-eye state depending on whether or not there is.
  • the occupant state determination device 1 determines that the occupant 4 is in the eye open state when the degree of eye opening of the occupant 4 is equal to or greater than the first threshold.
  • the first threshold value is set in advance to a value at which it can be determined that the occupant 4 has his or her eyes fully open on the captured image.
  • the occupant state determination device 1 determines whether the occupant 4 is looking aside based on whether the occupant 4 is determined to be in the downcast state or the occupant 4 is in the closed-eye state, or whether the occupant 4 is dozing off. It is determined whether or not it is in the state. Details of the occupant state determination device 1 will be described later.
  • FIGS. 2 and 3 are diagrams for explaining an installation example of the imaging device 2 and an example of how the imaging device 2 images the passenger 4 in the first embodiment.
  • FIG. 2 shows the interior of the vehicle when the driver's seat 33 of the vehicle 30 is viewed from the side of the vehicle 30 .
  • FIG. 3 shows the inside of the vehicle when the windshield W and the instrument panel 32 are viewed from the inside of the vehicle in the traveling direction of the vehicle 30 .
  • the imaging device 2 provided on the upper part of the center visor 31 of the instrument panel 32 images the face of the occupant 4 from near the front of the occupant's 4 head position.
  • the instrument panel 32 is provided with a display 34 and an air conditioner operating section 35 .
  • the display 34 is, for example, a display device provided in a car navigation device (not shown), and displays route information, television images, or the like.
  • the air conditioner operation unit 35 is, for example, an operation panel for adjusting the air volume or temperature of the air conditioner.
  • the occupant 4 looks straight ahead. That is, the line of sight of the occupant 4 is the traveling direction of the vehicle 30 (see D1 in FIG. 2).
  • the passenger 4 may look in the direction of the display 34 in order to operate the car navigation device.
  • the occupant 4 may look in the direction of the air conditioner operation unit 35 in order to adjust the temperature of the air conditioner.
  • the line of sight of the occupant 4 moves from the traveling direction of the vehicle 30 to the direction in which the display 34 or the air conditioner operation unit 35 is provided (see D2 in FIG. 2 ).
  • the imaging device 2 captures an image of the face of the occupant 4 from near the front of the occupant 4 head position, when the occupant 4 moves the line of sight downward from the normal riding state, more specifically, the occupant 4 moves the line of sight downward from the normal riding state and the direction of the line of sight becomes lower than the imaging device 2, the state of the occupant 4 becomes a downcast state as seen from the imaging device 2. ⁇ When the occupant 4 is in a downcast state as viewed from the imaging device 2 , the upper eyelid and the lower eyelid of the occupant 4 approach each other on the captured image captured by the imaging device 2 .
  • the occupant 4 directing his or her line of sight more downward than in a normal riding state is also referred to as a "downward look.”
  • a region indicated by 500 in FIG. 3 (hereinafter referred to as a “downward viewing region”) will be described later.
  • FIG. 4A and FIG. 4B show an example of the state of the occupant 4 on the captured image in which the imaging device 2 captures the face of the occupant 4 in the normal riding state, and the state of the occupant 4 looking downward in the first embodiment.
  • 4 is a diagram showing an example of a state of an occupant 4 on a captured image in which the face of the occupant 4 is captured by the imaging device 2 when the eyes are downcast as viewed from the imaging device 2.
  • FIG. 4 is a diagram showing an example of a state of an occupant 4 on a captured image in which the face of the occupant 4 is captured by the imaging device 2 when the eyes are downcast as viewed from the imaging device 2.
  • the occupant 4 When the occupant 4 is in a normal riding state, that is, when the occupant 4 is looking at the traveling direction of the vehicle 30, in other words, the front, the occupant's 4 eyes are visible in the captured image, as in the captured image shown in FIG. 4A. It spreads open enough to spread. In this case, the degree of eye openness determined from the captured image is equal to or greater than the first threshold. On the other hand, when the occupant 4 looks downward, the eyes of the occupant 4 are fully open in the captured image, as shown in FIG. 4B, although the occupant 4 does not actually close their eyes. No, in other words, it looks like it's closed. In this case, the degree of eye openness determined from the captured image is less than the first threshold.
  • the occupant state determination device 1 As in the captured image shown in FIG. , it is determined that the occupant 4 is in the downcast state.
  • the occupant state determination device 1 according to Embodiment 1 includes an image acquisition unit 11, an eye opening degree determination unit 12, a line of sight detection unit 13, a face direction detection unit 14, a drowsiness detection unit 15, an eye state determination unit 16, and an inattentiveness determination unit 17. , doze determination unit 18 and output unit 19 .
  • the image acquisition unit 11 acquires a captured image of the face of the occupant 4 in the vehicle 30 captured by the imaging device 2 provided in the vehicle 30 .
  • the image acquisition unit 11 outputs the acquired captured image to the degree of eye opening determination unit 12 , line of sight detection unit 13 , face orientation detection unit 14 , and drowsiness detection unit 15 .
  • the degree of eye openness determination unit 12 determines the degree of eye openness of the occupant 4 based on the captured image acquired by the image acquisition unit 11 . Specifically, the eye opening degree determination unit 12 detects the upper eyelid and the lower eyelid of the occupant 4 using a known image recognition technique for the captured image. For example, in the captured image, a region in which the face of the occupant 4 may exist (hereinafter referred to as a “face detection region”) is set in advance, and the degree of eye opening determination section 12 determines a known face detection region of the captured image. Edge detection is performed to extract a feature point indicating the upper eyelid of the occupant 4 and a feature point indicating the lower eyelid.
  • face detection region a region in which the face of the occupant 4 may exist
  • the degree-of-open-eyes determination unit 12 calculates, for example, the vertical distance between the upper eyelid and the lower eyelid of the occupant 4 in the captured image (hereinafter referred to as "eyelid distance") in order from the top of the captured image, from the left. Calculate the eyelid distance. Then, the degree of eye openness determination unit 12 determines the degree of eye openness based on the ratio between the calculated maximum eyelid distance and the reference value of the degree of eye openness. That is, the unit of eye openness is percent. As the reference value of the degree of eye openness, for example, an average value of the degree of eye openness at the time of awakening of adults of general physique, which is calculated by conducting tests, is set in advance.
  • the reference value of the degree of eye opening may be, for example, the average value of the degree of eye opening of the occupant 4 during a preset time after the passenger 4 boarded the vehicle 30. It may be the average value of all eye opening degrees determined so far by the unit 12 . It should be noted that the method for determining the degree of eye opening described above is merely an example.
  • the degree of eye openness determination section 12 may determine the degree of eye openness using various known algorithms.
  • the degree-of-eye-openness determination unit 12 outputs information regarding the determination result of the degree of eye-openness of the occupant 4 (hereinafter referred to as “eye-openness information”) to the eye state determination unit 16 .
  • the degree of eye opening information is, for example, information in which the degree of eye opening of the occupant 4 is associated with the captured image acquired by the image acquisition unit 11 .
  • the line-of-sight detection unit 13 detects the line of sight of the occupant 4 based on the captured image acquired by the image acquisition unit 11 . Specifically, the line-of-sight detection unit 13 detects the line-of-sight direction of the occupant 4 based on the captured image. The line-of-sight direction of the occupant 4 is the line-of-sight direction of the occupant 4 . The line-of-sight detection unit 13 may detect the line-of-sight direction of the occupant 4 using a known image recognition technique for the captured image.
  • the line-of-sight detection unit 13 can detect the inner corners and iris of the occupant 4 on the captured image, and detect the line-of-sight direction of the occupant 4 from the positional relationship between the inner corners of the eyes and the iris. Further, for example, if the imaging device 2 is an infrared camera, the line-of-sight detection unit 13 detects the positional relationship between the pupil and the Purkinje image obtained by the reflection from the cornea when the infrared camera irradiates a near-infrared point light source. The line-of-sight direction of the occupant 4 can also be detected.
  • the line-of-sight detection unit 13 may detect the line-of-sight direction of the occupant 4 using various known algorithms.
  • the line-of-sight direction of the occupant 4 is represented by an angle with respect to a predetermined reference direction.
  • the line-of-sight direction of the occupant 4 is a line-of-sight direction that represents how many degrees the line-of-sight direction has rotated in the horizontal direction and the vertical direction from the state when the occupant 4 is looking straight ahead in the seat. expressed as an angle.
  • the line-of-sight detection unit 13 detects information about the line of sight of the occupant 4 (hereinafter referred to as "line-of-sight information"). is output to the eye state determination unit 16 .
  • the line-of-sight information is, for example, information in which information indicating the line-of-sight direction of the occupant 4 is associated with a captured image.
  • the line of sight detection unit 13 when the line of sight of the occupant 4 cannot be detected, the line of sight detection unit 13 outputs line of sight information indicating that the line of sight of the occupant 4 has not been detected to the eye condition determination unit 16 .
  • the face direction detection unit 14 detects the face direction of the occupant 4 based on the captured image acquired by the image acquisition unit 11 .
  • the face direction detection unit 14 may detect the face direction of the occupant 4 using a known image recognition technique for the captured image.
  • the face direction detection unit 14 detects the face direction of the occupant 4 by general pattern recognition based on the captured image. This is merely an example, and the face direction detection unit 14 may detect the face direction of the occupant 4 using various known algorithms.
  • the orientation of the face of the occupant 4 is represented by an angle with respect to a predetermined reference direction.
  • the face orientation of the occupant 4 represents how many degrees the occupant 4 has rotated in the horizontal direction and the vertical direction from the state when the occupant 4 is looking straight ahead in the seat. is represented by the angle of
  • the face orientation detection unit 14 outputs information regarding the detected face orientation of the occupant 4 (hereinafter referred to as “face orientation information”) to the eye condition determination unit 16 .
  • the face direction information is, for example, information in which the face direction of the occupant 4 and the captured image are associated with each other.
  • the drowsiness detection unit 15 detects the drowsiness level of the occupant 4 based on the captured image acquired by the image acquisition unit 11 .
  • the drowsiness detection unit 15 may detect the drowsiness level of the crew member 4 using a known image recognition technique for the captured image. For example, the drowsiness detection unit 15 determines the number of blinks of the occupant 4 in a preset unit time based on the captured image.
  • the drowsiness detection unit 15 detects the drowsiness level of the occupant 4 based on how many times the occupant 4 blinks within a unit time. It is determined in advance which level of drowsiness is to be set when how many times blinking is performed within a unit time.
  • the sleepiness level is set to a value that indicates that the higher the sleepiness level, the stronger the sleepiness of the passenger 4, and the lower the sleepiness level, the more wakeful the passenger 4 is.
  • the drowsiness detection unit 15 may detect the drowsiness level of the crew member 4 using various known algorithms. Here, the drowsiness detection unit 15 detects the drowsiness level of the crew member 4 based on the captured image, but this is only an example. For example, the drowsiness detection unit 15 may acquire biological information of the occupant 4 such as body temperature from a biological sensor provided in the vehicle 30 and detect the drowsiness level of the occupant 4 from the biological information.
  • the drowsiness detection unit 15 outputs information regarding the detected drowsiness level of the passenger 4 (hereinafter referred to as “drowsiness level information”) to the dozing determination unit 18 .
  • the drowsiness level information is, for example, information in which the drowsiness level of the crew member 4 and the captured image are associated with each other.
  • the eye state determination unit 16 determines that the degree of eye openness of the occupant 4 is less than the first threshold. Based on the line-of-sight direction of the occupant 4 and the face orientation of the occupant 4 detected by the face orientation detection unit 14, it is determined whether the occupant 4 is in the downcast state or the closed eye state. Specifically, when the degree of eye openness determined by the degree of eye openness determination unit 12 is less than the first threshold, the eye state determination unit 16 determines that the direction of the line of sight of the occupant 4 detected by the line of sight detection unit 13 is directed downward.
  • the eye state determination unit 16 determines that the line-of-sight direction of the occupant 4 detected by the line-of-sight detection unit 13 is downward, and the face direction of the occupant 4 detected by the face direction detection unit 14 is downward. If the degree of eye opening does not later become less than the first threshold, it is determined that the occupant 4 is in the eye-closed state.
  • the determination of whether the occupant 4 is in the downcast state or in the closed-eye state, which is performed by the eye state determination unit 16, is also referred to as "downcast eyes determination".
  • the eye state determination unit 16 determines whether or not the eye openness of the occupant 4 is less than the first threshold based on the eye openness information output from the eye openness determination unit 12 . Note that, when the degree of eye openness of the occupant 4 determined by the degree of eye openness determination unit 12 is equal to or greater than the first threshold value, the eye state determination unit 16 determines that the occupant 4 is in an open-eyed state without performing the blinded eye determination.
  • the bind-off determination process by the eye state determination unit 16 will be described in detail below.
  • the eye state determination unit 16 time-sequentially displays the degree of eye openness information output from the degree of eye openness determination unit 12, the line of sight information output from the line of sight detection unit 13, and the face direction information output from the face direction detection unit 14. It is associated and stored.
  • the information in which the degree of eye openness information, the gaze information, and the face direction information are stored in chronological order by the eye state determination unit 16 is referred to as "eye-related information".
  • the eye state determination unit 16 When determining that the degree of eye opening of the occupant 4 is less than the first threshold, the eye state determination unit 16 refers to the eye-related information to obtain the line-of-sight information of the occupant 4 before the degree of eye opening of the occupant 4 is less than the first threshold. to get Next, based on the obtained line-of-sight information of the occupant 4, the eye state determination unit 16 determines whether the direction of the line-of-sight of the occupant 4 detected by the line-of-sight detection unit 13 before it is determined that the degree of eye opening is less than the first threshold value. , the trajectory of the line-of-sight direction is calculated.
  • the eye state determination unit 16 refers to the eye-related information and acquires face orientation information of the occupant 4 before the degree of eye opening of the occupant 4 becomes less than the first threshold. Based on the obtained face orientation information of the occupant 4, the eye state determination unit 16 determines the face orientation of the occupant 4 from the face orientation of the occupant 4 detected by the face orientation detection unit 14 before it is determined that the degree of eye opening is less than the first threshold. Calculate the trajectory of the face direction.
  • the length of time for calculating the trajectory of the line-of-sight direction and the length of time for calculating the trajectory of the face orientation be the same.
  • "before it is determined that the degree of eye openness is less than the first threshold” refers to a set time before the time when the degree of eye openness is determined to be less than the first threshold. The set time can be set appropriately as described above.
  • the eye state determination unit 16 determines whether the calculated trajectory of the line-of-sight direction of the occupant 4 is downward and whether or not the calculated trajectory of the face orientation of the occupant 4 is downward. More specifically, the eye condition determining unit 16 determines whether the calculated trajectory of the line-of-sight direction of the occupant 4 is directed in the direction of the preset downward viewing region, and determines whether the calculated trajectory of the occupant's 4 face direction is directed. is directed toward the downward viewing area. The eye state determination unit 16 determines that the line-of-sight direction of the occupant 4 is downward when the locus of the line-of-sight direction of the occupant 4 is directed toward the downward viewing region.
  • the eye state determination unit 16 determines that the face direction of the occupant 4 is directed downward.
  • the downward viewing region is, for example, the region indicated by 500 in FIG. 3, and the eye condition determining section 16 stores information regarding the downward viewing region.
  • the downward viewing area is an area set below the imaging device 2 within the vehicle 30 . For example, when the line-of-sight direction of the downward-looking occupant 4 continues in the downward-looking region for a predetermined period of time, it is assumed that the occupant 4 may be looking aside. area is set.
  • the downward viewing region is set to include a region in which there is a device that can be operated by the passenger 4 below the imaging device 2, such as the display 34 of the car navigation device.
  • the downward viewing region is set in advance by the manufacturer or the like according to the installation position of the imaging device 2, but this is merely an example.
  • the eye state determination unit 16 has a function of setting the downward viewing region each time according to the positional relationship between the installation position of the imaging device 2 and the head position of the occupant 4. may Note that the eye condition determination unit 16 may estimate the head position of the occupant 4 using a known image recognition technique.
  • the installation position of the imaging device 2 is known in advance.
  • the eye state determination unit 16 determines that the occupant 4 is in the downcast state when the trajectory of the line-of-sight direction of the occupant 4 and the trajectory of the face orientation of the occupant 4 are directed downward. In other words, the eye state determination unit 16 determines that the occupant 4 is in the downcast state when the degree of eye opening of the occupant 4 is less than the first threshold while the direction of the line of sight of the occupant 4 and the orientation of the face of the occupant 4 tend to be downward. It is determined that The eye state determination unit 16 determines that the occupant 4 is in the eye-closed state when the trajectory of the line-of-sight direction of the occupant 4 and the trajectory of the face orientation of the occupant 4 do not point downward.
  • the eye state determination unit 16 determines that unless the degree of eye opening of the occupant 4 is less than the first threshold while the line-of-sight direction of the occupant 4 and the face direction of the occupant 4 tend to face downward, the occupant 4 It is determined that the eyes are closed.
  • the eye state determination unit 16 stores information (hereinafter referred to as "eye state information") indicating whether the occupant 4 has determined that the eyes are downcast, whether the occupant 4 has closed the eyes, or whether the occupant 4 has the eyes open. , looking aside determination unit 17 , doze determination unit 18 , or output unit 19 . Specifically, when the eye state determination unit 16 determines that the occupant 4 is in the bound-down state as a result of performing the blind-eyed determination, the eye state information indicating that the occupant 4 is in the bound-down state is sent to the inattentive-looking determination unit 17. Output.
  • eye state information information indicating whether the occupant 4 has determined that the eyes are downcast, whether the occupant 4 has closed the eyes, or whether the occupant 4 has the eyes open.
  • the eye state determination unit 16 determines that the occupant 4 is in the closed-eye state as a result of the down-eyed determination, the eye state determination unit 16 outputs eye state information indicating that the occupant 4 is in the closed-eye state to the doze determination unit 18 .
  • the eye state determination unit 16 determines that the occupant 4 is in the eye open state, the eye state determination unit 16 outputs eye state information indicating that the occupant 4 is in the eye open state to the output unit 19 .
  • the inattentive determination unit 17 outputs eye state information indicating that the occupant 4 is in the downcast state from the eye state determination unit 16, in other words, when the eye state determination unit 16 determines that the occupant 4 is in the downcast state. , it is determined whether or not the occupant 4 is looking aside based on whether or not a preset condition (hereinafter referred to as "condition for determination of inattentiveness") is satisfied.
  • condition for determination of inattentiveness a preset condition
  • the determination of whether or not the occupant 4 is looking aside is performed by the looking-aside determining unit 17 when the eye state information indicating that the occupant 4 is in the downcast state is output from the eye state determining unit 16. , is also called “aside judgment”.
  • condition (1) is set as the condition for inattentiveness determination.
  • the inattentive determination unit 17 determines that the occupant 4 is looking aside when the following condition (1) is satisfied.
  • ⁇ Condition (1)> The occupant's downcast eyes state continues for a preset time (hereinafter referred to as "time for judging inattentiveness") or more.
  • the inattentive determination unit 17 When eye state information indicating that the occupant 4 is in the downcast state is output from the eye state determination unit 16, the inattentive determination unit 17 counts up the time (hereinafter referred to as "time after determination of downcast eyes"). Note that the inattentive determination unit 17 stores the counted-up time after determination of downcast eyes. Then, when the counted-up post-disturbance determination time is equal to or longer than the inattentive-sight determination time, the inattentive-sight determination unit 17 determines that the occupant 4's downcast state continues for the inattentive-sight determination time or longer, and thus satisfies the inattentive-sight determination condition. judge.
  • the inattentive-looking determination unit 17 determines that the occupant 4 is looking aside. If the inattentive-looking determining unit 17 determines that the counted-up after-judgment time for looking down eyes is equal to or longer than the time for inattentive-looking determination and determines that the occupant 4 is looking aside, the inattentive-looking determination unit 17 starts counting up the time after determining the inattentive eyes, and then the occupant 4 looks down. When the state disappears, or when the engine of the vehicle 30 is turned off, the time after the blind eye determination is cleared.
  • the inattentive-looking determining unit 17 determines that the downcast state of the occupant 4 has not continued for the time for inattentive-looking determination or longer, it determines that the condition for inattentive-looking determination is not satisfied. That is, the inattentive-looking determination unit 17 determines that the occupant 4 is not looking aside.
  • the inattentive determination unit 17 determines that the occupant 4 is looking aside as a result of the inattentive determination, it outputs information to the output unit 19 that the occupant 4 is in a state of inattentive looking.
  • the doze determination unit 18 determines that the occupant 4 has the eyes closed. , based on the drowsiness level of the occupant 4 detected by the drowsiness detector 15, it is determined whether the occupant 4 is dozing off. In the first embodiment, the dozing determination unit 18 determines whether or not the occupant 4 is dozing off when the eye state determination unit 16 outputs the eye state information indicating that the occupant 4 is in a closed eye state. , is also called "drowsy determination". The dozing determination unit 18 may identify the drowsiness level of the crew member 4 from the drowsiness level information output from the drowsiness detection unit 15 .
  • the drowsiness determination unit 18 presets a state in which the drowsiness level of the occupant 4 is equal to or higher than a preset threshold value (hereinafter referred to as a “threshold value for determining drowsiness”) (hereinafter referred to as a “drowsiness state"). If it continues longer than the set time (hereinafter referred to as “drowsiness determination time”), it is determined that the occupant 4 is dozing off.
  • a preset threshold value hereinafter referred to as a "threshold value for determining drowsiness”
  • the dozing determination unit 18 outputs the eye state information indicating that the occupant 4 has closed eyes from the eye state determination unit 16, and the drowsiness level of the occupant 4 detected by the drowsiness detection unit 15 is equal to or higher than the drowsiness determination threshold. In this case, it is determined that the occupant 4 is drowsy.
  • the drowsiness determining unit 18 determines that the occupant 4 is in a state of drowsiness, it counts up the time (hereinafter referred to as "time after drowsiness determination"). Note that the dozing determination unit 18 stores the counted-up post-drowsiness determination time.
  • the dozing determination unit 18 determines that the drowsiness state of the occupant 4 has continued for the dozing determination time or longer, and the occupant 4 has fallen asleep.
  • the dozing determination unit 18 starts counting up the post-drowsiness determination time and determines whether the drowsiness of the occupant 4 is When the level is no longer equal to or greater than the threshold for drowsiness determination, when the occupant 4 is no longer in a state of closed eyes after the start of counting up the time after drowsiness determination, or when the engine of the vehicle 30 is turned off, the time after drowsiness determination clear.
  • the dozing determination unit 18 determines that the occupant 4 is dozing off as a result of the dozing determination, it outputs information to the output unit 19 that the occupant 4 is in a dozing state.
  • the output unit 19 outputs various alarms. Specifically, when the inattentive determination unit 17 outputs information indicating that the occupant 4 is in the inattentive state, the output unit 19 determines that the occupant 4 is looking aside. In this case, information (hereinafter referred to as "first warning information”) for warning the occupant 4 that he or she is careless ahead is output.
  • the output unit 19 outputs information indicating that the occupant 4 is dozing off from the dozing determining unit 18, in other words, when the dozing determining unit 18 determines that the occupant 4 is dozing off, the occupant 4 information (hereinafter referred to as "second warning information”) for warning that the user is dozing off.
  • the output unit 19 outputs the first warning information or the second warning information to an output device (not shown) mounted on the vehicle 30, for example.
  • an output device (not shown) mounted on the vehicle 30, for example.
  • the output device is, for example, the display 34 or an audio output device.
  • the display 34 displays according to the first warning information or the second warning information.
  • the display 34 displays the message "Caution about falling asleep.
  • the display 34 may display an icon such as a coffee cup icon that prompts a break.
  • the audio output device outputs audio according to the first warning information or the second warning information.
  • the audio output device outputs the audio "Caution ahead”.
  • the audio output device outputs audio such as "Beware of falling asleep. Please take a break.”
  • the output unit 19 does not output anything when the eye state determination unit 16 outputs the eye state information indicating that the occupant 4 has his or her eyes open. Note that this is only an example, and the output unit 19, for example, when the eye state determination unit 16 outputs the eye state information indicating that the occupant 4 is in a state where the eyes are open, is used to notify that the driving state is good. may be output to an output device.
  • FIG. 5 is a flow chart for explaining the operation of the occupant state determination device 1 according to the first embodiment.
  • the occupant condition determination device 1 repeats the operation shown in the flowchart of FIG. 5 while the vehicle 30 is running.
  • the image acquisition unit 11 acquires a captured image of the face of the occupant 4 in the vehicle 30 captured by the imaging device 2 provided in the vehicle 30 (step ST1).
  • the image acquisition unit 11 outputs the acquired captured image to the degree of eye opening determination unit 12 , line of sight detection unit 13 , face orientation detection unit 14 , and drowsiness detection unit 15 .
  • the degree of eye openness determination unit 12 determines the degree of eye openness of the occupant 4 based on the captured image acquired by the image acquisition unit 11 in step ST1 (step ST2). Eye openness determination section 12 outputs eye openness information to eye state determination section 16 .
  • the line-of-sight detection unit 13 detects the line of sight of the occupant 4 based on the captured image acquired by the image acquisition unit 11 in step ST1 (step ST3).
  • the line-of-sight detection unit 13 outputs the line-of-sight information to the eye state determination unit 16 .
  • the face direction detection unit 14 detects the face direction of the occupant 4 based on the captured image acquired by the image acquisition unit 11 in step ST1 (step ST4).
  • the face orientation detection unit 14 outputs face orientation information to the eye state determination unit 16 .
  • the drowsiness detection unit 15 detects the drowsiness level of the passenger 4 based on the captured image acquired by the image acquisition unit 11 in step ST1 (step ST5).
  • the drowsiness detection unit 15 outputs the drowsiness level information to the dozing determination unit 18 .
  • the eye state determination section 16 determines whether the eyes are down (step ST7). On the other hand, when the degree of eye openness of the occupant 4 determined by the degree of eye openness determination unit 12 is equal to or greater than the first threshold value (“NO” in step ST6), the eye state determination unit 16 determines that the eye state of the occupant 4 is open. judge. Then, the eye state determination unit 16 outputs eye state information indicating that the occupant 4 is in the open state to the output unit 19, and the operation of the occupant state determination device 1 ends the processing.
  • the inattentive looking determination unit 17 determines whether or not the conditions for inattentive determination are satisfied. Inattentive determination is performed to determine whether or not the occupant 4 is looking aside (step ST9).
  • the dozing determination unit 18 determines whether or not the occupant 4 is dozing off based on the drowsiness level of the occupant 4 detected by the drowsiness detection unit 15 in step ST5 (step ST10).
  • the output unit 19 outputs information indicating that the occupant 4 is looking aside from the inattentive determination unit 17 in step ST9, in other words, the inattentive determination unit 17 determines that the occupant 4 is looking aside. In this case, the first warning information is output. Further, the output unit 19 outputs information indicating that the occupant 4 is dozing off from the dozing determination unit 18 in step ST10. When determined, the second warning information is output (step ST11).
  • steps ST1 to ST5 do not necessarily have to be performed in this order.
  • the processes of steps ST1 to ST5 may be performed in parallel.
  • FIG. 6 is a flow chart for explaining the details of the bind-off determination process by the eye condition determining section 16 in step ST7 of FIG.
  • the eye state determination unit 16 determines whether or not the direction of the line of sight of the occupant 4 detected by the line of sight detection unit 13 before it is determined that the degree of eye opening is less than the first threshold (step ST71). Specifically, the eye condition determination unit 16 first refers to the eye-related information and acquires the line-of-sight information of the occupant 4 before the degree of eye opening of the occupant 4 becomes less than the first threshold.
  • the eye state determination unit 16 determines whether the direction of the line-of-sight of the occupant 4 detected by the line-of-sight detection unit 13 before it is determined that the degree of eye opening is less than the first threshold value. , the trajectory of the line-of-sight direction is calculated. Then, the eye condition determination unit 16 determines whether or not the calculated trajectory of the line-of-sight direction of the occupant 4 is directed downward. More specifically, the eye condition determination unit 16 determines whether or not the calculated trajectory of the line-of-sight direction of the occupant 4 is directed toward the downward viewing area.
  • the eye state determination unit 16 detects the face orientation before determining that the degree of eye opening is less than the first threshold. It is determined whether or not the face direction of the occupant 4 detected by the unit 14 is downward (step ST72). Specifically, the eye state determination unit 16 refers to the eye-related information and acquires the face orientation information of the occupant 4 before the degree of eye opening of the occupant 4 becomes less than the first threshold. Next, based on the acquired face orientation information of the occupant 4, the eye state determination unit 16 determines whether the face orientation of the occupant 4 detected by the face orientation detection unit 14 before the degree of eye opening is determined to be less than the first threshold value.
  • the trajectory of the face direction of the passenger 4 is calculated. Then, the eye state determination unit 16 determines whether or not the calculated trajectory of the face orientation of the occupant 4 is directed downward. More specifically, the eye condition determination unit 16 determines whether or not the calculated trajectory of the face orientation of the occupant 4 is directed toward the downward viewing area.
  • step ST72 If it is determined in step ST72 that the face direction of the occupant 4 detected by the face direction detection unit 14 before it is determined that the degree of eye opening is less than the first threshold is downward ("YES" in step ST72) case), the eye state determination unit 16 determines that the occupant 4 is in the downcast state (step ST73). In other words, the eye state determination unit 16 determines that the occupant 4 is in the downcast state when the degree of eye opening of the occupant 4 is less than the first threshold while the direction of the line of sight of the occupant 4 and the orientation of the face of the occupant 4 tend to be downward. It is determined that Then, the eye state determining section 16 outputs eye state information indicating that the occupant 4 is in the downcast state to the looking-aside determining section 17 .
  • step ST71 if the line of sight of the occupant 4 is not downward ("NO” in step ST71), or if the face of the occupant 4 is not downward (“NO” in step ST72) ”), that is, when the degree of eye opening of the occupant 4 becomes less than the first threshold value after the direction of the line of sight of the occupant 4 and the direction of the face of the occupant 4 are directed downward, the eye state determination unit 16 determines that the occupant 4 determines that the eyes are closed (step ST74).
  • the eye state determination unit 16 determines that unless the degree of eye opening of the occupant 4 is less than the first threshold while the line-of-sight direction of the occupant 4 and the face direction of the occupant 4 tend to face downward, the occupant 4 It is determined that the eyes are closed. Then, the eye state determination section 16 outputs eye state information indicating that the occupant 4 is in a closed eye state to the dozing determination section 18 .
  • FIG. 7 is a flowchart for explaining the details of the inattentiveness determination process by the inattentiveness determination unit 17 in step ST9 of FIG.
  • the condition (1) described above is set as the condition for inattentiveness determination.
  • the inattentive determination unit 17 counts up the time after determination of downcast eyes (step ST91). Note that the inattentive determination unit 17 stores the counted-up time after determination of downcast eyes.
  • the inattentive-looking determination unit 17 determines whether or not the occupant 4's downcast eyes state has continued for the inattentive-looking determination time or longer (step ST92). Specifically, the inattentive-looking determination unit 17 determines whether or not the counted-up post-determining time for depressed eyes has reached or exceeded the time for inattentive-looking determination. If it is determined in step ST92 that the occupant 4's blinded eyes state has continued for the inattentive determination time or longer ("YES" in step ST92), the inattentive-looking determination section 17 determines that the inattentive-sight determination condition is satisfied, and the occupant 4 is in the inattentive state (step ST93).
  • the inattentive determination unit 17 outputs to the output unit 19 information indicating that the occupant 4 is in the inattentive state.
  • the inattentive-looking determining section 17 determines that the condition for inattentive-looking determination is not satisfied. If so, it is determined that the occupant 4 is not looking aside, and the inattentive-looking determination process ends.
  • FIG. 8 is a flowchart for explaining the details of the dozing determination process by the dozing determining section 18 in step ST10 of FIG.
  • the dozing determination unit 18 identifies the drowsiness level of the passenger 4 detected by the drowsiness detection unit 15 in step ST5 of FIG. Then, the dozing determination unit 18 determines whether or not the occupant 4 is in a drowsiness state in which the drowsiness level is equal to or higher than the drowsiness determination threshold (step ST101). In step ST101, when the occupant 4 determines that the drowsiness level is equal to or higher than the drowsiness determination threshold value ("YES" in step ST101), the dozing determination unit 18 determines the post-drowsiness determination time.
  • the doze determination unit 18 determines whether or not the drowsy state of the passenger 4 has continued for the doze determination time or longer (step ST103). Specifically, the doze determination unit 18 determines whether or not the counted-up post-drowsy determination time has reached or exceeded the doze determination time. When it is determined in step ST103 that the drowsiness state of the occupant 4 has continued for the dozing determination time or longer ("YES" in step ST103), the dozing determination section 18 determines that the occupant 4 is dozing off. (step ST104). Then, the dozing determination unit 18 outputs information to the output unit 19 indicating that the passenger 4 is in a dozing state.
  • step ST101 if the occupant 4 determines that the drowsiness level of the occupant 4 is equal to or higher than the drowsiness determination threshold value ("NO" in step ST101), and in step ST103, the occupant If it is determined that the drowsy state of 4 has not continued for the dozing determination time or longer ("NO" in step ST103), the dozing determination unit 18 determines that the occupant 4 is not dozing, and performs the dozing determination process. exit.
  • the conventional technology does not take into consideration the possibility that the occupant 4 may be in the downcast state as viewed from the imaging device 2, and there is the problem that the actual closed-eye state and the downcast-eye state cannot be distinguished. there were.
  • the occupant state determination device 1 according to Embodiment 1 when the degree of eye opening of the occupant 4 in the vehicle 30 is less than the first threshold value, the line-of-sight direction of the occupant 4 and the face direction of the occupant 4 are directed downward.
  • the occupant state determination device 1 can determine whether the occupant 4 is in the closed-eyes state or the downcast state in consideration of the case where the occupant 4 directs the line of sight downward from the line of sight in the normal riding state. can.
  • the occupant state determination device 1 determines whether or not the occupant 4 is looking aside when determining that the occupant 4 is in the downcast state. 1 Output warning information.
  • the occupant state determination device 1 determines that the occupant 4 is in a closed-eye state
  • the occupant state determination device 1 determines whether the occupant 4 is dozing off, and outputs second warning information when determining that the occupant 4 is dozing off. . Since the occupant state determination device 1 can determine whether the occupant 4 is in the eye-closed state or the eyes-down state from the captured image, for example, the occupant 4 is in the closed-eyes state even though the occupant 4 does not actually close the eyes.
  • the occupant state determination device 1 prevents, for example, warning the occupant 4 that he is dozing off despite the fact that the occupant 4 does not actually close his eyes. can be done. Further, as described above, when the occupant state determination device 1 determines that the occupant 4 is looking aside, the occupant state determination device 1 outputs the first warning information for warning that the occupant is "careless ahead". When the occupant 4 looks downward, it may not be possible to strictly distinguish between the downcast state and the closed-eye state directly from the captured image.
  • the occupant state determination device 1 determines whether the occupant 4 is not in the eye-open state based on the captured image, in other words, when the eye-opening degree of the occupant 4 is less than the first threshold. It is determined that the occupant 4 should be in the downcast state if the degree of eye opening becomes less than the first threshold value after the line of sight direction and the face direction of the occupant 4 are directed downward. Then, the occupant state determination device 1 determines that the occupant 4 is in the inattentive state if the downcast state continues for the inattentive-looking determination time or longer.
  • the occupant state determination device 1 outputs a warning of ⁇ not paying attention to the front'' when the occupant 4 is determined to be looking aside, thereby outputting a warning with a wider range of meaning than the warning of ⁇ beware of looking aside'', for example. By doing so, it is possible to prevent the occupant 4 from being given an erroneous warning.
  • the eye state determination unit 16 detects the occupant detected by the line-of-sight detection unit 13 when the degree of eye openness determined by the eye openness determination unit 12 is less than the first threshold value. 4 is directed downward, and the degree of eye openness determined by the degree of eye openness determination unit 12 becomes less than the first threshold after the face direction of the occupant 4 detected by the face direction detection unit 14 is directed downward. For example, it is determined that the occupant 4 is in the downcast state, the direction of the line of sight of the occupant 4 detected by the line of sight detection unit 13 is directed downward, and the face direction of the occupant 4 detected by the face direction detection unit 14 is directed downward.
  • the degree of eye openness determined by the degree of eye openness determination unit 12 later became less than the first threshold value, it was determined that the occupant 4 was in the eye-closed state. This is only an example, and the eye state determination unit 16 does not consider the face direction of the occupant 4.
  • the line of sight detection unit 13 detects If the degree of eye openness of the occupant 4 becomes less than the first threshold value after the direction of the line of sight of the occupant 4 who has been doing so has turned downward, it is determined that the occupant 4 is in the downcast state, and the occupant 4 detected by the line of sight detection unit 13 It may be determined that the occupant 4 is in the eye-closed state unless the degree of eye opening becomes less than the first threshold after the line of sight of the occupant 4 is directed downward.
  • the occupant state determination device 1 can be configured without the face direction detection unit 14 in the configuration example of the occupant state determination device 1 shown in FIG. 1 .
  • step ST72 can be omitted for the operation of the eye state determination section 16 in the occupant state determination device 1 described using the flowchart of FIG.
  • the occupant state determination device 1 considers the direction of the face of the occupant 4, and when the degree of eye opening of the occupant 4 is less than the first threshold, the direction of the line of sight of the occupant 4 is directed downward, and If the degree of eye opening becomes less than the first threshold after the orientation is directed downward, it is determined that the occupant 4 is in the downcast state, thereby determining whether or not the line of sight of the occupant 4 is directed downward. accuracy can be improved.
  • the eye state determination unit 16 determines that the degree of eye opening of the occupant 4 is less than the first threshold.
  • the trajectory of the face orientation of the occupant 4 calculated from the above is directed toward an object existing in the downward viewing area (hereinafter referred to as the “downward viewing object”), the direction of the line of sight of the occupant 4 is directed downward.
  • the downward-viewing object is, for example, a vehicle-mounted device such as a navigation device, an air conditioner operation unit 35, or a display 34 or the like.
  • the inner mirror 36 may be used as the downward viewing object. Since the installation position of the downward-looking object is known in advance, the eye state determination unit 16 determines whether or not the line-of-sight direction is directed toward the downward-looking object if the trajectory of the line-of-sight direction of the occupant 4 is known. can. In this case, regarding the operation of the eye condition determination unit 16 in the occupant condition determination device 1 described using the flowchart of FIG.
  • the eye state determination unit 16 determines whether or not the trajectory of the face direction of the occupant 4 is directed toward the downward-viewing object. Further, the eye state determination unit 16 does not consider the face direction of the occupant 4, and when it is determined that the degree of eye opening of the occupant 4 is less than the first threshold, When the trajectory of the line-of-sight direction of the occupant 4 calculated from the line-of-sight direction of the occupant 4 detected by the line-of-sight detection unit 13 is directed toward a downward-looking object existing in the downward-looking region, the line-of-sight direction of the occupant 4 could have been directed downwards.
  • the occupant state determination device 1 can be configured without the face direction detection unit 14 in the configuration example of the occupant state determination device 1 shown in FIG. 1 .
  • the eye state determination unit 16 in the occupant state determination device 1 described using the flowchart of FIG. Determine whether or not the player is heading toward an existing downward looking object.
  • the eye condition determining section 16 can omit the process of step ST72.
  • the occupant state determination device 1 performs the inattentive determination as to whether or not the occupant 4 is looking aside.
  • the occupant state determination device 1 does not necessarily have a function of performing inattentiveness determination.
  • the occupant state determination device 1 does not include the inattentive determination unit 17 in the configuration example of the occupant state determination device 1 shown in FIG. can.
  • the processing of step ST9 can be omitted for the operation of the occupant condition determination device 1 described using the flowchart of FIG.
  • the eye state determination unit 16 determines that the occupant 4 is in the downcast state
  • the eye state information indicating that the occupant 4 is in the downcast state is output to the output unit 19 .
  • the output unit 19 may output, for example, first warning information for warning of looking aside.
  • the output unit 19 may output the first warning information, for example, when the occupant 4's downcast state continues for the time for judging inattentiveness or longer.
  • the output unit 19 receives the output from the eye state determination unit 16.
  • the eye state information indicating that the occupant 4 is in the downcast state may be output to the inattentiveness determination device.
  • the occupant state determination device 1 determines whether or not the occupant 4 is dozing off. However, this is only an example, and the occupant state determination device 1 does not necessarily have the function of determining dozing off. When the occupant state determination device 1 does not have the function of determining dozing, for example, in the configuration example of the occupant state determination device 1 shown in FIG. can be configured without Further, the operation of step ST10 can be omitted from the operation of the occupant condition determination device 1 described using the flowchart of FIG. In this case, when the eye state determination unit 16 determines that the occupant 4 is in the closed eye state, the eye state information indicating that the occupant 4 is in the closed eye state is output to the output unit 19 .
  • the output unit 19 may output, for example, second warning information for warning about falling asleep. At that time, the output unit 19 may output the second warning information, for example, when the eye-closed state of the occupant 4 continues for the dozing determination time or longer. For example, when the occupant state determination device 1 is connected to a dozing determination device (not shown) that determines dozing of the occupant 4 based on the eye state information, the output unit 19 receives the output from the eye state determination unit 16. , the eye state information indicating that the occupant 4 is in a closed eye state may be output to the dozing determination device.
  • the occupant state determination device 1 may not include the inattentive determination unit 17, the drowsiness detection unit 15, and the dozing determination unit 18, and may not have both the function of determining inattentiveness and the function of determining dozing off.
  • the inattentive-looking determination unit 17 performs the inattentive-looking determination process when the eye state determination unit 16 determines that the occupant 4 is in the downcast state.
  • the degree of eye openness determined by the degree of eye openness determination unit 12 becomes less than a threshold smaller than the first threshold (hereinafter referred to as "second threshold"), the count of the time after determination of downcast eyes You can pause the upload. At this time, the inattentive-looking determination unit 17 does not clear the time after determination of the blinded eye.
  • the second threshold can be set as appropriate, and the second threshold may be set to a value smaller than the first threshold.
  • the inattentive-looking determination unit 17 temporarily stops counting up the time after determination of the blinded eye if the degree of eye opening of the occupant 4 is less than the second threshold in the inattentive-looking determination process.
  • the occupant state determination device 1 can prevent erroneous determination that the occupant 4 is looking aside when the occupant 4 closes his/her eyes in a motion similar to a downcast eye.
  • the inattentive determination unit 17 temporarily stops counting up the time after determination of downcast eyes and notifies the dozing determination unit 18 to that effect, and the dozing determination unit 18 counts up the time after determination of drowsiness. good too.
  • the occupant 4 whose state is to be determined by the occupant state determination device 1 is assumed to be the driver of the vehicle 30 .
  • the occupant state determination device 1 can also determine the state of the occupant 4 of the vehicle 30 other than the driver.
  • FIG. 9A and 9B are diagrams showing an example of the hardware configuration of the occupant state determination device 1 according to Embodiment 1.
  • FIG. 1 the image acquisition unit 11, the degree of eye opening determination unit 12, the line of sight detection unit 13, the face direction detection unit 14, the drowsiness detection unit 15, the eye state determination unit 16, and the inattentiveness determination unit 17 , the dozing determination unit 18 and the output unit 19 are implemented by the processing circuit 1001 . That is, the occupant state determination device 1 controls the determination of the state of the occupant 4 including the determination of whether the occupant 4 is in the downcast state or in the closed-eye state when the eye opening degree of the occupant 4 is less than the first threshold.
  • a processing circuit 1001 is provided for processing.
  • the processing circuitry 1001 may be dedicated hardware as shown in FIG. 9A or a processor 1004 executing a program stored in memory as shown in FIG. 9B.
  • the processing circuit 1001 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the image acquisition unit 11, the degree of eye opening determination unit 12, the line of sight detection unit 13, the face direction detection unit 14, the drowsiness detection unit 15, the eye state determination unit 16, and the inattentiveness determination unit 17, the dozing determination unit 18, and the output unit 19 are implemented by software, firmware, or a combination of software and firmware.
  • Software or firmware is written as a program and stored in memory 1005 .
  • the processor 1004 reads out and executes the programs stored in the memory 1005, thereby controlling the image acquisition unit 11, the degree of eye openness determination unit 12, the line of sight detection unit 13, the face direction detection unit 14, and the drowsiness detection unit 15.
  • the occupant condition determination device 1 includes a memory 1005 for storing a program that, when executed by the processor 1004, results in the execution of steps ST1 to ST11 in FIG.
  • the programs stored in the memory 1005 include an image acquisition unit 11, an eye opening degree determination unit 12, a line of sight detection unit 13, a face direction detection unit 14, a drowsiness detection unit 15, an eye state determination unit 16, It can also be said that a computer is caused to execute the procedures or methods of the processes of the inattentive determination unit 17 , the dozing determination unit 18 , and the output unit 19 .
  • the memory 1005 is a non-volatile or volatile memory such as RAM, ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • RAM random access memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory)
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • a semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like is applicable.
  • Image acquisition unit 11, eye opening determination unit 12, line of sight detection unit 13, face direction detection unit 14, drowsiness detection unit 15, eye state determination unit 16, looking aside determination unit 17, dozing determination unit 18 and the output unit 19 may be partly realized by dedicated hardware and partly by software or firmware.
  • the function of the image acquisition unit 11 is realized by a processing circuit 1001 as dedicated hardware.
  • the functions of the eye state determination unit 16, the inattentive determination unit 17, the doze determination unit 18, and the output unit 19 can be realized by the processor 1004 reading out and executing a program stored in the memory 1005. be.
  • the occupant state determination device 1 also includes a device such as the imaging device 2 or an output device, and an input interface device 1002 and an output interface device 1003 that perform wired or wireless communication.
  • the occupant state determination device 1 is an in-vehicle device mounted in the vehicle 30, and includes the image acquisition unit 11, the eye opening degree determination unit 12, the line of sight detection unit 13, and the face direction detection unit 14. , the drowsiness detection unit 15 , the eye state determination unit 16 , the inattentiveness determination unit 17 , the doze determination unit 18 , and the output unit 19 are provided in the occupant state determination device 1 .
  • a portion of the doze determination unit 18 and the output unit 19 is installed in an in-vehicle device of the vehicle 30, and the others are provided in a server connected to the in-vehicle device via a network.
  • the state determination system 100 may be configured.
  • an image acquisition unit 11, an eye opening degree determination unit 12, a gaze detection unit 13, a face direction detection unit 14, a drowsiness detection unit 15, an eye state determination unit 16, an inattentiveness determination unit 17, and a dozing determination unit 18 and the output unit 19 may all be provided in the server.
  • the occupant state determination device 1 includes an image acquisition unit that acquires a captured image in which the face of the occupant 4 in the vehicle 30 is captured by the imaging device 2 provided in the vehicle 30. 11, an eye opening degree determination unit 12 that determines the degree of eye opening of the occupant 4 based on the captured image acquired by the image acquisition unit 11, and the line of sight of the occupant 4 is detected based on the captured image acquired by the image acquisition unit 11.
  • the degree of eye openness determined by the line-of-sight detection unit 13 and the degree of eye-openness determination unit 12 is less than the first threshold, the degree of eye-opening is changed after the line-of-sight direction of the occupant 4 detected by the line-of-sight detection unit 13 is directed downward.
  • the occupant state determination device 1 can determine whether the occupant 4 is in the closed-eyes state or the downcast state in consideration of the case where the occupant 4 directs the line of sight downward from the line of sight in the normal riding state. can.
  • the occupant state determination device can determine whether the occupant is in a closed-eyes state or a downcast state, taking into consideration the case where the occupant's line of sight is directed downward from the line of sight in the normal riding state. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

車両（３０）内に設けられている撮像装置（２）によって車両（３０）内の乗員（４）の顔が撮像された撮像画像を取得する画像取得部（１１）と、画像取得部（１１）が取得した撮像画像に基づいて、乗員（４）の開眼度を判定する開眼度判定部（１２）と、画像取得部（１１）が取得した撮像画像に基づいて、乗員（４）の視線を検知する視線検知部（１３）と、開眼度判定部（１２）が判定した開眼度が第１閾値未満となった場合、視線検知部（１３）が検知していた乗員（４）の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員（４）は伏し目状態であると判定し、視線検知部（１３）が検知していた乗員（４）の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員（４）は閉眼状態であると判定する目状態判定部（１６）とを備えた。

Description

乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム
　本開示は、車両の乗員の状態を判定する乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システムに関する。
　従来、車両内の乗員が撮像された撮像画像に基づいて当該撮像画像上で乗員がどれぐらい目を開けているかの開眼度を判定し、判定した開眼度に基づき、乗員が開眼している開眼状態か、閉眼している閉眼状態かを判定する技術が知られている。
　ところで、運転手の視線が特定の車載部品の方向を向いていることを、当該車載部品に付設した補助カメラの撮像画像から得られる視線に基づいて検出することで、主カメラの撮像画像から得られる視線に基づいて検出する方法と比べて、脇見運転とそうでない行為とを明確に区別して判定する脇見運転検出装置が知られている（例えば、特許文献１）。
特開２０２０－２４５３２号公報
　撮像画像に基づいて乗員が開眼状態か閉眼状態かを判定する従来技術において、乗員が実際に目を開けている場合に乗員が開眼状態であると判定されるためには、撮像画像上で乗員の開眼度が一定以上の大きさと判定される必要がある。
　一方、車両において、乗員を撮像する撮像装置は、乗員の正面付近、または、それより上方に設置されている場合が多い。そのため、乗員が通常の乗車状態における視線よりも下方に視線を向けると、乗員は、撮像装置から見て、伏し目状態になる。つまり、撮像画像上では、乗員の目の上瞼と下瞼が近づいてうつる。そうすると、実際には乗員の目が開いているにもかかわらず、撮像画像に基づく開眼度が小さく判定されてしまう。すなわち、撮像画像に基づくと、乗員の伏し目状態は閉眼状態と判定されてしまう可能性がある。
　従来技術では、このように、乗員が撮像装置から見て伏し目状態となる可能性があることが考慮されておらず、実際の閉眼状態と伏し目状態とが区別できていないという課題があった。
　なお、仮に、従来技術において、特許文献１に開示されている脇見運転検出装置における脇見運転とそうでない行為とを区別するために車載部品に付設した補助カメラを設ける考え方を採用し、撮像装置から見て伏し目状態となる場合の乗員の視線の先となり得る場所に補助的な撮像装置を設置しようとしても、当該撮像装置から見て伏し目状態となる場所に当該撮像装置が設置されるとは限らず、撮像画像から閉眼状態と伏し目状態とを区別するのは困難である。
　本開示は上記のような課題を解決するためになされたもので、乗員が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員が閉眼状態であるか伏し目状態であるかを判定する乗員状態判定装置を提供することを目的とする。
　本開示に係る乗員状態判定装置は、車両内に設けられている撮像装置によって車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、画像取得部が取得した撮像画像に基づいて、乗員の開眼度を判定する開眼度判定部と、画像取得部が取得した撮像画像に基づいて、乗員の視線を検知する視線検知部と、開眼度判定部が判定した開眼度が第１閾値未満となった場合、視線検知部が検知していた乗員の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員は伏し目状態であると判定し、視線検知部が検知していた乗員の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員は閉眼状態であると判定する目状態判定部とを備えたものである。
　本開示によれば、乗員が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員が閉眼状態であるか伏し目状態であるかを判定することができる。
実施の形態１に係る乗員状態判定装置の構成例を示す図である。 実施の形態１において、撮像装置の設置例、および、撮像装置が乗員を撮像する様子の一例を説明するための図である。 実施の形態１において、撮像装置の設置例、および、撮像装置が乗員を撮像する様子の一例を説明するためのその他の図である。 図４Ａおよび図４Ｂは、実施の形態１において、撮像装置が通常の乗車状態における乗員の顔を撮像した撮像画像上の乗員の状態一例と、乗員が下方視したことで撮像装置から見て伏し目状態となった場合に撮像装置が当該乗員の顔を撮像した撮像画像上の乗員の状態の一例を示す図である。 実施の形態１に係る乗員状態判定装置の動作について説明するためのフローチャートである。 図５のステップＳＴ７における目状態判定部による伏し目判定処理の詳細を説明するフローチャートである。 図５のステップＳＴ９における脇見判定部による脇見判定処理の詳細を説明するフローチャートである。 図５のステップＳＴ１０における居眠り判定部による居眠り判定処理の詳細を説明するフローチャートである。 図９Ａ，図９Ｂは、実施の形態１に係る乗員状態判定装置のハードウェア構成の一例を示す図である。
　以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　実施の形態１に係る乗員状態判定装置は、車両内に存在する乗員の顔が撮像された画像（以下「撮像画像」という。）に基づいて当該乗員の状態を判定する。
　具体的には、実施の形態１に係る乗員状態判定装置は、撮像画像に基づいて、乗員が開眼している開眼状態であるか、乗員が開眼状態でない場合には、乗員は閉眼している閉眼状態であるとすべきか、視線を下方に向けた伏し目状態であるとすべきかを判定する。実施の形態１において、「伏し目状態」とは、乗員が、通常の乗車状態における視線よりも下方に視線を向けた状態を想定している。実際に乗員が伏し目状態であるとき、乗員の目は閉じてはいない。しかし、乗員が伏し目状態であるとき、撮像画像上は、乗員の上瞼と下瞼が近づいて撮像され、撮像画像から乗員の開眼度の判定が行われると、当該開眼度が小さく判定される場合がある。この場合、撮像画像から判定された開眼度だけでは、閉眼状態と伏し目状態との判別は困難である。実施の形態１に係る乗員状態判定装置は、特に、このような場合に、乗員は閉眼状態であるか伏し目状態であるかを判定することを特徴とする。
　さらに、実施の形態１に係る乗員状態判定装置は、乗員が脇見をしている脇見状態であるか、および、乗員が居眠りをしている居眠り状態であるかを判定できる。なお、実施の形態１において乗員状態判定装置が判定する脇見は、視線が下方に向けられたことによる下側の脇見を想定している。
　以下の実施の形態１において、車両内に存在する乗員を、車両内の乗員、あるいは、単に「乗員」という。実施の形態１では、乗員状態判定装置が状態を判定する対象となる乗員は、車両の運転者を想定している。
　図１は、実施の形態１に係る乗員状態判定装置１の構成例を示す図である。
　乗員状態判定装置１は、車両３０（後述の図２参照）に搭載され、撮像装置２と接続される。乗員状態判定装置１と撮像装置２とで乗員状態判定システム１００を構成する。
　撮像装置２は、車両３０に搭載され、少なくとも乗員４（後述の図２参照）の顔が存在すべき範囲を撮像可能に設置されている。
　実施の形態１において、撮像装置２は、車両３０において、乗員４の頭部の正面付近、または、乗員４の頭部の正面よりも上方に設けられていることを前提とする。より詳細には、実施の形態１において、撮像装置２は、車両３０内においてインストルメントパネル（以下「インパネ」という。）３２（後述の図２参照）のセンターバイザー３１（後述の図２参照）上部に設けられていることを前提とする。なお、これは一例に過ぎず、撮像装置２は、例えば、車両３０においてヘッドレスト３３ａ（後述の図２参照）よりも上方、または、ハンドルよりも上方に設けられることもある。車両３０内においてヘッドレスト３３ａよりも上方、または、ハンドルよりも上方とは、例えば、オーバーヘッドコンソール、インナーミラー３６（後述の図３参照）、フロントガラスＷ（後述の図３参照）上部、または、天井である。ハンドルよりも上方は、例えば、ピラーも含む。なお、後述の図２において、ハンドル、オーバーヘッドコンソール、および、ピラーへの符号の付与は省略している。撮像装置２は、例えば、車室内をモニタリングすることを目的に設置される、いわゆるＤＭＳ（Ｄｒｉｖｅｒ　Ｍｏｎｉｔｏｒｉｎｇ　Ｓｙｓｔｅｍ）と共用のものを想定している。撮像装置２は、可視光カメラ、または、赤外線カメラである。
　撮像装置２は、撮像した撮像画像を、乗員状態判定装置１に出力する。実施の形態１において、画像は、静止画像でもよいし、動画像でもよい。
　乗員状態判定装置１は、撮像装置２から取得した撮像画像に基づき乗員４の開眼度を判定し、判定した乗員４の開眼度が予め設定された閾値（以下「第１閾値」という。）未満となった場合、当該乗員４の開眼度が第１閾値未満となった状態は当該乗員４の視線方向が下方に向かい、かつ、当該乗員４の顔向きが下方に向かった後に生じた状態であるか否かによって、乗員４が伏し目状態であるか、閉眼状態であるかを判定する。なお、乗員状態判定装置１は、乗員４の開眼度が第１閾値以上の場合は、乗員４が開眼状態であると判定する。第１閾値には、予め、撮像画像上で、乗員４がじゅうぶんに開眼していると判定できる値が設定されている。
　また、乗員状態判定装置１は、乗員４が伏し目状態であると判定したか、閉眼状態であると判定したかに基づいて、乗員４が脇見状態であるかの判定、または、乗員４が居眠り状態であるかの判定を行う。乗員状態判定装置１の詳細については、後述する。
　ここで、図２および図３は、実施の形態１において、撮像装置２の設置例、および、撮像装置２が乗員４を撮像する様子の一例を説明するための図である。
　図２は、車両３０の運転席３３を車両３０の側面から見た場合の車室内の様子を示している。図３は、車室内から車両３０の進行方向に向かってフロントガラスＷおよびインパネ３２を見た場合の車室内の様子を示している。
　図２に示すように、インパネ３２のセンターバイザー３１上部に設けられている撮像装置２は、乗員４の頭部位置の正面付近から、乗員４の顔を撮像する。
　図３に示すように、インパネ３２には、ディスプレイ３４およびエアコン操作部３５が設けられている。ディスプレイ３４は、例えば、カーナビゲーション装置（図示省略）が備える表示装置であり、経路情報またはテレビの映像等を表示する。エアコン操作部３５は、例えば、エアコンの風量または温度を調整するための操作パネルである。
　例えば、通常の乗車状態において、言い換えれば、ここでは、通常の運転状態において、乗員４は正面を見る。すなわち、乗員４の視線方向は車両３０の進行方向となる（図２のＤ１参照）。
　しかし、例えば、乗員４は、カーナビゲーション装置を操作するためディスプレイ３４の方向を見ることがある。例えば、乗員４は、エアコンの温度を調整するためエアコン操作部３５の方向を見ることもある。この場合、乗員４の視線方向は、車両３０の進行方向から、ディスプレイ３４またはエアコン操作部３５が設けられている方向へと移動する（図２のＤ２参照）。
　撮像装置２は、乗員４の頭部位置の正面付近から乗員４の顔を撮像しているため、乗員４が通常の乗車状態よりも下方に視線を移動させると、より詳細には、乗員４が通常の乗車状態よりも下方に視線を移動させ視線方向が撮像装置２よりも下方になると、乗員４の状態は、撮像装置２から見て、伏し目状態になる。撮像装置２から見て乗員４が伏し目状態になると、撮像装置２が撮像した撮像画像上では、乗員４の上瞼と下瞼が近づく。なお、実施の形態１において、乗員４が通常の乗車状態よりも下方に視線を向けることを「下方視」ともいう。
　図３において５００で示す領域（以下「下方視領域」という。）については、後述する。
　ここで、図４Ａおよび図４Ｂは、実施の形態１において、撮像装置２が通常の乗車状態における乗員４の顔を撮像した撮像画像上の乗員４の状態の一例と、乗員４が下方視したことで撮像装置２から見て伏し目状態となった場合に撮像装置２が当該乗員４の顔を撮像した撮像画像上の乗員４の状態の一例を示す図である。
　乗員４が通常の乗車状態である場合、すなわち、乗員４が車両３０の進行方向、言い換えれば、正面を見ている場合、図４Ａに示す撮像画像のように、撮像画像において、乗員４の目はじゅうぶんに開いてうつる。なお、この場合、撮像画像から判定される開眼度は、第１閾値以上となる。
　一方、乗員４が下方視をした場合、実際には乗員４は目を閉じていないにもかかわらず、図４Ｂに示す撮像画像のように、撮像画像において、乗員４の目はじゅうぶんに開いていない、言い換えれば、閉じているかのようにうつる。なお、この場合、撮像画像から判定される開眼度は、第１閾値未満となる。
　実施の形態１に係る乗員状態判定装置１は、図４Ｂに示す撮像画像のように、乗員４が下方視したことで、撮像画像上、目がじゅうぶんに開いていない、言い換えれば、閉じているかのようにうつったと想定される場合に、当該乗員４が伏し目状態であると判定する。
　図１に戻り、実施の形態１に係る乗員状態判定装置１の構成例について説明する。
　実施の形態１に係る乗員状態判定装置１は、画像取得部１１、開眼度判定部１２、視線検知部１３、顔向き検知部１４、眠気検知部１５、目状態判定部１６、脇見判定部１７、居眠り判定部１８、および、出力部１９を備える。
　画像取得部１１は、車両３０内に設けられている撮像装置２によって車両３０内の乗員４の顔が撮像された撮像画像を取得する。
　画像取得部１１は、取得した撮像画像を開眼度判定部１２、視線検知部１３、顔向き検知部１４、および、眠気検知部１５に出力する。
　開眼度判定部１２は、画像取得部１１が取得した撮像画像に基づいて、乗員４の開眼度を判定する。
　具体的には、開眼度判定部１２は、撮像画像に対して既知の画像認識技術を用いて、乗員４の上瞼と下瞼を検知する。例えば、撮像画像において、乗員４の顔が存在し得る領域（以下「顔検知領域」という。）が予め設定されており、開眼度判定部１２は、撮像画像の顔検知領域に対して既知のエッジ検出を行って、乗員４の上瞼を示す特徴点、および、下瞼を示す特徴点を抽出する。次に、開眼度判定部１２は、例えば、撮像画像における乗員４の上瞼と下瞼の上下の距離（以下「瞼距離」という。）を、撮像画像上、左から順に算出し、最大となる瞼距離を算出する。そして、開眼度判定部１２は、算出した最大となる瞼距離と開眼度の基準値との比率に基づき、開眼度を判定する。すなわち、開眼度の単位はパーセントである。開眼度の基準値には、予め、例えば、試験を行って算出された、一般的な体格の成人の覚醒時の開眼度の平均値が設定されている。なお、これは一例に過ぎず、開眼度の基準値は、例えば、乗員４が車両３０に搭乗してから予め設定された時間における乗員４の開眼度の平均値としてもよいし、開眼度判定部１２が現在までに判定したすべての開眼度の平均値としてもよい。
　なお、上述した開眼度の判定方法は、一例に過ぎない。開眼度判定部１２は、公知の種々のアルゴリズムを用いて開眼度を判定すればよい。
　開眼度判定部１２は、乗員４の開眼度の判定結果に関する情報（以下「開眼度情報」という。）を、目状態判定部１６に出力する。開眼度情報は、例えば、乗員４の開眼度と、画像取得部１１が取得した撮像画像とが対応付けられた情報である。
　視線検知部１３は、画像取得部１１が取得した撮像画像に基づいて、乗員４の視線を検知する。具体的には、視線検知部１３は、撮像画像に基づいて、乗員４の視線方向を検知する。乗員４の視線方向とは、すなわち、乗員４の視線の向きである。
　視線検知部１３は、撮像画像に対して既知の画像認識技術を用いて、乗員４の視線方向を検知すればよい。例えば、撮像装置２が可視光カメラである場合、視線検知部１３は、撮像画像上で乗員４の目頭と虹彩を検出し、目頭と虹彩の位置関係から、乗員４の視線方向を検知できる。また、例えば、撮像装置２が赤外線カメラである場合、視線検知部１３は、赤外線カメラが近赤外の点光源を照射すると角膜で反射して得られたプルキニエ像と瞳孔との位置関係から、乗員４の視線方向を検知することもできる。なお、これらは一例に過ぎず、視線検知部１３は、公知の種々のアルゴリズムを用いて乗員４の視線方向を検知すればよい。
　実施の形態１において、乗員４の視線方向は、所定の基準方向に対する角度であらわされる。例えば、乗員４の視線方向は、乗員４が座席にて真っすぐ前方を見たときの状態を基準として、当該状態から視線方向が水平方向および垂直方向にそれぞれ何度回転しているかを表す視線の角度であらわされる。
　視線検知部１３は、検知した乗員４の視線に関する情報（以下「視線情報」という。）
を、目状態判定部１６に出力する。視線情報は、例えば、乗員４の視線方向を示す情報と、撮像画像とが対応付けられた情報である。
　なお、実施の形態１において、視線検知部１３は、乗員４の視線を検知できなかった場合、乗員４の視線を検知できなかった旨の視線情報を、目状態判定部１６に出力する。
　顔向き検知部１４は、画像取得部１１が取得した撮像画像に基づいて、乗員４の顔向きを検知する。
　顔向き検知部１４は、撮像画像に対して既知の画像認識技術を用いて、乗員４の顔向きを検知すればよい。例えば、顔向き検知部１４は、撮像画像に基づいて一般的なパターン認識によって乗員４の顔向きを検知する。これは一例に過ぎず、顔向き検知部１４は、公知の種々のアルゴリズムを用いて乗員４の顔向きを検知すればよい。
　実施の形態１において、乗員４の顔向きは、所定の基準方向に対する角度であらわされる。例えば、乗員４の顔向きは、乗員４が座席にて真っすぐ前方を見たときの状態を基準として、当該状態から顔向きが水平方向および垂直方向にそれぞれ何度回転しているかを表す顔向きの角度であらわされる。
　顔向き検知部１４は、検知した乗員４の顔向きに関する情報（以下「顔向き情報」という。）を、目状態判定部１６に出力する。顔向き情報は、例えば、乗員４の顔向きと撮像画像とが対応付けられた情報である。
　眠気検知部１５は、画像取得部１１が取得した撮像画像に基づいて、乗員４の眠気レベルを検知する。
　眠気検知部１５は、撮像画像に対して既知の画像認識技術を用いて、乗員４の眠気レベルを検知すればよい。例えば、眠気検知部１５は、撮像画像に基づいて、予め設定されている単位時間における乗員４の瞬きの回数を判定する。眠気検知部１５は、単位時間内に乗員４が何回瞬きを行ったかによって、乗員４の眠気レベルを検知する。単位時間内にどれぐらいの回数瞬きを行った場合にどの段階の眠気レベルとするかは予め決められている。例えば、眠気レベルには、眠気レベルが高いほど乗員４の眠気が強いことを示し、眠気レベルが低いほど乗員４が覚醒していることを示す値が設定される。
　眠気検知部１５は、公知の種々のアルゴリズムを用いて乗員４の眠気レベルを検知すればよい。なお、ここでは、眠気検知部１５は、撮像画像に基づいて乗員４の眠気レベルを検知するものとしたが、これは一例に過ぎない。眠気検知部１５は、例えば、車両３０に設けられている生体センサから、体温等の乗員４の生体情報を取得し、生体情報から乗員４の眠気レベルを検知してもよい。
　眠気検知部１５は、検知した乗員４の眠気レベルに関する情報（以下「眠気レベル情報」という。）を、居眠り判定部１８に出力する。眠気レベル情報は、例えば、乗員４の眠気レベルと撮像画像とが対応付けられた情報である。
　目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値未満となった場合、当該開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向と、顔向き検知部１４が検知していた乗員４の顔向きとに基づいて、乗員４が伏し目状態であるか閉眼状態であるかを判定する。
　具体的には、目状態判定部１６は、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知していた乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知していた乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定する。一方、目状態判定部１６は、視線検知部１３が検知していた乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知していた乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。
　実施の形態１において、目状態判定部１６が行う、乗員４が伏し目状態であるか、閉眼状態であるかの判定を、「伏し目判定」ともいう。目状態判定部１６は、開眼度判定部１２から出力された開眼度情報に基づき、乗員４の開眼度が第１閾値未満となったか否かを判定する。
　なお、目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値以上である場合は、伏し目判定を行わず、乗員４は開眼状態であると判定する。
　以下、目状態判定部１６による伏し目判定処理について詳細に説明する。
　目状態判定部１６は、開眼度判定部１２から出力される開眼度情報と、視線検知部１３から出力される視線情報と、顔向き検知部１４から出力される顔向き情報とを時系列で対応付けて記憶している。実施の形態１において、目状態判定部１６が時系列で記憶している、開眼度情報と視線情報と顔向き情報とが対応付けられた情報を、「目関連情報」という。
　目状態判定部１６は、乗員４の開眼度が第１閾値未満となったと判定すると、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の視線情報を取得する。
　次に、目状態判定部１６は、取得した乗員４の視線情報に基づき、開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から乗員４の視線方向の軌跡を算出する。なお、開眼度が第１閾値未満となるまでのどれぐらいの時間の視線方向の軌跡を算出するかは、適宜設定可能である。また、目状態判定部１６は、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の顔向き情報を取得する。目状態判定部１６は、取得した乗員４の顔向き情報に基づき、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きから乗員４の顔向きの軌跡を算出する。なお、開眼度が第１閾値未満となるまでのどれぐらいの時間の顔向きの軌跡を算出するかは、適宜設定可能である。ただし、視線方向の軌跡を算出する時間の長さと、顔向きの軌跡を算出する時間の長さは同じであることが望ましい。
　なお、実施の形態１において、「開眼度が第１閾値未満と判定される前」とは、開眼度が第１閾値未満と判定された時点から遡った、設定された時間のことをいう。当該設定された時間は、上述のとおり、適宜設定可能である。
　そして、目状態判定部１６は、算出した乗員４の視線方向の軌跡が下方に向かっているか否か、および、算出した乗員４の顔向きの軌跡が下方に向かっているか否かを判定する。より詳細には、目状態判定部１６は、算出した乗員４の視線方向の軌跡が予め設定されている下方視領域の方向へ向かっているか否か、および、算出した乗員４の顔向きの軌跡が上記下方視領域の方向へ向かっているか否かを判定する。目状態判定部１６は、乗員４の視線方向の軌跡が下方視領域の方向へ向かっている場合、乗員４の視線方向が下方に向かっていたと判定する。また、目状態判定部１６は、乗員４の顔向きの軌跡が下方視領域の方向へ向かっている場合、乗員４の顔向きが下方に向かっていたと判定する。
　下方視領域は、例えば、図３において５００で示す領域であり、目状態判定部１６は下方視領域に関する情報を記憶している。実施の形態１において、下方視領域とは、車両３０内において撮像装置２よりも下方に設定された領域である。下方視領域には、例えば、下方視をした乗員４の視線方向がその領域内にある状態が予め決められた時間継続した場合、当該乗員４が脇見をしている可能性があると想定される領域が設定される。例えば、下方視領域には、カーナビゲーション装置のディスプレイ３４等、撮像装置２よりも下方において乗員４が操作し得る装置が存在する領域を含む領域が設定される。なお、実施の形態１では、下方視領域は、例えば、製造業者等が、予め、撮像装置２の設置位置に応じて、設定しておくものとするが、これは一例に過ぎない。例えば、乗員状態判定装置１において、目状態判定部１６が、撮像装置２の設置位置と乗員４の頭部位置との位置関係に応じて、都度、下方視領域を設定する機能を有していてもよい。なお、目状態判定部１６は、既知の画像認識技術を用いて乗員４の頭部位置を推定すればよい。撮像装置２の設置位置は予めわかっている。
　目状態判定部１６は、乗員４の視線方向の軌跡および乗員４の顔向きの軌跡が下方に向かっていた場合、乗員４は伏し目状態であると判定する。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となった場合、乗員４は伏し目状態であると判定する。
　目状態判定部１６は、乗員４の視線方向の軌跡および乗員４の顔向きの軌跡が下方に向かっていなかった場合は、乗員４は閉眼状態であると判定する。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。
　目状態判定部１６は、乗員４が伏し目状態と判定したか、乗員４が閉眼状態と判定したか、乗員４は開眼状態と判定したかを示す情報（以下「目状態情報」という。）を、脇見判定部１７、居眠り判定部１８、または、出力部１９に出力する。
　具体的には、目状態判定部１６は、伏し目判定を行った結果、乗員４は伏し目状態であると判定した場合、乗員４は伏し目状態である旨の目状態情報を、脇見判定部１７に出力する。目状態判定部１６は、伏し目判定を行った結果、乗員４は閉眼状態であると判定した場合、乗員４は閉眼状態である旨の目状態情報を、居眠り判定部１８に出力する。目状態判定部１６は、乗員４は開眼状態であると判定した場合は、乗員４は開眼状態である旨の目状態情報を出力部１９に出力する。
　脇見判定部１７は、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力された場合、言い換えれば、目状態判定部１６が乗員４は伏し目状態であると判定した場合、予め設定されている条件（以下「脇見判定用条件」という。）を満たすか否かによって乗員４が脇見をしているか否かを判定する。実施の形態１において、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力された場合に脇見判定部１７が行う、乗員４が脇見をしているか否かの判定を、「脇見判定」ともいう。
　脇見判定用条件には、例えば、以下の条件（１）が設定されている。脇見判定部１７は、例えば、以下の条件（１）を満たす場合、乗員４は脇見をしていると判定する。

＜条件（１）＞
　乗員の伏し目状態が予め設定されている時間（以下「脇見判定用時間」という。）以上継続していること
　脇見判定部１７は、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力されると、時間（以下「伏し目判定後時間」という。）をカウントアップする。なお、脇見判定部１７は、カウントアップした伏し目判定後時間を記憶しておく。そして、脇見判定部１７は、カウントアップした伏し目判定後時間が脇見判定用時間以上となった場合、乗員４の伏し目状態が脇見判定用時間以上継続しているとし、脇見判定用条件を満たすと判定する。すなわち、脇見判定部１７は、乗員４は脇見をしていると判定する。
　なお、脇見判定部１７は、カウントアップした伏し目判定後時間が脇見判定用時間以上となり乗員４は脇見をしていると判定した場合、伏し目判定後時間のカウントアップを開始後、乗員４が伏し目状態でなくなった場合、または、車両３０のエンジンがオフされた場合、伏し目判定後時間をクリアする。
　脇見判定部１７は、乗員４の伏し目状態が脇見判定用時間以上継続していないと判定した場合は、脇見判定用条件を満たさないと判定する。すなわち、脇見判定部１７は、乗員４は脇見をしていないと判定する。
　脇見判定部１７は、脇見判定を行った結果、乗員４が脇見をしていると判定した場合、乗員４は脇見状態である旨の情報を、出力部１９に出力する。
　居眠り判定部１８は、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力された場合、言い換えれば、目状態判定部１６が乗員４は閉眼状態であると判定した場合、眠気検知部１５が検知した乗員４の眠気レベルに基づいて乗員４が居眠りをしているか否かを判定する。実施の形態１において、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力された場合に居眠り判定部１８が行う、乗員４が居眠りをしているか否かの判定を、「居眠り判定」ともいう。居眠り判定部１８は、眠気検知部１５から出力された眠気レベル情報から乗員４の眠気レベルを特定すればよい。
　具体的には、居眠り判定部１８は、乗員４の眠気レベルが予め設定された閾値（以下
「眠気判定用閾値」という。）以上である状態（以下「眠気有状態」という。）が予め設定された時間（以下「居眠り判定用時間」という。）以上継続した場合、乗員４は居眠りをしていると判定する。
　例えば、居眠り判定部１８は、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力され、眠気検知部１５が検知した乗員４の眠気レベルが眠気判定用閾値以上である場合、乗員４が眠気有状態であると判定する。居眠り判定部１８は、乗員４が眠気有状態であると判定すると、時間（以下「眠気判定後時間」という。）をカウントアップする。なお、居眠り判定部１８は、カウントアップした眠気判定後時間を記憶しておく。そして、居眠り判定部１８は、カウントアップした眠気判定後時間が居眠り判定用時間以上となった場合、乗員４の眠気有状態が居眠り判定用時間以上継続しているとし、乗員４は居眠りをしていると判定する。
　なお、居眠り判定部１８は、カウントアップした眠気判定後時間が居眠り判定用時間以上となり乗員４は居眠りをしていると判定した場合、眠気判定後時間のカウントアップを開始後、乗員４の眠気レベルが眠気判定用閾値以上でなくなった場合、眠気判定後時間のカウントアップを開始後、乗員４が閉眼状態でなくなった場合、または、車両３０のエンジンがオフされた場合、眠気判定後時間をクリアする。
　居眠り判定部１８は、居眠り判定を行った結果、乗員４が居眠りをしていると判定した場合、乗員４は居眠り状態である旨の情報を、出力部１９に出力する。
　出力部１９は、各種警報を出力する。
　具体的には、出力部１９は、脇見判定部１７から乗員４は脇見状態である旨の情報が出力された場合、言い換えれば、脇見判定部１７が、乗員４が脇見をしていると判定した場合、乗員４に対して前方不注意であることを警告するための情報（以下「第１警告情報」という。）を出力する。出力部１９は、居眠り判定部１８から乗員４は居眠り状態である旨の情報が出力された場合、言い換えれば、居眠り判定部１８が、乗員４が居眠りをしていると判定した場合、乗員４に対して居眠りを警告するための情報（以下「第２警告情報」という。）を出力する。
　出力部１９は、第１警告情報、または、第２警告情報を、例えば、車両３０に搭載されている出力装置（図示省略）に出力する。実施の形態１では、出力装置は乗員状態判定装置１の外部において車両３０に搭載されていることを想定しているが、出力装置は乗員状態判定装置１に搭載されていてもよい。出力装置は、例えば、ディスプレイ３４または音声出力装置である。例えば、出力装置がディスプレイ３４である場合、ディスプレイ３４は、第１警告情報または第２警告情報に応じた表示を行う。具体例を挙げると、例えば、ディスプレイ３４は、出力部１９から第１警告情報が出力されると、「前方注意」とのメッセージを出力する。また、例えば、ディスプレイ３４は、出力部１９から第２警告情報が出力されると、「居眠り注意。休憩をとってください。」とのメッセージを表示する。例えば、ディスプレイ３４は、出力部１９から第２警告情報が出力された場合、コーヒーカップのアイコン等、休憩を促すアイコンを表示してもよい。出力装置が音声出力装置である場合、音声出力装置は、第１警告情報または第２警告情報に応じた音声出力を行う。具体例を挙げると、例えば、音声出力装置は、出力部１９から第１警告情報が出力されると、「前方注意」との音声を出力する。また、例えば、音声出力装置は、出力部１９から第２警告情報が出力されると、「居眠り注意。休憩をとってください。」との音声を出力する。
　出力部１９は、目状態判定部１６から乗員４は開眼状態である旨の目状態情報が出力された場合、何も出力しない。なお、これは一例に過ぎず、出力部１９は、例えば、目状態判定部１６から乗員４は開眼状態である旨の目状態情報が出力された場合、運転状態が良好である旨を知らせるための通知情報を出力装置に出力してもよい。
　実施の形態１に係る乗員状態判定装置１の動作について説明する。
　図５は、実施の形態１に係る乗員状態判定装置１の動作について説明するためのフローチャートである。なお、乗員状態判定装置１は、車両３０が走行中、図５のフローチャートに示す動作を繰り返す。
　画像取得部１１は、車両３０内に設けられている撮像装置２によって車両３０内の乗員４の顔が撮像された撮像画像を取得する（ステップＳＴ１）。
　画像取得部１１は、取得した撮像画像を開眼度判定部１２、視線検知部１３、顔向き検知部１４、および、眠気検知部１５に出力する。
　開眼度判定部１２は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の開眼度を判定する（ステップＳＴ２）。
　開眼度判定部１２は、開眼度情報を、目状態判定部１６に出力する。
　視線検知部１３は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の視線を検知する（ステップＳＴ３）。
　視線検知部１３は、視線情報を、目状態判定部１６に出力する。
　顔向き検知部１４は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の顔向きを検知する（ステップＳＴ４）。
　顔向き検知部１４は、顔向き情報を、目状態判定部１６に出力する。
　眠気検知部１５は、ステップＳＴ１にて画像取得部１１が取得した撮像画像に基づいて、乗員４の眠気レベルを検知する（ステップＳＴ５）。
　眠気検知部１５は、眠気レベル情報を、居眠り判定部１８に出力する。
　目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値未満となった場合（ステップＳＴ６の“ＹＥＳ”の場合）、伏し目判定を行う（ステップＳＴ７）。
　一方、目状態判定部１６は、開眼度判定部１２が判定した乗員４の開眼度が第１閾値以上である場合（ステップＳＴ６の“ＮＯ”の場合）は、乗員４は開眼状態であると判定する。そして、目状態判定部１６は、乗員４は開眼状態である旨を示す目状態情報を出力部１９に出力し、乗員状態判定装置１の動作は、処理を終了する。
　伏し目判定を行った結果、目状態判定部１６が乗員４は伏し目状態であると判定した場合（ステップＳＴ８の“ＹＥＳ”の場合）、脇見判定部１７は、脇見判定用条件を満たすか否かによって乗員４が脇見をしているか否かを判定する脇見判定を行う（ステップＳＴ９）。
　一方、伏し目判定を行った結果、目状態判定部１６が乗員４は伏し目状態ではないと判定した場合、言い換えれば、乗員４は閉眼状態であると判定した場合（ステップＳＴ８の“ＮＯ”の場合）、居眠り判定部１８は、ステップＳＴ５にて眠気検知部１５が検知した乗員４の眠気レベルに基づいて乗員４が居眠りをしているか否かを判定する居眠り判定を行う（ステップＳＴ１０）。
　出力部１９は、ステップＳＴ９にて脇見判定部１７から乗員４は脇見状態である旨の情報が出力された場合、言い換えれば、脇見判定部１７が、乗員４が脇見をしていると判定した場合、第１警告情報を出力する。また、出力部１９は、ステップＳＴ１０にて居眠り判定部１８から乗員４は居眠り状態である旨の情報が出力された場合、言い換えれば、居眠り判定部１８が、乗員４が居眠りをしていると判定した場合、第２警告情報を出力する（ステップＳＴ１１）。
　なお、図５のフローチャートで示す乗員状態判定装置１の動作について、ステップＳＴ１～ステップＳＴ５は、この順番で処理が行われることを必須としない。例えば、ステップＳＴ１～ステップＳＴ５の処理が並行して行われてもよい。
　図６は、図５のステップＳＴ７における目状態判定部１６による伏し目判定処理の詳細を説明するフローチャートである。
　目状態判定部１６は、開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向は下方に向かっていたか否かを判定する（ステップＳＴ７１）。具体的には、目状態判定部１６は、まず、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の視線情報を取得する。次に、目状態判定部１６は、取得した乗員４の視線情報に基づき、開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から乗員４の視線方向の軌跡を算出する。そして、目状態判定部１６は、算出した乗員４の視線方向の軌跡が下方に向かっているか否かを判定する。より詳細には、目状態判定部１６は、算出した乗員４の視線方向の軌跡が下方視領域の方向へ向かっているか否かを判定する。
　ステップＳＴ７１にて乗員４の視線方向が下方に向かっていた場合（ステップＳＴ７１の“ＹＥＳ”の場合）、目状態判定部１６は、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きは下方に向かっていたか否かを判定する（ステップＳＴ７２）。具体的には、目状態判定部１６は、目関連情報を参照して、乗員４の開眼度が第１閾値未満となる前の乗員４の顔向き情報を取得する。次に、目状態判定部１６は、取得した乗員４の顔向き情報に基づき、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きから乗員４の顔向きの軌跡を算出する。そして、目状態判定部１６は、算出した乗員４の顔向きの軌跡が下方に向かっているか否かを判定する。より詳細には、目状態判定部１６は、算出した乗員４の顔向きの軌跡が下方視領域の方向へ向かっているか否かを判定する。
　ステップＳＴ７２にて、開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きは下方に向かっていたと判定した場合（ステップＳＴ７２の“ＹＥＳ”の場合）、目状態判定部１６は、乗員４は伏し目状態であると判定する（ステップＳＴ７３）。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となった場合、乗員４は伏し目状態であると判定する。そして、目状態判定部１６は、乗員４は伏し目状態である旨の目状態情報を、脇見判定部１７に出力する。
　ステップＳＴ７１にて、乗員４の視線方向が下方に向かっていなかった場合（ステップＳＴ７１の“ＮＯ”の場合）、または、乗員４の顔向きが下方に向かっていなかった場合（ステップＳＴ７２の“ＮＯ”の場合）、すなわち、乗員４の視線方向および乗員４の顔向きが下方に向かった後に乗員４の開眼度が第１閾値未満となった場合でなければ、目状態判定部１６は、乗員４は閉眼状態であると判定する（ステップＳＴ７４）。言い換えれば、目状態判定部１６は、乗員４の視線方向および乗員４の顔向きが下方に向かう傾向にある中で乗員４の開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。そして、目状態判定部１６は、乗員４は閉眼状態である旨の目状態情報を、居眠り判定部１８に出力する。
　図７は、図５のステップＳＴ９における脇見判定部１７による脇見判定処理の詳細を説明するフローチャートである。なお、ここでは、一例として、脇見判定用条件には、上述の条件（１）が設定されているとする。
　脇見判定部１７は、図５のステップＳＴ８にて目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力されると、伏し目判定後時間をカウントアップする（ステップＳＴ９１）。なお、脇見判定部１７は、カウントアップした伏し目判定後時間を記憶しておく。
　脇見判定部１７は、乗員４の伏し目状態が脇見判定用時間以上継続しているか否かを判定する（ステップＳＴ９２）。具体的には、脇見判定部１７は、カウントアップした伏し目判定後時間が脇見判定用時間以上となったか否かを判定する。
　ステップＳＴ９２にて乗員４の伏し目状態が脇見判定用時間以上継続していると判定した場合（ステップＳＴ９２の“ＹＥＳ”の場合）、脇見判定部１７は、脇見判定用条件を満たすとし、乗員４は脇見状態であると判定する（ステップＳＴ９３）。そして、脇見判定部１７は、乗員４は脇見状態である旨の情報を、出力部１９に出力する。
　ステップＳＴ９２にて乗員４の伏し目状態が脇見判定用時間以上継続していないと判定した場合（ステップＳＴ９２の“ＮＯ”の場合）、脇見判定部１７は、脇見判定用条件を満たさないとし、言い換えれば、乗員４は脇見状態ではないと判定し、脇見判定処理を終了する。
　図８は、図５のステップＳＴ１０における居眠り判定部１８による居眠り判定処理の詳細を説明するフローチャートである。
　居眠り判定部１８は、図５のステップＳＴ５にて眠気検知部１５が検知した乗員４の眠気レベルを特定する。そして、居眠り判定部１８は、乗員４は、眠気レベルが眠気判定用閾値以上である眠気有状態か否かを判定する（ステップＳＴ１０１）。
　ステップＳＴ１０１にて、乗員４は、眠気レベルが眠気判定用閾値以上である眠気有状態であると判定した場合（ステップＳＴ１０１の“ＹＥＳ”の場合）、居眠り判定部１８は、眠気判定後時間をカウントアップする（ステップＳＴ１０２）。
　居眠り判定部１８は、乗員４の眠気有状態が居眠り判定用時間以上継続したか否かを判定する（ステップＳＴ１０３）。具体的には、居眠り判定部１８は、カウントアップした眠気判定後時間が居眠り判定用時間以上となったか否かを判定する。
　ステップＳＴ１０３にて、乗員４の眠気有状態が居眠り判定用時間以上継続したと判定した場合（ステップＳＴ１０３の“ＹＥＳ”の場合）、居眠り判定部１８は、乗員４は居眠りをしていると判定する（ステップＳＴ１０４）。そして、居眠り判定部１８は、乗員４は居眠り状態である旨の情報を、出力部１９に出力する。
　ステップＳＴ１０１にて、乗員４は、乗員４の眠気レベルが眠気判定用閾値以上である眠気有状態ではないと判定した場合（ステップＳＴ１０１の“ＮＯ”の場合）、および、ステップＳＴ１０３にて、乗員４の眠気有状態が居眠り判定用時間以上継続していないと判定した場合（ステップＳＴ１０３の“ＮＯ”の場合）、居眠り判定部１８は、乗員４は居眠り状態ではないと判定し、居眠り判定処理を終了する。
　上述したように、従来技術では、乗員４が撮像装置２から見て伏し目状態となる可能性があることが考慮されておらず、実際の閉眼状態と伏し目状態とが区別できていないという問題があった。
　これに対し、実施の形態１に係る乗員状態判定装置１は、車両３０内の乗員４の開眼度が第１閾値未満となった場合、乗員４の視線方向および乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、乗員４の視線方向および乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する。
　そのため、乗員状態判定装置１は、乗員４が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員４が閉眼状態であるか伏し目状態であるかを判定することができる。
　また、実施の形態１に係る乗員状態判定装置１は、乗員４は伏し目状態であると判定した場合、乗員４が脇見をしているか否かを判定し、乗員４が脇見状態と判定すると第１警告情報を出力する。また、乗員状態判定装置１は、乗員４は閉眼状態であると判定した場合、乗員４が居眠りをしているか否かを判定し、乗員４が居眠り状態と判定すると第２警告情報を出力する。乗員状態判定装置１は、撮像画像から乗員４が閉眼状態であるか伏し目状態であるかを判定可能としたので、例えば、乗員４が実際には目を閉じていないにもかかわらず閉眼状態と判定してしまい、その結果、居眠りをしていると判定し、第２警告情報を出力することを防ぐ。すなわち、乗員状態判定装置１は、例えば、乗員４が実際には目を閉じていないにもかかわらず乗員４に対して、実際の乗員４の状態にそぐわない居眠りを警告してしまうことを防ぐことができる。
　また、上述のとおり、乗員状態判定装置１は、乗員４が脇見状態と判定すると、「前方不注意」であることを警告するための第１警告情報を出力する。乗員４が下方視をした場合、撮像画像からは、直接的に、伏し目状態と閉眼状態とを厳密に区別することができないことがある。そこで、実施の形態１において、乗員状態判定装置１は、撮像画像に基づいて、乗員４が開眼状態でない場合、言い換えれば、乗員４の開眼度が第１閾値未満となった場合、乗員４の視線方向および乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態とすべきと判定するようにした。そして、乗員状態判定装置１は、当該伏し目状態が脇見判定用時間以上継続していれば、乗員４が脇見状態と判定するようにした。ここで、上述のとおり、撮像画像からは直接的に伏し目状態と閉眼状態とを厳密に区別することができないため、乗員状態判定装置１が乗員４は伏し目状態と判定した場合に、実際には乗員４は閉眼している可能性もないとは言い切れない。乗員状態判定装置１は、乗員４が脇見状態と判定した場合に「前方不注意」との警告を出力させることで、例えば「脇見注意」との警告よりも意味の範囲が広い警告を出力させるようにし、乗員４に対して誤った警告をすることを防ぐことができる。
　以上の実施の形態１では、乗員状態判定装置１において、目状態判定部１６は、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知した乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知した乗員４の顔向きが下方に向かった後に開眼度判定部１２が判定した開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、視線検知部１３が検知した乗員４の視線方向が下方に向かい、かつ、顔向き検知部１４が検知した乗員４の顔向きが下方に向かった後に開眼度判定部１２が判定した開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定していた。これは一例に過ぎず、目状態判定部１６は、乗員４の顔向きは考慮せず、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定してもよい。
　この場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、顔向き検知部１４を備えない構成とできる。また、図６のフローチャートを用いて説明した乗員状態判定装置１における目状態判定部１６の動作について、ステップＳＴ７２の処理を省略できる。
　ただし、乗員状態判定装置１は、乗員４の顔向きを考慮して、乗員４の開眼度が第１閾値未満となった場合、乗員４の視線方向が下方に向かい、かつ、乗員４の顔向きが下方に向かった後に開眼度が第１閾値未満となったのであれば乗員４は伏し目状態であると判定することで、乗員４の視線方向が下方に向かっているか否かの下方視判定の確度を上げることができる。
　また、例えば、目状態判定部１６は、乗員４の開眼度が第１閾値未満と判定された場合、乗員４の開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から算出した乗員４の視線方向の軌跡と、乗員４の開眼度が第１閾値未満と判定される前に顔向き検知部１４が検知していた乗員４の顔向きから算出した乗員４の顔向きの軌跡とが、下方視領域内に存在する対象物（以下「下方視対象物」という。）に向かっていた場合に、乗員４の視線方向が下方に向かっていたとしてもよい。
　なお、下方視対象物は、例えば、ナビゲーション装置、エアコン操作部３５、または、ディスプレイ３４等の車載装置を想定している。例えば、インナーミラー３６を下方視対象物としてもよい。
　下方視対象物の設置位置は予めわかっているので、目状態判定部１６は、乗員４の視線方向の軌跡がわかれば、当該視線方向が下方視対象物の方向に向かっていたか否かを判定できる。この場合、図６のフローチャートを用いて説明した乗員状態判定装置１における目状態判定部１６の動作について、目状態判定部１６は、ステップＳＴ７１において、乗員４の視線方向の軌跡が下方視対象物に向かっていたか否かを判定する。また、目状態判定部１６は、ステップＳＴ７２において、乗員４の顔向きの軌跡が下方視対象物に向かっていたか否かを判定する。
　また、目状態判定部１６は、乗員４の顔向きは考慮せず、乗員４の開眼度が第１閾値未満と判定された場合、乗員４の開眼度が第１閾値未満と判定される前に視線検知部１３が検知していた乗員４の視線方向から算出した乗員４の視線方向の軌跡が、下方視領域内に存在する下方視対象物に向かっていた場合に、乗員４の視線方向が下方に向かっていたとしてもよい。この場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、顔向き検知部１４を備えない構成とできる。また、図６のフローチャートを用いて説明した乗員状態判定装置１における目状態判定部１６の動作について、目状態判定部１６は、ステップＳＴ７１において、乗員４の視線方向の軌跡が下方視領域内に存在する下方視対象物に向かっていたか否かを判定する。目状態判定部１６は、ステップＳＴ７２の処理は省略できる。
　また、以上の実施の形態１では、乗員状態判定装置１は、乗員４が脇見をしているか否かの脇見判定を行うものとした。しかし、これは一例に過ぎず、乗員状態判定装置１は、脇見判定を行う機能を有することを必須としない。
　乗員状態判定装置１が脇見判定を行う機能を有しない場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、脇見判定部１７を備えない構成とできる。また、図５のフローチャートを用いて説明した乗員状態判定装置１の動作について、ステップＳＴ９の処理を省略できる。
　この場合、目状態判定部１６は、乗員４が伏し目状態と判定すると、乗員４は伏し目状態である旨の目状態情報を、出力部１９に出力する。出力部１９は、目状態判定部１６から乗員４は伏し目状態である旨の目状態情報が出力されると、例えば、脇見を警告するための第１警告情報を出力してもよい。その際、出力部１９は、例えば、乗員４の伏し目状態が脇見判定用時間以上継続した場合に、第１警告情報を出力するようにしてもよい。
　例えば、乗員状態判定装置１が、目状態情報に基づいて乗員４の脇見判定を行う脇見判定装置（図示省略）と接続されている場合、出力部１９は、目状態判定部１６から出力された、乗員４が伏し目状態である旨の目状態情報を、脇見判定装置に出力してもよい。
　また、以上の実施の形態１では、乗員状態判定装置１は、乗員４が居眠りをしているか否かの居眠り判定を行うものとした。しかし、これは一例に過ぎず、乗員状態判定装置１は、居眠り判定を行う機能を有することを必須としない。
　乗員状態判定装置１が居眠り判定を行う機能を有しない場合、例えば、図１にて示した乗員状態判定装置１の構成例について、乗員状態判定装置１は、眠気検知部１５および居眠り判定部１８を備えない構成とできる。また、図５のフローチャートを用いて説明した乗員状態判定装置１の動作について、ステップＳＴ１０の動作を省略できる。
　この場合、目状態判定部１６は、乗員４が閉眼状態と判定すると、乗員４は閉眼状態である旨の目状態情報を、出力部１９に出力する。出力部１９は、目状態判定部１６から乗員４は閉眼状態である旨の目状態情報が出力されると、例えば、居眠りを警告するための第２警告情報を出力してもよい。その際、出力部１９は、例えば、乗員４の閉眼状態が居眠り判定用時間以上継続した場合に、第２警告情報を出力するようにしてもよい。
　例えば、乗員状態判定装置１が、目状態情報に基づいて乗員４の居眠り判定を行う居眠り判定装置（図示省略）と接続されている場合、出力部１９は、目状態判定部１６から出力された、乗員４が閉眼状態である旨の目状態情報を、居眠り判定装置に出力してもよい。
　乗員状態判定装置１は、脇見判定部１７、眠気検知部１５、および、居眠り判定部１８を備えず、脇見判定を行う機能と居眠り判定を行う機能の両方を有していないものとしてもよい。
　また、以上の実施の形態１に係る乗員状態判定装置１において、脇見判定部１７は、目状態判定部１６によって乗員４は伏し目状態であると判定されて脇見判定処理を行い、伏し目判定後時間をカウントアップしている過程で、開眼度判定部１２が判定した開眼度が第１閾値よりも小さい閾値（以下「第２閾値」という。）未満となった場合は、伏し目判定後時間のカウントアップを一時停止してもよい。なお、このとき、脇見判定部１７は、伏し目判定後時間のクリアは行わない。第２閾値は適宜設定可能であり、第２閾値には第１閾値よりも小さい値が設定されていればよい。
　例えば、乗員４が、その視線方向または顔向きから下方視をしているかのように見える動きをしても、実際には目を閉じて閉眼状態になったということも想定される。このような場合を想定し、脇見判定部１７は、脇見判定処理において、乗員４の開眼度が第２閾値未満であれば、伏し目判定後時間のカウントアップを一時停止する。これにより、乗員状態判定装置１は、乗員４が伏し目と同じような動きで閉眼した場合に、乗員４は脇見していると誤判定してしまうことを防ぐことができる。なお、例えば、脇見判定部１７は、伏し目判定後時間のカウントアップを一時停止するとともに、居眠り判定部１８にその旨を通知し、居眠り判定部１８は眠気判定後時間をカウントアップするようにしてもよい。
　また、以上の実施の形態１では、乗員状態判定装置１が状態を判定する対象となる乗員４は、車両３０の運転者を想定していた。しかし、これは一例に過ぎない。
　乗員状態判定装置１は、運転者以外の車両３０の乗員４の状態を判定することもできる。
　図９Ａ，図９Ｂは、実施の形態１に係る乗員状態判定装置１のハードウェア構成の一例を示す図である。
　実施の形態１において、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能は、処理回路１００１により実現される。すなわち、乗員状態判定装置１は、乗員４の開眼度が第１閾値未満となった場合に、乗員４が伏し目状態であるか閉眼状態であるかの判定を含む乗員４の状態の判定を制御するための処理回路１００１を備える。
　処理回路１００１は、図９Ａに示すように専用のハードウェアであっても、図９Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１００４であってもよい。
　処理回路１００１が専用のハードウェアである場合、処理回路１００１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
　処理回路がプロセッサ１００４の場合、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１００５に記憶される。プロセッサ１００４は、メモリ１００５に記憶されたプログラムを読み出して実行することにより、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能を実行する。すなわち、乗員状態判定装置１は、プロセッサ１００４により実行されるときに、上述の図５のステップＳＴ１～ステップＳＴ１１が結果的に実行されることになるプログラムを格納するためのメモリ１００５を備える。また、メモリ１００５に記憶されたプログラムは、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ１００５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ－Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等が該当する。
　なお、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像取得部１１については専用のハードウェアとしての処理回路１００１でその機能を実現し、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９についてはプロセッサ１００４がメモリ１００５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　また、乗員状態判定装置１は、撮像装置２または出力装置等の装置と、有線通信または無線通信を行う入力インタフェース装置１００２および出力インタフェース装置１００３を備える。
　以上の実施の形態１では、乗員状態判定装置１は、車両３０に搭載される車載装置とし、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９は、乗員状態判定装置１に備えられていた。
　これに限らず、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９のうち、一部が車両３０の車載装置に搭載され、その他が当該車載装置とネットワークを介して接続されるサーバに備えられて、車載装置とサーバとで乗員状態判定システム１００を構成してもよい。
　また、画像取得部１１と、開眼度判定部１２と、視線検知部１３と、顔向き検知部１４と、眠気検知部１５と、目状態判定部１６と、脇見判定部１７と、居眠り判定部１８と、出力部１９が全部サーバに備えられてもよい。
　以上のように、実施の形態１に係る乗員状態判定装置１は、車両３０内に設けられている撮像装置２によって車両３０内の乗員４の顔が撮像された撮像画像を取得する画像取得部１１と、画像取得部１１が取得した撮像画像に基づいて、乗員４の開眼度を判定する開眼度判定部１２と、画像取得部１１が取得した撮像画像に基づいて、乗員４の視線を検知する視線検知部１３と、開眼度判定部１２が判定した開眼度が第１閾値未満となった場合、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのであれば、乗員４は伏し目状態であると判定し、視線検知部１３が検知していた乗員４の視線方向が下方に向かった後に開眼度が第１閾値未満となったのでなければ、乗員４は閉眼状態であると判定する目状態判定部１６とを備えるように構成した。そのため、乗員状態判定装置１は、乗員４が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員４が閉眼状態であるか伏し目状態であるかを判定することができる。
　なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
　本開示に係る乗員状態判定装置は、乗員が通常の乗車状態における視線よりも下方に視線を向けた場合を考慮して、乗員が閉眼状態であるか伏し目状態であるかを判定することができる。
　１　乗員状態判定装置、１１　画像取得部、１２　開眼度判定部、１３　視線検知部、１４　顔向き検知部、１５　眠気検知部、１６　目状態判定部、１７　脇見判定部、１８　居眠り判定部、１９　出力部、２　撮像装置、１００　乗員状態判定システム、１００１　処理回路、１００２　入力インタフェース装置、１００３　出力インタフェース装置、１００４　プロセッサ、１００５　メモリ。

Claims (17)

  1. 　車両内に設けられている撮像装置によって前記車両内の乗員の顔が撮像された撮像画像を取得する画像取得部と、
    　前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の開眼度を判定する開眼度判定部と、
    　前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の視線を検知する視線検知部と、
    　前記開眼度判定部が判定した前記開眼度が第１閾値未満となった場合、前記視線検知部が検知していた前記乗員の視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのであれば、前記乗員は伏し目状態であると判定し、前記視線検知部が検知していた前記乗員の前記視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は閉眼状態であると判定する目状態判定部
    　とを備えた乗員状態判定装置。
  2. 　前記目状態判定部は、前記乗員の前記視線方向が前記車両内において前記撮像装置よりも下方に設定された下方視領域の方向へ向かっていた場合、前記乗員の前記視線方向が下方に向かっていたとする
    　ことを特徴とする請求項１記載の乗員状態判定装置。
  3. 　前記目状態判定部は、前記開眼度が前記第１閾値未満と判定される前に前記視線検知部が検知していた前記乗員の前記視線方向から算出した前記乗員の前記視線方向の軌跡が、前記下方視領域内に存在する下方視対象物に向かっていた場合、前記乗員の前記視線方向が下方に向かっていたとする
    　ことを特徴とする請求項２記載の乗員状態判定装置。
  4. 　前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の顔向きを検知する顔向き検知部を備え、
    　前記目状態判定部は、前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となった場合、前記視線検知部が検知した前記乗員の前記視線方向が下方に向かい、かつ、前記顔向き検知部が検知した前記乗員の前記顔向きが下方に向かった後に前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となったのであれば、前記乗員は前記伏し目状態であると判定し、前記視線検知部が検知した前記乗員の前記視線方向が下方に向かい、かつ、前記顔向き検知部が検知した前記乗員の前記顔向きが下方に向かった後に前記開眼度判定部が判定した前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は前記閉眼状態であると判定する
    　ことを特徴とする請求項１記載の乗員状態判定装置。
  5. 　前記目状態判定部は、前記乗員の前記視線方向および前記乗員の前記顔向きが、前記車両内において前記撮像装置よりも下方に設定された下方視領域の方向へ向かっていた場合、前記乗員の前記視線方向および前記乗員の前記顔向きが下方に向かっていたとする
    　ことを特徴とする請求項４記載の乗員状態判定装置。
  6. 　前記目状態判定部は、前記開眼度が前記第１閾値未満と判定される前に前記視線検知部が検知していた前記乗員の前記視線方向から算出した前記乗員の前記視線方向の軌跡と、前記開眼度が前記第１閾値未満と判定される前に前記顔向き検知部が検知していた前記乗員の前記顔向きから算出した前記乗員の前記顔向きの軌跡とが、前記下方視領域内に存在する下方視対象物に向かっていた場合、前記乗員の前記視線方向および前記乗員の前記顔向きが下方に向かっていたとする
    　ことを特徴とする請求項５記載の乗員状態判定装置。
  7. 　前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、脇見判定用条件を満たすか否かによって前記乗員が脇見をしているか否かを判定する脇見判定部を備えた
    　ことを特徴とする請求項１記載の乗員状態判定装置。
  8. 　前記脇見判定部は、前記目状態判定部が判定した前記乗員の前記伏し目状態が脇見判定用時間以上継続した場合、前記脇見判定用条件を満たし、前記乗員は脇見をしていると判定する
    　ことを特徴とする請求項７記載の乗員状態判定装置。
  9. 　前記脇見判定部は、前記目状態判定部が前記乗員は前記伏し目状態であると判定すると伏し目判定後時間のカウントアップを開始して、カウントアップした前記伏し目判定後時間が前記脇見判定用時間以上継続した場合に前記脇見判定用条件を満たし前記乗員は脇見をしていると判定し、前記伏し目判定後時間のカウントアップを開始後、前記目状態判定部が前記乗員は前記伏し目状態であると判定しても、前記開眼度判定部が判定した前記乗員の前記開眼度が第２閾値未満である場合は、前記伏し目判定後時間のカウントアップを一時停止する
    　ことを特徴とする請求項８記載の乗員状態判定装置。
  10. 　前記乗員の眠気レベルを検知する眠気検知部と、
    　前記目状態判定部が前記乗員は前記閉眼状態であると判定した場合、前記眠気検知部が検知した前記乗員の前記眠気レベルに基づいて前記乗員が居眠りをしているか否かを判定する居眠り判定部を備えた
    　ことを特徴とする請求項１記載の乗員状態判定装置。
  11. 　前記居眠り判定部は、前記乗員の前記眠気レベルが眠気判定用閾値以上である眠気有状態が居眠り判定用時間以上継続した場合、前記乗員は居眠りをしていると判定する
    　ことを特徴とする請求項１０記載の乗員状態判定装置。
  12. 　前記目状態判定部が前記乗員は前記伏し目状態であると判定した場合、前方不注意であることを警告するための第１警告情報を出力し、前記目状態判定部が前記乗員は前記閉眼状態であると判定した場合、居眠りを警告するための第２警告情報を出力する出力部を備えた
    　ことを特徴とする請求項１記載の乗員状態判定装置。
  13. 　画像取得部が、車両内に設けられている撮像装置によって前記車両内の乗員の顔が撮像された撮像画像を取得するステップと、
    　開眼度判定部が、前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の開眼度を判定するステップと、
    　視線検知部が、前記画像取得部が取得した前記撮像画像に基づいて、前記乗員の視線を検知するステップと、
    　目状態判定部が、前記開眼度判定部が判定した前記開眼度が第１閾値未満となった場合、前記視線検知部が検知していた前記乗員の視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのであれば、前記乗員は伏し目状態であると判定し、前記視線検知部が検知していた前記乗員の前記視線方向が下方に向かった後に前記開眼度が前記第１閾値未満となったのでなければ、前記乗員は閉眼状態であると判定するステップ
    　とを備えた乗員状態判定方法。
  14. 　請求項１から請求項１２のうちのいずれか１項記載の乗員状態判定装置と、
    　前記車両内に設けられた前記撮像装置
    　とを備えた乗員状態判定システム。
  15. 　前記撮像装置は、前記車両内においてインストルメントパネルに設けられている
    　ことを特徴とする請求項１４記載の乗員状態判定システム。
  16. 　前記撮像装置は、前記車両内においてヘッドレストよりも上方に設けられている
    　ことを特徴とする請求項１４記載の乗員状態判定システム。
  17. 　前記撮像装置は、前記車両内においてハンドルよりも上方に設けられている
    　ことを特徴とする請求項１４記載の乗員状態判定システム。
PCT/JP2021/029705 2021-08-12 2021-08-12 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム WO2023017595A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023541180A JP7378681B2 (ja) 2021-08-12 2021-08-12 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム
DE112021007703.1T DE112021007703T5 (de) 2021-08-12 2021-08-12 Insassenzustandsbeurteilungsvorrichtung, verfahren zum beurteilen des zustands eines insassen und insassenzustandsbeurteilungssystem
PCT/JP2021/029705 WO2023017595A1 (ja) 2021-08-12 2021-08-12 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/029705 WO2023017595A1 (ja) 2021-08-12 2021-08-12 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム

Publications (1)

Publication Number Publication Date
WO2023017595A1 true WO2023017595A1 (ja) 2023-02-16

Family

ID=85200152

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029705 WO2023017595A1 (ja) 2021-08-12 2021-08-12 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム

Country Status (3)

Country Link
JP (1) JP7378681B2 (ja)
DE (1) DE112021007703T5 (ja)
WO (1) WO2023017595A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204107A (ja) * 2007-02-19 2008-09-04 Toyota Motor Corp 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP2011048531A (ja) * 2009-08-26 2011-03-10 Aisin Seiki Co Ltd 眠気検出装置、眠気検出方法、及びプログラム
JP2016115118A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 下方視判定装置および下方視判定方法
JP2020024532A (ja) * 2018-08-07 2020-02-13 オムロン株式会社 脇見運転検出装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008204107A (ja) * 2007-02-19 2008-09-04 Toyota Motor Corp 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP2011048531A (ja) * 2009-08-26 2011-03-10 Aisin Seiki Co Ltd 眠気検出装置、眠気検出方法、及びプログラム
JP2016115118A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 下方視判定装置および下方視判定方法
JP2020024532A (ja) * 2018-08-07 2020-02-13 オムロン株式会社 脇見運転検出装置

Also Published As

Publication number Publication date
JP7378681B2 (ja) 2023-11-13
DE112021007703T5 (de) 2024-03-14
JPWO2023017595A1 (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
JP4370915B2 (ja) 車載アプリケーション選択システム及び車載アプリケーション選択装置
US7835834B2 (en) Method of mitigating driver distraction
US9117358B2 (en) Method for classification of eye closures
JP5207249B2 (ja) 運転者状態監視システム
EP2908726B1 (en) Method and device for detecting decreased attentiveness of vehicle driver
US9888875B2 (en) Driver monitoring apparatus
JP5233322B2 (ja) 情報処理装置および方法、並びに、プログラム
JP6756174B2 (ja) 車両制御装置
JP4840146B2 (ja) 眠気検知装置
JP6730096B2 (ja) 乗員状態監視装置
JP6187155B2 (ja) 注視対象物推定装置
CN115965857B (zh) 一种环境光处理方法及dms系统
JP2020157938A (ja) 車載監視制御装置
JP2004133749A (ja) 顔の向き検知装置
US20220319200A1 (en) Device and method for determining image data of the eyes, eye positions and/or a viewing direction of a vehicle user in a vehicle
WO2023017595A1 (ja) 乗員状態判定装置、乗員状態判定方法、および、乗員状態判定システム
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP6565305B2 (ja) 車両の安全運転促進方法及び車両の安全運転促進装置
US11995898B2 (en) Occupant monitoring device for vehicle
WO2022113275A1 (ja) 睡眠検出装置及び睡眠検出システム
JP2017061216A (ja) 車載撮像システム、車両および撮像方法
US20240135729A1 (en) Occupant detection device, occupant detection system, and occupant detection method
JP7091632B2 (ja) 安全運転促進装置及び安全運転促進方法
JPH11304428A (ja) 運転者監視装置及び自動車運転支援システム
US11945461B2 (en) System for preventing drunk driving and method for controlling the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21953490

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023541180

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112021007703

Country of ref document: DE