WO2017006853A1 - 運転者異常検出装置及び運転者異常検出方法 - Google Patents

運転者異常検出装置及び運転者異常検出方法 Download PDF

Info

Publication number
WO2017006853A1
WO2017006853A1 PCT/JP2016/069610 JP2016069610W WO2017006853A1 WO 2017006853 A1 WO2017006853 A1 WO 2017006853A1 JP 2016069610 W JP2016069610 W JP 2016069610W WO 2017006853 A1 WO2017006853 A1 WO 2017006853A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
abnormality detection
abnormal state
determination
detection device
Prior art date
Application number
PCT/JP2016/069610
Other languages
English (en)
French (fr)
Inventor
大乗 山高
塩谷　武司
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/741,889 priority Critical patent/US10417512B2/en
Publication of WO2017006853A1 publication Critical patent/WO2017006853A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Definitions

  • This disclosure relates to an abnormality detection technique for detecting an abnormality of a vehicle driver.
  • Patent Document 1 an apparatus for determining a driver's side-by-side driving (looking away driving) by the following method has been proposed (see Patent Document 1).
  • the face of the driver is photographed by, for example, a camera, and the direction of the driver's face or line of sight is detected.
  • the detection period is within the predetermined period, it is determined that the operation is a look-aside operation.
  • This disclosure is intended to provide a driver abnormality detection device that improves the accuracy of driver abnormality detection and a driver abnormality detection method that is executed by the driver abnormality detection device.
  • the driver abnormality detection device (1) of the present disclosure includes at least two of the direction determination unit (23), the height determination unit (25), and the position determination unit (27), and an abnormal state determination unit. (29).
  • the direction determination unit determines that the driver's line-of-sight direction is in an abnormal state when the driver's line-of-sight direction is not within the first predetermined range based on a captured image of the driver (H) of the vehicle (2). To do.
  • the height determination unit determines that the driver's eyes (E) are in an abnormal state based on the captured image when the height of the driver's eyes (E) is not within the second predetermined range.
  • the position determination unit determines an abnormal state based on the photographed image when the position of the head in the left-right direction is not within the third predetermined range.
  • the abnormal state determination unit determines whether or not the driver's state is abnormal based on the determination results of the plurality of determination units.
  • the driver abnormality detection device In the driver abnormality detection device according to the present disclosure, at least two (two types) events are determined according to the above configuration, and the driver abnormality is detected based on the determination result. Specifically, in the driver abnormality detection device, an abnormal state is detected for at least two events among the direction of the driver's line of sight, the height of the driver's eyes, and the position of the driver's head in the left-right direction. Is determined. In the driver abnormality detection device, the abnormality of the driver is detected based on the determination result of the abnormal state with respect to at least two events.
  • the driver abnormality detection device of the present disclosure not only one (one type) event but also a plurality of events (for example, the direction of the line of sight, the height of the eyes, and the position of the head in the left-right direction) Etc.), the driver's abnormality is determined.
  • the accuracy of driver abnormality detection determination of whether there is an abnormality
  • FIG. 1 is a schematic diagram when a vehicle including a driver abnormality detection device is viewed from the side.
  • FIG. 2 is a schematic diagram when a vehicle including a driver abnormality detection device is viewed from above.
  • FIG. 3 is a functional block diagram of the driver abnormality detection device.
  • FIG. 4 is a schematic diagram showing an effective visual field of the driver.
  • FIG. 5 is a flowchart showing the abnormality determination process.
  • FIG. 6 is a flowchart showing the setting process of the allowable continuous time in the abnormal state.
  • FIG. 1 is a schematic diagram when a vehicle 2 including a driver abnormality detection device 1 according to the present embodiment is viewed from the side.
  • the vehicle 2 including the driver abnormality detection device 1 includes a windshield 5 in front of the passenger compartment 3.
  • a dashboard 8 located below the windshield 5 is provided with a handle 8.
  • the handle 8 can be adjusted in position such as height.
  • a driver's seat 9 is provided behind the handle 8.
  • the driver abnormality detection device 1 includes a camera illumination unit 10, a state detection ECU 20, and a vehicle information management ECU 30.
  • the camera illumination unit 10 is provided, for example, behind the upper surface of the dashboard 7. Specifically, the camera illumination unit 10 is provided such that the lower end of the shooting range (shootable area) indicated by the dotted line in FIG. 1 is positioned below the lower end of the headrest 9A of the driver seat 9. . Furthermore, the camera illumination unit 10 is provided so that the upper end of the shooting range is located sufficiently above the head H of the driver of the vehicle 2. Thus, in the camera illumination unit 10, the angle in the vertical direction is set so that the upper and lower ends of the shootable area are positioned within a predetermined range. As a result, the eye E of the driver of the vehicle 2 is positioned at the center in the vertical direction of the shooting range of the camera illumination unit 10.
  • FIG. 2 is a schematic diagram when the vehicle 2 including the driver abnormality detection device 1 according to the present embodiment is viewed from above.
  • the camera illumination unit 10 is arranged so that the right end (right end as viewed from the camera viewpoint) of the shooting range indicated by the dotted line in FIG. 2 is located to the right of the right end of the headrest 9A. Is provided.
  • the camera illumination unit 10 is provided so that the left end of the photographing range (left end as seen from the photographing viewpoint of the camera) is located to the left of the head H of the driver of the vehicle 2.
  • the left and right angles are set so that the left and right ends of the shootable area are located within a predetermined range.
  • the head H of the driver of the vehicle 2 is positioned near the center in the left-right direction of the photographing range of the camera illumination unit 10.
  • the camera illumination unit 10 functions as a photographing unit that photographs the driver's head H.
  • the state detection ECU 20 is a processing unit that detects a driver's state (absence / absence of abnormality) based on a photographing result (captured image) of the camera illumination unit 10.
  • the vehicle information management ECU 30 is a processing unit that acquires information related to the vehicle 2 (hereinafter referred to as “vehicle information”) including vehicle speed, surrounding conditions, and the like.
  • vehicle information includes vehicle speed, surrounding conditions, and the like.
  • the vehicle information management ECU 30 is connected with, for example, a navigation device, various sensors (millimeter wave radar, a camera for vehicle exterior, and a vehicle speed sensor), a vehicle-to-vehicle communication system, and the like, and acquires vehicle information from these devices.
  • the vehicle information management ECU 30 stores the acquired vehicle information in a predetermined storage area and manages the information so that it can be used from other processing units.
  • vehicle information management ECU30 functions as an information acquisition part which acquires the information regarding the driving
  • the state detection ECU 20 and the vehicle information management ECU 30 are microcomputers that include a CPU, a memory (for example, ROM or RAM), an I / O, and the like.
  • the state detection ECU 20 and the vehicle information management ECU 30 execute various processes relating to driver abnormality detection by the CPU executing a program installed in, for example, the ROM.
  • FIG. 3 is a functional block diagram of the driver abnormality detection device 1 according to the present embodiment.
  • the camera illumination unit 10 includes a near-infrared illumination 11, a camera 13, an illumination control unit 15, and an image acquisition unit 17.
  • the near-infrared illumination 11 irradiates the imaging range of the camera 13 with near-infrared rays.
  • the illumination control unit 15 controls the near-infrared irradiation timing irradiated by the near-infrared illumination 11.
  • the illumination control unit 15 is a microcomputer provided with a CPU, a memory (for example, ROM or RAM), and the like. Or you may be comprised by the electronic circuit which has an equivalent function.
  • the illumination control unit 15 controls the near-infrared illumination 11 for a control period (near-infrared irradiation period) of 1 ms every control period (near-infrared irradiation period) of 30 ms. At this time, the illumination control unit 15 outputs a control command for irradiating the near infrared ray to a predetermined range to the near infrared illumination 11.
  • the control cycle is preferably in the range of 28 to 32 ms.
  • the control period is preferably in the range of 0.8 to 1.2 ms.
  • the camera 13 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) camera or the like.
  • the camera 13 captures an imaging range in which the near-infrared illumination 11 emits near-infrared light, and inputs the imaging data to the image acquisition unit 17.
  • the image acquisition unit 17 generates digital image data (hereinafter referred to as “captured image data”) based on the photographic data input from the camera 13 and inputs the generated data to the state detection ECU 20.
  • the state detection ECU 20 is a microcomputer provided with a CPU, memory (for example, ROM and RAM), and the like.
  • the state detection ECU 20 has various processing units shown in FIG. Specifically, the state detection ECU 20 includes an image processing unit 21, a direction determination unit 23, a height determination unit 25, a position determination unit 27, and an abnormal state determination unit 29.
  • Each processing unit may be configured as a processing unit including an independent CPU, electronic circuit, and the like. Alternatively, they may be configured as independent program modules executed by the same CPU, the same program module, or the like.
  • the image processing unit 21 performs various types of image processing on the captured image data input from the image acquisition unit 17. Examples of the image processing include processing for facilitating recognition of the contour of the driver's head H and the contour of the eye E, the center of the pupil of the eye E, and the Purkinje image.
  • the direction determination unit 23 detects the line-of-sight direction of the driver's eye E, and determines whether or not the detected line-of-sight direction is within the first predetermined range.
  • the direction determination unit 23 determines that the driver's line-of-sight direction is in an abnormal state when the driver's line-of-sight direction is not within the first predetermined range.
  • Examples of the method for detecting the line of sight include a corneal reflection method and a facial feature point model-based method.
  • the direction determination unit 23 can apply a known detection method. Alternatively, these known detection methods may be applied in combination.
  • the corneal reflection method see, for example, Japanese Patent Application Laid-Open No.
  • the first predetermined range can be set in various ways.
  • FIG. 4 is a schematic diagram showing an effective visual field S of the driver.
  • the first predetermined range is such that at least a part of the effective visual field S corresponding to the line-of-sight direction of the driver's eye E overlaps the range of the windshield 5.
  • the effective visual field S has a spread of 15 ° in the left-right direction, 8 ° in the upward direction, and 12 ° in the downward direction with respect to the line-of-sight direction.
  • the direction determination unit 23 determines whether or not the detected line-of-sight direction is included in the first predetermined range set in this way.
  • the direction determination unit 23 determines that the line-of-sight direction is not within the first predetermined range when the line-of-sight direction of the driver's eye E cannot be detected, for example, when the eye E is closed.
  • the height determination unit 25 detects the height of the driver's eye E and determines whether or not the detected height is within the second predetermined range.
  • the height determination unit 25 determines an abnormal state when the height of the driver's eye E is not within the second predetermined range.
  • Various settings can be made for the second predetermined range.
  • the second predetermined range is set such that the taillight of the preceding vehicle can be seen by the driver's eyes E through the windshield 5.
  • the height determination unit 25 determines whether or not the detected height is included in the second predetermined range set in this way. Specifically, the determination is as follows. First, the position of the taillight of the preceding vehicle is assumed to be 11.1 m from the front end of the vehicle 2 and 0.35 m from the road surface.
  • the height determination unit 25 can determine satisfactorily whether or not the height of the driver's eye E is within the second predetermined range. Note that the height determination unit 25 is located near the center of the driver's head H in the vertical direction when the driver's eye E cannot be detected, for example, when the eye E is thin or the eye E is small. Considering that there is an eye E, the height is determined.
  • the position determination unit 27 detects the position of the driver's head H in the left-right direction, and determines whether or not the detected position is within a third predetermined range.
  • the position determination unit 27 determines that the head H is in an abnormal state when the position in the left-right direction of the head H is not within the third predetermined range.
  • Various settings can be made for the third predetermined range.
  • the third predetermined range is set such that the center of gravity of the driver's head H is located in front of the headrest 9 ⁇ / b> A of the driver seat 9 in the vehicle 2.
  • the position determination unit 27 determines whether or not the detected left-right position is included in the third predetermined range set in this way. Specifically, the determination is as follows.
  • the position determination unit 27 It is determined that it is within the predetermined range.
  • the size of the headrest 9A is defined by laws and regulations as ⁇ 85 mm or more with respect to the center in the left-right direction. Therefore, the interval between the two position reference lines L2 and L3 is 170 mm or more. Further, the center of gravity of the driver's head H in the vertical direction can be regarded as being positioned at the height of both the left and right eyes E.
  • the photographing range in the left-right direction in the camera illumination unit 10 is set to a range (left end and right end ranges in the figure) indicated by a dotted line in FIG. Therefore, the position determination part 27 can determine favorably whether or not the center of gravity of the driver's head H in the left-right direction is within the third predetermined range.
  • the center of gravity of the driver's head H in the left-right direction may be the center position of the left and right eyes E (both eyes).
  • the abnormal state determination unit 29 determines whether or not the driver's state is abnormal based on the determination results of the direction determination unit 23, the height determination unit 25, and the position determination unit 27. At this time, the abnormal state determination unit 29 detects the driver's abnormality based on the determination results of at least two of the determination units 23, 25, and 27 (determination results of abnormal states for two events). I do. The abnormal state determination unit 29 then determines that at least one of the plurality of determination units 23, 25, and 27 determines an abnormal state (when an abnormal state is detected in at least one of the plurality of events). In addition, it is determined that the state of the driver is abnormal.
  • the abnormal state determination unit 29 includes a time correction unit 29A that corrects a time during which the abnormal state determined by each of the determination units 23, 25, and 27 is allowed to continue (hereinafter referred to as “continuation allowable time”).
  • continuous allowable time a time during which the abnormal state determined by each of the determination units 23, 25, and 27 is allowed to continue.
  • the time correction unit 29A corrects the allowable continuous time according to the vehicle information input from the vehicle information management ECU 30.
  • FIG. 5 is a flowchart showing the abnormality determination process.
  • the image processing unit 21 acquires captured image data of the camera illumination unit 10 (S1). At this time, the image processing unit 21 performs predetermined image processing on the acquired captured image data. Subsequently, the state detection ECU 20 recognizes the contour of the driver's head H from the captured image data (data after image processing) of the camera illumination unit 10, and detects the position of the face in the image (S3). Subsequently, the state detection ECU 20 recognizes the contour of the driver's eye E, the pupil, and the like from the captured image data (data after image processing) of the camera illumination unit 10, and detects the position of the facial feature point in the image. (S5).
  • the direction determination unit 23 detects the driver's line-of-sight direction based on the position of the facial feature point detected in step S5 (S7).
  • the direction determination unit 23 determines whether or not the detected line-of-sight direction is within the first predetermined range (whether or not it is an appropriate direction that falls within the first predetermined range) (S11).
  • the state detection ECU 20 proceeds to the process of step S13. Then, the state detection ECU 20 updates the direction abnormality count (S13).
  • the state detection ECU 20 proceeds to the process of step S15. Then, the state detection ECU 20 resets the direction abnormality count (S15).
  • the direction abnormality count is reset (initialized) to 0 when the vehicle 2 is started, and is incremented (counted up) when the process of step S13 is executed. On the other hand, when the process of step S15 is executed, it is reset to 0 again. That is, the direction abnormality count corresponds to a value that records the duration of abnormality determination in the driver's line-of-sight direction. Accordingly, the state detection ECU 20 can grasp the duration of the abnormal state where the line-of-sight direction is not appropriate by referring to the direction abnormality count.
  • the height determination unit 25 determines whether or not the height of the driver's eye E is within the second predetermined range (whether or not the height is within a second predetermined range). Determine (S21). As a result, when the height determination unit 25 determines that the height of the eye E is not within the second predetermined range (inappropriate height) (S21: N), the state detection ECU 20 proceeds to the process of step S23. Transition. Then, the state detection ECU 20 updates the height abnormality count (S23). On the other hand, when the height determination unit 25 determines that the height of the eye E is within the second predetermined range (appropriate height) (S21: Y), the state detection ECU 20 proceeds to the process of step S25. Transition.
  • the state detection ECU 20 resets the height abnormality count (S25).
  • the height abnormality count is reset (initialized) to 0 when the vehicle 2 is started, and is incremented (counted up) when the process of step S23 is executed.
  • the process of step S25 is executed, it is reset to 0 again. That is, the height abnormality count corresponds to a value that records the duration of abnormality determination at the height of the driver's eye E.
  • the state detection ECU 20 can grasp the duration of the abnormal state in which the height of the eye E is not appropriate by referring to the height abnormality count.
  • the position determination unit 27 determines whether the position of the driver's head H in the left-right direction is within the third predetermined range (whether it is an appropriate position that falls within the third predetermined range). ) Is determined (S31). As a result, when the position determination unit 27 determines that the position of the head H in the left-right direction is not within the third predetermined range (an inappropriate position) (S31: N), the state detection ECU 20 performs the process of step S33. Migrate to Then, the state detection ECU 20 updates the position abnormality count (S33).
  • the state detection ECU 20 performs the process of step S35. Migrate to Then, the state detection ECU 20 resets the position abnormality count (S35).
  • the position abnormality count is reset (initialized) to 0 when the vehicle 2 is started, and is incremented (counted up) when the process of step S33 is executed.
  • the process of step S35 is executed, it is reset to 0 again. Accordingly, the state detection ECU 20 can grasp the duration of the abnormal state in which the position of the head H in the left-right direction is not appropriate by referring to the position abnormality count.
  • the time correction unit 29A included in the abnormal state determination unit 29 sets the allowable continuous time for the abnormal state determined by the determination units 23, 25, and 27 (S40).
  • a default value is set in advance for each abnormal state determined by each determination unit 23, 25, 27.
  • the time correction unit 29A corrects or increases the allowable continuous time according to the vehicle information such as the traveling state of the vehicle 2 and the surrounding state of the vehicle 2.
  • FIG. 6 is a flowchart showing the setting process (correction process) of the allowable continuous time in the abnormal state.
  • the time correction unit 29A included in the abnormal state determination unit 29 corrects and sets the allowable continuous time of the abnormal state in the line-of-sight direction according to the travel position of the vehicle 2 (S41).
  • the time correction unit 29A determines whether or not the traveling position of the vehicle 2 is in front of a position where a left or right turn such as an intersection or a T-junction is predicted to be performed, and the line-of-sight direction is determined according to the determination result. Correct the allowable duration of abnormal conditions.
  • the information regarding the presence or absence of an intersection or a T-shaped road on the course of the vehicle 2 is acquired based on information from a navigation device or the like connected to the vehicle information management ECU 30, for example.
  • the driver checks safety in the left-right direction before making a right / left turn. Therefore, the period in which the driver's line of sight deviates from the range of the windshield 5 (first predetermined range) becomes longer. Therefore, the time correction unit 29A increases (or lengthens) the continuation allowable time of the abnormal state in the visual line direction.
  • the correction amount (increase amount) of the allowable continuous time at this time is read with reference to, for example, predetermined table data stored in advance in a ROM included in the state detection ECU 20.
  • the time correction unit 29A determines the traveling state of the vehicle 2 based on the presence or absence of merging, the presence or absence of a pedestrian crossing in addition to the intersection and the T-shaped road, and according to the determination result, You may make it correct
  • the time correction unit 29A corrects and sets the continuation allowable time of each abnormal state in the line-of-sight direction, the height of the eye E, and the position of the head H in the left-right direction according to the inter-vehicle distance (S42). ).
  • the information regarding the inter-vehicle distance from the preceding vehicle is acquired based on information from, for example, a millimeter wave radar, an external camera, or an inter-vehicle communication system connected to the vehicle information management ECU 30. For example, when the inter-vehicle distance from the preceding vehicle is short, the attention required for the driver is increased. Therefore, the time correction unit 29A corrects (decreases) the allowable continuous time of each abnormal state. Further, the correction amount (decrease amount) of the allowable continuous time at this time is read out by the same method as in the process of step S41.
  • the time correction unit 29A corrects and sets the allowable continuous time of each abnormal state of the position in the line-of-sight direction and the horizontal direction of the head H according to the vehicle speed (S43).
  • the information regarding a vehicle speed is acquired based on the information from the vehicle speed sensor connected to vehicle information management ECU30, for example. For example, as the vehicle speed increases, the driver is required to be aware of the distance. Accordingly, the time correction unit 29A corrects (decreases) the continuation allowable time of each abnormal state at the position in the line-of-sight direction and the left-right direction of the head H. Further, the correction amount (decrease amount) of the allowable continuous time at this time is read out by the same method as in the process of step S42.
  • the time correction unit 29A corrects and sets the allowable continuous time of the abnormal state in the line-of-sight direction according to the shooting environment by the camera 13 (S44).
  • the time correction unit 29A determines whether or not the shooting environment of the camera 13 is affected by backlight or direct sunlight, and corrects the allowable continuous time of the abnormal state in the line-of-sight direction according to the determination result.
  • the information regarding the intensity of backlight or direct sunlight is acquired based on information from an external camera connected to the vehicle information management ECU 30, for example.
  • the time correction unit 29A increases (or lengthens) the continuation allowable time of the abnormal state in the visual line direction. Further, the correction amount (increase amount) of the allowable continuous time at this time is read out by the same method as in the process of step S41.
  • the allowable duration is set for each abnormal state by the time correction unit 29A included in the abnormal state determination unit 29.
  • the abnormal state determination unit 29 makes a determination with respect to each abnormality count updated by the processes of steps S13, S23, and S33 (S61). From each abnormality count, the time during which the corresponding abnormal state is continued (hereinafter referred to as “abnormal state continuation time”) is known. Therefore, the abnormal state determination unit 29 refers to the updated value of each abnormal count and the value of each corrected allowable continuous time in the process of step S61, and determines the duration for each abnormal state and each abnormal state.
  • the abnormal state determination unit 29 determines whether or not the duration of the abnormal state exceeds the allowable continuous time of the abnormal state (abnormal count value> continuous allowable time value). As a result, the abnormal state determination unit 29 determines that the driver's state is abnormal when the duration of the abnormal state exceeds the allowable continuous time of the abnormal state (detects the abnormal state of the driver). To do). That is, the abnormal state determination unit 29 determines that the driver's state is abnormal when an abnormal state is continuously determined for at least one of a plurality of events for an allowable time or longer. As described above, in this embodiment, the abnormal state determination unit 29 determines the abnormal state for at least two events.
  • the abnormal state determination unit 29 determines whether or not the driver is in an abnormal state based on the determination result obtained in step S61 (S63). At this time, the abnormal state determination unit 29 determines that the driver is in an abnormal state when an abnormal state is detected in at least one of a plurality of events in the process of step S61. As a result, when the abnormal state determination unit 29 determines that the driver is not in an abnormal state (S63: N), the state detection ECU 20 once ends the process. On the other hand, when the abnormal state determination unit 29 determines that the driver is in an abnormal state (S63: Y), the state detection ECU 20 proceeds to the process of step S65.
  • the state detection ECU 20 activates a safety device such as a buzzer and issues a warning to notify the driver of the danger (S65). At this time, the state detection ECU 20 resets all abnormality counts and once ends the process. The once terminated process is executed again from the process of step S1 after a predetermined time has elapsed.
  • the driver abnormality detection device 1 provides the following effects.
  • a criterion for determining an abnormal state for each of a plurality of events in the line-of-sight direction, the height of the eye E, and the position of the head H in the left-right direction, a criterion for determining an abnormal state ( The first, second, and third predetermined ranges are clearly set. Specifically, the criteria for each event are clearly defined by numerical values. Thereby, in the driver abnormality detection device 1 according to the present embodiment, the abnormality of the driver can be detected with high accuracy. In addition, it may be possible to detect driver abnormalities that could not be detected in the past.
  • the camera illumination unit 10 is provided in front of the driver in the determination criteria for each event to be set. For this reason, for example, the camera illumination unit 10 is provided so as to be positioned at the center in the vehicle width direction as shown in FIG.
  • the camera illumination unit 10 since the camera illumination unit 10 can be set freely, the freedom degree of the layout in the compartment 3 is high.
  • the allowable continuous time of the abnormal state in each event is individually set (corrected) according to the traveling state of the vehicle 2 and the surrounding state. Therefore, in the driver abnormality detection device 1 according to the present embodiment, the abnormality of the driver can be detected more accurately according to the traveling state and the surrounding state of the vehicle 2.
  • driver abnormality detection device 1 As described above, the embodiment in the case where the driver abnormality detection device 1 according to the present disclosure is applied to the vehicle 2 has been described. However, the driver abnormality detection device 1 according to the present disclosure is not limited to the content of the above-described embodiment.
  • the driver abnormality detection device 1 of the present disclosure may be implemented in the following form, for example.
  • the effective visual field S has a 15 ° spread in the left-right direction with respect to the driver's line-of-sight direction, but is not limited thereto.
  • the spread in the left-right direction with respect to the line-of-sight direction may be changed according to, for example, the country or region in which the driver abnormality detection device 1 is used (the facial features that vary depending on the country or region). Specifically, as long as the spread in the left-right direction is within a range of 14 to 16 °, it may be changed as appropriate. The same applies to the vertical spread with respect to the line-of-sight direction.
  • the effective visual field S has a spread of 8 ° in the upward direction and 12 ° in the downward direction, but is not limited thereto.
  • the spread in the vertical direction with respect to the line-of-sight direction may be changed as appropriate as long as it is within a range of 7 to 9 ° in the upward direction and within a range of 11 to 13 ° in the downward direction.
  • the height reference line L1 for determining the height of the driver's eye E is set based on the position of the taillight of the preceding vehicle.
  • the position of the taillight of the preceding vehicle is assumed to be 11.1 m from the front end of the vehicle 2 and 0.35 m from the road surface, but is not limited thereto.
  • the position of the taillight of the preceding vehicle may be changed according to, for example, the country or region where the driver abnormality detection device 1 is used (average traveling speed or vehicle form that varies depending on the country or region). Specifically, if the position of the taillight is within the range of 10 to 12 m from the front end of the vehicle 2 and the height from the road surface is within the range of 0.3 to 0.4 m, the position is changed accordingly. Also good.
  • the first, second, and third predetermined ranges are used as criteria for determining an abnormal state for each event of the line-of-sight direction, the height of the eye E, and the position of the head H in the left-right direction.
  • the configuration is set, it is not limited to this.
  • the first, second, and third predetermined ranges may be set based on different criteria, for example, regardless of the positions of the windshield 5, the taillight of the preceding vehicle, the headrest 9A, and the like.
  • the driver abnormality detection device 1 is configured to include all the determination units of the direction determination unit 23, the height determination unit 25, and the position determination unit 27, but is not limited thereto.
  • the driver abnormality detection device 1 of the present disclosure may be configured to include at least two determination units among a plurality of determination units. That is, the driver abnormality detection device 1 according to the present disclosure may be configured to determine an abnormal state for at least two events and detect a driver abnormality based on the determination result.
  • the abnormal state duration is compared with the abnormal state continuation time, and when the abnormal state duration exceeds the allowable continuation time of the abnormal state, the driver's abnormality
  • the present invention is not limited to this.
  • an abnormal state is determined in at least one event among a plurality of events in the line-of-sight direction, the height of the eye E, and the position of the head H in the left-right direction.
  • the configuration may be such that the driver's abnormality is detected regardless of the allowable duration time.
  • the continuous allowable time of the abnormal state in each event is individually set (corrected) according to the traveling state and the surrounding state of the vehicle 2, but the present invention is not limited to this.
  • a constant value (fixed value) may be set as the allowable continuous time of the abnormal state in each event.
  • each continuation allowable time may be set as follows. When the vehicle speed is 20 km / h or higher, each continuation allowable time may be set to 2 seconds. On the other hand, when the vehicle speed is less than 20 km / h, a value (seconds) obtained by dividing 40 seconds by the vehicle speed value (unit: km / h) may be set for each allowable continuous time.
  • the driver abnormality detection device 1 may be configured in the vehicle 2 from the beginning, or may be configured in the vehicle 2 later.
  • the determination criteria first, second, and third predetermined ranges
  • the positional relationship between the windshield 5 and the camera illumination unit 10 is known. Therefore, even if it is a case where the camera lighting unit 10 is equipped in the vehicle 2 later, the abnormality determination process shown in the said embodiment can be performed. Further, the positional relationship between the windshield 5 and the camera illumination unit 10 can also be detected by analyzing a captured image of the camera illumination unit 10.
  • the driver abnormality detection device 1 is installed in the vehicle 2 later, it may be difficult to link the detection result of the abnormal state of the driver with the travel control (automatic brake or the like). .
  • one component has a plurality of functions (processing units) like the state detection ECU 20 included in the driver abnormality detection device 1, but the present invention is not limited to this.
  • each function may be distributed to a plurality of components.
  • the function (plural functions) of each constituent element may be integrated into one constituent element.
  • you may replace a part of structure of the driver abnormality detection apparatus 1 with the well-known structure which has the same function.
  • a part of the configuration of the driver abnormality detection device 1 may be omitted.
  • driver abnormality detection device 1 of the present disclosure can be realized by embodiments of all aspects included in the technical idea (technical scope) for achieving the object of the present disclosure.
  • the function provided by the driver abnormality detection device 1 of the present disclosure can be provided in the following manner. Specifically, there are a system including the driver abnormality detection device 1 as a component, a program for causing a computer to function as the driver abnormality detection device 1, a medium on which the program is recorded, and the like.
  • SYMBOLS 1 Driver abnormality detection apparatus 2 ... Vehicle 5 ... Windshield 7 ... Dashboard 8 ... Handle 9 ... Driver's seat 9A ... Headrest 10 ... Camera illumination unit 11 ... Near-infrared illumination 13 ... Camera 15 ... Illumination control part 17 ... Image Acquisition unit 20 ... state detection ECU DESCRIPTION OF SYMBOLS 21 ... Image processing part 23 ... Direction determination part 25 ... Height determination part 27 ... Position determination part 29 ... Abnormal state determination part 29A ... Time correction part 30 ... Vehicle information management ECU E ... Eye H ... Head S ... Effective visual field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

運転者の頭部の撮影画像に基づき運転者の視線方向が第１の所定範囲内にない場合に異常状態と判定する方向判定部（２３）、前記撮影画像に基づき運転者の眼の高さが第２の所定範囲内にない場合に異常状態と判定する高さ判定部（２５）、及び、前記撮影画像に基づき頭部の左右方向における位置が第３の所定範囲内にない場合に異常状態と判定する位置判定部（２７）のうち、少なくとも２つの前記判定部と、複数の前記判定部の判定結果に基づいて、運転者の状態が異常か否かを判定する異常状態判定部（２９）を、備える。

Description

運転者異常検出装置及び運転者異常検出方法
　本開示は、車両の運転者の異常を検出する異常検出技術に関する。
　従来では、次のような方法によって、運転者の脇見運転（よそ見運転）を判断する装置が提案されている（特許文献１参照）。従来装置では、例えばカメラ等によって運転者の顔を撮影し、運転者の顔又は視線の方向を検出する。そして、従来装置では、検出した方向が所定の範囲内で、かつ、検出期間が所定の期間内であった場合に、脇見運転であると判断する。
特開２００７－２１３１６７号公報
　しかしながら、特許文献１の開示技術のように、顔又は視線の方向といった１つの事象のみに基づいて、運転者の異常を検出する従来の方法では、異常を正確に検出できない場合があった。また近年では、車を運転中に、運転者が病気を発症し、運転操作を継続できなくなることが、社会問題化している。このように、脇見や居眠りに加えて、病気の発症といった運転者の異常を正確に検出する技術が必要とされている。
　本開示は、運転者の異常検出の正確さを向上させる運転者異常検出装置、及び、運転者異常検出装置が実行する運転者異常検出方法を提供することを目的とする。
　本開示の運転者異常検出装置（１）は、方向判定部（２３）、高さ判定部（２５）、及び位置判定部（２７）のうち、少なくとも２つの前記判定部と、異常状態判定部（２９）とを備える。
　方向判定部は、車両（２）の運転者の頭部（Ｈ）が撮影された撮影画像に基づいて、前記運転者の視線方向が、第１の所定範囲内にない場合に異常状態と判定する。高さ判定部は、前記撮影画像に基づいて、前記運転者の眼（Ｅ）の高さが、第２の所定範囲内にない場合に異常状態と判定する。位置判定部は、前記撮影画像に基づいて、前記頭部の左右方向における位置が、第３の所定範囲内にない場合に異常状態と判定する。異常状態判定部は、複数の前記判定部の判定結果に基づいて、前記運転者の状態が異常か否かを判定する。
　本開示の運転者異常検出装置では、上記構成により、少なくとも２つ（２種類）の事象について判定され、その判定結果に基づいて、運転者の異常検出が行われる。具体的には、運転者異常検出装置では、運転者の視線の方向、運転者の眼の高さ、及び、運転者の頭部の左右方向における位置のうち、少なくとも２つの事象について、異常状態の判定が行われる。そして、運転者異常検出装置では、少なくとも２つの事象に対する異常状態の判定結果に基づいて、運転者の異常検出が行われる。このように、本開示の運転者異常検出装置では、１つ（１種類）の事象だけでなく、複数の事象（例えば、視線の方向、眼の高さ、及び、頭部の左右方向における位置等）を参照して、運転者の異常が判定される。これにより、本開示の運転者異常検出装置では、運転者の異常検出（異常があるか否かの判定）の正確さを向上させられる。
　なお、上記項目及び特許請求の範囲に記載した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係の一例を示す。よって、本開示の運転者異常検出装置に係る技術的範囲は限定されない。
図１は、運転者異常検出装置を備える車両を側面から視た場合の模式図である。 図２は、運転者異常検出装置を備える車両を上面から視た場合の模式図である。 図３は、運転者異常検出装置の機能ブロック図である。 図４は、運転者の有効視野を表す模式図である。 図５は、異常判定処理を表すフローチャートである。 図６は、異常状態の継続許容時間の設定処理を表すフローチャートである。
　以下に、本開示の運転者異常検出装置が車両に適用された場合における実施形態について、図面を用いて説明する。
　［１．第１実施形態］
　［１－１．構成］
　図１は、本実施形態に係る運転者異常検出装置１を備える車両２を側面から視た場合の模式図である。図１に示すように、運転者異常検出装置１を備える車両２は、車室３の前方に、ウィンドシールド５を備えている。ウィンドシールド５の下方に位置するダッシュボード７には、ハンドル８が設けられている。ハンドル８は、高さ等の位置調整ができる。ハンドル８の後方には、運転席９が設けられている。
　運転者異常検出装置１は、カメラ照明ユニット１０、状態検知ＥＣＵ２０、及び車両情報管理ＥＣＵ３０を備えている。カメラ照明ユニット１０は、例えばダッシュボード７の上面後方に設けられている。具体的には、カメラ照明ユニット１０は、図１の点線で示された撮影範囲（撮影可能領域）の下端が、運転席９のヘッドレスト９Ａの下端よりも下方に位置するように設けられている。さらに、カメラ照明ユニット１０は、撮影範囲の上端が、車両２の運転者の頭部Ｈよりも十分に上方に位置するように設けられている。このように、カメラ照明ユニット１０では、撮影可能領域の上下端が所定の範囲に位置するように、上下方向の角度が設定されている。これにより、車両２の運転者の眼Ｅは、カメラ照明ユニット１０の撮影範囲の上下方向における中心に位置する。
　図２は、本実施形態に係る運転者異常検出装置１を備える車両２を上面から視た場合の模式図である。図２に示すように、カメラ照明ユニット１０は、図２の点線で示された撮影範囲の右端（カメラの撮影視点から見て右端）が、ヘッドレスト９Ａの右端よりも右方に位置するように設けられている。さらに、カメラ照明ユニット１０は、撮影範囲の左端（カメラの撮影視点から見て左端）が、車両２の運転者の頭部Ｈよりも左方に位置するように設けられている。このように、カメラ照明ユニット１０では、撮影可能領域の左右両端が所定の範囲に位置するように、左右方向の角度が設定されている。これにより、車両２の運転者の頭部Ｈは、カメラ照明ユニット１０の撮影範囲の左右方向における中心近傍に位置する。本実施形態では、カメラ照明ユニット１０が、運転者の頭部Ｈを撮影する撮影部として機能する。
　状態検知ＥＣＵ２０は、カメラ照明ユニット１０の撮影結果（撮影画像）に基づいて、運転者の状態（異常の有無）を検知する処理部である。車両情報管理ＥＣＵ３０は、車速や周囲の状況等を含む車両２に関する情報（以下「車両情報」という）を取得する処理部である。車両情報管理ＥＣＵ３０には、例えば、ナビゲーション装置、各種センサ（ミリ波レーダ、車外用カメラ、及び車速センサ）、及び車車間通信システム等が接続されており、これらの装置から車両情報を取得する。また、車両情報管理ＥＣＵ３０は、取得した車両情報を、所定の記憶領域に記憶し、他の処理部からも利用可能なように情報を管理する。本実施形態では、車両情報管理ＥＣＵ３０が、車両２の走行状況や周辺状況等に関する情報を取得する情報取得部として機能する。状態検知ＥＣＵ２０及び車両情報管理ＥＣＵ３０は、ＣＰＵ、メモリ（例えばＲＯＭやＲＡＭ）、及びＩ／Ｏ等を備えたマイクロコンピュータである。状態検知ＥＣＵ２０及び車両情報管理ＥＣＵ３０は、ＣＰＵが、例えばＲＯＭにインストールされているプログラムを実行することにより、運転者の異常検出に関する各種処理を実施する。
　図３は、本実施形態に係る運転者異常検出装置１の機能ブロック図である。図３に示すように、カメラ照明ユニット１０は、近赤外照明１１、カメラ１３、照明制御部１５、及び画像取得部１７を有する。近赤外照明１１は、カメラ１３の撮影範囲に対して近赤外線を照射する。照明制御部１５は、近赤外照明１１が照射する近赤外線の照射タイミングを制御する。照明制御部１５は、ＣＰＵやメモリ（例えばＲＯＭやＲＡＭ）等を備えたマイクロコンピュータである。若しくは、同等の機能を有する電子回路によって構成されてもよい。照明制御部１５は、例えば、制御周期（近赤外線の照射周期）３０ｍｓ毎に、制御期間（近赤外線の照射期間）１ｍｓの間、近赤外照明１１の制御を行う。このとき、照明制御部１５は、近赤外線を所定の範囲に照射させるための制御指令を近赤外照明１１に出力する。なお、本実施形態では、上記制御周期は、２８～３２ｍｓの範囲が好ましい。上記制御期間は、０．８～１．２ｍｓの範囲が好ましい。カメラ１３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）カメラ等である。カメラ１３は、制御期間の間、近赤外照明１１が近赤外線を照射している撮影範囲を撮影し、撮影データを画像取得部１７に入力する。画像取得部１７は、カメラ１３から入力された撮影データに基づいて、デジタルイメージデータ（以下「撮影画像データ」という）を生成し、生成データを状態検知ＥＣＵ２０に入力する。
　状態検知ＥＣＵ２０は、ＣＰＵやメモリ（例えばＲＯＭやＲＡＭ）等を備えたマイクロコンピュータである。状態検知ＥＣＵ２０は、図３に示す各種処理部を有している。具体的には、状態検知ＥＣＵ２０は、画像処理部２１、方向判定部２３、高さ判定部２５、位置判定部２７、及び異常状態判定部２９を有する。なお、各処理部は、それぞれ独立したＣＰＵや電子回路等を備えた処理ユニットとして構成されてもよい。若しくは、同一のＣＰＵで実行されるそれぞれ独立したプログラムモジュール、又は、同一のプログラムモジュール等として構成されてもよい。
　画像処理部２１は、画像取得部１７から入力された撮影画像データに対して各種画像処理を施す。画像処理としては、例えば、運転者の頭部Ｈの輪郭や眼Ｅの輪郭、また、眼Ｅの瞳孔の中心やプルキニエ像の認識を容易にするための処理等が挙げられる。
　方向判定部２３は、運転者の眼Ｅの視線方向を検出し、検出した視線方向が、第１の所定範囲内にあるか否かを判定する。方向判定部２３は、運転者の視線方向が、第１の所定範囲内にない場合に異常状態と判定する。視線方向の検出方法としては、例えば、角膜反射法や顔特徴点モデルベースの手法等が挙げられる。このように、方向判定部２３では、周知の検出方法が適用可能である。若しくは、これらの周知の検出方法を組み合わせて適用してもよい。なお、角膜反射法については、例えば、特開２０１５－４７４２７号公報や、学会誌「認知科学」，日本認知科学会（ＪＣＳＳ），２００２年，第９巻第４号，ｐｐ．５６５－５７６等に詳述されている。よって、ここでは詳述しない。また、顔特徴点モデルベースの手法については、例えば、特開２００７－２６５３６７号公報や、「信学技報」，電子情報通信学会（ＩＥＩＥＣ），第１０７巻第４９１号，ｐｐ．１３７－１４２等に詳述されている。よって、ここでは詳述しない。
　第１の所定範囲は、種々設定可能である。図４は、運転者の有効視野Ｓを表す模式図である。本実施形態では、第１の所定範囲は、図４に示すように、運転者の眼Ｅの視線方向に対応する有効視野Ｓのうち、少なくとも一部の範囲が、ウィンドシールド５の範囲と重なるように設定されている。また、有効視野Ｓは、視線方向に対して、左右方向にそれぞれ１５°、上方向に８°、下方向に１２°の広がりを有する。方向判定部２３は、このように設定された第１の所定範囲内に、検出した視線方向が含まれているか否かを判定する。方向判定部２３は、例えば、眼Ｅが閉じられている場合等、運転者の眼Ｅの視線方向が検出不可能な場合に、視線方向が第１の所定範囲内にないと判定する。
　高さ判定部２５は、運転者の眼Ｅの高さを検出し、検出した高さが、第２の所定範囲内にあるか否かを判定する。高さ判定部２５は、運転者の眼Ｅの高さが、第２の所定範囲内にない場合に異常状態と判定する。第２の所定範囲は、種々設定可能である。本実施形態では、第２の所定範囲は、ウィンドシールド５を介して、運転者の眼Ｅにより先行車両の尾灯を見ることのできる範囲が設定されている。高さ判定部２５は、このように設定された第２の所定範囲内に、検出した高さが含まれているか否かを判定する。具体的には、次のように判定する。まず、先行車両の尾灯の位置は、車両２の前端からの距離が１１．１ｍで、路面からの高さが０．３５ｍと仮定する。高さ判定部２５は、このように仮定した位置からの運転者の眼Ｅの高さが、ウィンドシールド５の下端を通る高さ基準線Ｌ１（図１参照）よりも上方に位置する場合に、第２の所定範囲内にあると判定する。カメラ照明ユニット１０における上下方向の撮影範囲は、図１の点線で示された範囲（図中の上端及び下端の範囲）に設定されている。そのため、高さ判定部２５は、運転者の眼Ｅの高さが、第２の所定範囲内にあるか否かを良好に判定できる。なお、高さ判定部２５は、例えば、眼Ｅが細い場合や眼Ｅが小さい場合等、運転者の眼Ｅが検出不可能な場合は、運転者の頭部Ｈの上下方向における中心近傍に眼Ｅがあるとみなし、高さの判定を行う。
　位置判定部２７は、運転者の頭部Ｈの左右方向における位置を検出し、検出した位置が、第３の所定範囲内にあるか否かを判定する。位置判定部２７は、頭部Ｈの左右方向における位置が、第３の所定範囲内にない場合に異常状態と判定する。第３の所定範囲は、種々設定可能である。本実施形態では、第３の所定範囲は、運転者の頭部Ｈの重心が、車両２における運転席９のヘッドレスト９Ａの前方に位置する範囲が設定されている。位置判定部２７は、このように設定された第３の所定範囲内に、検出した左右方向の位置が含まれているか否かを判定する。具体的には、次のように判定する。位置判定部２７は、運転者の頭部Ｈの左右方向における重心が、ヘッドレスト９Ａの左右両端を通る２つの位置基準線Ｌ２，Ｌ３（図２参照）の間に位置する場合に、第３の所定範囲内にあると判定する。ヘッドレスト９Ａの大きさは、左右方向における中心に対して、±８５ｍｍ以上と法令により定められている。よって、２つの位置基準線Ｌ２，Ｌ３の間隔は、１７０ｍｍ以上となる。また、運転者の頭部Ｈの上下方向における重心は、左右両方の眼Ｅの高さに位置するとみなせる。カメラ照明ユニット１０における左右方向の撮影範囲は、図２の点線で示された範囲（図中の左端及び右端の範囲）に設定されている。そのため、位置判定部２７は、運転者の頭部Ｈの左右方向における重心が、第３の所定範囲内にあるか否かを良好に判定できる。なお、運転者の頭部Ｈの左右方向における重心は、左右の眼Ｅ（両眼）の中心位置としてもよい。
　異常状態判定部２９は、方向判定部２３、高さ判定部２５、及び位置判定部２７の判定結果に基づいて、運転者の状態が異常か否かを判定する。このとき、異常状態判定部２９は、複数の判定部２３，２５，２７のうち、少なくとも２つの判定部の判定結果（２つの事象に対する異常状態の判定結果）に基づいて、運転者の異常検出を行う。そして、異常状態判定部２９は、複数の判定部２３，２５，２７のうち、少なくとも１つが異常状態を判定した場合（複数の事象のうち、少なくとも１つの事象において異常状態が検出された場合）に、運転者の状態が異常であると判定する。さらに、異常状態判定部２９は、各判定部２３，２５，２７により判定された異常状態の継続が許容される時間（以下「継続許容時間」という）を補正する時間補正部２９Ａを有する。方向判定部２３、高さ判定部２５、及び位置判定部２７による各判定結果には、所定範囲内にないと判定される状態（異常状態）の継続許容時間が設定されている。時間補正部２９Ａは、車両情報管理ＥＣＵ３０から入力される車両情報に応じて、継続許容時間を補正する。
　［１－２．処理］
　次に、状態検知ＥＣＵ２０が実行する異常判定処理について、図５及び図６のフローチャートを用いて説明する。なお、本処理は、状態検知ＥＣＵ２０が備えるＲＯＭに記憶されたプログラムに基づいて実行される。また、本処理は、状態検知ＥＣＵ２０が備えるＣＰＵによって、所定の周期毎（例えば、近赤外照明１１の制御周期である３０ｍｓ毎）に実行される。
　図５は、異常判定処理を表すフローチャートである。図５に示すように、状態検知ＥＣＵ２０は、画像処理部２１が、カメラ照明ユニット１０の撮影画像データを取得する（Ｓ１）。このとき、画像処理部２１は、取得した撮影画像データに所定の画像処理を施す。続いて、状態検知ＥＣＵ２０は、カメラ照明ユニット１０の撮影画像データ（画像処理後のデータ）から、運転者の頭部Ｈの輪郭を認識し、画像内における顔の位置を検出する（Ｓ３）。続いて、状態検知ＥＣＵ２０は、カメラ照明ユニット１０の撮影画像データ（画像処理後のデータ）から、運転者の眼Ｅの輪郭や瞳孔等を認識し、画像内における顔の特徴点の位置を検出する（Ｓ５）。続いて、状態検知ＥＣＵ２０は、方向判定部２３が、ステップＳ５で検出された顔の特徴点の位置に基づいて、運転者の視線方向を検出する（Ｓ７）。方向判定部２３は、検出した視線方向が、第１の所定範囲内か否か（第１の所定範囲に収まる適切な方向か否か）を判定する（Ｓ１１）。
　その結果、状態検知ＥＣＵ２０は、方向判定部２３によって、視線方向が第１の所定範囲内でない（適切でない方向）と判定された場合（Ｓ１１：Ｎ）、ステップＳ１３の処理へ移行する。そして、状態検知ＥＣＵ２０は、方向異常カウントを更新する（Ｓ１３）。一方、状態検知ＥＣＵ２０は、方向判定部２３によって、視線方向が第１の所定範囲内である（適切な方向）と判定された場合（Ｓ１１：Ｙ）、ステップＳ１５の処理へ移行する。そして、状態検知ＥＣＵ２０は、方向異常カウントをリセットする（Ｓ１５）。なお、方向異常カウントは、車両２の始動時に０にリセット（初期化）され、ステップＳ１３の処理が実行されると、インクリメント（カウントアップ）される。一方、ステップＳ１５の処理が実行されると、再び０にリセットされる。つまり、方向異常カウントは、運転者の視線方向における異常判定の継続期間を記録する値に相当する。これにより、状態検知ＥＣＵ２０では、方向異常カウントを参照することにより、視線方向が適切でない異常状態の継続期間を把握できる。
　続いて、状態検知ＥＣＵ２０は、高さ判定部２５が、運転者の眼Ｅの高さが、第２の所定範囲内か否か（第２の所定範囲に収まる適切な高さか否か）を判定する（Ｓ２１）。その結果、状態検知ＥＣＵ２０は、高さ判定部２５によって、眼Ｅの高さが第２の所定範囲内でない（適切でない高さ）と判定された場合（Ｓ２１：Ｎ）、ステップＳ２３の処理へ移行する。そして、状態検知ＥＣＵ２０は、高さ異常カウントを更新する（Ｓ２３）。一方、状態検知ＥＣＵ２０は、高さ判定部２５によって、眼Ｅの高さが第２の所定範囲内である（適切な高さ）と判定された場合（Ｓ２１：Ｙ）、ステップＳ２５の処理へ移行する。そして、状態検知ＥＣＵ２０は、高さ異常カウントをリセットする（Ｓ２５）。なお、高さ異常カウントは、車両２の始動時に０にリセット（初期化）され、ステップＳ２３の処理が実行されると、インクリメント（カウントアップ）される。一方、ステップＳ２５の処理が実行されると、再び０にリセットされる。つまり、高さ異常カウントは、運転者の眼Ｅの高さにおける異常判定の継続期間を記録する値に相当する。これにより、状態検知ＥＣＵ２０では、高さ異常カウントを参照することにより、眼Ｅの高さが適切でない異常状態の継続期間を把握できる。
　続いて、状態検知ＥＣＵ２０は、位置判定部２７が、運転者の頭部Ｈの左右方向における位置が、第３の所定範囲内か否か（第３の所定範囲に収まる適切な位置か否か）を判定する（Ｓ３１）。その結果、状態検知ＥＣＵ２０は、位置判定部２７によって、頭部Ｈの左右方向における位置が第３の所定範囲内でない（適切でない位置）と判定された場合（Ｓ３１：Ｎ）、ステップＳ３３の処理へ移行する。そして、状態検知ＥＣＵ２０は、位置異常カウントを更新する（Ｓ３３）。一方、状態検知ＥＣＵ２０は、位置判定部２７によって、頭部Ｈの左右方向における位置が第３の所定範囲内である（適切な位置）と判定された場合（Ｓ３１：Ｙ）、ステップＳ３５の処理へ移行する。そして、状態検知ＥＣＵ２０は、位置異常カウントをリセットする（Ｓ３５）。なお、位置異常カウントは、車両２の始動時に０にリセット（初期化）され、ステップＳ３３の処理が実行されると、インクリメント（カウントアップ）される。一方、ステップＳ３５の処理が実行されると、再び０にリセットされる。これにより、状態検知ＥＣＵ２０では、位置異常カウントを参照することにより、頭部Ｈの左右方向における位置が適切でない異常状態の継続期間を把握できる。
　続いて、状態検知ＥＣＵ２０は、異常状態判定部２９が有する時間補正部２９Ａが、各判定部２３，２５，２７により判定された異常状態の継続許容時間を設定する（Ｓ４０）。継続許容時間には、各判定部２３，２５，２７により判定される異常状態毎に、予めデフォルト値が設定されている。時間補正部２９Ａは、ステップＳ４０の処理において、車両２の走行状況や車両２の周辺状況等の車両情報に応じて、当該継続許容時間を増減補正する。
　ここで、ステップＳ４０の処理の詳細について、図６を用いて説明する。図６は、異常状態の継続許容時間の設定処理（補正処理）を表すフローチャートである。図６に示すように、異常状態判定部２９が有する時間補正部２９Ａは、車両２の走行位置に応じて、視線方向の異常状態の継続許容時間を補正し、設定する（Ｓ４１）。このとき、時間補正部２９Ａは、車両２の走行位置が、交差点やＴ字路等の右左折の実施が予測される位置の手前か否かを判定し、判定結果に応じて、視線方向の異常状態の継続許容時間を補正する。なお、車両２の進路上における交差点やＴ字路等の有無に関する情報は、例えば、車両情報管理ＥＣＵ３０に接続されたナビゲーション装置等からの情報に基づき取得される。例えば、交差点やＴ字路等の手前に位置する車両２では、運転者が、右左折を実施する前に左右方向について安全確認を行う。そのため、運転者の視線方向は、ウィンドシールド５の範囲（第１の所定範囲）から外れる期間が長くなる。よって、時間補正部２９Ａは、視線方向の異常状態の継続許容時間を増加補正（長く）する。またこのときの継続許容時間の補正量（増加量）は、例えば、状態検知ＥＣＵ２０が備えるＲＯＭに予め記憶しておいた所定のテーブルデータを参照し、読み出される。なお、時間補正部２９Ａは、ステップＳ４１の処理において、交差点やＴ字路の他、合流の有無や横断歩道の有無等に基づいて、車両２の走行状況を判定し、判定結果に応じて、視線方向の異常状態の継続許容時間を補正するようにしてもよい。
　続いて、時間補正部２９Ａは、車間距離に応じて、視線方向、眼Ｅの高さ、及び、頭部Ｈの左右方向における位置の各異常状態の継続許容時間を補正し、設定する（Ｓ４２）。なお、先行車両との車間距離に関する情報は、例えば、車両情報管理ＥＣＵ３０に接続されたミリ波レーダ、車外用カメラ、又は車車間通信システム等からの情報に基づき取得される。例えば、先行車両との車間距離が短い場合は、運転者に必要とされる注意力が高まる。よって、時間補正部２９Ａは、上記各異常状態の継続許容時間を減少補正（短く）する。またこのときの継続許容時間の補正量（減少量）は、ステップＳ４１の処理時と同様の方法によって読み出される。
　続いて、時間補正部２９Ａは、車速に応じて、視線方向及び頭部Ｈの左右方向における位置の各異常状態の継続許容時間を補正し、設定する（Ｓ４３）。なお、車速に関する情報は、例えば、車両情報管理ＥＣＵ３０に接続された車速センサからの情報に基づき取得される。例えば、車速が大きいほど、運転者には、遠方に対する注意力が必要とされる。よって、時間補正部２９Ａは、視線方向及び頭部Ｈの左右方向における位置の各異常状態の継続許容時間を減少補正（短く）する。またこのときの継続許容時間の補正量（減少量）は、ステップＳ４２の処理時と同様の方法によって読み出される。
　続いて、時間補正部２９Ａは、カメラ１３による撮影環境に応じて、視線方向の異常状態の継続許容時間を補正し、設定する（Ｓ４４）。このとき、時間補正部２９Ａは、カメラ１３による撮影環境が、逆光や直射日光に影響されるか否かを判定し、判定結果に応じて、視線方向の異常状態の継続許容時間を補正する。なお、逆光や直射日光の強さに関する情報は、例えば、車両情報管理ＥＣＵ３０に接続された車外用カメラ等からの情報に基づき取得される。例えば、逆光や直射日光等が強い場合には、明るい部分の階調が失われ、カメラ１３による撮影画像が、部分的に白一色になる現象（白飛び）が発生する可能性がある。このような現象が発生した場合には、視線方向が検出できない。そのため、視線方向は、異常状態と判定される。よって、時間補正部２９Ａは、視線方向の異常状態の継続許容時間を増加補正（長く）する。またこのときの継続許容時間の補正量（増加量）は、ステップＳ４１の処理時と同様の方法によって読み出される。
　図５の説明に戻る。このようにして、状態検知ＥＣＵ２０では、異常状態判定部２９が有する時間補正部２９Ａによって、異常状態毎に継続許容時間が設定される。続いて、状態検知ＥＣＵ２０は、異常状態判定部２９が、ステップＳ１３，Ｓ２３，Ｓ３３の処理によって更新された各異常カウントに対して判定を行う（Ｓ６１）。各異常カウントからは、該当する異常状態が継続された時間（以下「異常状態の継続時間」という）が分かる。よって、異常状態判定部２９は、ステップＳ６１の処理において、更新後の各異常カウントの値と、補正後の各継続許容時間の値とを参照し、異常状態毎の継続時間と、異常状態毎の継続許容時間とを比較する。そして、異常状態判定部２９は、異常状態の継続時間が、当該異常状態の継続許容時間を超えているか否か（異常カウントの値＞継続許容時間の値）を判定する。その結果、異常状態判定部２９は、異常状態の継続時間が、当該異常状態の継続許容時間を超えている場合に、運転者の状態が異常であると判定する（運転者の異常状態を検出する）。つまり、異常状態判定部２９は、複数の事象のうち、少なくとも１つの事象において、許容された時間以上継続して異常状態が判定された場合に、運転者の状態が異常であると判定する。このように、本実施形態では、異常状態判定部２９が、少なくとも２つの事象に対する異常状態の判定を行う。
　異常状態判定部２９は、ステップＳ６１の処理による判定結果に基づいて、運転者が異常状態であるか否かを判定する（Ｓ６３）。このとき、異常状態判定部２９は、ステップＳ６１の処理において、複数の事象のうち、少なくとも１つの事象において異常状態が検出された場合に、運転者が異常状態であると判定する。その結果、状態検知ＥＣＵ２０は、異常状態判定部２９によって、運転者が異常状態でないと判定された場合（Ｓ６３：Ｎ）、一旦処理を終了する。一方、状態検知ＥＣＵ２０は、異常状態判定部２９によって、運転者が異常状態であると判定された場合（Ｓ６３：Ｙ）、ステップＳ６５の処理へ移行する。そして、状態検知ＥＣＵ２０は、ブザー等の安全装置を作動させ、警報を発行することで、運転者に対して危険性を報知する（Ｓ６５）。またこのとき、状態検知ＥＣＵ２０は、全ての異常カウントをリセットし、一旦処理を終了する。一旦終了した処理は、所定の時間が経過した後に、再びステップＳ１の処理から実行される。
　［１－３．効果］
　以上詳述したように、本実施形態に係る運転者異常検出装置１では、以下の効果が得られる。
　［１Ａ］本実施形態に係る運転者異常検出装置１では、視線方向、眼Ｅの高さ、及び、頭部Ｈの左右方向における位置のうち、１つの事象だけでなく、少なくとも２つの事象について、運転者の異常が判定される。これにより、本実施形態に係る運転者異常検出装置１では、運転者の異常検出（異常があるか否かの判定）の正確さを向上させられる。
　［１Ｂ］本実施形態に係る運転者異常検出装置１では、視線方向、眼Ｅの高さ、及び、頭部Ｈの左右方向における位置の複数の事象それぞれに対して、異常状態の判定基準（第１，第２，第３の所定範囲等）が明確に設定されている。具体的には、数値によって、各事象の判定基準が明確に定義されている。これにより、本実施形態に係る運転者異常検出装置１では、運転者の異常を精度よく検出できる。また、従来では検出できなかった運転者の異常も検出できる可能性がある。
　［１Ｃ］本実施形態に係る運転者異常検出装置１では、眼Ｅの高さ及び頭部Ｈの左右方向における位置の各事象に対して、運転者の体格的特徴に依存しない判定基準が設定されている。つまり、どの運転者にも一律に適用可能な判定基準を採用している。これにより、本実施形態に係る運転者異常検出装置１では、処理を実現するプログラムの汎用性が高く、開発コストを低減できる。
　［１Ｄ］本実施形態に係る運転者異常検出装置１では、設定する各事象の判定基準において、運転者の正面にカメラ照明ユニット１０を設けることを必須条件としていない。このため、カメラ照明ユニット１０は、例えば、運転者の正面にあたる右側又は左側の所定位置ではなく、図２に示すように、車幅方向における中央に位置するように設けられる。このように、本実施形態に係る運転者異常検出装置１では、カメラ照明ユニット１０を自由に設定できるため、車室３内のレイアウトの自由度が高い。
　［１Ｅ］本実施形態に係る運転者異常検出装置１では、各事象における異常状態の継続許容時間を、車両２の走行状況や周辺状況に応じて、個々に設定（補正）している。これにより、本実施形態に係る運転者異常検出装置１では、車両２の走行状況や周辺状況に応じて、運転者の異常をより正確に検出できる。
　［２．他の実施形態］
　以上、本開示の運転者異常検出装置１が車両２に適用された場合における実施形態について説明したが、本開示の運転者異常検出装置１は、上述した実施形態の内容に限定されない。本開示の運転者異常検出装置１は、例えば、次のような形態で実施されてもよい。
　［２Ａ］上記実施形態では、有効視野Ｓは、運転者の視線方向に対して、左右方向にそれぞれ１５°の広がりを有するとしたが、これに限定されない。視線方向に対する左右方向の広がりは、例えば、運転者異常検出装置１が使用される国や地域（国や地域によって異なる人の顔の特徴）に応じて、変更してもよい。具体的には、左右方向の広がりが、１４～１６°の範囲内であれば、適宜変更してもよい。また、視線方向に対する上下方向の広がりについても同様である。上記実施形態では、有効視野Ｓは、上方向に８°、下方向に１２°の広がりを有するとしたが、これに限定されない。視線方向に対する上下方向の広がりは、例えば、上方向に７～９°の範囲内、また、下方向に１１～１３°の範囲内であれば、適宜変更してもよい。
　［２Ｂ］上記実施形態では、運転者の眼Ｅの高さを判定するための高さ基準線Ｌ１を、先行車両の尾灯の位置に基づき設定している。このとき、先行車両の尾灯の位置は、車両２の前端からの距離が１１．１ｍで、路面からの高さが０．３５ｍと仮定したが、これに限定されない。先行車両の尾灯の位置は、例えば、運転者異常検出装置１が使用される国や地域（国や地域によって異なる平均的な走行速度や車両形態）に応じて、変更してもよい。具体的には、尾灯の位置が、車両２の前端からの距離が１０～１２ｍの範囲内で、路面からの高さが０．３～０．４ｍの範囲内であれば、適宜変更してもよい。
　［２Ｃ］上記実施形態では、視線方向、眼Ｅの高さ、及び、頭部Ｈの左右方向における位置の各事象に対する異常状態の判定基準として、第１，第２，第３の所定範囲を設定する構成としたが、これに限定されない。第１，第２，第３の所定範囲は、例えば、ウィンドシールド５、先行車両の尾灯、ヘッドレスト９Ａ等の位置とは関係なく、異なる基準に基づき設定してもよい。
　［２Ｄ］上記実施形態では、運転者異常検出装置１が、方向判定部２３、高さ判定部２５、及び位置判定部２７の全ての判定部を有する構成としたが、これに限定されない。本開示の運転者異常検出装置１は、複数の判定部のうち、少なくとも２つの判定部を有する構成であってもよい。つまり、本開示の運転者異常検出装置１では、少なくとも２つの事象について異常状態を判定し、その判定結果に基づいて、運転者の異常を検出する構成であればよい。
　［２Ｅ］上記実施形態では、異常状態の継続時間と異常状態の継続許容時間とを比較し、異常状態の継続時間が、当該異常状態の継続許容時間を超えている場合に、運転者の異常を検出する構成としたが、これに限定されない。本開示の運転者異常検出装置１は、例えば、視線方向、眼Ｅの高さ、及び、頭部Ｈの左右方向における位置の複数の事象のうち、少なくとも１つの事象において異常状態が判定された場合に、継続許容時間とは関係なく、運転者の異常を検出する構成であってもよい。但し、その場合には、各事象に対する異常状態の判定基準（第１，第２，第３の所定範囲）は、上記実施形態とは異なる範囲に設定した方がよい。
　［２Ｆ］上記実施形態では、各事象における異常状態の継続許容時間を、車両２の走行状況や周辺状況に応じて、個々に設定（補正）する構成としたが、これに限定されない。各事象における異常状態の継続許容時間は、例えば、一定の値（固定値）を設定してもよい。また、各継続許容時間は、例えば車速等のような、少なくとも１つ以上のパラメータに応じて、設定してもよい。例えば、車速をパラメータとする場合には、各継続許容時間の設定を次のようにすればよい。車速が２０ｋｍ／ｈ以上の場合には、各継続許容時間を２秒に設定すればよい。一方、車速が２０ｋｍ／ｈ未満の場合には、４０秒を車速の値（単位：ｋｍ／ｈ）で除算して得られた値（秒数）を、各継続許容時間に設定すればよい。
　［２Ｇ］第１実施形態では、運転者異常検出装置１が車両２に備えられている構成について説明を行った。本開示の運転者異常検出装置１は、初めから車両２に備え付けられている構成であってもよいし、後から車両２に備え付ける構成であってもよい。各事象に対する異常状態の判定基準（第１，第２，第３の所定範囲）を、上記実施形態のように設定する場合には、ウィンドシールド５とカメラ照明ユニット１０との位置関係が分かる。よって、カメラ照明ユニット１０を後から車両２に備え付ける場合であっても、上記実施形態に示した異常判定処理を実行できる。また、ウィンドシールド５とカメラ照明ユニット１０との位置関係は、カメラ照明ユニット１０の撮影画像を解析することによっても検出できる。但し、運転者異常検出装置１を、後から車両２に備え付ける構成の場合には、運転者の異常状態の検出結果を走行制御（自動ブレーキ等）に連動させることが困難となる可能性がある。
　［２Ｈ］上記実施形態では、例えば、運転者異常検出装置１が備える状態検知ＥＣＵ２０のように、１つの構成要素が複数の機能（処理部）を有しているが、これに限定されない。例えば、１つの構成要素が複数の機能を有する場合には、各機能を複数の構成要素に分散する構成としてもよい。一方、複数の構成要素が異なる機能を有する場合には、各構成要素が有する機能（複数の機能）を１つの構成要素に統合する構成としてもよい。また、上記実施形態では、運転者異常検出装置１の構成の一部を、同様の機能を有する公知の構成に置き換えてもよい。上記実施形態では、運転者異常検出装置１の構成の一部を省略してもよい。上記実施形態では、運転者異常検出装置１の構成の一部を、他の実施形態の構成に対して付加又は置換してもよい。なお、本開示の運転者異常検出装置１は、本開示の目的を達成するための技術思想（技術的範囲）に含まれる、あらゆる態様の実施形態によって実現可能である。
　［２Ｉ］本開示の運転者異常検出装置１により提供される機能は、次のような形態によっても提供できる。具体的には、運転者異常検出装置１を構成要素とするシステム、コンピュータを運転者異常検出装置１として機能させるためのプログラム、及び、このプログラムを記録した媒体等である。
　１…運転者異常検出装置
　２…車両
　５…ウィンドシールド
　７…ダッシュボード
　８…ハンドル
　９…運転席
　９Ａ…ヘッドレスト
　１０…カメラ照明ユニット
　１１…近赤外照明
　１３…カメラ
　１５…照明制御部
　１７…画像取得部
　２０…状態検知ＥＣＵ
　２１…画像処理部
　２３…方向判定部
　２５…高さ判定部
　２７…位置判定部
　２９…異常状態判定部
　２９Ａ…時間補正部
　３０…車両情報管理ＥＣＵ
　Ｅ…眼
　Ｈ…頭部
　Ｓ…有効視野

Claims (9)

  1. 　車両（２）の運転者の頭部（Ｈ）が撮影された撮影画像に基づいて、前記運転者の視線方向が、第１の所定範囲内にない場合に異常状態と判定する方向判定部（２３）、前記撮影画像に基づいて、前記運転者の眼（Ｅ）の高さが、第２の所定範囲内にない場合に異常状態と判定する高さ判定部（２５）、及び、前記撮影画像に基づいて、前記頭部の左右方向における位置が、第３の所定範囲内にない場合に異常状態と判定する位置判定部（２７）のうち、少なくとも２つの前記判定部と、
    　複数の前記判定部の判定結果に基づいて、前記運転者の状態が異常か否かを判定する異常状態判定部（２９）と、
    　を備える、運転者異常検出装置。
  2. 　前記異常状態判定部は、複数の前記判定部のうち、少なくとも１つが異常状態と判定した場合に、前記運転者の状態が異常であると判定する、請求項１に記載の運転者異常検出装置。
  3. 　複数の前記判定部のそれぞれに対して、判定された異常状態の継続許容時間が設定されており、
    　前記異常状態判定部は、複数の前記判定部のうち、少なくとも１つが、当該判定部に対して設定された前記継続許容時間以上継続して異常状態と判定した場合に、前記運転者の状態が異常であると判定する、請求項２に記載の運転者異常検出装置。
  4. 　前記車両の走行状況又は前記車両の周辺状況を取得する情報取得部（３０）と、
    　前記情報取得部が取得した前記走行状況又は前記周辺状況に応じて、複数の前記判定部のうち、少なくとも１つの前記判定部に対して設定された前記継続許容時間を補正する時間補正部（２９Ａ）と、
    　をさらに備える、請求項３に記載の運転者異常検出装置。
  5. 　複数の前記判定部の１つとして、前記方向判定部を備え、
    　前記第１の所定範囲は、前記視線方向に対応する有効視野のうち、少なくとも一部の範囲が、前記車両のウィンドシールド（５）の範囲と重なるように設定されている、請求項１乃至４のいずれか１項に記載の運転者異常検出装置。
  6. 　前記有効視野は、前記視線方向に対して、上下左右方向に所定の広がりを有し、
    　前記第１の所定範囲は、前記所定の広がりを有する前記有効視野に基づき設定されている、請求項５に記載の運転者異常検出装置。
  7. 　複数の前記判定部の１つとして、前記高さ判定部を備え、
    　前記第２の所定範囲は、前記車両のウィンドシールド（５）を介して、前記眼により先行車両の尾灯を見ることのできる範囲が設定されている、請求項１乃至６のいずれか１項に記載の運転者異常検出装置。
  8. 　複数の前記判定部の１つとして、前記位置判定部を備え、
    　前記第３の所定範囲は、前記頭部の重心が、前記車両における運転席（９）のヘッドレスト（９Ａ）の前方に位置する範囲が設定されている、請求項１乃至７のいずれか１項に記載の運転者異常検出装置。
  9. 　車両（２）に搭載される運転者異常検出装置（１）により実行される運転者異常検出方法であって、
    　前記運転者異常検出装置が、
    　前記車両の運転者の頭部（Ｈ）が撮影された撮影画像に基づいて、前記運転者の視線方向が、第１の所定範囲内にない場合に異常状態と判定する方向判定ステップ、前記撮影画像に基づいて、前記運転者の眼（Ｅ）の高さが、第２の所定範囲内にない場合に異常状態と判定する高さ判定ステップ、及び、前記撮影画像に基づいて、前記頭部の左右方向における位置が、第３の所定範囲内にない場合に異常状態と判定する位置判定ステップのうち、少なくとも２つの前記判定ステップと、
    　複数の前記判定ステップの判定結果に基づいて、前記運転者の状態が異常か否かを判定する異常状態判定ステップと、
    　を実行する、運転者異常検出方法。
PCT/JP2016/069610 2015-07-06 2016-07-01 運転者異常検出装置及び運転者異常検出方法 WO2017006853A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/741,889 US10417512B2 (en) 2015-07-06 2016-07-01 Driver abnormality detection device and driver abnormality detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-135439 2015-07-06
JP2015135439A JP6488922B2 (ja) 2015-07-06 2015-07-06 運転者異常検出装置

Publications (1)

Publication Number Publication Date
WO2017006853A1 true WO2017006853A1 (ja) 2017-01-12

Family

ID=57685773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069610 WO2017006853A1 (ja) 2015-07-06 2016-07-01 運転者異常検出装置及び運転者異常検出方法

Country Status (3)

Country Link
US (1) US10417512B2 (ja)
JP (1) JP6488922B2 (ja)
WO (1) WO2017006853A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020047087A (ja) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 車両用監視装置
WO2020100584A1 (ja) * 2018-11-13 2020-05-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2021033570A (ja) * 2019-08-22 2021-03-01 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018105737A (ja) * 2016-12-27 2018-07-05 トヨタ紡織株式会社 アイポイント測定装置、及びアイポイント測定方法
JP6481969B2 (ja) * 2017-05-29 2019-03-13 マツダ株式会社 運転者状態推定装置
JP6777060B2 (ja) * 2017-11-15 2020-10-28 オムロン株式会社 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム
JP7003612B2 (ja) * 2017-12-08 2022-01-20 株式会社デンソー 異常検知装置、及び異常検知プログラム
KR102506871B1 (ko) * 2018-02-19 2023-03-08 현대자동차주식회사 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
JP7158655B2 (ja) * 2018-08-28 2022-10-24 マツダ株式会社 停車支援装置
JP7234614B2 (ja) * 2018-12-10 2023-03-08 トヨタ自動車株式会社 異常検出装置、異常検出システム及び異常検出プログラム
JP7226160B2 (ja) * 2019-07-16 2023-02-21 トヨタ自動車株式会社 車両走行制御装置
CN110705500B (zh) * 2019-10-12 2022-02-01 青岛创新奇智科技集团股份有限公司 基于深度学习的人员工作图像的注意力检测方法及系统
JP7259793B2 (ja) * 2020-03-26 2023-04-18 いすゞ自動車株式会社 運転支援装置
JP7351253B2 (ja) * 2020-03-31 2023-09-27 いすゞ自動車株式会社 許否決定装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001138767A (ja) * 1999-11-17 2001-05-22 Nissan Motor Co Ltd 車両用警報装置
JP2008084141A (ja) * 2006-09-28 2008-04-10 Takata Corp 乗員検出システム、警報システム、制動システム、車両
JP2009181286A (ja) * 2008-01-30 2009-08-13 Mazda Motor Corp 乗員の視線検出装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796768A (ja) 1993-09-27 1995-04-11 Nissan Motor Co Ltd 前方注視度検知装置
JP3861600B2 (ja) * 2001-01-29 2006-12-20 日産自動車株式会社 脇見運転および居眠り運転警報装置
JP3812355B2 (ja) 2001-03-22 2006-08-23 日産自動車株式会社 運転注意力検出装置および居眠り運転検出装置
US7421334B2 (en) * 2003-04-07 2008-09-02 Zoom Information Systems Centralized facility and intelligent on-board vehicle platform for collecting, analyzing and distributing information relating to transportation infrastructure and conditions
US7334924B2 (en) * 2005-06-09 2008-02-26 Delphi Technologies, Inc. Illumination apparatus for an optical occupant monitoring system in a vehicle
US7884705B2 (en) * 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
JP2007213167A (ja) 2006-02-07 2007-08-23 Fujitsu Ltd 電力制御プログラム、サーバシステム、および電力制御方法
JP4821347B2 (ja) 2006-02-07 2011-11-24 トヨタ自動車株式会社 脇見運転防止装置
EP2000889B1 (en) * 2006-03-15 2018-06-27 Omron Corporation Monitor and monitoring method, controller and control method, and program
JP2007265367A (ja) 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP2008174092A (ja) * 2007-01-18 2008-07-31 Aisin Seiki Co Ltd 速度制御装置
US8779977B2 (en) * 2007-06-26 2014-07-15 The United States Of America As Represented By The Secretary Of The Army Electro optical scanning phased array antenna for pulsed operation
BR112012012635A2 (pt) * 2009-12-18 2016-07-12 Honda Motor Co Ltd sistema e método para fornecer alerta de aviso de acidente em veículo
JP5278461B2 (ja) * 2011-02-03 2013-09-04 株式会社デンソー 視線検出装置および視線検出方法
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
JP5657809B2 (ja) * 2011-10-06 2015-01-21 本田技研工業株式会社 脇見検出装置
US20140309872A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Customization of vehicle user interfaces based on user intelligence
JP5862532B2 (ja) * 2012-09-26 2016-02-16 アイシン精機株式会社 車両運転支援装置
KR102118438B1 (ko) * 2013-01-28 2020-06-04 한국전자통신연구원 차량용 헤드업 디스플레이 장치 및 그 방법
ITTO20130095A1 (it) * 2013-02-06 2014-08-07 Alenia Aermacchi Spa Sistema per contrastare la formazione di ghiaccio su una superficie operativamente esposta all'aria di un aeromobile.
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
JP6007848B2 (ja) * 2013-03-28 2016-10-12 富士通株式会社 目視確認評価装置、方法及びプログラム
JP6169446B2 (ja) 2013-09-04 2017-07-26 アルプス電気株式会社 視線検出装置
JP2015093568A (ja) * 2013-11-12 2015-05-18 株式会社デンソー 車載装置
US9165477B2 (en) * 2013-12-06 2015-10-20 Vehicle Data Science Corporation Systems and methods for building road models, driver models, and vehicle models and making predictions therefrom
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
US20150294169A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring
US9547798B2 (en) * 2014-05-20 2017-01-17 State Farm Mutual Automobile Insurance Company Gaze tracking for a vehicle operator
JP6434144B2 (ja) * 2014-07-18 2018-12-05 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． デバイスにおけるレイズジェスチャ検出
US9864918B2 (en) * 2015-11-04 2018-01-09 Ford Global Technologies, Llc Predicting vehicle movements based on driver body language
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001138767A (ja) * 1999-11-17 2001-05-22 Nissan Motor Co Ltd 車両用警報装置
JP2008084141A (ja) * 2006-09-28 2008-04-10 Takata Corp 乗員検出システム、警報システム、制動システム、車両
JP2009181286A (ja) * 2008-01-30 2009-08-13 Mazda Motor Corp 乗員の視線検出装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020047087A (ja) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 車両用監視装置
WO2020059807A1 (ja) * 2018-09-20 2020-03-26 いすゞ自動車株式会社 車両用監視装置
US11267478B2 (en) 2018-09-20 2022-03-08 Isuzu Motors Limited Vehicle monitoring device
JP7180228B2 (ja) 2018-09-20 2022-11-30 いすゞ自動車株式会社 車両用監視装置
WO2020100584A1 (ja) * 2018-11-13 2020-05-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JPWO2020100584A1 (ja) * 2018-11-13 2021-11-04 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP7424305B2 (ja) 2018-11-13 2024-01-30 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2021033570A (ja) * 2019-08-22 2021-03-01 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム
JP7227106B2 (ja) 2019-08-22 2023-02-21 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム

Also Published As

Publication number Publication date
JP6488922B2 (ja) 2019-03-27
JP2017016568A (ja) 2017-01-19
US20180197030A1 (en) 2018-07-12
US10417512B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
WO2017006853A1 (ja) 運転者異常検出装置及び運転者異常検出方法
US9616809B1 (en) Lane change prediction and turn signal activation upon observation of head and eye movement
US9888875B2 (en) Driver monitoring apparatus
JP5549721B2 (ja) ドライバモニタ装置
US9547798B2 (en) Gaze tracking for a vehicle operator
US9526448B2 (en) State estimation device and state estimation program
DE112010004133B4 (de) Nachtsichtunterstützungssystem für ein Fahrzeug und Steuerverfahren hierfür
JP6571424B2 (ja) 故障診断装置
JP6235425B2 (ja) 安全確認判定装置、及び運転支援装置
US20110035099A1 (en) Display control device, display control method and computer program product for the same
WO2015079657A1 (ja) 視認領域推定装置
US20180232588A1 (en) Driver state monitoring device
JP2009255740A (ja) 車両用撮像装置
JP2018121287A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
JP2018148530A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
DE112017007243T5 (de) Fahrerzustandsabschätzungsvorrichtung undfahrerzustandsabschätzungsverfahren
US20200128165A1 (en) Method for Predictable Exposure Control of at Least One First Vehicle Camera
JP2011159214A (ja) 行動検出装置
JP2009125518A (ja) ドライバの瞬き検知方法及びドライバの覚醒度判断方法並びに装置
EP3822931B1 (en) A vehicle alert system for notifying a potentially dangerous driving situation to a driver
TWI630818B (zh) Dynamic image feature enhancement method and system
JP2024013618A (ja) 漫然運転判定装置及び漫然運転判定方法
WO2020179656A1 (ja) 運転者監視装置
KR20120072141A (ko) 자동차 운전자의 눈부심 방지 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821322

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16821322

Country of ref document: EP

Kind code of ref document: A1