WO2020170916A1 - 状態検知装置及び状態検知方法 - Google Patents

状態検知装置及び状態検知方法 Download PDF

Info

Publication number
WO2020170916A1
WO2020170916A1 PCT/JP2020/005426 JP2020005426W WO2020170916A1 WO 2020170916 A1 WO2020170916 A1 WO 2020170916A1 JP 2020005426 W JP2020005426 W JP 2020005426W WO 2020170916 A1 WO2020170916 A1 WO 2020170916A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
state
camera
processing unit
frame rate
Prior art date
Application number
PCT/JP2020/005426
Other languages
English (en)
French (fr)
Inventor
式井　愼一
未佳 砂川
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US17/432,450 priority Critical patent/US20220165073A1/en
Publication of WO2020170916A1 publication Critical patent/WO2020170916A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Definitions

  • the present disclosure relates to a state detection device and a state detection method for detecting the state of a driver who is driving an automobile.
  • Non-Patent Document 1 As a technique for detecting the driver's condition while driving a car, there is a technique for detecting (determining) the driver's condition based on the driver's pupil diameter calculated from the face image obtained by photographing the face while driving. It has been proposed (for example, see Non-Patent Document 1).
  • the pupil diameter depends on the external brightness. Therefore, it is difficult to stably measure the pupil diameter of a driver who drives an automobile. Therefore, with the conventional technique, the state of the driver cannot be accurately measured.
  • the present disclosure provides a state detection device or the like that can detect (measure) the state of a driver with high accuracy.
  • a state detection device is a state detection device that detects a state of a driver who is driving a vehicle, and includes a first camera that captures a face of the driver at a first frame rate, and a state of the vehicle.
  • a second camera that captures the front at a second frame rate, and a line-of-sight direction of both eyes of the driver is calculated from a face image obtained from the first camera, and the focus position of the driver is calculated from the calculated line-of-sight direction of the driver.
  • a processing unit that detects the state of the driver by determining the state of the driver from the calculated focus position and a front image obtained from the second camera.
  • the frame rate is N (N: an integer of 1 or more) times the second frame rate.
  • a state detection method is a state detection method for detecting a state of a driver who is driving an automobile, in which a face of the driver is photographed at a first frame rate by a first camera, Two cameras capture the front of the automobile at a second frame rate, calculate the line-of-sight directions of the driver's eyes from the face image obtained from the first camera, and calculate the line-of-sight directions of the driver's eyes from the calculated direction of the driver's eyes.
  • the state of the driver is detected by calculating the focus position, and determining the state of the driver from the calculated focus position and the front image obtained from the second camera, and the first frame rate is It is N times the second frame rate.
  • a recording medium such as a system, a method, an integrated circuit, a computer program or a computer-readable CD-ROM, and the system, the method, the integrated circuit, the computer program. And may be realized by any combination of recording media.
  • the state detection device and the like according to an aspect of the present disclosure, it is possible to detect the driver state with high accuracy.
  • FIG. 1 is a block diagram showing the configuration of the state detection device according to the embodiment.
  • FIG. 2 is a diagram for explaining the focus position of the driver.
  • FIG. 3 is a flowchart showing a processing procedure executed by the state detection device according to the embodiment.
  • a state detection device is a state detection device that detects a state of a driver who is driving an automobile, and photographs the face of the driver at a first frame rate.
  • a first camera, a second camera that captures the front of the automobile at a second frame rate, and a line-of-sight direction of both eyes of the driver are calculated from a face image obtained from the first camera, and the calculated both eyes of the driver are calculated.
  • a processing unit that calculates the driver's focus position from the line-of-sight direction, and determines the driver's condition by determining the driver's condition from the calculated focus position and the front image obtained from the second camera.
  • the first frame rate is N (N: an integer of 1 or more) times the second frame rate.
  • the processing unit can detect the driver's state without using a parameter that changes according to the external environment such as the pupil diameter. Therefore, the state detection device according to the present disclosure can detect the state of the driver with high accuracy.
  • the first frame rate is N times the second frame rate, for example, it becomes easy to select a face image to be associated with the front image executed by the processing unit. Therefore, the processing addition in the processing unit is reduced.
  • the first camera and the second camera are integrally attached to the automobile.
  • the second camera is a TOF (Time of Flight) camera.
  • TOF Time of Flight
  • the processing unit calculates the position of the object located in the line-of-sight direction and around the vehicle from the line-of-sight direction and the front image, and the calculated position of the object.
  • the state of the driver is determined based on the focus position and the focus position.
  • the processing unit determines that the driver is in a normal state, and the distance is equal to or more than the predetermined distance. If it is, it is determined that the state of the driver is not normal.
  • the processing unit determines that the state of the driver is not normal when the angle formed by the line-of-sight direction and the front is a predetermined angle or more.
  • the state of the driver is the absent-minded state of the driver.
  • the state detection device of the present disclosure it is possible to accurately detect the driver's aimless state.
  • a state detection method is a state detection method for detecting a state of a driver who is driving an automobile, in which a face of the driver is photographed at a first frame rate by a first camera, Two cameras capture the front of the automobile at a second frame rate, calculate the line-of-sight directions of the driver's eyes from the face image obtained from the first camera, and calculate the line-of-sight directions of the driver's eyes from the calculated direction of the driver's eyes.
  • the state of the driver is detected by calculating the focus position, and determining the state of the driver from the calculated focus position and the front image obtained from the second camera, and the first frame rate is It is N times the second frame rate.
  • the state of the driver can be detected without using parameters that change according to the external environment such as the pupil diameter. Therefore, the state detection method according to the present disclosure can detect the driver state with high accuracy.
  • the first frame rate is N times the second frame rate, for example, it becomes easy to select a face image to be associated with the front image. Therefore, the processing amount is reduced.
  • one aspect of the present disclosure can be realized as a program for causing a computer to execute the above state detection method.
  • it can be realized as a computer-readable recording medium that stores the program.
  • each diagram is a schematic diagram and is not necessarily strictly illustrated. Therefore, for example, the scales and the like do not always match in each drawing. Further, in each drawing, substantially the same configurations are denoted by the same reference numerals, and overlapping description will be omitted or simplified.
  • FIG. 1 is a block diagram showing a state detection device 100 according to the embodiment.
  • the state detection device 100 is a device that detects (measures) the state of the driver who is driving the automobile 300.
  • the state detection device 100 detects, for example, the driver's dull state, the driver's drowsiness degree, and the like as the driver's state.
  • the state detection device 100 detects the driver's aimless state. Specifically, the state detection device 100 detects whether or not the driver is in an absent state in which he cannot concentrate on driving.
  • the state detection device 100 includes a first camera 110, a second camera 120, a processing unit 130, and a notification unit 140.
  • the first camera 110 is a camera that takes a first frame rate of the face of a driver who is driving the automobile 300.
  • the first camera 110 is communicatively connected to the processing unit 130, and when receiving a signal from the processing unit 130 indicating that shooting is to be started, the first camera 110 shoots the driver's face A face image including is generated.
  • the first camera 110 repeatedly captures the face of the driver at a predetermined frame rate (first frame rate), for example, to repeatedly generate a face image and transmits the face image to the processing unit 130.
  • the first camera 110 is, for example, a digital camera including an image sensor such as a CCD (Charge Coupled Devices) and a CMOS (Complementary Metal Oxide Semiconductor).
  • an image sensor such as a CCD (Charge Coupled Devices) and a CMOS (Complementary Metal Oxide Semiconductor).
  • the second camera 120 is a camera that photographs the front of the automobile 300 (the direction in which the automobile 300 is traveling) at the second frame rate.
  • the front of the automobile means the front of the automobile 300 in the traveling direction of the automobile.
  • the second camera 120 is, for example, communicatively connected to the processing unit 130, and when a signal indicating to start imaging is received from the processing unit 130, the second camera 120 captures an image of the front of the vehicle so that the vehicle 300 of the vehicle 300 can be captured.
  • a front image including a front scene is generated.
  • the second camera 120 repeatedly captures the front of the automobile 300 at a predetermined frame rate (second frame rate), for example, to repeatedly generate a front image and transmit the front image to the processing unit 130.
  • the first frame rate is N (N: an integer of 1 or more) times the second frame rate. That is, the frame rate of the first camera 110 is N (N: an integer of 1 or more) times the frame rate of the second camera 120.
  • the second frame rate is A (A: any positive number)
  • the first frame rate is A ⁇ N.
  • the second frame rate is 30 fps.
  • the first camera 110 only needs to be able to photograph the face of the driver, and may be arranged at any position.
  • the second camera 120 may be arranged at any position as long as it can photograph the front of the automobile 300.
  • the first camera 110 and the second camera 120 are integrally attached to the automobile 300. Attached integrally means being attached to the automobile 300 in a state where their relative positional relationship (relationship in the shooting direction) is fixed.
  • the first camera 110 and the second camera 120 are the same. It is attached to the automobile 300 while being fixed to the housing 210.
  • the housing 210 is, for example, a box, and in the present embodiment, the first camera 110 and the second camera 120 are housed in the housing 210 and arranged in the vehicle interior of the automobile 300.
  • the second camera 120 takes an image of the front of the automobile 300 from the passenger compartment of the automobile 300 through the windshield 200 (the windshield of the automobile 300), for example.
  • the second camera 120 is, for example, a digital camera including an image sensor such as CCD or CMOS. More specifically, the second camera 120 is a TOF (Time of Flight) camera. Therefore, the front image generated by the second camera 120 includes distance information. Accordingly, for example, the processing unit 130 can calculate the distance between the automobile 300 (more specifically, the second camera 120) and the target object included in the front image generated by the second camera 120.
  • the processing unit 130 can calculate the distance between the automobile 300 (more specifically, the second camera 120) and the target object included in the front image generated by the second camera 120.
  • the second camera 120 may be a camera (sensor) capable of calculating the distance to the object included in the front image, and may be a TOF camera or a camera capable of shooting from multiple directions such as a stereo camera. Alternatively, the second camera 120 may be a monaural camera.
  • the processing unit 130 is a device that processes an image obtained from the first camera 110 and the second camera 120. Specifically, the processing unit 130 calculates the line-of-sight directions of the driver's eyes from the face image obtained from the first camera 110 (specifically, calculates the line-of-sight directions of the right and left eyes of the driver), and calculates the calculated driver's eyes.
  • the driver's state is detected by calculating the driver's focus position from the line-of-sight direction of both eyes and determining the driver's state from the calculated focus position and the front image obtained from the second camera 120.
  • the line-of-sight direction is the direction the driver is looking at. Specifically, for example, the line-of-sight direction is represented by the arrow shown in FIG.
  • the processing unit 130 performs an iris region extraction process on the face image, and calculates the driver's gaze direction based on the extracted iris shape and center position.
  • FIG. 2 is a diagram for explaining the focus position of the driver.
  • the processing unit 130 calculates where the focus position of the driver exists from the driver's line-of-sight direction.
  • the processing unit 130 further identifies the target object 400 located in the driver's line-of-sight direction in the front image generated by the second camera 120.
  • the processing unit 130 calculates a displacement amount (distance L) indicating how much the focal position is displaced with respect to the specified object 400, and detects the driver's state according to the calculated displacement amount.
  • the processing unit 130 calculates the gaze direction of the right eye and the gaze direction of the left eye based on the face image, for example.
  • the processing unit 130 calculates, from the calculated right eye gaze direction and left eye gaze direction, an intersection of a virtual straight line along the right eye gaze direction and a virtual straight line along the left eye gaze direction as a focus position. ..
  • the focus position here is, for example, the distance to the automobile 300 or the driver. Alternatively, the focus position here may be a position on coordinates that are arbitrarily determined in advance.
  • the processing unit 130 calculates, from the front image, the position of the object 400 included in the front image and located in the driver's line-of-sight direction. Specifically, for example, the processing unit 130 calculates the position of the object 400 located in the line-of-sight direction and around the automobile 300 from the line-of-sight direction and the front image, and calculates the calculated position of the object 400. The state of the driver is determined based on the focus position. For example, the processing unit 130 selects a face image associated with the front image. For example, the processing unit 130 associates (in other words, associates) the front image and the face image generated by the first camera 110 and the second camera 120 shooting at the same timing (time).
  • the processing unit 130 calculates the focus position and the line-of-sight direction of the driver from the face image, and from the front image associated with the face image, is included in the front image and is located in the calculated line-of-sight direction.
  • the position of the object 400 to be calculated is calculated, and the state of the driver (more specifically, the ambushed state) is detected by determining the state of the driver based on the calculated position and the focus position of the object 400. ..
  • the position of the object 400 here is, for example, the distance to the same object (the automobile 300 or the driver) as the predetermined position.
  • the position of the object 400 here may be a position on coordinates that are arbitrarily determined in advance, like the focus position.
  • the line-of-sight direction of the driver here is, for example, a direction between the line-of-sight direction of the right eye and the line-of-sight direction of the left eye.
  • the processing unit 130 calculates the distance L between the calculated focal position and the object 400. For example, the processing unit 130 determines that the state of the driver is normal when the calculated distance L between the position of the object 400 and the focus position is less than the predetermined distance. On the other hand, for example, when the calculated distance L between the position of the object 400 and the focus position is equal to or greater than the predetermined distance, the processing unit 130 determines that the driver's state is not normal. For example, the processing unit 130 is in a state where the driver can drive normally when the distance L is less than 50 cm (normal state of the driver), and when the distance L is 50 cm or more and less than 100 cm, the driver is in a dull state (driver). Is not normal), and if the distance L is 100 cm or more, it is determined that the driver is in a dangerous state such as epilepsy (the driver is not normal).
  • the processing unit 130 can stably detect the state even for a driver who is driving the automobile 300, regardless of the brightness around the driver.
  • the predetermined distance may be arbitrarily set in advance and is not particularly limited.
  • the processing unit 130 may determine the driver's state to be in a dull state, for example, when the distance L from the focus position to the object 400 is 50 cm or more and less than 100 cm. Alternatively, it may be determined by a percentage how much the driver is in a daze state. That is, the processing unit 130 may determine the state of the driver as a percentage. For example, the processing unit 130 determines that the driver is 100% absent when the focus position is 1 m away from the position of the object 400 (that is, when the distance L is 1 m). In addition, for example, the processing unit 130 may determine that the state is 50% absent when the focus position is deviated from the position of the object 400 by 50 cm (that is, when the distance L is 50 cm). ..
  • the above-mentioned distance and the percentage in the distance are examples, and are not particularly limited and may be arbitrarily set in advance.
  • the processing unit 130 detects the driver's state based on the face image and the front image.
  • the processing unit 130 when the driver's face direction or line-of-sight direction does not face forward for a predetermined period of time, or when the driver's face direction or line-of-sight direction gradually deviates from the front, the face direction or line-of-sight direction. From the direction and the predetermined time or the time it takes to deviate, for example, it may be determined that the driver's state is a dangerous state such as epilepsy.
  • the face orientation is the driver's face orientation.
  • the face direction is represented by the front direction of the driver's face.
  • the processing unit 130 measures the driver's face orientation by performing face detection processing on the face image and extracting feature points such as the driver's eyes and mouth. In the present embodiment, it is assumed that the line-of-sight direction of the driver's eyes and the face direction of the driver are the same direction.
  • the processing unit 130 determines that the state of the driver is not normal when the angle between the line-of-sight direction and the front is equal to or greater than a predetermined angle.
  • the processing unit 130 for example, when the driver is looking outside the range of ⁇ 20 degrees (that is, the predetermined angle is 20 degrees) with respect to the front for 3 seconds, or when the driver's face orientation is about 0.1 seconds.
  • the speed continues to fluctuate at 10 degrees or less, it is determined that the driver's state is a dangerous state such as epilepsy.
  • the processing unit 130 can easily detect the health condition of the driver.
  • the state detection device 100 does not need to include the second camera 120 when detecting only the health state of the driver in this way.
  • the predetermined angle may be arbitrarily determined in advance and is not particularly limited.
  • the processing unit 130 detects the driver's state based on the angle formed by the front and the line-of-sight direction. However, using the face orientation (face orientation) calculated from the face image, the face on the front image is detected. You may detect the state of a driver based on the target object which exists in a direction. For example, the processing unit 130 may determine that there is a signboard, a sign, or the like in the calculated face direction and that the driver is concentrating when facing the direction for a short time. Alternatively, when the driver has the face direction calculated for a long time and the object existing in the face direction is an object that does not change due to the traveling of the automobile 300, such as a road or the sky, the processing unit 130 drives the driver. The state of may be determined to be a dull state.
  • the processing unit 130 transmits information indicating the detection result (result of determination of the driver's state) to the notification unit 140.
  • the processing unit 130 is realized by, for example, a computer device or the like. Specifically, the processing unit 130 is realized by a non-volatile memory that stores a program, a volatile memory that is a temporary storage area for executing the program, an input/output port, a processor that executes the program, and the like. .. Each function of the processing unit 130 may be realized by software executed by a processor or may be realized by hardware such as an electric circuit including one or more electronic components.
  • the notification unit 140 is a device that notifies the information indicating the detection result (driver state determination result) received from the processing unit 130.
  • the notification unit 140 is, for example, a display that notifies the driver of information indicating the detection result by an image, an audio device that notifies the driver by sound, or the like.
  • the notification unit 140 may be realized by a personal computer, a smart phone, a tablet terminal, or the like.
  • FIG. 3 is a flowchart showing a processing procedure executed by the state detection device according to the embodiment.
  • the state detection device 100 photographs the driver's face with the first camera 110 at a first frame rate (a frame rate N times the first frame rate) (step S100).
  • the state detection device 100 photographs the front of the automobile 300 with the second camera 120 at the second frame rate (step S101).
  • the state detection device 100 (more specifically, the processing unit 130) captures the face of the driver and the front of the automobile 300 with the first camera 110 and the second camera 120. Then, a face image including the face of the driver and a front image of the front of the automobile 300 are acquired.
  • step S100 the first camera 110 repeatedly generates a face image by capturing the driver's face at the first frame rate.
  • the processing unit 130 repeatedly acquires the face image from the first camera 110.
  • the second camera 120 repeatedly generates front images by capturing the front of the automobile 300 at the second frame rate.
  • the processing unit 130 repeatedly acquires the front image from the second camera 120.
  • the processing unit 130 transmits, for example, a signal indicating that the first camera 110 and the second camera 120 start shooting.
  • the processing unit 130 can cause the first camera 110 and the second camera 120 to start shooting at the same timing, that is, the first camera 110 and the second camera 120 can synchronize the shooting timing. Therefore, it is possible to easily associate (link) the face image and the front image, which are captured and generated at the same time.
  • the processing unit 130 calculates the line-of-sight direction of the driver based on the face image acquired in step S100 (step S102).
  • the processing unit 130 determines whether or not the angle formed by the line-of-sight direction calculated in step S102 and the front is a predetermined angle or more (step S103).
  • the forward direction means the traveling direction of the automobile 300, and is, for example, the shooting direction of the second camera 120.
  • the processing unit 130 determines that the angle between the line-of-sight direction and the front is equal to or greater than the predetermined angle (Yes in step S103).
  • the processing unit 130 determines that the driver's state is not normal (step S108).
  • the processing unit 130 causes the notification unit 140 to notify the driver of information indicating the determination result in step S108 (step S109).
  • the processing unit 130 determines that the angle formed between the line-of-sight direction and the front is less than the predetermined angle (No in step S103), the processing unit 130 calculates the focus position based on the line-of-sight directions of both sides of the driver (step S103). S104).
  • the processing unit 130 calculates the position of the target object 400 located in the line-of-sight direction based on the front image acquired in step S101 (step S105).
  • the processing unit 130 determines whether or not the distance L between the position of the object 400 calculated in step S105 and the focus position calculated in step S104 is less than a predetermined distance (step S106).
  • step S106 the processing unit 130 determines that the driver state is normal (step S107).
  • the processing unit 130 causes the notification unit 140 to notify the driver of information indicating the determination result in step S107 (step S109).
  • step S106 when the processing unit 130 determines that the distance L is equal to or greater than the predetermined distance (No in step S106), the processing unit 130 determines that the driver is not in a normal state (step S108), and executes step S109.
  • the state detection device 100 is a state detection device that detects the state of the driver who is driving the automobile 300, and includes the first camera 110 that captures the face of the driver at the first frame rate, and the automobile 300. Of the driver's eyes from the face images obtained from the first camera 110 and the second camera 120 that shoots the front of the vehicle at the second frame rate, and the driver's focus position is determined from the calculated driver's eyes.
  • a processing unit 130 that detects the driver state by determining the driver state from the calculated focus position and the front image obtained from the second camera 120 is provided.
  • the first frame rate is N times the second frame rate.
  • the processing unit 130 can detect the state of the driver without using a parameter that changes according to the external environment such as the pupil diameter. Therefore, according to the state detection device 100, the state of the driver can be detected with high accuracy.
  • the first frame rate is N times the second frame rate, for example, the selection of the face image associated with the front image executed by the processing unit 130 becomes easy. Therefore, the processing addition in the processing unit 130 is reduced.
  • the processing unit 130 calculates the driver's line-of-sight direction from the face image and determines whether the driver's state is normal from the calculated line-of-sight direction. Since the determination can be made, many states of the driver can be determined.
  • the first camera 110 and the second camera 120 are integrally attached to the automobile 300.
  • the first camera 110 and the second camera 120 are arranged in the same housing 210.
  • the first camera 110 and the second camera 120 are attached to the automobile 300 as separate bodies, a shift occurs in the front image captured by the second camera 120 with respect to the line-of-sight direction calculated from the image from the first camera 110. Therefore, an error occurs, and therefore the processing unit 130 needs to perform calibration work according to the mounting position.
  • the processing unit 130 needs to perform calibration work according to the mounting position.
  • the processing unit 130 needs to perform calibration work according to the mounting position.
  • integrally mounting the first camera 110 and the second camera 120 to the automobile 300 there is an effect that the calibration work becomes unnecessary and the accuracy is maintained at high accuracy. That is, this makes it difficult for the relative positional relationship between the first camera 110 and the second camera 120 to change. Therefore, the state of the driver can be detected more accurately.
  • the second camera 120 is a TOF camera.
  • the processing unit 130 calculates the position of the object 400 located in the line-of-sight direction and around the automobile 300 from the line-of-sight direction and the front image, and the calculated position and focus of the object 400.
  • the state of the driver is determined based on the position.
  • the processing unit 130 determines that the driver's state is normal, and is equal to or more than the predetermined distance. In this case, it is determined that the driver status is not normal.
  • the processing unit 130 determines that the state of the driver is not normal when the angle between the line-of-sight direction and the front is equal to or greater than a predetermined angle.
  • the driver's line of sight deviates significantly from the front, it is assumed that the driver is not driving normally. Therefore, in such a case, it is assumed that the state of the driver is not normal. Therefore, when the angle formed by the processing unit 130 between the driver's line-of-sight direction and the front is equal to or greater than a predetermined angle, it can be appropriately determined that the driver is in an abnormal state.
  • the driver's state is the driver's aimless state.
  • the driver's aimless state can be accurately detected.
  • a state detection method is a state detection method for detecting a state of a driver who is driving the automobile 300, and the first camera 110 captures a face of the driver at a first frame rate.
  • the front of the automobile 300 is photographed by the second camera 120 at the second frame rate, the line-of-sight directions of both eyes of the driver are calculated from the face image obtained from the first camera 110, and the focus of the driver is calculated from the calculated line-of-sight of both eyes of the driver.
  • the driver's state is detected by calculating the position and determining the driver's state from the calculated focus position and the front image obtained from the second camera 120.
  • the first frame rate is N times the second frame rate.
  • the state of the driver can be detected without using parameters that change according to the external environment such as the pupil diameter. Therefore, the state detection method according to the present disclosure can detect the driver state with high accuracy.
  • the first frame rate is N times the second frame rate, for example, it becomes easy to select a face image to be associated with the front image. Therefore, the processing amount is reduced.
  • the driver's line-of-sight direction can be calculated from the face image, and it can be determined from the calculated line-of-sight directions whether or not the driver's state is normal. Many states can be judged.
  • one aspect of the present disclosure can be realized as a program for causing a computer to execute the above state detection method.
  • it can be realized as a computer-readable recording medium that stores the program.
  • the processing unit 130 may determine the driver's state based on the facial image based on the degree of opening of the driver's mouth. For example, when the driver's mouth is open for 1 cm or more and for 2 seconds or more, the processing unit 130 determines that the driver is in a daze state.
  • the processing unit 130 can very easily determine the state of the driver.
  • the state detection device 100 may not include the second camera 120.
  • the processing unit 130 may determine that the driver is in the epileptic state instead of the aimless state when the driver's mouth is open for 2 cm or more and for 5 seconds or more.
  • the state detection device 100 can determine a dangerous state such as epilepsy in the driver with an extremely simple configuration.
  • the state detection device may include a microphone or the like that detects the voice of the driver.
  • the processing unit 130 may determine the driver's state based on the face image and the driver's voice detected by the microphone. For example, when the processing unit 130 determines that the driver is not speaking based on the sound detected by the microphone and determines that the driver's mouth is not open based on the face image, or when the driver's mouth is opened or closed. If it is determined that the above is repeated, it may be determined that the driver is in a dangerous state such as epilepsy.
  • driver's mouth opening degree and time used by the processing unit 130 for determination are examples and are not particularly limited, and may be set arbitrarily.
  • the processing unit 130 may calculate the driver's heartbeat (heart rate) based on the face image and detect the driver's state based on the calculated heartbeat. For example, the processing unit 130 determines the driver's heartbeat based on the driver's facial color included in the face image.
  • an increase in heartbeat usually occurs when an emotion of anger occurs.
  • the processing unit 130 determines the facial expression of the driver and the heartbeat of the driver based on the face image, and when the driver determines that the heartbeat has risen even though the driver does not have an angry facial expression, the driver detects epilepsy or the like. You may judge that it is in a dangerous state.
  • the driver's heartbeat may be calculated from other than the face image.
  • the state detection device 100 may be provided with a millimeter wave sensor for detecting a heartbeat by a millimeter wave or the like, or may be provided with a contact type heartbeat sensor attached to a steering wheel or the like of the automobile 300.
  • the processing unit 130 may calculate the heartbeat of the driver based on the information obtained from these sensors.
  • the processing unit 130 calculates the position of the vehicle 300 in the left-right direction with respect to the lane of the road on which the vehicle 300 is traveling, based on the front image, and the position of the vehicle 300 in the left-right direction is, for example, a predetermined time. In the case of a monotonous change, it may be determined that the driver is in an absentminded state. When the driver is in the absentminded state, the driver does not make small steering operations. Therefore, for example, the processing unit 130 can determine that the driver is in a dumb state when the position of the automobile 300 in the left-right direction monotonously changes to the left or the right for about 2 seconds.
  • the processing unit 130 may determine that the driver is in an epileptic state when the steering operation is not performed for 3 seconds or more and the position of the automobile 300 monotonously changes in the left-right direction.
  • the state detection device 100 can determine an abnormal state such as epilepsy in the driver with an extremely simple configuration.
  • the processing unit 130 may determine the driver's state based on the acceleration of the automobile 300.
  • the processing unit 130 may determine the driver's state based on the vehicle speed of the automobile 300 or how the driver depresses the accelerator pedal.
  • the processing unit 130 Normally, on a general road, when the driver can drive normally, the driver switches the accelerator pedal ON/OFF about once every 5 seconds when the speed of the automobile 300 is 30 km/h or more. Therefore, the processing unit 130, for example, when the driver continues to depress the accelerator pedal for 5 seconds or more, or when there is no other vehicle in front of the automobile 300, the driver depresses the accelerator pedal for 5 seconds or more. If not, it is determined that the driver is in a dangerous state such as epilepsy. Further, for example, the processing unit 130 further determines that the driver is in a dull state when the driver does not depress the accelerator pedal for 3 seconds or more even though there is no other vehicle in front of the automobile 300.
  • the processing unit 130 may determine the driver's state based on the steering angle of the steering wheel of the automobile 300.
  • the state detection device 100 further includes an angle sensor for detecting the steering angle of the steering wheel.
  • the processing unit 130 determines that the driver is in the absentminded state when there is no steering back for 3 seconds or more. Further, for example, the processing unit 130 determines that the driver's drowsiness is increased when the steering wheel has not been turned back for 5 seconds or more. Further, for example, the processing unit 130 determines that the driver is in a dangerous state such as epilepsy when the steering wheel has not been turned back for 10 seconds or more.
  • the processing unit 130 may detect the state of the driver based on the brain waves of the driver.
  • the state detection device 100 further includes an electroencephalogram sensor for detecting the electroencephalogram of the driver.
  • the processing unit 130 determines the state of the driver (for example, whether the driver is normal, absentminded, sleepy, or dangerous) based on the brain waves of the driver. To do.
  • the processing unit 130 can easily determine the state of the driver from the brain waves of the driver.
  • the processing unit 130 may determine the driver's state based on the driver's driving posture.
  • the state detection device 100 may further include a camera (third camera) for generating a vehicle interior image by capturing an image of the vehicle interior of the automobile 300 including the driver.
  • the 1-camera 110 may generate not only the driver's face but also the driver's upper body to generate the vehicle interior image.
  • the processing unit 130 calculates the driving posture of the driver based on the vehicle interior image.
  • the processing unit 130 determines that the driver is in a dangerous state such as epilepsy when the driving posture of the driver changes abruptly, such as when the driver suddenly falls on the steering wheel.
  • the method by which the processing unit 130 calculates the driving posture of the driver is not particularly limited.
  • the state detection device 100 further includes a seat sensor arranged in the driver's seat on which the driver sits.
  • the processing unit 130 receives information indicating the seating center of gravity position of the driver from the seat sensor, and based on the received information, for example, when a seating center of gravity position change or the like suddenly occurs, Determined to be in a dangerous state such as epilepsy.
  • the present invention is not limited to these.
  • the processing unit 130 may detect the degree of tiredness of the driver, the degree of concentration of the driver, the emotion of the driver's emotions, etc. as the driver's state.
  • the processing unit 130 may detect a dangerous state such as myocardial infarction or cerebral infarction as the driver state. Further, the criterion for determining the driver's state by the processing unit 130 is not particularly limited as long as it is appropriately set in advance according to the driver's state.
  • the above-described determination criterion of the processing unit 130 is merely an example, and may be appropriately determined according to the level required by the user of the state detection device 100, for example, and is not particularly limited.
  • the driver's state When the driver's state is fed back (notified) to the driver (for example, when the notification unit 140 notifies the determination result of the processing unit 130), the driver's state may be a serious condition such as epilepsy or myocardial infarction. The more likely it is that drivers will be surprised more. If the driver is surprised, the driving operation of the driver may be hindered. Therefore, for example, the notification unit 140 may notify the level of the driver's condition such as “physical condition deterioration level” without notifying the disease name and the like. For example, the processing unit 130 determines the state of the driver at five levels from 1 to 5 in order from the better one. The notification unit 140 notifies the driver of the level determined by the processing unit 130, for example.
  • the automobile 300 may be an autonomous vehicle capable of autonomous driving at a plurality of stages of autonomous driving.
  • the processing unit 130 may increase the ratio of transferring the driving authority from the driver to the automobile 300 as the determined level of the driver's state is lower.
  • the automatic driving level is 0, the driver will perform all driving operations. Further, for example, if the automatic driving level is 1, the automatic driving vehicle supports either steering operation or acceleration/deceleration. Further, for example, if the automatic driving level is 2, the automatic driving vehicle supports either steering operation or acceleration/deceleration. Further, for example, if the automatic driving level is 3, the automatic driving vehicle performs all driving operations in a specific place, and the driver performs driving operations in an emergency. Further, for example, when the automatic driving level is 4, the automatic driving vehicle performs all driving operations at a specific place. Further, for example, if the automatic driving level is 5, the automatic driving vehicle performs all driving operations.
  • the processing unit 130 causes the self-driving vehicle to perform the operation when the automatic driving level is 3, for example, when the driver's state is level 3.
  • the driver's status can be safely notified to the driver.
  • the order of the plurality of processes executed by the processing unit 130 may be changed, or the processes may be executed in parallel.
  • the processing described in the above embodiments may be realized by centralized processing using a single device (system), or realized by distributed processing using a plurality of devices. May be.
  • the processor that executes the program may be a single processor or a plurality of processors. That is, centralized processing may be performed or distributed processing may be performed.
  • all or some of the constituent elements of the processing unit 130 may be configured by dedicated hardware, or are realized by executing a software program suitable for each constituent element. Good. Even if each component is realized by a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded in a recording medium such as a HDD (Hard Disk Drive) or a semiconductor memory. Good.
  • a program execution unit such as a CPU (Central Processing Unit) or a processor reading and executing a software program recorded in a recording medium such as a HDD (Hard Disk Drive) or a semiconductor memory. Good.
  • the processing unit 130 may be configured by one or a plurality of electronic circuits.
  • Each of the one or more electronic circuits may be a general-purpose circuit or a dedicated circuit.
  • the one or more electronic circuits may include, for example, a semiconductor device, an IC (Integrated Circuit), an LSI (Large Scale Integration), or the like.
  • the IC or LSI may be integrated on one chip or may be integrated on a plurality of chips. Here, it is called IC or LSI, but the name may change depending on the degree of integration, and it may be called system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration).
  • An FPGA Field Programmable Gate Array
  • the general or specific aspects of the present disclosure may be realized by a system, a device, a method, an integrated circuit, or a computer program.
  • a computer-readable non-transitory recording medium such as an optical disk, an HDD, or a semiconductor memory in which the computer program is stored.
  • the system, the device, the method, the integrated circuit, the computer program, and the recording medium may be implemented in any combination.
  • the present disclosure can be used as a state detection device that can detect a driver's state with high accuracy, and can be used, for example, in a device that detects a dumb state of a driver who is driving.

Abstract

状態検知装置（１００）は、自動車（３００）を運転中のドライバの状態を検知する状態検知装置であって、ドライバの顔を第１フレームレートで撮影する第１カメラ（１１０）と、自動車の前方を第２フレームレートで撮影する第２カメラ（１２０）と、第１カメラ（１１０）及び第２カメラ（１２０）から得られた画像を処理する処理部（１３０）と、を備える。処理部（１３０）は、第１カメラ（１１０）から得られる顔画像からドライバの両目の視線方向を算出し、算出したドライバの両目の視線方向からドライバの焦点位置を算出し、算出した焦点位置と、第２カメラ（１２０）から得られる前方画像とから、ドライバの状態を判定することで、ドライバの状態を検知する。第１フレームレートは、第２フレームレートのＮ（Ｎ：１以上の整数）倍である。

Description

状態検知装置及び状態検知方法
　本開示は、自動車を運転中のドライバの状態を検知する状態検知装置及び状態検知方法に関する。
　自動車を運転中のドライバの状態を検知する技術として、運転中の顔をカメラで撮影することで得られる顔画像から算出したドライバの瞳孔径に基づき、ドライバの状態を検知（判定）する技術が提案されている（例えば、非特許文献１参照）。
　しかしながら、瞳孔径は、外部の明るさに依存する。そのため、自動車を運転するドライバの瞳孔径を安定して計測することは、困難である。したがって、従来の技術では、ドライバの状態を精度よく計測できない。
　本開示は、ドライバの状態を高精度で検知（計測）することができる状態検知装置等を提供する。
　本開示の一態様に係る状態検知装置は、自動車を運転中のドライバの状態を検知する状態検知装置であって、前記ドライバの顔を第１フレームレートで撮影する第１カメラと、前記自動車の前方を第２フレームレートで撮影する第２カメラと、前記第１カメラから得られる顔画像から前記ドライバの両目の視線方向を算出し、算出した前記ドライバの両目の視線方向から前記ドライバの焦点位置を算出し、算出した前記焦点位置と、前記第２カメラから得られる前方画像とから、前記ドライバの状態を判定することで、前記ドライバの状態を検知する処理部と、を備え、前記第１フレームレートは、前記第２フレームレートのＮ（Ｎ：１以上の整数）倍である。
　また、本開示の一態様に係る状態検知方法は、自動車を運転中のドライバの状態を検知する状態検知方法であって、第１カメラで前記ドライバの顔を第１フレームレートで撮影し、第２カメラで前記自動車の前方を第２フレームレートで撮影し、前記第１カメラから得られる顔画像から前記ドライバの両目の視線方向を算出し、算出した前記ドライバの両目の視線方向から前記ドライバの焦点位置を算出し、算出した前記焦点位置と、前記第２カメラから得られる前方画像とから、前記ドライバの状態を判定することで、前記ドライバの状態を検知し、前記第１フレームレートは、前記第２フレームレートのＮ倍である。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様に係る状態検知装置等によれば、ドライバの状態を高精度で検知することができる。
図１は、実施の形態に係る状態検知装置の構成を示すブロック図である。 図２は、ドライバの焦点位置を説明するための図である。 図３は、実施の形態に係る状態検知装置が実行する処理手順を示すフローチャートである。
　（本開示の概要）
　上記課題を解決するために、本開示の一態様に係る状態検知装置は、自動車を運転中のドライバの状態を検知する状態検知装置であって、前記ドライバの顔を第１フレームレートで撮影する第１カメラと、前記自動車の前方を第２フレームレートで撮影する第２カメラと、前記第１カメラから得られる顔画像から前記ドライバの両目の視線方向を算出し、算出した前記ドライバの両目の視線方向から前記ドライバの焦点位置を算出し、算出した前記焦点位置と、前記第２カメラから得られる前方画像とから、前記ドライバの状態を判定することで、前記ドライバの状態を検知する処理部と、を備え、前記第１フレームレートは、前記第２フレームレートのＮ（Ｎ：１以上の整数）倍である。
　これによれば、処理部は、瞳孔径等の外部環境に応じて変化するパラメータを用いずに、ドライバの状態を検知できる。そのため、本開示に係る状態検知装置によれば、ドライバの状態を高精度で検知することができる。また、第１フレームレートが、第２フレームレートのＮ倍であることで、例えば、処理部が実行する前方画像に対応付ける顔画像の選択が簡便となる。そのため、処理部における処理付加は、軽減される。
　また、例えば、前記第１カメラと前記第２カメラとは、前記自動車に一体に取り付けられている。
　これによれば、第１カメラと第２カメラとの相対的な位置関係が変化しにくくなる。そのため、ドライバの状態は、さらに精度よく検知され得る。
　また、例えば、前記第２カメラは、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラである。
　これによれば、ドライバの視線の焦点位置は、例えば、視線方向にある対象物に対してどの程度ずれているかを正確に計測することができる。そのため、ドライバの状態は、さらに精度よく検知され得る。
　また、例えば、前記処理部は、前記視線方向と前記前方画像とから、前記視線方向に位置し、且つ、前記自動車の周囲に位置する対象物の位置を算出し、算出した前記対象物の位置と前記焦点位置とに基づいて、前記ドライバの状態を判定する。
　また、例えば、前記処理部は、算出した前記対象物の位置と前記焦点位置との距離が、所定の距離未満である場合、前記ドライバの状態が正常であると判定し、前記所定の距離以上である場合、前記ドライバの状態が正常ではないと判定する。
　これらによれば、対象物の位置と焦点位置との距離に基づいて、ドライバの状態が正常であるか否かを精度よく検知できる。
　また、例えば、前記処理部は、前記視線方向と前記前方とのなす角度が所定の角度以上である場合、前記ドライバの状態が正常ではないと判定する。
　例えば、ドライバの視線方向が前方から大きくずれている場合、ドライバが正常に運転できていないことが想定される。したがって、このような場合、ドライバの状態が正常ではないことが想定される。そのため、処理部がドライバの視線方向と前方とのなす角度が所定の角度以上である場合、ドライバが正常ではない状態であることが適切に判定され得る。
　また、例えば、前記ドライバの状態は、前記ドライバの漫然状態である。
　運転中においては、ドライバの不注意等による事故等を軽減するために、ドライバにおける運転の集中度合いを示す漫然状態を検知することが特に重要である。本開示に係る状態検知装置によれば、ドライバの漫然状態を精度よく検知することができる。
　また、本開示の一態様に係る状態検知方法は、自動車を運転中のドライバの状態を検知する状態検知方法であって、第１カメラで前記ドライバの顔を第１フレームレートで撮影し、第２カメラで前記自動車の前方を第２フレームレートで撮影し、前記第１カメラから得られる顔画像から前記ドライバの両目の視線方向を算出し、算出した前記ドライバの両目の視線方向から前記ドライバの焦点位置を算出し、算出した前記焦点位置と、前記第２カメラから得られる前方画像とから、前記ドライバの状態を判定することで、前記ドライバの状態を検知し、前記第１フレームレートは、前記第２フレームレートのＮ倍である。
　これによれば、瞳孔径等の外部環境に応じて変化するパラメータを用いずに、ドライバの状態を検知できる。そのため、本開示に係る状態検知方法によれば、ドライバの状態を高精度で検知することができる。また、第１フレームレートが、第２フレームレートのＮ倍であることで、例えば、前方画像に対応付ける顔画像の選択が簡便となる。そのため、処理量は、軽減される。
　また、本開示の一態様は、上記状態検知方法をコンピュータに実行させるためのプログラムとして実現することができる。或いは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することができる。
　以下では、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺等は必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
　また、以下の説明において、「所定の角度以上」、「所定の角度未満」等と記載をする場合があるが、厳密な意味で記載するものではない。例えば、「所定の角度以上」、「所定の角度未満」と対比して記載する場合に、当該所定の角度を境に区別されることを意味し、それぞれ、「所定の角度より大きい」、「所定の角度以下」であることを意味してもよい。
　（実施の形態）
　［構成］
　まず、実施の形態に係る状態検知装置の構成について説明する。
　図１は、実施の形態に係る状態検知装置１００を示すブロック図である。
　状態検知装置１００は、自動車３００を運転中のドライバの状態を検知（計測）する装置である。状態検知装置１００は、例えば、ドライバの状態として、ドライバの漫然状態、ドライバの眠気度合い等を検知する。本実施の形態では、状態検知装置１００は、ドライバの漫然状態を検知する。具体的には、状態検知装置１００は、ドライバが運転に集中できていない状態である漫然状態であるか否かを検知する。
　状態検知装置１００は、第１カメラ１１０と、第２カメラ１２０と、処理部１３０と、報知部１４０と、を備える。
　第１カメラ１１０は、自動車３００を運転中のドライバの顔を第１フレームレート撮影するカメラである。第１カメラ１１０は、例えば、処理部１３０と通信可能に接続されており、処理部１３０から撮影を開始させる旨を示す信号を受信した場合に、ドライバの顔を撮影することで、ドライバの顔を含む顔画像を生成する。第１カメラ１１０は、例えば、所定のフレームレート（第１フレームレート）でドライバの顔を繰り返し撮影することで、繰り返し顔画像を生成して当該顔画像を処理部１３０に送信する。
　第１カメラ１１０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサを備えるデジタルカメラである。
　第２カメラ１２０は、自動車３００の前方（自動車３００の進行する向き）を第２フレームレートで撮影するカメラである。なお、自動車の前方とは、自動車よりも、自動車３００の進行方向前方を意味する。第２カメラ１２０は、例えば、処理部１３０と通信可能に接続されており、処理部１３０から撮影を開始させる旨を示す信号を受信した場合に、自動車の前方を撮影することで、自動車３００の前方の風景等を含む前方画像を生成する。第２カメラ１２０は、例えば、所定のフレームレート（第２フレームレート）で自動車３００の前方を繰り返し撮影することで、繰り返し前方画像を生成して当該前方画像を処理部１３０に送信する。
　第１フレームレートは、第２フレームレートのＮ（Ｎ：１以上の整数）倍である。つまり、第１カメラ１１０のフレームレートは、第２カメラ１２０のフレームレートのＮ（Ｎ：１以上の整数）倍である。例えば、第２フレームレートがＡ（Ａ：任意の正の数）である場合、第１フレームレートは、Ａ×Ｎである。具体的に例えば、第１フレームレートが６０ｆｐｓの場合、第２フレームレートは、３０ｆｐｓである。
　また、第１カメラ１１０は、ドライバの顔を撮影することができればよく、任意の位置に配置されてもよい。また、第２カメラ１２０は、自動車３００の前方を撮影できればよく、任意の位置に配置されてもよい。例えば、第１カメラ１１０と第２カメラ１２０とは、自動車３００に一体に取り付けられている。一体に取り付けられるとは、互いの相対的な位置関係（撮影方向の関係）が固定された状態で自動車３００に取り付けられることを示し、例えば、第１カメラ１１０と第２カメラ１２０とは、同じ筐体２１０に固定された状態で、自動車３００に取り付けられている。筐体２１０は、例えば、箱体であり、本実施の形態では、第１カメラ１１０と第２カメラ１２０とは、筐体２１０内に収容されて、自動車３００の車室内に配置されている。第２カメラ１２０は、例えば、自動車３００の車室内からウィンドシールド２００（自動車３００のフロントガラス）を介して自動車３００の前方を撮影する。
　第２カメラ１２０は、例えば、ＣＣＤ、ＣＭＯＳ等のイメージセンサを備えるデジタルカメラである。より具体的には、第２カメラ１２０は、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラである。したがって、第２カメラ１２０で生成された前方画像には、距離情報が含まれる。これにより、例えば、処理部１３０は、自動車３００（より具体的には、第２カメラ１２０）と、第２カメラ１２０で生成された前方画像に含まれる対象物との距離を算出できる。
　なお、第２カメラ１２０は、前方画像に含まれる対象物との距離を算出できるカメラ（センサ）であればよく、ＴＯＦカメラでもよいし、ステレオカメラのよう複数方向から撮影可能なカメラでもよい。或いは、第２カメラ１２０は、モノラルカメラでもよい。
　処理部１３０は、第１カメラ１１０及び第２カメラ１２０から得られた画像を処理する装置である。具体的には、処理部１３０は、第１カメラ１１０から得られる顔画像からドライバの両目の視線方向を算出（具体的には、右目及び左目の視線方向をそれぞれ算出）し、算出したドライバの両目の視線方向からドライバの焦点位置を算出し、算出した焦点位置と、第２カメラ１２０から得られる前方画像とから、ドライバの状態を判定することで、ドライバの状態を検知する。
　なお、視線方向とは、ドライバが見ている方向である。具体的に例えば、視線方向は、図１に示される矢印で表される。例えば、処理部１３０は、顔画像に対して虹彩領域の抽出処理を行い、抽出された虹彩の形状及び中心位置に基づいてドライバの視線方向を算出する。
　図２は、ドライバの焦点位置を説明するための図である。
　処理部１３０は、ドライバの視線方向から、ドライバの焦点位置がどのあたりに存在するのかを算出する。処理部１３０は、さらに、第２カメラ１２０にて生成された前方画像において、ドライバの視線方向に位置する対象物４００を特定する。処理部１３０は、特定した対象物４００に対して、焦点位置がどの程度ずれているかを示すずれ量（距離Ｌ）を算出し、算出したずれ量に応じて、ドライバの状態を検知する。
　まず、処理部１３０は、例えば、顔画像に基づいて、右目の視線方向と、左目の視線方向とを算出する。次に、処理部１３０は、算出した右目の視線方向と左目の視線方向とから、右目の視線方向に沿った仮想直線と左目の視線方向に沿った仮想直線との交点を焦点位置として算出する。ここでいう焦点位置は、例えば、自動車３００又はドライバとの距離である。或いは、ここでの焦点位置は、予め任意に定められた座標上の位置でもよい。
　次に、処理部１３０は、前方画像から、前方画像に含まれ、且つ、ドライバの視線方向に位置する対象物４００の位置を算出する。具体的に例えば、処理部１３０は、視線方向と前方画像とから、視線方向に位置し、且つ、自動車３００の周囲に位置する対象物４００の位置を算出し、算出した対象物４００の位置と焦点位置とに基づいて、ドライバの状態を判定する。例えば、処理部１３０は、前方画像に対応付ける顔画像を選択する。例えば、処理部１３０は、第１カメラ１１０と第２カメラ１２０とが同じタイミング（時刻）に撮影することで生成した前方画像と顔画像とを対応付ける（言い換えると、紐づける）。次に、処理部１３０は、顔画像からドライバの焦点位置と視線方向とを算出し、当該顔画像と対応付けられた前方画像から、当該前方画像に含まれ、且つ、算出した視線方向に位置する対象物４００の位置を算出し、算出した対象物４００の位置と焦点位置とに基づいて、ドライバの状態を判定することで、ドライバの状態（より具体的には、漫然状態）を検知する。
　ここでの対象物４００の位置は、例えば、所定位置と同じ対象（自動車３００又はドライバ）との距離である。或いは、ここでの対象物４００の位置は、焦点位置と同様に予め任意に定められた座標上の位置であればよい。
　なお、ここでのドライバの視線方向とは、例えば、右目の視線方向と左目の視線方向との間の方向である。
　次に、処理部１３０は、算出した焦点位置と対象物４００との距離Ｌを算出する。例えば、処理部１３０は、算出した対象物４００の位置と焦点位置との距離Ｌが所定の距離未満である場合、ドライバの状態が正常であると判定する。一方、例えば、処理部１３０は、算出した対象物４００の位置と焦点位置との距離Ｌが当該所定の距離以上である場合、ドライバの状態が正常ではないと判定する。例えば、処理部１３０は、距離Ｌが５０ｃｍ未満であればドライバが正常に運転できている状態（ドライバが正常な状態）であり、距離Ｌが５０ｃｍ以上１００ｃｍ未満であればドライバが漫然状態（ドライバが正常ではない状態）であり、距離Ｌが１００ｃｍ以上であればドライバが癲癇等の危険な状態（ドライバが正常ではない状態）と判定する。
　こうすることで、処理部１３０は、ドライバの周囲の明るさによらず、自動車３００を運転中のドライバにおいても安定して状態を検知できる。
　なお、所定の距離は、予め任意に定められてよく、特に限定されない。
　また、処理部１３０は、上記した通り、ドライバの状態を、例えば、焦点位置から対象物４００までの距離Ｌが５０ｃｍ以上１００ｃｍ未満であるときに漫然状態にあると判定してもよいし、例えば、ドライバがどの程度漫然状態にあるかを、パーセンテージで判定してもよい。つまり、処理部１３０は、ドライバの状態をパーセンテージで判定してもよい。例えば、処理部１３０は、対象物４００の位置に対して焦点位置が１ｍずれている場合（つまり、距離Ｌが１ｍの場合）には、ドライバが１００％漫然状態にあると判定する。また、例えば、処理部１３０は、対象物４００の位置に対して焦点位置が５０ｃｍずれている場合（つまり、距離Ｌが５０ｃｍの場合）には、５０％漫然状態にあると判定してもよい。上記した距離及び当該距離におけるパーセンテージは一例であり、特に限定されず、予め任意に定められてよい。
　以上のように、処理部１３０は、顔画像と前方画像とに基づいて、ドライバの状態を検知する。
　また、処理部１３０は、ドライバの顔向き又は視線方向が所定時間、前方を向いていない場合、又は、ドライバの顔向き又は視線方向が徐々に前方から逸れていく場合には、顔向き又は視線方向と当該所定時間又は逸れていくのにかかる時間とから、例えば、ドライバの状態が癲癇等の危険状態であると判定してもよい。
　なお、顔向きとは、ドライバの顔の向きである。具体的には、顔向きは、ドライバの顔の正面方向で表される。例えば、処理部１３０は、顔画像に対して顔検出処理を行い、ドライバの目及び口等の特徴点を抽出することで、ドライバの顔向きを測定する。なお、本実施の形態では、ドライバの両目の視線方向とドライバの顔向きとは、同じ方向であるとして説明する。
　例えば、処理部１３０は、視線方向と前方とのなす角度が所定の角度以上である場合、ドライバの状態が正常ではないと判定する。処理部１３０は、例えば、ドライバが３秒間、前方に対して±２０度（つまり、所定の角度が２０度）の範囲以外を見ている場合、又は、ドライバの顔向きが０．１秒あたり１０度以下の速度で変動し続けている場合、ドライバの状態が癲癇等の危険状態であると判定する。
　こうすることで、処理部１３０は、ドライバの健康状態を簡単に検知することができる。なお、状態検知装置１００は、このようにドライバの健康状態のみを検知する場合、第２カメラ１２０を備えなくてもよい。
　なお、所定の角度は、予め任意に定められてよく、特に限定されない。
　また、上記では、処理部１３０は、前方と視線方向とのなす角度に基づいてドライバの状態を検知したが、顔画像から算出した顔向き（顔向き方向）を用いて、前方画像上の顔向き方向に存在する対象物に基づいて、ドライバの状態を検知してもよい。例えば、処理部１３０は、算出した顔向き方向に看板、標識等があり、短時間その方向を向いていれば集中して運転していると判定してもよい。或いは、処理部１３０は、ドライバは算出した顔向き方向が長時間続いており、当該顔向き方向に存在する対象物が道路、空等、自動車３００の走行により変わらない対象物である場合、ドライバの状態を漫然状態であると判定してもよい。
　処理部１３０は、検知結果（ドライバの状態の判定結果）を示す情報を、報知部１４０に送信する。
　処理部１３０は、例えば、コンピュータ機器等で実現される。具体的には、処理部１３０は、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサ等で実現される。処理部１３０が有する各機能は、プロセッサで実行されるソフトウェアで実現されてもよく、１つ以上の電子部品を含む電気回路等のハードウェアで実現されてもよい。
　報知部１４０は、処理部１３０から受信した検知結果（ドライバの状態の判定結果）を示す情報を報知する装置である。報知部１４０は、例えば、当該検知結果を示す情報を、ドライバに画像で報知するディスプレイ、ドライバに音で報知する音響機器等である。報知部１４０は、パーソナルコンピュータ、スマートホン、タブレット端末等で実現されてもよい。
　［処理手順］
　続いて、実施の形態に係る状態検知装置１００が実行する処理手順について詳細に説明する。
　図３は、実施の形態に係る状態検知装置が実行する処理手順を示すフローチャートである。
　まず、状態検知装置１００は、第１カメラ１１０でドライバの顔を第１フレームレート（第１フレームレートのＮ倍のフレームレート）で撮影する（ステップＳ１００）。
　次に、状態検知装置１００は、第２カメラ１２０で自動車３００の前方を第２フレームレートで撮影する（ステップＳ１０１）。
　このように、ステップＳ１００及びステップＳ１０１では、状態検知装置１００（より具体的には、処理部１３０）は、ドライバの顔及び自動車３００の前方を第１カメラ１１０及び第２カメラ１２０で撮影することで、ドライバの顔を含む顔画像と、自動車３００の前方が撮影された前方画像とを取得する。
　より具体的には、まず、ステップＳ１００では、第１カメラ１１０は、ドライバの顔を第１フレームレートで撮影することで、顔画像を繰り返し生成する。処理部１３０は、第１カメラ１１０から当該顔画像を繰り返し取得する。
　また、ステップＳ１０１では、第２カメラ１２０は、自動車３００の前方を第２フレームレートで撮影することで、前方画像を繰り返し生成する。処理部１３０は、第２カメラ１２０から前方画像を繰り返し取得する。処理部１３０は、例えば、第１カメラ１１０及び第２カメラ１２０に撮影を開始させる旨を示す信号を送信する。第１カメラ１１０及び第２カメラ１２０は、当該信号を受信した場合に、上記のフレームレートでの撮影を開始する。これによれば、処理部１３０は、第１カメラ１１０及び第２カメラ１２０に同じタイミングで撮影を開始させる、つまり、第１カメラ１１０及び第２カメラ１２０で撮影のタイミングを同期させることができる。そのため、同じ時刻に撮影されて生成された顔画像と前方画像とを対応付け（紐づけ）やすくできる。
　次に、処理部１３０は、ステップＳ１００で取得した顔画像に基づいて、ドライバの視線方向を算出する（ステップＳ１０２）。
　次に、処理部１３０は、ステップＳ１０２で算出した視線方向と、前方とのなす角度が所定の角度以上であるか否かを判定する（ステップＳ１０３）。なお、前方の方向とは、自動車３００の進行方向を意味し、例えば、第２カメラ１２０の撮影方向である。
　処理部１３０は、視線方向と前方とのなす角度が所定の角度以上であると判定した場合（ステップＳ１０３でＹｅｓ）、ドライバの状態が正常ではないと判定する（ステップＳ１０８）。
　次に、処理部１３０は、報知部１４０にステップＳ１０８における判定結果を示す情報をドライバに報知させる（ステップＳ１０９）。
　一方、処理部１３０は、視線方向と前方とのなす角度が所定の角度未満であると判定した場合（ステップＳ１０３でＮｏ）、ドライバの両面の視線方向に基づいて、焦点位置を算出する（ステップＳ１０４）。
　次に、処理部１３０は、ステップＳ１０１で取得した前方画像に基づいて、視線方向に位置する対象物４００の位置を算出する（ステップＳ１０５）。
　次に、処理部１３０は、ステップＳ１０５で算出した対象物４００の位置と、ステップＳ１０４で算出した焦点位置との距離Ｌが、所定の距離未満であるか否かを判定する（ステップＳ１０６）。
　処理部１３０は、距離Ｌが所定の距離未満であると判定した場合（ステップＳ１０６でＹｅｓ）、ドライバの状態が正常であると判定する（ステップＳ１０７）。
　次に、処理部１３０は、報知部１４０にステップＳ１０７における判定結果を示す情報をドライバに報知させる（ステップＳ１０９）。
　一方、処理部１３０は、距離Ｌが所定の距離以上であると判定した場合（ステップＳ１０６でＮｏ）、ドライバの状態が正常ではないと判定し（ステップＳ１０８）、ステップＳ１０９を実行する。
　［効果等］
　以上説明したように、状態検知装置１００は、自動車３００を運転中のドライバの状態を検知する状態検知装置であって、ドライバの顔を第１フレームレートで撮影する第１カメラ１１０と、自動車３００の前方を第２フレームレートで撮影する第２カメラ１２０と、第１カメラ１１０から得られる顔画像からドライバの両目の視線方向を算出し、算出したドライバの両目の視線方向からドライバの焦点位置を算出し、算出した焦点位置と、第２カメラ１２０から得られる前方画像とから、ドライバの状態を判定することで、ドライバの状態を検知する処理部１３０と、を備える。また、第１フレームレートは、第２フレームレートのＮ倍である。
　これによれば、処理部１３０は、瞳孔径等の外部環境に応じて変化するパラメータを用いずに、ドライバの状態を検知できる。そのため、状態検知装置１００によれば、ドライバの状態を高精度で検知することができる。また、第１フレームレートが、第２フレームレートのＮ倍であることで、例えば、処理部１３０が実行する前方画像に対応付ける顔画像の選択が簡便となる。そのため、処理部１３０における処理付加は、軽減される。また、顔画像を前方画像よりも多く生成することで、例えば、処理部１３０は、顔画像からドライバの視線方向を算出し、算出した視線方向からドライバの状態が正常であるか否かを多く判定できるため、ドライバの状態を多く判定できる。
　また、例えば、第１カメラ１１０と第２カメラ１２０とは、自動車３００に一体に取り付けられている。
　例えば、第１カメラ１１０及び第２カメラ１２０は、同じ筐体２１０内に配置されている。第１カメラ１１０と第２カメラ１２０とを別体として自動車３００に取り付けると、第１カメラ１１０からの画像から算出した視線方向に対して、第２カメラ１２０で撮影した前方画像にずれが発生するため、誤差を生じることになるため、処理部１３０では、取り付け位置に応じた校正作業が必要になる。しかし、第１カメラ１１０と第２カメラ１２０とを一体に自動車３００に取り付けることで、当該校正作業が不要になり、精度も高精度に維持されるという効果を有する。つまり、これによれば、第１カメラ１１０と第２カメラ１２０との相対的な位置関係が変化しにくくなる。そのため、ドライバの状態は、さらに精度よく検知され得る。
　また、例えば、第２カメラ１２０は、ＴＯＦカメラである。
　これによれば、ドライバの視線の焦点位置は、例えば、視線方向にある対象物４００に対してどの程度ずれているかを正確に計測することができる。そのため、ドライバの状態は、さらに精度よく検知され得る。
　また、例えば、処理部１３０は、視線方向と前方画像とから、視線方向に位置し、且つ、自動車３００の周囲に位置する対象物４００の位置を算出し、算出した対象物４００の位置と焦点位置とに基づいて、ドライバの状態を判定する。
　また、例えば、処理部１３０は、算出した対象物４００の位置と焦点位置との距離Ｌが、所定の距離未満である場合、ドライバの状態が正常であると判定し、所定の距離以上である場合、ドライバの状態が正常ではないと判定する。
　これらによれば、対象物４００の位置と焦点位置との距離に基づいて、ドライバの状態が正常であるか否かを精度よく検知できる。
　また、例えば、処理部１３０は、視線方向と前方とのなす角度が所定の角度以上である場合、ドライバの状態が正常ではないと判定する。
　例えば、ドライバの視線方向が前方から大きくずれている場合、ドライバが正常に運転できていないことが想定される。したがって、このような場合、ドライバの状態が正常ではないことが想定される。そのため、処理部１３０がドライバの視線方向と前方とのなす角度が所定の角度以上である場合、ドライバが正常ではない状態であることが適切に判定され得る。
　また、例えば、ドライバの状態は、ドライバの漫然状態である。
　運転中においては、ドライバの不注意等による事故等を軽減するために、ドライバにおける運転の集中度合いを示す漫然状態を検知することが特に重要である。状態検知装置１００によれば、ドライバの漫然状態を精度よく検知することができる。
　また、本開示の一態様に係る状態検知方法は、自動車３００を運転中のドライバの状態を検知する状態検知方法であって、第１カメラ１１０でドライバの顔を第１フレームレートで撮影し、第２カメラ１２０で自動車３００の前方を第２フレームレートで撮影し、第１カメラ１１０から得られる顔画像からドライバの両目の視線方向を算出し、算出したドライバの両目の視線方向からドライバの焦点位置を算出し、算出した焦点位置と、第２カメラ１２０から得られる前方画像とから、ドライバの状態を判定することで、ドライバの状態を検知する。また、第１フレームレートは、第２フレームレートのＮ倍である。
　これによれば、瞳孔径等の外部環境に応じて変化するパラメータを用いずに、ドライバの状態を検知できる。そのため、本開示に係る状態検知方法によれば、ドライバの状態を高精度で検知することができる。また、第１フレームレートが、第２フレームレートのＮ倍であることで、例えば、前方画像に対応付ける顔画像の選択が簡便となる。そのため、処理量は、軽減される。また、顔画像を前方画像よりも多く生成することで、例えば、顔画像からドライバの視線方向を算出し、算出した視線方向からドライバの状態が正常であるか否かを多く判定できるため、ドライバの状態を多く判定できる。
　また、本開示の一態様は、上記状態検知方法をコンピュータに実行させるためのプログラムとして実現することができる。或いは、当該プログラムを格納したコンピュータ読み取り可能な記録媒体として実現することができる。
　（その他の実施の形態）
　以上、１つ又は複数の態様に係る状態検知装置等について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
　例えば、処理部１３０は、顔画像に基づいて、ドライバの状態を、ドライバの口の開き具合から判定してもよい。処理部１３０は、例えば、ドライバの口が１ｃｍ以上且つ２秒以上開いていた場合、ドライバが漫然状態にあると判定する。
　こうすることで、処理部１３０は、極めて簡単にドライバの状態を判定することができる。なお、この場合、状態検知装置１００は、第２カメラ１２０を備えなくてもよい。
　また、例えば、処理部１３０は、ドライバの口が２ｃｍ以上且つ５秒以上開いていた場合、ドライバが漫然状態ではなく、癲癇状態にあると判定してもよい。
　こうすることで、状態検知装置１００は、極めて簡単な構成でドライバにおける癲癇等の危険状態を判定することができる。
　また、例えば、状態検知装置は、ドライバの音声を検出するマイク等を備えてもよい。この場合、処理部１３０は、顔画像とマイクが検出するドライバの音声とに基づいて、ドライバの状態を判定してもよい。例えば、処理部１３０は、マイクが検出した音声に基づいてドライバが喋っていないと判定し、且つ、顔画像に基づいてドライバの口が開いていないと判定した場合、又は、ドライバの口が開閉を繰り返していると判定した場合、ドライバが癲癇等の危険状態にあると判定してもよい。
　なお、処理部１３０が判定に用いる上記したドライバの口の開き具合及び時間は、一例であり特に限定されるものではなく、任意に設定されてよい。
　また、処理部１３０は、顔画像に基づいてドライバの心拍（心拍数）を算出し、算出した心拍に基づいてドライバの状態を検知してもよい。例えば、処理部１３０は、顔画像に含まれるドライバの顔色に基づいて、ドライバの心拍を判定する。
　例えば、心拍の上昇は、通常、怒りの感情が発生したときに発生する。一方、ドライバに怒りの感情が発生していないにも関わらず、ドライバの心拍が上昇した場合、ドライバは、てんかん等の危険状態である可能性がある。そこで、処理部１３０は、顔画像に基づいて、ドライバの表情及びドライバの心拍を判定し、ドライバが怒りの表情ではないにも関わらず、心拍が上昇したと判定した場合、ドライバがてんかん等の危険状態であると判定してもよい。
　もちろん、ドライバの心拍は、顔画像以外から算出されてもよい。例えば、状態検知装置１００は、心拍をミリ波等で検出するためのミリ波センサを備えてもよいし、自動車３００のステアリング等に取り付けられた接触式心拍センサを備えてもよい。処理部１３０は、これらのセンサから得られる情報に基づいて、ドライバの心拍を算出してもよい。
　また、例えば、処理部１３０は、前方画像に基づいて、自動車３００が走行している道路の車線に対する自動車３００の左右方向の位置を算出し、自動車３００の左右方向の位置が、例えば、所定時間単調に変動する場合、ドライバが漫然状態にあると判定してもよい。ドライバは、漫然状態である場合、ステアリング操作を小刻みに行うことがなくなる。そのため、例えば、処理部１３０は、２秒程度の間、自動車３００の左右方向の位置が左方向又は右方向に単調に変動した場合、ドライバが漫然状態にあると判定することができる。
　また、例えば、処理部１３０は、３秒以上の間ステアリング操作がされずに、自動車３００の位置が左右方向に単調に変動した場合、ドライバが癲癇状態にあると判定してもよい。
　こうすることで、状態検知装置１００は、極めて簡単な構成でドライバにおける癲癇等の異常状態を判定することができる。
　また、例えば、処理部１３０は、自動車３００の加速度に基づいてドライバの状態を判定してもよい。
　また、例えば、処理部１３０は、自動車３００の車速又はドライバのアクセルペダルの踏み方に基づいて、ドライバの状態を判定してもよい。
　通常、一般道において、ドライバは、正常に運転できている場合、自動車３００が３０ｋｍ／ｈ以上の速度であるとき、５秒に一回程度、アクセルペダルのＯＮ／ＯＦＦを切り替える。そこで、処理部１３０は、例えば、ドライバが５秒以上アクセルペダルを踏み続けていた場合、又は、自動車３００の前方に他の車両が存在しないにも関わらず、ドライバが５秒以上アクセルペダルを踏み込まなかった場合、ドライバが癲癇等の危険状態であると判定する。また、例えば、処理部１３０は、さらに、自動車３００の前方に他の車両が存在しないにも関わらず、ドライバが３秒以上アクセルペダルを踏み込まなかった場合、ドライバが漫然状態であると判定する。
　また、例えば、処理部１３０は、自動車３００のステアリングの操舵角に基づいて、ドライバの状態を判定してもよい。この場合、例えば、状態検知装置１００は、さらに、ステアリングの操舵角を検出するための角度センサを備える。例えば、処理部１３０は、３秒以上、ステアリングの切り返しがなかった場合には、ドライバが漫然状態であると判定する。また、例えば、処理部１３０は、５秒以上、ステアリングの切り返しがなかった場合には、ドライバの眠気が高まっていると判定する。また、例えば、処理部１３０は、１０秒以上、ステアリングの切り返しがなかった場合には、ドライバが癲癇等の危険状態であると判定する。
　また、例えば、処理部１３０は、ドライバの脳波に基づいて、ドライバの状態を検知してもよい。この場合、例えば、状態検知装置１００は、さらに、ドライバの脳波を検出するための脳波センサを備える。
　例えば、ドライバの脳波におけるα波、θ波等の低周波成分が高周波成分に対して優位な場合には、ドライバは、漫然状態にあると考えられる。また、例えば、ドライバの脳波におけるθ波が他の周波数成分より優位の場合には、ドライバの眠気が増大していると考えられる。一方、ドライバの脳波における３０Ｈｚ以上の高周波成分（振幅）が増大した場合には、ドライバが癲癇等の危険状態であると考えられる。上記から、例えば、処理部１３０は、ドライバの脳波に基づいて、ドライバの状態（例えば、ドライバが正常であるか、漫然状態であるか、眠い状態であるか、危険状態であるか）を判定する。
　こうすることで、処理部１３０は、ドライバの脳波から簡便にドライバの状態を判定できる。
　また、例えば、処理部１３０は、ドライバの運転姿勢に基づいて、ドライバの状態を判定してもよい。この場合、例えば、状態検知装置１００は、さらに、ドライバを含む、自動車３００の車室内を撮影することで、車室内画像を生成するためのカメラ（第３カメラ）を備えてもよいし、第１カメラ１１０が、ドライバの顔だけではなく、ドライバの上半身を撮影することで、車室内画像を生成してもよい。例えば、処理部１３０は、当該車室内画像に基づいて、ドライバの運転姿勢を算出する。
　例えば、処理部１３０は、ドライバがステアリングに急に突っ伏す等、ドライバの運転姿勢が急に大きく変化した場合には、ドライバが癲癇等の危険状態であると判定する。
　なお、処理部１３０がドライバの運転姿勢を算出する方法は、特に限定されない。
　例えば、状態検知装置１００は、さらに、ドライバが着座する運転席に配置されるシートセンサ等を備える。この場合、例えば、処理部１３０は、当該シートセンサからドライバの着座重心位置を示す情報を受信し、受信した情報に基づいて、例えば、着座重心位置変動等が急に発生した場合に、ドライバが癲癇等の危険状態であると判定する。
　また、上記では、処理部１３０が検知するドライバの状態として、漫然状態、眠気度合いを示す状態、癲癇等を例示したが、これらに限定されない。
　例えば、処理部１３０は、ドライバの疲労度、ドライバの集中度、ドライバの喜怒哀楽の感情等をドライバの状態として検知してもよい。
　また、例えば、処理部１３０は、ドライバの状態として、危険状態、例えば、心筋梗塞又は脳梗塞等を検知してもよい。また、処理部１３０によるドライバの状態の判定基準は、それらのドライバの状態に応じて、予め適宜設定されていればよく、特に限定されない。
　また、上記した処理部の１３０の判定基準は、あくまで一例であり、例えば、状態検知装置１００のユーザが要求するレベルに応じて適宜定められればよく、特に限定されない。
　また、ドライバの状態を当該ドライバにフィードバック（報知）する場合（例えば、報知部１４０が処理部１３０の判定結果を報知する場合）、ドライバの状態が癲癇、心筋梗塞等の重篤な状態であればある程、ドライバには驚きが生じやすくなる。ドライバに驚きが生じると、ドライバの運転動作に支障が出る可能性がある。そのため、例えば、報知部１４０は、病名等を報知せず、「体調悪化レベル」等のドライバの状態のレベルを報知してもよい。例えば、処理部１３０は、ドライバの状態を、良い方から順に１～５の５段階のレベルで判定する。報知部１４０は、例えば、処理部１３０が判定したレベルをドライバに報知する。
　また、自動車３００は、複数段階の自動運転レベルで自動運転可能な自動運転車でもよい。この場合、例えば、処理部１３０は、判定したドライバの状態のレベルが悪い程、ドライバから自動車３００に運転権限を移譲する割合を増やしてもよい。
　例えば、自動運転レベルが０であれば、ドライバが全ての運転操作をする。また、例えば、例えば、自動運転レベルが１であれば、自動運転車がステアリング操作又は加減速のいずれかをサポートする。また、例えば、自動運転レベルが２であれば、自動運転車がステアリング操作又は加減速のいずれかをサポートする。また、例えば、自動運転レベルが３であれば、特定の場所では自動運転車が全ての運転操作をし、緊急時にはドライバが運転操作をする。また、例えば、自動運転レベルが４であれば、特定の場所では自動運転車が全ての運転操作をする。また、例えば、自動運転レベルが５であれば、自動運転車が全ての運転操作をする。
　処理部１３０は、例えば、ドライバの状態がレベル３である場合、自動運転車に自動運転レベルが３の場合の動作をさせる。
　こうすることで、ドライバの状態を安全にドライバに報知することができる。
　また、例えば、処理部１３０が実行する複数の処理は、順序が変更されてもよく、或いは、複並行して実行されてもよい。
　また、例えば、上記実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
　また、上記実施の形態において、処理部１３０の構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、或いは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はプロセッサ等のプログラム実行部が、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、処理部１３０は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又はＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、又は、ＵＬＳＩ（Ｕｌｔｒａ　Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）も同じ目的で使うことができる。
　また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略等を行うことができる。
　本開示は、ドライバの状態を高精度で検知することができる状態検知装置として利用でき、例えば、運転中のドライバの漫然状態を検知する装置に利用することができる。
　１００　状態検知装置
　１１０　第１カメラ
　１２０　第２カメラ
　１３０　処理部
　１４０　報知部
　２００　ウィンドシールド
　２１０　筐体
　３００　自動車
　４００　対象物
　Ｌ　距離

Claims (8)

  1. 　自動車を運転中のドライバの状態を検知する状態検知装置であって、
    　前記ドライバの顔を第１フレームレートで撮影する第１カメラと、
    　前記自動車の前方を第２フレームレートで撮影する第２カメラと、
    　前記第１カメラから得られる顔画像から前記ドライバの両目の視線方向を算出し、算出した前記ドライバの両目の視線方向から前記ドライバの焦点位置を算出し、
    　算出した前記焦点位置と、前記第２カメラから得られる前方画像とから、前記ドライバの状態を判定することで、前記ドライバの状態を検知する処理部と、を備え、
    　前記第１フレームレートは、前記第２フレームレートのＮ（Ｎ：１以上の整数）倍である
    　状態検知装置。
  2. 　前記第１カメラと前記第２カメラとは、前記自動車に一体に取り付けられている
    　請求項１に記載の状態検知装置。
  3. 　前記第２カメラは、ＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラである
    　請求項１又は２に記載の状態検知装置。
  4. 　前記処理部は、
    　前記視線方向と前記前方画像とから、前記視線方向に位置し、且つ、前記自動車の周囲に位置する対象物の位置を算出し、
    　算出した前記対象物の位置と前記焦点位置とに基づいて、前記ドライバの状態を判定する
    　請求項１～３のいずれか１項に記載の状態検知装置。
  5. 　前記処理部は、算出した前記対象物の位置と前記焦点位置との距離が、
    　所定の距離未満である場合、前記ドライバの状態が正常であると判定し、
    　前記所定の距離以上である場合、前記ドライバの状態が正常ではないと判定する
    　請求項４に記載の状態検知装置。
  6. 　前記処理部は、前記視線方向と前記前方とのなす角度が所定の角度以上である場合、前記ドライバの状態が正常ではないと判定する
    　請求項１～５のいずれか１項に記載の状態検知装置。
  7. 　前記ドライバの状態は、前記ドライバの漫然状態である
    　請求項１～６のいずれか１項に記載の状態検知装置。
  8. 　自動車を運転中のドライバの状態を検知する状態検知方法であって、
    　第１カメラで前記ドライバの顔を第１フレームレートで撮影し、
    　第２カメラで前記自動車の前方を第２フレームレートで撮影し、
    　前記第１カメラから得られる顔画像から前記ドライバの両目の視線方向を算出し、
    　算出した前記ドライバの両目の視線方向から前記ドライバの焦点位置を算出し、
    　算出した前記焦点位置と、前記第２カメラから得られる前方画像とから、前記ドライバの状態を判定することで、前記ドライバの状態を検知し、
    　前記第１フレームレートは、前記第２フレームレートのＮ倍である
    　状態検知方法。
PCT/JP2020/005426 2019-02-22 2020-02-13 状態検知装置及び状態検知方法 WO2020170916A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/432,450 US20220165073A1 (en) 2019-02-22 2020-02-13 State detection device and state detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962809108P 2019-02-22 2019-02-22
US62/809,108 2019-02-22

Publications (1)

Publication Number Publication Date
WO2020170916A1 true WO2020170916A1 (ja) 2020-08-27

Family

ID=72143931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005426 WO2020170916A1 (ja) 2019-02-22 2020-02-13 状態検知装置及び状態検知方法

Country Status (2)

Country Link
US (1) US20220165073A1 (ja)
WO (1) WO2020170916A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080568B2 (en) * 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
US11787413B2 (en) * 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
US10999374B2 (en) 2019-04-26 2021-05-04 Samsara Inc. Event detection system
JP2022123419A (ja) * 2021-02-12 2022-08-24 本田技研工業株式会社 情報記録装置、情報記録方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094716A (ja) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2008071162A (ja) * 2006-09-14 2008-03-27 Toyota Motor Corp 視線先推定装置
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011204054A (ja) * 2010-03-26 2011-10-13 Mazda Motor Corp 車両の運転支援装置
JP2015079304A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 視線位置検出装置、および視線位置検出方法
JP2017505733A (ja) * 2014-01-15 2017-02-23 国防科学技術大学 運転者の安全運転状態を検知する方法及び装置
JP2018026058A (ja) * 2016-08-12 2018-02-15 パナソニックＩｐマネジメント株式会社 路面推定装置、車両制御装置、路面推定方法、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
JP6316559B2 (ja) * 2013-09-11 2018-04-25 クラリオン株式会社 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム
US9817474B2 (en) * 2014-01-24 2017-11-14 Tobii Ab Gaze driven interaction for a vehicle
KR20180053402A (ko) * 2015-10-19 2018-05-21 오리랩 인크. 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체
RU2691457C1 (ru) * 2015-10-22 2019-06-14 Ниссан Мотор Ко., Лтд. Способ и устройство помощи при парковке
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
US20170210289A1 (en) * 2016-01-22 2017-07-27 Arjun Kundan Dhawan Driver Focus Analyzer
KR101896790B1 (ko) * 2016-11-08 2018-10-18 현대자동차주식회사 운전자 집중도 판정 장치, 그를 포함한 시스템 및 그 방법
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
NL2018281B1 (en) * 2017-02-01 2018-08-22 Daf Trucks Nv Method and system for alerting a truck driver
JP6819431B2 (ja) * 2017-04-12 2021-01-27 トヨタ自動車株式会社 注意喚起装置
JP7009882B2 (ja) * 2017-09-26 2022-01-26 富士通株式会社 表示プログラム、表示方法、及び表示装置
TWI653170B (zh) * 2017-11-01 2019-03-11 宏碁股份有限公司 駕駛提示方法與系統
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system
CN111936345B (zh) * 2018-04-11 2023-08-15 三菱电机株式会社 视线引导装置
WO2020110172A1 (ja) * 2018-11-26 2020-06-04 三菱電機株式会社 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
US10552695B1 (en) * 2018-12-19 2020-02-04 GM Global Technology Operations LLC Driver monitoring system and method of operating the same
JP7432899B2 (ja) * 2019-03-28 2024-02-19 パナソニックＩｐマネジメント株式会社 漫然状態判定装置
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
EP3786919A1 (en) * 2019-08-29 2021-03-03 Aptiv Technologies Limited Method and system for determining awareness data
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094716A (ja) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd 車両の運転支援装置
JP2008071162A (ja) * 2006-09-14 2008-03-27 Toyota Motor Corp 視線先推定装置
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011204054A (ja) * 2010-03-26 2011-10-13 Mazda Motor Corp 車両の運転支援装置
JP2015079304A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 視線位置検出装置、および視線位置検出方法
JP2017505733A (ja) * 2014-01-15 2017-02-23 国防科学技術大学 運転者の安全運転状態を検知する方法及び装置
JP2018026058A (ja) * 2016-08-12 2018-02-15 パナソニックＩｐマネジメント株式会社 路面推定装置、車両制御装置、路面推定方法、およびプログラム

Also Published As

Publication number Publication date
US20220165073A1 (en) 2022-05-26

Similar Documents

Publication Publication Date Title
WO2020170916A1 (ja) 状態検知装置及び状態検知方法
US20240119741A1 (en) Vehicle driver monitoring system
US10455882B2 (en) Method and system for providing rear collision warning within a helmet
EP2893867B1 (en) Detecting visual inattention based on eye convergence
US10220778B2 (en) Vehicle-mounted alert system and alert control device
US10696224B2 (en) Driving notification method and driving notification system
US20160171321A1 (en) Determination apparatus and determination method
JP7290930B2 (ja) 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
JP2017027180A (ja) 車両制御装置及び車両制御方法
JP2017182776A (ja) 車両周辺監視装置及びコンピュータプログラム
EP3501898A1 (en) Imaging device, display system, and imaging system
US20160355131A1 (en) Object alarm device and object alarm method
US11034305B2 (en) Image processing device, image display system, and image processing method
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US11062149B2 (en) System and method for recording images reflected from a visor
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP2018132974A (ja) 状態検出装置、状態検出方法、及びプログラム
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
KR20160129984A (ko) 졸음운전 검출장치 및 방법
US20220314796A1 (en) Vehicle display device
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2006253787A (ja) 画像入力装置及びこの装置を備えた車両の乗員監視装置
US11220181B2 (en) Operation control device, operation control method, and storage medium
WO2019030855A1 (ja) 運転不能状態判定装置および運転不能状態判定方法
JP2020013369A (ja) 運転支援装置、運転支援システム、及び運転支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20758673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20758673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP