WO2017134755A1 - 眠気判定プログラム、眠気判定装置、および眠気判定方法 - Google Patents

眠気判定プログラム、眠気判定装置、および眠気判定方法 Download PDF

Info

Publication number
WO2017134755A1
WO2017134755A1 PCT/JP2016/053113 JP2016053113W WO2017134755A1 WO 2017134755 A1 WO2017134755 A1 WO 2017134755A1 JP 2016053113 W JP2016053113 W JP 2016053113W WO 2017134755 A1 WO2017134755 A1 WO 2017134755A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
index
directions
sleepiness
line
Prior art date
Application number
PCT/JP2016/053113
Other languages
English (en)
French (fr)
Inventor
北浦麻子
青木康洋
中野泰彦
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2016/053113 priority Critical patent/WO2017134755A1/ja
Publication of WO2017134755A1 publication Critical patent/WO2017134755A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Definitions

  • the present invention relates to a drowsiness determination program, a drowsiness determination device, and a drowsiness determination method.
  • Head movements and eye movements are detected, ideal eye movement angular velocities are calculated based on head movement data, eyeball angular velocities are calculated based on eye movement data, and vestibulo-oculomotor reflexes are calculated from ideal eye movement angular velocities and eye movement data.
  • An apparatus for detecting a drowsiness sign based on vestibulo-oculomotor reflex is known (for example, see Patent Document 1).
  • the movement of the head and the movement of the eyeball are measured by separating them into three axis rotation angles, the ideal eye movement angle is estimated from the head rotation angle, and the estimated ideal Drowsiness is estimated from the difference between the eye movement angle and the actual eye movement angle. For this reason, it is desired to accurately estimate the head movement and the eyeball movement as three-axis rotation angles.
  • a gyro sensor is installed in the head to grasp the head movement, or the head movement is grasped through image processing of a moving image for photographing the head state.
  • the former contact type sensor has a problem that it is difficult to use it in actual driving because there is a problem that it is difficult for the driver to use it.
  • the latter non-contact sensor is less burdensome on the driver, but it is very difficult to estimate head movement from moving images in a real vehicle environment with large disturbances such as vibration due to vibration and insertion of external light. It is difficult to measure club movement.
  • head movement estimation cannot use a special light source reflection image such as corneal reflection, so face orientation is estimated from facial feature points, etc. It is common. Since the facial feature is detected from the luminance change of the face image, it is very susceptible to changes in the outer shape of the hairstyle and the like due to external light and vibration, and partial luminance changes, and accuracy is likely to deteriorate.
  • the conventional method uses the time delay of the eye movement relative to the head movement as an important parameter. For this reason, a sensor that detects both movements has a high temporal resolution (the number of times of motion detection processing per unit time), and is desired to output a large amount of data per unit time.
  • a sensor that detects both movements has a high temporal resolution (the number of times of motion detection processing per unit time), and is desired to output a large amount of data per unit time.
  • the time resolution is high, the desired processing performance becomes enormous, and the processing becomes difficult in a general in-vehicle device with low processing performance.
  • an object of the present invention is to perform sleepiness determination by a simple method.
  • the sleepiness determination program of the embodiment causes the computer to calculate an index indicating the driver's sleepiness based on the plurality of gaze directions and reference directions of the driver at each of a plurality of times.
  • the sleepiness determination program causes the computer to determine sleepiness of the driver based on the index.
  • the sleepiness determination can be performed by a simple method.
  • FIG. 1 is a configuration diagram of a drowsiness determination device according to an embodiment.
  • the sleepiness determination apparatus 101 includes a gaze direction detection unit 201, a comparison direction detection unit 301, an index calculation unit 401, a sleepiness determination unit 501, and a storage unit 601.
  • the drowsiness determination device 101 is attached to a vehicle driven by a driver, for example.
  • Gaze direction detection unit 201 detects the gaze direction of the driver.
  • the line-of-sight detection unit 201 is, for example, a corneal reflection type non-contact line-of-sight sensor.
  • the corneal reflection type line-of-sight sensor irradiates the driver's eyes with the light of a dedicated Light Emitting Diode (LED) light source, and reflects the reflected image of the LED light source reflected in the pupil of the eye's cornea together with the eyes of the driver. Take a nearby image. Thereafter, image analysis of the captured image is performed, and the line-of-sight direction of the driver is calculated from the positional relationship between the pupil portion and the reflected image portion.
  • LED Light Emitting Diode
  • the method of detecting the line-of-sight direction is not limited to this, and any method may be used.
  • the comparison direction detection unit 301 detects a comparison direction with the line-of-sight direction.
  • the comparison direction is referred to as a reference direction.
  • the index calculation unit 401 calculates an index indicating the sleepiness of the driver based on the line-of-sight direction data 611 and the comparison direction data 621.
  • the sleepiness determination unit 501 determines whether or not the driver is sleepy based on the index data 631.
  • the storage unit 601 is a storage device that stores data used in the drowsiness determination device 101.
  • the storage unit 601 stores gaze direction data 611, comparison direction data 621, and index data 631.
  • the gaze direction data 611 is data indicating the gaze direction of the driver.
  • the comparison direction data 621 is data indicating a reference direction with respect to the line-of-sight direction.
  • the index data 631 is an index indicating driver drowsiness calculated from the line-of-sight direction data 611 and the comparison direction data 621.
  • the gaze direction detection unit 201 and the comparison direction detection unit 301 may be outside the drowsiness determination device 101.
  • an in-vehicle device including the line-of-sight direction detection unit 201 and the comparison direction detection unit 301 is attached to the vehicle, the drowsiness determination device 101 is arranged in a data center or the like, and the in-vehicle device and the drowsiness determination device 101 are a wireless network and a wired network. It is possible to communicate via The gaze direction detection unit 201 and the comparison direction detection unit 301 respectively transmit the gaze direction and the comparison direction to the drowsiness determination device 101, and the drowsiness determination device 101 stores the gaze direction data 611 and the comparison direction data 621 in the storage unit 601. The sleepiness determination process is performed.
  • the in-vehicle device including the gaze direction detection unit 201 and the comparison direction detection unit 301 stores the gaze direction data 611 and the comparison direction data 621 in a portable recording medium (memory card, Universal ⁇ Serial Bus (USB) memory, etc.).
  • a drowsiness determination device 101 different from the device may read the line-of-sight direction data 611 and the comparison direction data 621 from the portable recording medium and perform the drowsiness determination processing.
  • the comparison direction detection unit 301 may be omitted.
  • FIG. 2 is a first configuration example of the drowsiness determination device according to the embodiment.
  • the sleepiness determination device 1101 includes a gaze direction detection unit 201, a face direction detection unit 1301, an inner product index calculation unit 1401, a sleepiness determination unit 501, and a storage unit 1601.
  • the gaze direction detection unit 201 detects the gaze direction of the driver, and transmits the gaze direction and the time T i when the gaze direction is detected to the storage unit 1601.
  • the line-of-sight direction is represented by a three-dimensional vector (a i , b i , c i ).
  • Components a i , b i , and c i of a vector (line-of-sight vector) v i indicating the line-of-sight direction are components in the x-axis direction, the y-axis direction, and the z-axis direction, respectively. Since the function of the line-of-sight direction detection unit 201 has been described above, a description thereof will be omitted.
  • the face direction detection unit 1301 corresponds to the comparison direction detection unit 301.
  • the face direction detection unit 1301 detects the face direction (face direction) of the driver.
  • the face direction detection unit 1301 estimates the face direction without contact.
  • the face direction detection unit 1301 shoots the driver's face with a photographic camera, performs image processing on the captured moving image of the face, and the direction in which the front of the face faces from the arrangement of the facial feature groups in the image.
  • the face direction is estimated.
  • the face direction detection unit 1301 extracts facial parts such as eyes and nose as features, estimates the direction of the face front direction with respect to the photographing camera from the arrangement state thereof, and determines the face direction.
  • facial parts such as eyes and nose as features
  • an estimation method using image processing of an infrared or visible light camera is used as an example, but the arrangement status of the shape related to the human body is estimated and grasped from the reflection status of radio waves of arbitrary wavelengths such as laser radar, and the driver's
  • the face orientation may be estimated.
  • the angle formed by the arbitrary head portion and the front direction may be determined in advance, and the face direction may be calculated by correcting the angle with the defined angle.
  • Face direction detecting section 1301 transmits the time T i of detecting the detected face direction and the face direction in the storage unit 1601.
  • the face direction is represented by a three-dimensional vector (x i , y i , z i ).
  • Components x i , y i , and z i of a vector (face direction vector) u i indicating the face direction are components in the x-axis direction, the y-axis direction, and the z-axis direction, respectively.
  • FIG. 3 is a diagram illustrating a line-of-sight direction vector and a face direction vector.
  • the line-of-sight direction vector indicates the direction of the line of sight of the driver 701
  • the face direction vector indicates the direction in which the front of the driver's face is facing.
  • the inner product index calculation unit 1401 corresponds to the index calculation unit 401. The processing of the inner product index calculation unit 1401 will be described later.
  • the sleepiness determination unit 501 determines the presence or absence of the driver's sleepiness based on the index calculated by the inner product index calculation unit 1401. The processing of the drowsiness determination unit 501 will be described later.
  • the storage unit 1601 corresponds to the storage unit 601.
  • the storage unit 1601 stores gaze direction data 1611, face direction data 1621, and inner product data 1631.
  • the gaze direction data 1611, the face direction data 1621, and the inner product data 1631 correspond to the gaze direction data 611, the comparison direction data 621, and the index data 631, respectively.
  • Gaze direction data 1611 is data indicating a gaze direction detected by the gaze direction detection unit 201.
  • FIG. 4 is an example of gaze direction data.
  • the line-of-sight direction data 1611 stores the line-of-sight direction v i and the time T i in association with each other.
  • FIG. 5 is an example of face direction data.
  • the face direction data 1621 stores the face direction u i and the time T i in association with each other. Although it is desirable that the time T i of detecting the time T i and face direction u i of detecting the viewing direction v i is the same, or different values.
  • FIG. 6 is an example of inner product data.
  • the inner product data 1631 is data used for calculating a driver's sleepiness index or a driver's sleepiness index.
  • the inner product data 1631 includes an inner product A i of a unit vector in the line-of-sight direction v i and a unit vector in the face direction u i .
  • the inner product data 1631 stores an inner product A i and a time T i in association with each other.
  • the time T i associated with the inner product A i is the time T i corresponding to the line-of-sight direction v i or the face direction u i used to calculate the inner product A i .
  • the time T i associated with the inner product A i may be the current time or the time when the inner product A i is calculated.
  • the inner product index calculation unit 1401 calculates an inner product A i between the unit vector of the line-of-sight direction vector v i and the unit vector of the face direction vector u i .
  • is the length of the line-of-sight vector v i
  • (a i 2 + b i 2 + c i 2 ) 1/2 .
  • the inner product index calculation unit 1401 calculates a variance V of the inner product A i as an index of driver drowsiness.
  • n is the number of inner products A i used for calculating the variance V
  • a ave is an average value of n inner products A i . That is, the dispersion V is a value obtained by dividing the number n of the inner product A i the square sum of a value obtained by subtracting the average value A ave of the inner product A i.
  • a similar dispersion value calculation formula such as an unbiased dispersion formula may be used as the variance calculation formula instead of the above formula. Further, the square root of this dispersion value may be used. The same applies to the subsequent variance calculation.
  • the drowsiness determination unit 501 determines that drowsiness is occurring when the difference between the movement of the line of sight and the movement of the head greatly varies. For example, the sleepiness determination unit 501 determines that there is a driver's sleepiness when the variance V is equal to or greater than a threshold value, and determines that there is no driver's sleepiness when the variance V is less than the threshold value.
  • the inner product index calculation unit 1401 may calculate the variance V using all the inner products included in the inner product data 1631 in calculating the variance V, or from a time T d at which a driver's sleepiness is to be determined to a predetermined time before.
  • the variance V may be calculated using the inner product corresponding to the time between the intervals (specified time window).
  • the drowsiness determination unit 501 may determine the drowsiness of the driver based on the average value, maximum value, minimum value, center value, etc. of the inner product A i .
  • the sleepiness determination unit 501 determines the driver's sleepiness based on the difference value from the inner product before and after the specified time T (the time when T ⁇ T1 and T ⁇ T2), the specified order derivative of the difference value, the integrated value for the specified time, and the like. May be determined.
  • the sleepiness determination unit 501 may determine that the driver has sleepiness when the index is equal to or less than a threshold value.
  • the inner product is used as an index of driver drowsiness, but an angle may be used as described below.
  • the inner product index calculation unit 1401 may calculate an angle ⁇ i formed by the line-of-sight direction vector v i and the face direction vector u i .
  • Inner product index calculation unit 1401, Arccosarufa the ⁇ i i (v i ⁇ u i) / (
  • the inner product index calculation unit 1401 calculates the variance V of the angle ⁇ i as an index of driver drowsiness.
  • n is the number of angles ⁇ i used to calculate the variance V
  • ⁇ ave is an average value of n angles ⁇ i . That is, the dispersion V i is a value obtained by dividing the square sum of a value obtained by subtracting the average value alpha ave from the angle alpha i by the number n of the angle alpha i.
  • the inner product index calculation unit 1401 may calculate the variance V using all the data included in the inner product data 1631 in calculating the variance V, or the time at which the driver's sleepiness is to be determined (for example, the current time or an arbitrary time)
  • the variance V may be calculated using an inner product corresponding to a time from a past time ( Td ) to a predetermined time before (a specified time window).
  • the sleepiness determination unit 501 may determine the driver's sleepiness based on the average value, the maximum value, the minimum value, the center value, and the like of the angle ⁇ i .
  • the drowsiness determination unit 501 determines the driver based on the difference value from the angle ⁇ i around the specified time T (the time when T ⁇ T1 and T ⁇ T2), the specified order differential of the difference value, the integrated value for the specified time, and the like. You may determine drowsiness.
  • the drowsiness determination unit 501 may determine that the driver is drowsy when the index calculated this time has increased significantly compared to the index calculated last time. For example, the drowsiness determination unit 501 may determine that the driver is drowsy when the ratio or difference between the currently calculated index and the previously calculated index is greater than or equal to a threshold value.
  • the gaze direction detection unit 201 and the face direction detection unit 1301 may be outside the drowsiness determination device 1101.
  • an in-vehicle device including a gaze direction detection unit 201 and a face direction detection unit 1301 is attached to the vehicle, the drowsiness determination device 1101 is arranged in a data center or the like, and the in-vehicle device and the drowsiness determination device 1101 are a wireless network and a wired network. It is possible to communicate via The gaze direction detection unit 201 and the face direction detection unit 1301 respectively transmit the gaze direction and the face direction to the drowsiness determination device 1101, and the drowsiness determination device 1101 stores the gaze direction data 1611 and the face direction data 1621 in the storage unit 1601. The sleepiness determination process is performed.
  • the in-vehicle device including the gaze direction detection unit 201 and the face direction detection unit 1301 stores the gaze direction data 1611 and the face direction data 1621 in a portable recording medium (memory card, Universal ⁇ Serial Bus (USB) memory, etc.).
  • a drowsiness determination device 1101 other than the device may read the line-of-sight direction data 1611 and the face direction data 1621 from the portable recording medium, and perform the drowsiness determination processing.
  • FIG. 7 is a flowchart of a first drowsiness determination method according to the embodiment.
  • FIG. 7 illustrates a case where the driver's sleepiness is determined based on the variance of the inner product of the gaze direction vector and the face direction vector.
  • step S1801 the gaze direction detection unit 201 detects the gaze direction of the driver, and transmits the gaze direction vector indicating the gaze direction and the detected time to the storage unit 1601.
  • the storage unit 1601 stores the gaze direction vector and the detected time as gaze direction data 1611.
  • step S1802 the face direction detection unit 1301 detects the face direction (face direction) of the driver, and transmits a face direction vector indicating the face direction and the detected time to the storage unit 1601.
  • the storage unit 1601 stores the face direction vector and the detected time as face direction data 1621.
  • step S1803 the inner product index calculation unit 1401 calculates the inner product of the unit vector of the line-of-sight direction vector and the unit vector of the face direction vector, and stores the calculated inner product and time as inner product data 1631. If the inner product data 1631 cannot store any more data, the inner product index calculation unit 1401 deletes the oldest entry (determined from the inner product and the time associated with the inner product) from the inner product data 1631.
  • step S1804 the inner product index calculation unit 1401 compares the time corresponding to the inner product included in the inner product data 1631 with the current time, and deletes the inner product more than a predetermined time before the current time.
  • step S1805 the inner product index calculation unit 1401 determines whether the number of inner products included in the inner product data 1631 is a predetermined number or more. If the number of inner products is equal to or greater than the specified number, control proceeds to step S1806. If the number of inner products is not equal to or greater than the specified number, control returns to step S1801.
  • the inner product index calculation unit 1401 calculates the variance of the inner products included in the inner product data 1631.
  • the variance may be calculated from the inner product associated with the time corresponding to the time from the time before a predetermined time to the current time.
  • step S1807 the drowsiness determination unit 501 determines whether the variance is greater than or equal to a threshold value.
  • step S1808 the sleepiness determination unit 501 determines that the driver is sleepy at the current time.
  • step S1809 the sleepiness determination unit 501 determines that there is no driver's sleepiness at the current time.
  • the drowsiness determination device of the first configuration example in order to determine drowsiness based on the inner product of the vector of the gaze direction and the face direction, the data of the gaze direction and the face direction (head direction) with low time resolution are used. I can do it. For this reason, even if the estimation costs for the line-of-sight direction and the face direction are high, the number of estimations per hour can be kept low, so that the entire processing can be realized at a low processing cost. Conversely, it is possible to increase the estimated cost of the gaze direction and face direction per time, so it is possible to use high-definition images or gaze directions and face directions using complicated image processing calculations. Therefore, robust drowsiness determination is possible even in an in-vehicle environment with many disturbances.
  • FIG. 8 is a second configuration example of the drowsiness determination device according to the embodiment.
  • the drowsiness determination device 2101 includes a gaze direction detection unit 201, a forward direction detection unit 2301, an inner product index calculation unit 2401, a drowsiness determination unit 501, and a storage unit 2601.
  • the gaze direction detection unit 201 detects the gaze direction of the driver, and transmits the gaze direction and the time T i when the gaze direction is detected to the storage unit 2601.
  • the line-of-sight direction is represented by a three-dimensional vector (a i , b i , c i ).
  • Components a i , b i , and c i of a vector (line-of-sight vector) v i indicating the line-of-sight direction are components in the x-axis direction, the y-axis direction, and the z-axis direction, respectively. Since the function of the line-of-sight direction detection unit 201 has been described above, a description thereof will be omitted.
  • the forward direction detection unit 2301 corresponds to the comparison direction detection unit 301.
  • the forward direction detection unit 2301 detects the forward direction of the driver.
  • the forward direction of the driver is the vehicle traveling direction ahead of the driver, for example, the forward traveling direction seen from the driver during traveling, the vanishing point direction of the vehicle's straight traveling path, the forward direction of the front of the driver, or the driver This is the direction when looking straight ahead through the windshield.
  • the driver's forward direction may be the direction that the driver is looking at frequently or at a very high rate during driving. Further, the forward direction of the driver may be corrected according to the steering angle of the vehicle.
  • Forward direction detection unit 2301 transmits the time T i of detecting the forward direction and the forward direction detected in the storage unit 1601.
  • the forward direction is represented by a three-dimensional vector (x i , y i , z i ).
  • Components x i , y i , and z i of a vector (forward vector) u i indicating the forward direction are components in the x-axis direction, the y-axis direction, and the z-axis direction, respectively.
  • the forward direction detection unit 2301 may dynamically acquire the forward direction according to actual travel. For example, the forward direction detection unit 2301 may calculate the own vehicle traveling direction by estimating the own vehicle position with respect to the own vehicle traveling path from the own vehicle position and the map road information, and may set the own vehicle traveling direction as the forward direction. In addition, the forward direction detection unit 2301, for example, of the self-running road in the image obtained by analyzing the camera image capturing the front road as in the technique used in Lane Departure Warning (LDW) (lane departure warning). Estimate the traveling direction of the vehicle from the white line. The forward direction detection unit 2301 may convert the traveling direction on the video to the traveling direction with respect to the own vehicle or the driver from the positional relationship between the own vehicle or the driver's seat and the camera installation position, and the converted traveling direction may be the forward direction.
  • LDW Lane Departure Warning
  • the front direction vector may be a constant vector for a fixed value as a component, for example, it may be a forward direction vector u i (0,0,1).
  • the line-of-sight direction detection unit (line-of-sight sensor) 201 Based on the installation position relationship between the driver's seat and the camera of the line-of-sight direction detection unit (line-of-sight sensor) 201, it is calculated in advance which direction the front direction of the front of the driver sitting in the driver's seat is the subject of the camera image.
  • the line-of-sight sensor is set so that the forward direction is the reference axis of the line-of-sight sensor, for example, the z-axis direction. In this way, the inner product of the arbitrary vector and the forward vector becomes the z component of the arbitrary vector, so that the calculation of the inner product by the inner product index calculating unit 2401 described later can be simplified.
  • a fixed value may be set as a default value in the forward direction, and the default value may be used when dynamic acquisition in the forward direction during driving fails.
  • the forward direction detection unit 2301 may not be provided.
  • FIG. 9 is a diagram showing a line-of-sight direction vector and a forward direction vector.
  • the line-of-sight direction vector indicates the direction of the line of sight of the driver 701.
  • the forward direction vector indicates the traveling direction of the vehicle 702 that the driver is driving.
  • the forward direction vector is the z-axis direction of the line-of-sight direction vector detected by the line-of-sight direction detection unit 201.
  • the inner product index calculation unit 2401 corresponds to the index calculation unit 401. The process of the inner product index calculation unit 2401 will be described later.
  • the drowsiness determination unit 501 determines the presence or absence of the driver's drowsiness based on the index calculated by the inner product index calculation unit 2401. The processing of the drowsiness determination unit 501 will be described later.
  • the storage unit 2601 corresponds to the storage unit 601.
  • the storage unit 2601 stores gaze direction data 2611, forward direction data 2621, and inner product data 2631.
  • the line-of-sight data 2611, the forward direction data 2621, and the inner product data 2631 correspond to the line-of-sight direction data 611, the comparison direction data 621, and the index data 631, respectively.
  • Gaze direction data 2611 is data indicating the gaze direction detected by the gaze direction detection unit 201. Since the line-of-sight direction data 2611 is the same as the line-of-sight direction data 1611, the description thereof is omitted.
  • FIG. 10 is an example of forward direction data.
  • the forward direction data 2621 stores the forward direction u i and the time T i in association with each other.
  • FIG. 11 is another example of the forward direction data.
  • the forward direction data 2621 may be in the form of the forward direction data 2621 ′ shown in FIG.
  • the inner product data 2631 is data used for calculating a driver's sleepiness index or a driver's sleepiness index.
  • the inner product data 2631 includes an inner product A i of a unit vector in the line-of-sight direction v i and a unit vector in the forward direction u i .
  • the inner product data 2631 stores an inner product A i and a time T i in association with each other.
  • the time T i associated with the inner product A i is the time T i corresponding to the line-of-sight direction v i or the forward direction u i used to calculate the inner product A i .
  • the time T i associated with the inner product A i may be the current time or the time when the inner product A i is calculated.
  • the format of the inner product data 2631 is the same as the format of the inner product data 1631.
  • the inner product index calculation unit 2401 calculates the inner product A i of the unit vector of the line-of-sight direction vector v i and the unit vector of the forward direction vector u i .
  • is the length of the line-of-sight vector v i
  • (a i 2 + b i 2 + c i 2 ) 1/2 .
  • the inner product index calculation unit 2401 calculates a variance V of the inner product A i as an index of driver drowsiness.
  • n is the number of inner products A i used for calculating the variance V
  • a ave is an average value of n inner products A i . That is, the dispersion V is a value obtained by dividing the number n of the inner product A i the square sum of a value obtained by subtracting the average value A ave of the inner product A i.
  • the drowsiness determination unit 501 determines that the driver is drowsy when the variance V is equal to or greater than the threshold, and determines that the driver does not have drowsiness when the variance V is less than the threshold.
  • the inner product index calculation unit 2401 may calculate the variance V using all the inner products included in the inner product data 2631, or from a time Td at which a driver's sleepiness is desired to be determined to a predetermined time before.
  • the variance V may be calculated using the inner product corresponding to the time between the intervals (specified time window).
  • the drowsiness determination unit 501 may determine the drowsiness of the driver based on the average value, maximum value, minimum value, center value, etc. of the inner product A i .
  • the sleepiness determination unit 501 determines the driver's sleepiness based on the difference value from the inner product before and after the specified time T (the time when T ⁇ T1 and T ⁇ T2), the specified order derivative of the difference value, the integrated value for the specified time, and the like. May be determined.
  • the sleepiness determination unit 501 may determine that the driver has sleepiness when the index is equal to or less than a threshold value.
  • the inner product index calculation unit 2401 may calculate an angle ⁇ i formed by the line-of-sight direction vector v i and the forward direction vector u i .
  • Inner product index calculation unit 2401, Arccosarufa the ⁇ i i (v i ⁇ u i) / (
  • the inner product index calculation unit 2401 calculates the variance V of the angle ⁇ i as an index of driver drowsiness.
  • n is the number of angles ⁇ i used to calculate the variance V
  • ⁇ ave is an average value of n angles ⁇ i . That is, the dispersion V i is a value obtained by dividing the square sum of a value obtained by subtracting the average value alpha ave from the angle alpha i by the number n of the angle alpha i.
  • the inner product index calculation unit 2401 may calculate the variance V using all the data included in the inner product data 2631 in calculating the variance V, or the time when the driver wants to determine sleepiness (for example, the current time or an arbitrary time)
  • the variance V may be calculated using an inner product corresponding to a time from a past time ( Td ) to a predetermined time before (a specified time window).
  • the sleepiness determination unit 501 may determine the driver's sleepiness based on the average value, the maximum value, the minimum value, the center value, and the like of the angle ⁇ i .
  • the drowsiness determination unit 501 determines the driver based on the difference value from the angle ⁇ i around the specified time T (the time when T ⁇ T1 and T ⁇ T2), the specified order differential of the difference value, the integrated value for the specified time, and the like. You may determine drowsiness.
  • the gaze direction detection unit 201 and the forward direction detection unit 2301 may be outside the drowsiness determination device 2101.
  • an in-vehicle device including a gaze direction detection unit 201 and a forward direction detection unit 2301 is attached to the vehicle, the drowsiness determination device 2101 is arranged in a data center or the like, and the in-vehicle device and the drowsiness determination device 2101 are a wireless network and a wired network.
  • the gaze direction detection unit 201 and the forward direction detection unit 2301 respectively transmit the gaze direction and the forward direction to the drowsiness determination device 2101, and the drowsiness determination device 2101 stores the gaze direction data 2611 and the forward direction data 2621 in the storage unit 2601.
  • the sleepiness determination process is performed.
  • the in-vehicle device including the gaze direction detection unit 201 and the front direction detection unit 2301 stores the gaze direction data 2611 and the front direction data 2621 in a portable recording medium (such as a memory card, Universal Serial Bus (USB) memory).
  • a portable recording medium such as a memory card, Universal Serial Bus (USB) memory.
  • a drowsiness determination device 2101 different from the device may read the line-of-sight direction data 2611 and the forward direction data 2621 from the portable recording medium and perform the drowsiness determination processing.
  • FIG. 12 is a flowchart of a second drowsiness determination method according to the embodiment.
  • FIG. 12 illustrates a case where driver drowsiness is determined based on the variance of the inner product of the line-of-sight direction vector and the forward direction vector.
  • step S2801 the gaze direction detection unit 201 detects the gaze direction of the driver, and transmits the gaze direction vector indicating the gaze direction and the detected time to the storage unit 2601.
  • the storage unit 1601 stores the gaze direction vector and the detected time as gaze direction data 1611.
  • step S2802 the forward direction detection unit 2301 detects the forward direction of the driver, and transmits a forward direction vector indicating the forward direction and the detected time to the storage unit 2601.
  • the storage unit 2601 stores the forward direction vector and the detected time as forward direction data 2621.
  • step S2803 the inner product index calculation unit 2401 calculates the inner product of the unit vector of the line-of-sight direction vector and the unit vector of the forward direction vector, and stores the calculated inner product and time as inner product data 2631. If the inner product data 2631 cannot store any more data, the inner product index calculation unit 2401 deletes the oldest entry (determined from the inner product and the time associated with the inner product) from the inner product data 2631.
  • step S2804 the inner product index calculation unit 2401 compares the time corresponding to the inner product included in the inner product data 2631 with the current time, and deletes the inner product more than a predetermined time before the current time.
  • step S2805 the inner product index calculation unit 2401 determines whether the number of inner products included in the inner product data 2631 is equal to or more than a specified number. If the number of inner products is equal to or greater than the specified number, control proceeds to step S2806. If the number of inner products is not equal to or greater than the specified number, control returns to step S2801.
  • step S2806 the inner product index calculation unit 2401 calculates the variance of the inner products included in the inner product data 2631.
  • the variance may be calculated from the inner product associated with the time corresponding to the time from the time before a predetermined time to the current time.
  • step S2807 the drowsiness determination unit 501 determines whether or not the variance is greater than or equal to a threshold value.
  • step S2808 the sleepiness determination unit 501 determines that the driver is sleepy at the current time.
  • step S2809 the sleepiness determination unit 501 determines that there is no driver's sleepiness at the current time.
  • the drowsiness determination device of the second configuration example since drowsiness is determined based on the inner product or angle of the vector of the line-of-sight direction and the forward direction, low-time resolution line-of-sight and forward direction data can be used. . For this reason, even if the estimation costs in the line-of-sight direction and the forward direction are high, the estimated number per unit time can be kept low, so that it is possible to realize at a low processing cost as a whole. Conversely, it is possible to increase the estimated cost of the gaze direction and the forward direction per time, so it is possible to use a high-definition image or the gaze direction and the front direction using complicated image processing calculations. Therefore, robust drowsiness determination is possible even in an in-vehicle environment with many disturbances.
  • the drowsiness determination device of the second configuration example by using the front direction of the driver even when the face direction cannot be detected because the head cannot be photographed well due to backlight or the image processing of the head fails. Can make drowsiness determination.
  • FIG. 13 is a third configuration example of the drowsiness determination device according to the embodiment.
  • the drowsiness determination device 3101 includes a gaze direction detection unit 201, a forward direction detection unit 3301, an angle index calculation unit 3401, a drowsiness determination unit 501, and a storage unit 3601.
  • Line-of-sight direction detecting section 201 detects the viewing direction of the driver, calculates the fixation point P i based on viewing direction.
  • the gazing point Pi is a value indicating the direction of the driver's line of sight.
  • the point of interest P i is represented by a two-dimensional vector (P ix , P iy ).
  • the components P ix and P iy of the gazing point P i indicate the coordinates of the intersection of the driver's line-of-sight direction and the virtual plane (the x-axis direction coordinate and the y-axis direction coordinate).
  • the virtual plane is set so as to be installed at a position perpendicular to the forward direction of the driver and at a predetermined distance L from the eyes of the driver.
  • the forward direction of the driver can be acquired from the forward direction data 3621.
  • the line-of-sight direction detection unit 201 calculates a relative distance L i .
  • the details of the relative distance L i will be described later.
  • the line-of-sight direction detection unit 201 also transmits to the storage unit 3601 the time T i at which the gaze point P i , the relative distance L i , and the gaze point P i are calculated.
  • the forward direction detection unit 3301 corresponds to the comparison direction detection unit 301.
  • the forward direction detection unit 3301 detects the forward direction of the driver. Since the function of the front direction detection unit 3301 is the same as the function of the front direction detection unit 2301, description thereof will be omitted.
  • the forward direction is preferably a fixed value.
  • FIG. 14 is a diagram illustrating a gazing point and a forward direction vector.
  • the line-of-sight direction vector indicates the line-of-sight direction of the driver.
  • the virtual plane is set at a position perpendicular to the driver's forward direction (forward direction vector) and at a predetermined distance L from the driver's eyes.
  • the predetermined distance L may be a fixed value or may be changed dynamically.
  • the intersection of the driver's forward direction and the virtual plane is the origin of the virtual plane.
  • the angle formed by the line-of-sight direction vector and the forward direction vector is ⁇ .
  • the angle index calculation unit 3401 corresponds to the index calculation unit 401. The processing of the angle index calculation unit 3401 will be described later.
  • the sleepiness determination unit 501 determines the presence or absence of the driver's sleepiness based on the index calculated by the angle index calculation unit 3401. The processing of the drowsiness determination unit 501 will be described later.
  • the storage unit 3601 corresponds to the storage unit 601.
  • the storage unit 2601 stores line-of-sight direction data 3611, forward direction data 3621, and angle data 3631.
  • the line-of-sight direction data 3611, the forward direction data 3621, and the angle data 3631 correspond to the line-of-sight direction data 611, the comparison direction data 621, and the index data 631, respectively.
  • Gaze direction data 3611 is data indicating the gaze direction detected by the gaze direction detection unit 201.
  • FIG. 15 is an example of gaze direction data.
  • the time T i at which P i is detected is included.
  • the gaze direction data 3611 stores the gazing point P i , the relative distance L i , and the time T i in association with each other.
  • the forward direction data 3621 is data indicating the forward direction detected by the forward direction detection unit 3301. Since the forward direction data 3621 is the same as the forward direction data 2621 or the forward direction data 2621 ', the description is omitted.
  • FIG. 16 is an example of angle data.
  • the angle data 3631 is data used for calculating a driver's sleepiness index or a driver's sleepiness index.
  • the angle data 3631 includes an angle ⁇ i between the gaze direction vector based on the gazing point P i and the forward direction u i .
  • the angle data 3631 stores the angle ⁇ i and the time T i in association with each other.
  • the time T i associated with the angle ⁇ i is the time T i corresponding to the gazing point P i or the forward direction u i used to calculate the angle ⁇ i .
  • the time T i associated with the angle ⁇ i may be the current time or the time when the angle ⁇ i is calculated.
  • the angle index calculation unit 3401 calculates a gaze direction vector, a forward direction u i, and an angle ⁇ i based on the gazing point P i .
  • L i is a correction distance associated with the gazing point P i in the line-of-sight direction data 3611. It is also possible to use a fixed value L instead of L i.
  • the gazing point P i and the forward direction vector u i used when calculating the angle ⁇ i are calculated from those having the same detected time. If there is no gazing point P i having the same detected time and no forward direction vector u i , the angle ⁇ i is calculated for the detected times closest to each other.
  • the forward direction vector is a fixed value
  • the angle index calculation unit 3401 calculates the variance V of the angle ⁇ i as an index of driver drowsiness.
  • n is the number of angles ⁇ i used to calculate the variance V
  • ⁇ ave is an average value of n angles ⁇ i . That is, the dispersion V is a value obtained by dividing the square sum of a value obtained by subtracting the average value alpha ave from the angle alpha i by the number n of the angle alpha i.
  • the drowsiness determination unit 501 determines that the driver is drowsy when the variance V is equal to or greater than the threshold, and determines that the driver does not have drowsiness when the variance V is less than the threshold.
  • the sleepiness determination unit 501 may determine the driver's sleepiness based on the average value, the maximum value, the minimum value, the center value, and the like of the angle ⁇ i .
  • the sleepiness determination unit 501 determines the driver's sleepiness based on the difference value from the inner product before and after the specified time T (the time when T ⁇ T1 and T ⁇ T2), the specified order derivative of the difference value, the integrated value for the specified time, and the like. May be determined.
  • the sleepiness determination unit 501 may determine that the driver has sleepiness when the index is equal to or less than a threshold value.
  • the gaze direction detection unit 201 and the forward direction detection unit 3301 may be outside the drowsiness determination device 3101.
  • an in-vehicle device including a gaze direction detection unit 201 and a forward direction detection unit 3301 is attached to the vehicle, the drowsiness determination device 3101 is arranged in a data center or the like, and the in-vehicle device and the drowsiness determination device 3101 include a wireless network and a wired network. It is possible to communicate via The gaze direction detection unit 201 transmits a gaze point indicating the gaze direction to the drowsiness determination device 3101, and the drowsiness determination device 3101 stores the gaze direction data 3611 in the storage unit 3601 and performs drowsiness determination processing.
  • the in-vehicle device including the gaze direction detection unit 201 and the front direction detection unit 3301 stores the gaze direction data 3611 and the front direction data 3621 in a portable recording medium (memory card, Universal Serial Bus (USB) memory, etc.)
  • a drowsiness determination device 3101 different from the device may read gaze direction data 3611 and forward direction data 3621 from the portable recording medium, and perform drowsiness determination processing.
  • FIG. 17 is a flowchart of a third drowsiness determination method according to the embodiment.
  • FIG. 17 illustrates a case where the driver's sleepiness is determined based on the variance of the angle formed by the line-of-sight direction vector and the forward direction vector.
  • the forward direction of the driver is a fixed value.
  • step S3801 the line-of-sight direction detection unit 201 defines a virtual plane perpendicular to the prescribed driver front (front direction). That is, a unit vector in the forward direction of the driver is set as the normal vector of the virtual plane.
  • the gaze direction detection unit 201 defines a specified value L (for example, 60 cm) of the relative distance between the driver's eyes and the virtual plane.
  • step S3803 the line-of-sight direction detection unit 201 is set to output the two-dimensional line-of-sight position (P x , P y ) with respect to the virtual plane based on the settings in steps S3801 and S3082.
  • the two-dimensional line-of-sight position (P x , P y ) is the coordinate (gaze point P) of the intersection between the driver's line-of-sight direction and the virtual plane.
  • the gaze direction detection unit 201 uses the relative distance between the driver's eye and the virtual plane as the specified value L.
  • the time Tn is the current time.
  • the line-of-sight direction detection unit 201 calculates and outputs a relative distance L n at time T n . It will be described later method of calculating the relative distance L n.
  • step S3806 the angle index calculation unit 3401 calculates an angle ⁇ n formed by the line-of-sight direction and the forward direction based on the distance R n and the relative distance L n .
  • the angle ⁇ n arctan (R n / L n ).
  • the angle index calculation unit 3401 stores the calculated angle ⁇ n and time T n in the angle data 3631. It is also possible to use a prescribed value L instead of the relative distance L n. By using the relative distance L n , the accuracy of the angle ⁇ n is increased, and the accuracy of the sleepiness determination result can be improved.
  • step S3807 the angle index calculation unit 3401 compares the time corresponding to the angle included in the angle data 3631 with the current time, and deletes the angle corresponding to a time that is a predetermined time or more before the current time.
  • step S3808 the angle index calculation unit 3401 determines whether the number of angles included in the angle data 3631 is a predetermined number or more. If the number of angles is equal to or greater than the specified number, control proceeds to step S3809. If the number of angles is not greater than the specified number, control returns to step S3804. If the number of angles does not exceed the specified number, control may return to step S3801.
  • step S3809 the angle index calculation unit 3401 calculates the variance of the angles included in the angle data 3631.
  • the variance may be calculated from an angle associated with a corresponding time between a time before a predetermined time and the current time.
  • step S3810 the drowsiness determination unit 501 determines whether the variance is greater than or equal to a threshold value.
  • step S3811 the drowsiness determination unit 501 determines that the driver is drowsy at the current time.
  • step S3812 the sleepiness determination unit 501 determines that there is no driver's sleepiness at the current time.
  • Figure 18 is an example of the eye image at time T 1
  • FIG. 19 shows an example of the eye image at time T n.
  • the gaze direction detection unit 201 acquires an image of the driver's eye at each time T1 to Tn, and calculates the distance between the left and right pupils or the size of the same facial part in the image from the acquired image.
  • the line-of-sight direction detection unit 201 uses each time and reference as a reference based on the distance between the left and right pupils at a specified time T 0 (T 0 uses any of T 1 to T n ) or the size of the same facial part in the image.
  • T 0 uses any of T 1 to T n ) or the size of the same facial part in the image.
  • the relative distances L 1 to Ln at each time are calculated using the difference in the size of the face part at the time.
  • the left and right pupillary distances a 1 and a n , the right eye pupil size b 1 and b n , or the right eye size c 1 and c n can be used as the face part size.
  • the right eye size c is calculated by subtracting the eye position f from the eye position f.
  • the drowsiness determination device of the third configuration example since drowsiness is determined based on the inner product or angle of the vector of the line-of-sight direction and the forward direction, low-time resolution line-of-sight direction and forward direction data can be used. . For this reason, even if the estimation costs in the line-of-sight direction and the forward direction are high, the estimated number per unit time can be kept low, so that it is possible to realize at a low processing cost as a whole. Conversely, it is possible to increase the estimated cost of the gaze direction and the forward direction per time, so it is possible to use a high-definition image or the gaze direction and the front direction using complicated image processing calculations. Therefore, robust drowsiness determination is possible even in an in-vehicle environment with many disturbances.
  • the drowsiness determination device of the third configuration example by using the front direction of the driver even when the face direction cannot be detected because the head cannot be photographed well due to backlight or the head image processing fails. Can make drowsiness determination.
  • the sleepiness determination apparatus of the third configuration example determines the driver's sleepiness using a gaze point on a virtual plane represented by a two-dimensional coordinate value. Therefore, an inexpensive gaze sensor that outputs a gazing point on a virtual plane represented by a two-dimensional coordinate value can be used as the gaze direction detection unit.
  • FIG. 20 is a configuration diagram of the information processing apparatus (computer).
  • the sleepiness determination apparatuses 101, 1101, 2101 and 3101 according to the embodiment can be realized by an information processing apparatus (computer) 1 as shown in FIG. 20, for example.
  • the information processing apparatus 1 includes a CPU 2, a memory 3, an input device 4, an output device 5, a storage unit 6, a recording medium drive unit 7, and a network connection device 8, which are connected to each other by a bus 9.
  • the CPU 2 is a central processing unit that controls the entire information processing apparatus 1.
  • the CPU 2 operates as the index calculation unit 401, the drowsiness determination unit 501, the inner product index calculation units 1401 and 2401, or the angle index calculation unit 3401.
  • the memory 3 is a Read Only Memory (ROM) or Random Access Memory (RAM) that temporarily stores a program or data stored in the storage unit 6 (or the portable recording medium 10) during program execution. It is memory.
  • the CPU 2 executes the various processes described above by executing programs using the memory 3.
  • the program code itself read from the portable recording medium 10 or the like realizes the functions of the embodiment.
  • the input device 4 is used for inputting an instruction or information from a user or an operator, acquiring data used in the information processing device 1, or the like.
  • the input device 4 is, for example, a keyboard, a mouse, a touch panel, a camera, a line-of-sight sensor, or a sensor that detects the state of the vehicle.
  • the input device 4 corresponds to the gaze direction detection unit 201, the comparison direction detection unit 301, the face direction detection unit 1301, or the front direction detection units 2301 and 3301.
  • the processes of the input device 4, the CPU 2, and the memory 3 may be combined to operate as the gaze direction detection unit 201, the comparison direction detection unit 301, the face direction detection unit 1301, or the front direction detection units 2301 and 3301. Good.
  • the output device 5 is a device that outputs inquiries to the user or operator and processing results, or operates under the control of the CPU 2.
  • the output device 5 is, for example, a display or a printer.
  • the storage unit 6 is, for example, a magnetic disk device, an optical disk device, a tape device, or the like.
  • the information processing apparatus 1 can store the above-described program and data in the storage unit 6 and read them into the memory 3 for use.
  • the memory 3 or the storage unit 6 corresponds to the storage units 601, 1601, 2601, and 3601.
  • the recording medium driving unit 7 drives the portable recording medium 10 and accesses the recorded contents.
  • the portable recording medium an arbitrary computer-readable recording medium such as a memory card, a flexible disk, a Compact Disk-Read-Only Memory (CD-ROM), an optical disk, a magneto-optical disk, or the like is used.
  • the user can store the above-described program and data in the portable recording medium 10 and read them into the memory 3 for use.
  • the network connection device 8 is a communication interface that is connected to an arbitrary communication network such as Local Area Network (LAN) or Wide Area Network (WAN) and performs data conversion accompanying communication.
  • the network connection device 8 transmits data to a device connected via a communication network or receives data from a device connected via a communication network.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Educational Technology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

複数の時刻それぞれにおけるドライバーの複数の視線方向と基準方向とに基づいて、前記ドライバーの眠気を示す指標を算出し、前記指標に基づいて、前記ドライバーの眠気を判定する。

Description

眠気判定プログラム、眠気判定装置、および眠気判定方法
　本発明は、眠気判定プログラム、眠気判定装置、および眠気判定方法に関する。
　交通事故の原因の１つにドライバーによる居眠り運転がある。ドライバーの眠気を検出し、眠気を検出した場合にドライバーに警告することによって、交通事故を防ぐ試みが行われている。
　頭部運動と眼球運動を検出し、頭部運動データに基づいて理想眼球運動角速度を算出し、眼球運動データに基づいて眼球角速度を算出し、理想眼球運動角速度と眼球運動データとから前庭動眼反射を検出し、前庭動眼反射に基づいて、眠気の予兆を判定する装置が知られている（例えば、特許文献１参照）。
国際公開第２０１０／０３２４２４号
　特許文献１記載の従来方法は、頭部の動きと眼球運動の動きを３軸の回転角に分離して測定し、頭部回転角度から理想的な眼球運動角度を推定して、推定した理想眼球運動角度と実際の眼球運動角度の差から、眠気を推定している。このため、頭部運動及び眼球運動を３軸の回転角度として精度よく推定することが望まれる。これに対し、従来方法では、頭部にジャイロセンサを設置して頭部運動を把握するか、頭部状態を撮影する動画像の画像処理を通して頭部運動を把握することとしている。しかし、前者の接触型センサは、ドライバーの負担が大きく利用しづらいという課題があり、実際の走行で利用することは難しいという問題がある。また、後者の非接触型センサはドライバーの負担が少ないが、振動による揺れや外光差し込み等の外乱の大きな実車環境で動画像から頭部運動を推定するのは非常に難しく、高精度な頭部運動を測定するのは困難である。
　すなわち、同様に動画像から推定する眼球運動に比べて、頭部運動の推定では、角膜反射のような特殊な光源反射画像を利用することができないため、顔特徴点等から顔向きを推定するのが一般的である。顔特徴は顔画像の輝度変化から検出するため、外光や振動による髪型等の外形変化、及び部分的な輝度変化に非常に影響を受けやすく、精度が劣化しやすい。
　また、従来方法は、頭部運動に対する眼球運動の動きの時間的な遅れを重要なパラメータとして利用している。このため、双方の動きを検知するセンサは、時間解像度（単位時間当たりに動きを検知処理する回数）が高く、単位時間当たりに多くのデータを出力することが望まれる。非接触のより高精度な画像解析で高精度な頭部運動または眼球運動を推定するには、より高精細な画像で複雑な画像処理を行うことが望まれ、１画像あたりの処理負荷が高くなる。さらに、時間解像度が高いと、望まれる処理性能も膨大となり、処理性能が低い一般的な車載装置では、処理が困難となる。
　１つの側面において、本発明は、簡易な方法で眠気判定を行うことを目的とする。
　実施の形態の眠気判定プログラムは、コンピュータに、複数の時刻それぞれにおけるドライバーの複数の視線方向と基準方向とに基づいて、前記ドライバーの眠気を示す指標を算出させる。
　前記眠気判定プログラムは、前記コンピュータに、前記指標に基づいて、前記ドライバーの眠気を判定させる。
　実施の形態の眠気判定プログラムによれば、簡易な方法で眠気判定を行うことが出来る。
実施の形態に係る眠気判定装置の構成図である。 実施の形態に係る眠気判定装置の第１の構成例である。 視線方向ベクトルおよび顔方向ベクトルを示す図である。 視線方向データの例である。 顔方向データの例である。 内積データの例である。 実施の形態に係る第１の眠気判定方法フローチャートである。 実施の形態に係る眠気判定装置の第２の構成例である。 視線方向ベクトルおよび前方方向ベクトルを示す図である。 前方方向データの例である。 前方方向データの他の例である。 実施の形態に係る第２の眠気判定方法フローチャートである。 実施の形態に係る眠気判定装置の第３の構成例である。 注視点および前方方向ベクトルを示す図である。 視線方向データの例である。 角度データの例である。 実施の形態に係る第３の眠気判定方法フローチャートである。 時刻Ｔ１における眼の画像の例である。 時刻Ｔｎにおける眼の画像の例である。 情報処理装置（コンピュータ）の構成図である。
　以下、図面を参照しながら実施の形態について説明する。
　図１は、実施の形態に係る眠気判定装置の構成図である。
　眠気判定装置１０１は、視線方向検出部２０１、比較方向検出部３０１、指標算出部４０１、眠気判定部５０１、および記憶部６０１を備える。眠気判定装置１０１は、例えば、ドライバーが運転する車両に取り付けられる。
　視線方向検出部２０１は、ドライバーの視線方向を検出する。視線方向検出部２０１は、例えば、角膜反射型の非接触視線センサである。角膜反射型の視線センサは、専用のLight Emitting Diode（ＬＥＤ）光源の光をドライバーの眼に向けて照射し、眼の角膜上の瞳孔内に映りこんだＬＥＤ光源の反射像ごと、ドライバーの眼近傍の画像を撮影する。その後、撮影画像の画像解析を行い、瞳孔部分と反射像部分の位置関係から、ドライバーの視線方向を算出する。なお、視線方向の検出方法としては、これに限定するものではなく、任意の方法を使ってよい。
　比較方向検出部３０１は、視線方向との比較方向を検出する。尚、比較方向を基準方向と表記する場合がある。
　指標算出部４０１は、視線方向データ６１１および比較方向データ６２１に基づいて、ドライバーの眠気を示す指標を算出する。
　眠気判定部５０１は、指標データ６３１に基づいて、ドライバーの眠気の有無を判定する。
　記憶部６０１は、眠気判定装置１０１で使用されるデータを格納する記憶装置である。記憶部６０１は、視線方向データ６１１、比較方向データ６２１、および指標データ６３１を格納する。
　視線方向データ６１１は、ドライバーの視線方向を示すデータである。
　比較方向データ６２１は、視線方向に対する基準方向を示すデータである。
　指標データ６３１は、視線方向データ６１１および比較方向データ６２１から算出されるドライバーの眠気を示す指標である。
　また、視線方向検出部２０１および比較方向検出部３０１は、眠気判定装置１０１の外部にあってもよい。その場合、視線方向検出部２０１および比較方向検出部３０１を含む車載装置を車両に取り付け、眠気判定装置１０１は、データセンター等に配置し、車載装置と眠気判定装置１０１は、無線ネットワーク及び有線ネットワークを介して通信可能とする。視線方向検出部２０１および比較方向検出部３０１は、それぞれ視線方向および比較方向を眠気判定装置１０１に送信し、眠気判定装置１０１は、視線方向データ６１１および比較方向データ６２１を記憶部６０１に格納し、眠気の判定処理を行う。
　また、視線方向検出部２０１および比較方向検出部３０１を含む車載装置が視線方向データ６１１および比較方向データ６２１を可搬型記録媒体（メモリカード、Universal Serial Bus（ＵＳＢ）メモリ等）に格納し、車載装置とは別の眠気判定装置１０１が当該可搬型記録媒体から視線方向データ６１１および比較方向データ６２１を読み出し、眠気の判定処理を行っても良い。
　また、比較方向データ６２１に固定値を用いる場合は、比較方向検出部３０１は無くてもよい。
　以下、実施の形態に係る眠気判定装置の複数の構成例について説明する。
　図２は、実施の形態に係る眠気判定装置の第１の構成例である。
　眠気判定装置１１０１は、視線方向検出部２０１、顔方向検出部１３０１、内積指標算出部１４０１、眠気判定部５０１、および記憶部１６０１を備える。
　視線方向検出部２０１は、ドライバーの視線方向を検出し、視線方向と視線方向を検出した時刻Ｔｉを記憶部１６０１に送信する。また、視線方向は、３次元ベクトル（ａｉ，ｂｉ，ｃｉ）で表される。視線方向を示すベクトル（視線方向ベクトル）ｖｉの成分ａｉ，ｂｉ，およびｃｉは、それぞれｘ軸方向、ｙ軸方向、およびｚ軸方向の成分である。視線方向検出部２０１の機能は上述したため、説明は省略する。
　顔方向検出部１３０１は、比較方向検出部３０１に相当する。顔方向検出部１３０１は、ドライバーの顔の向き（顔方向）を検出する。顔方向検出部１３０１は、非接触にて顔向きを推定する。具体的には、顔方向検出部１３０１は、撮影カメラによりドライバーの顔を撮影し、撮影した顔の動画像を画像処理し、顔の特徴群の画像内配置から顔の正面が向いている方向である顔方向を推定する。顔方向検出部１３０１は、例えば、眼や鼻等の顔部品を特徴として抽出し、それらの配置状況から、顔正面方向が撮影カメラに対してどのような方向にあるのかを推定し、顔方向とする。
　なお、ここでは赤外または可視光カメラの画像処理による推定方法を例としたが、レーザレーダ等の任意の波長の電波の反射状況から人体に関係する形状の配置状況を推定把握し、ドライバーの顔向きを推定してもよい。また、最終的に顔の向き方向を算出すればよく、目立つ顔部品である耳等の方向や、任意頭部部分の向いている方向、すなわち頭部向きなどを算出しておき、該顔部品や任意頭部部分と正面方向との成す角をあらかじめ決めておき、この規定成す角で角度を補正して、顔方向を算出してもよい。
　顔方向検出部１３０１は、検出した顔方向と顔方向を検出した時刻Ｔｉを記憶部１６０１に送信する。また、顔方向は、３次元ベクトル（ｘｉ，ｙｉ，ｚｉ）で表される。顔方向を示すベクトル（顔方向ベクトル）ｕｉの成分ｘｉ，ｙｉ，およびｚｉは、それぞれｘ軸方向、ｙ軸方向、およびｚ軸方向の成分である。
　図３は、視線方向ベクトルおよび顔方向ベクトルを示す図である。
　図３に示すように、視線方向ベクトルは、ドライバー７０１の視線の方向を示し、顔方向ベクトルはドライバーの顔の正面が向いている方向を示す。
　図２に戻り説明を続ける。
　内積指標算出部１４０１は、指標算出部４０１に相当する。内積指標算出部１４０１の処理については後述する。
　眠気判定部５０１は、内積指標算出部１４０１により算出された指標に基づいて、ドライバーの眠気の有無を判定する。眠気判定部５０１の処理については後述する。
　記憶部１６０１は、記憶部６０１に相当する。記憶部１６０１は、視線方向データ１６１１、顔方向データ１６２１、および内積データ１６３１を格納する。視線方向データ１６１１、顔方向データ１６２１、および内積データ１６３１は、それぞれ視線方向データ６１１、比較方向データ６２１、および指標データ６３１に相当する。
　視線方向データ１６１１は、視線方向検出部２０１で検出された視線方向を示すデータである。
　図４は、視線方向データの例である。
　視線方向データ１６１１は、視線方向検出部２０１で検出された視線方向を示すベクトルｖｉ（＝ａｉ，ｂｉ，ｃｉ）（ｉ＝１～ｎ）と視線方向ｖｉを検出した時刻Ｔｉを含む。視線方向データ１６１１には、視線方向ｖｉと時刻Ｔｉとが対応付けられて格納されている。
　図５は、顔方向データの例である。
　顔方向データ１６２１は、顔方向検出部１３０１で検出された顔方向を示すベクトルｕｉ（＝ｘｉ，ｙｉ，ｚｉ）（ｉ＝１～ｎ）と顔方向ｕｉを検出した時刻Ｔｉを含む。顔方向データ１６２１には、顔方向ｕｉと時刻Ｔｉとが対応付けられて格納されている。尚、視線方向ｖｉを検出した時刻Ｔｉと顔方向ｕｉを検出した時刻Ｔｉとは同一であることが望ましいが、異なる値でもよい。
　図６は、内積データの例である。
　内積データ１６３１は、ドライバーの眠気の指標の算出に用いられるデータまたはドライバーの眠気の指標である。内積データ１６３１は、視線方向ｖｉの単位ベクトルと顔方向ｕｉの単位ベクトルとの内積Ａｉを含む。内積データ１６３１には、内積Ａｉと時刻Ｔｉとが対応付けられて格納されている。尚、内積Ａｉと対応付けられる時刻Ｔｉは、内積Ａｉの算出に用いた視線方向ｖｉまたは顔方向ｕｉに対応する時刻Ｔｉである。また、内積Ａｉと対応付けられる時刻Ｔｉは、現在の時刻や内積Ａｉの算出したときの時刻でもよい。
　内積指標算出部１４０１は、視線方向ベクトルｖｉの単位ベクトルと顔方向ベクトルｕｉの単位ベクトルとの内積Ａｉを算出する。内積指標算出部１４０１は、内積ＡｉをＡｉ＝（ｖｉ／｜ｖｉ｜）・（ｕｉ／｜ｕｉ｜）により算出する。尚、｜ｖｉ｜は、視線方向ベクトルｖｉの長さであり、｜ｖｉ｜＝（ａｉ ２＋ｂｉ ２＋ｃｉ ２）１／２である。また、｜ｕｉ｜は、顔方向ベクトルｕｉの長さであり、｜ｕｉ｜＝（ｘｉ ２＋ｙｉ ２＋ｚｉ ２）１／２である。尚、内積Ａｉを算出する際に用いる視線方向ベクトルｖｉおよび顔方向ベクトルｕｉは、検出された時刻が同一であるもの同士で算出する。検出された時刻が同一である視線方向ベクトルｖｉおよび顔方向ベクトルｕｉがない場合は、検出された時間が一番近いもの同士で内積Ａｉを算出する。後述の角度αｉの算出においても同様である。
　内積指標算出部１４０１は、ドライバーの眠気の指標として内積Ａｉの分散Ｖを算出する。尚、分散Ｖは、一般的な分散算出式であるＶ＝（１／ｎ）・（Σ（Ａｉ－Ａａｖｅ）２）より算出される。ｎは、分散Ｖの算出に用いた内積Ａｉの数であり、Ａａｖｅはｎ個の内積Ａｉの平均値である。すなわち、分散Ｖは、内積Ａｉから平均値Ａａｖｅを減算した値の二乗和を内積Ａｉの個数ｎで除算した値である。なお、分散算出式として、上述の式ではなく、不偏分散の式等の類似の分散値の算出式を使っても良い。また、この分散値の平方根を用いても良い。これは、以後の分散算出の時も同様である。
　眠気判定部５０１は、視線の動きと頭部の動きの相違が大きくばらつく場合に、眠気が発生していると判定する。例えば、眠気判定部５０１は、分散Ｖが閾値以上である場合、ドライバーの眠気ありと判定し、分散Ｖが閾値未満である場合、ドライバーの眠気なしと判定する。
　内積指標算出部１４０１は、分散Ｖの算出において、内積データ１６３１に含まれる全ての内積を用いて分散Ｖを算出してもよいし、ドライバーの眠気を判定したい時刻Ｔｄから所定時間前までの間（規定時間窓）の時刻に対応する内積を用いて分散Ｖを算出しても良い。
　また、眠気判定部５０１は、内積Ａｉの平均値、最大値、最小値、中心値等に基づいて、ドライバーの眠気を判定しても良い。眠気判定部５０１は、規定時刻Ｔ（Ｔ≧Ｔ１かつＴ≦Ｔ２となる時刻）前後の内積からの差分値および差分値の規定次数微分、規定時間分の積分値等に基づいて、ドライバーの眠気を判定しても良い。
　また、眠気判定部５０１は、ドライバーの眠気の判定に用いる指標によっては、指標が閾値以下の場合にドライバーの眠気ありと判定しても良い。
　また、上述の説明では、ドライバーの眠気の指標として内積を用いていたが、以下に述べるように角度を用いても良い。
　内積指標算出部１４０１は、視線方向ベクトルｖｉと顔方向ベクトルｕｉとがなす角度αｉを算出してもよい。内積指標算出部１４０１は、αｉをａｒｃｃｏｓαｉ＝（ｖｉ・ｕｉ）／（｜ｖｉ｜・｜ｕｉ｜）から求める。
　内積指標算出部１４０１は、ドライバーの眠気の指標として角度αｉの分散Ｖを算出する。尚、分散Ｖｉは、Ｖ＝（１／ｎ）・（Σ（αｉ－αａｖｅ）２）より算出される。ｎは、分散Ｖの算出に用いた角度αｉの数であり、αａｖｅはｎ個の角度αｉの平均値である。すなわち、分散Ｖｉは、角度αｉから平均値αａｖｅを減算した値の二乗和を角度αｉの個数ｎで除算した値である。
　内積指標算出部１４０１は、分散Ｖの算出において、内積データ１６３１に含まれる全てのデータを用いて分散Ｖを算出してもよいし、ドライバーの眠気を判定したい時刻（例えば、現時刻または任意の過去の時刻）Ｔｄから所定時間前までの間（規定時間窓）の時刻に対応する内積を用いて分散Ｖを算出してもよいも良い。
　また、眠気判定部５０１は、角度αｉの平均値、最大値、最小値、中心値等に基づいて、ドライバーの眠気を判定しても良い。眠気判定部５０１は、規定時刻Ｔ（Ｔ≧Ｔ１かつＴ≦Ｔ２となる時刻）前後の角度αｉからの差分値および差分値の規定次数微分、規定時間分の積分値等に基づいて、ドライバーの眠気を判定しても良い。
　眠気判定部５０１は、今回算出した指標が前回算出した指標に比べて大きく増加している場合に、ドライバーの眠気ありと判定しても良い。例えば、眠気判定部５０１は、今回算出した指標と前回算出した指標との比率または差分が閾値以上の場合にドライバーの眠気ありと判定しても良い。
　また、視線方向検出部２０１および顔方向検出部１３０１は、眠気判定装置１１０１の外部にあってもよい。その場合、視線方向検出部２０１および顔方向検出部１３０１を含む車載装置を車両に取り付け、眠気判定装置１１０１は、データセンター等に配置し、車載装置と眠気判定装置１１０１は、無線ネットワーク及び有線ネットワークを介して通信可能とする。視線方向検出部２０１および顔方向検出部１３０１は、それぞれ視線方向および顔方向を眠気判定装置１１０１に送信し、眠気判定装置１１０１は、視線方向データ１６１１および顔方向データ１６２１を記憶部１６０１に格納し、眠気の判定処理を行う。
　また、視線方向検出部２０１および顔方向検出部１３０１を含む車載装置が視線方向データ１６１１および顔方向データ１６２１を可搬型記録媒体（メモリカード、Universal Serial Bus（ＵＳＢ）メモリ等）に格納し、車載装置とは別の眠気判定装置１１０１が当該可搬型記録媒体から視線方向データ１６１１および顔方向データ１６２１を読み出し、眠気の判定処理を行っても良い。
　図７は、実施の形態に係る第１の眠気判定方法フローチャートである。
　図７では、視線方向ベクトルと顔方向ベクトルの内積の分散に基づいて、ドライバーの眠気を判定する場合を説明する。
　ステップＳ１８０１において、視線方向検出部２０１は、ドライバーの視線方向を検出し、視線方向を示す視線方向ベクトルと検出した時刻を記憶部１６０１に送信する。記憶部１６０１は、視線方向ベクトルと検出した時刻を視線方向データ１６１１として格納する。
　ステップＳ１８０２において、顔方向検出部１３０１は、ドライバーの顔の向き（顔方向）を検出し、顔方向を示す顔方向ベクトルと検出した時刻を記憶部１６０１に送信する。記憶部１６０１は、顔方向ベクトルと検出した時刻を顔方向データ１６２１として格納する。
　ステップＳ１８０３において、内積指標算出部１４０１は、視線方向ベクトルの単位ベクトルと顔方向ベクトルの単位ベクトルとの内積を算出し、算出した内積および時刻を内積データ１６３１として格納する。また、内積データ１６３１がこれ以上データを格納できない場合、内積指標算出部１４０１は、内積データ１６３１から最古のエントリ（内積と当該内積に対応付けられた時刻から判断）を削除する。
　ステップＳ１８０４において、内積指標算出部１４０１は、内積データ１６３１に含まれている内積に対応する時刻と現時刻とを比較し、現時刻より所定時間以上前の内積を削除する。
　ステップＳ１８０５において、内積指標算出部１４０１は、内積データ１６３１に含まれている内積の数が規定数個以上あるか判定する。内積の数が規定数個以上ある場合、制御はステップＳ１８０６に進み、内積の数が規定数個以上ない場合、制御はステップＳ１８０１に戻る。
　ステップＳ１８０６において、内積指標算出部１４０１は、内積データ１６３１に含まれている内積の分散を算出する。尚、分散の算出において、内積データ１６３１に含まれている内積のうち、所定時間前までの時刻から現時刻までの間に対応する時刻に対応付けられた内積から分散を算出してもよい。
　ステップＳ１８０７において、眠気判定部５０１は、分散が閾値以上であるか否か判定する。
　ステップＳ１８０８において、眠気判定部５０１は、現時刻において、ドライバーの眠気ありと判定する。
　ステップＳ１８０９において、眠気判定部５０１は、現時刻において、ドライバーの眠気なしと判定する。
　第１の構成例の眠気判定装置によれば、視線方向と顔方向のベクトルの内積に基づいて眠気を判定するため、低時間解像度な視線方向および顔方向（頭向き）のデータを利用することが出来る。このため、視線方向および顔方向の推定コストが高くても、単時間あたりの推定数を低く抑えることが可能なため、全体として低処理コストでの実現が可能となる。逆にいえば、一回あたりの視線方向及び顔方向の推定コストを高くすることが出来るので、高精細画像を用いたり、複雑な画像処理計算を用いた視線方向および顔方向を用いることが可能となるため、外乱の多い車載環境でもロバストな眠気判定が可能となる。
　図８は、実施の形態に係る眠気判定装置の第２の構成例である。
　眠気判定装置２１０１は、視線方向検出部２０１、前方方向検出部２３０１、内積指標算出部２４０１、眠気判定部５０１、および記憶部２６０１を備える。
　視線方向検出部２０１は、ドライバーの視線方向を検出し、視線方向と視線方向を検出した時刻Ｔｉを記憶部２６０１に送信する。また、視線方向は、３次元ベクトル（ａｉ，ｂｉ，ｃｉ）で表される。視線方向を示すベクトル（視線方向ベクトル）ｖｉの成分ａｉ，ｂｉ，およびｃｉは、それぞれｘ軸方向、ｙ軸方向、およびｚ軸方向の成分である。視線方向検出部２０１の機能は上述したため、説明は省略する。
　前方方向検出部２３０１は、比較方向検出部３０１に相当する。前方方向検出部２３０１は、ドライバーの前方方向を検出する。ドライバーの前方方向は、ドライバーの前方の車両進行方向であり、例えば、走行中にドライバーからみた前方進行方向であり、自車の直線走行路の消失点方向、ドライバーの正面前方方向、またはドライバーがフロントガラス越しに前方を真直ぐ見ているときの方向等である。また、ドライバーの前方方向は、運転中に頻繁または非常に大きな割合でドライバーが見ている方向でもよい。また、ドライバーの前方方向は、車両の操舵角に応じて補正してもよい。
　前方方向検出部２３０１は、検出した前方方向と前方方向を検出した時刻Ｔｉを記憶部１６０１に送信する。また、前方方向は、３次元ベクトル（ｘｉ，ｙｉ，ｚｉ）で表される。前方方向を示すベクトル（前方方向ベクトル）ｕｉの成分ｘｉ，ｙｉ，およびｚｉは、それぞれｘ軸方向、ｙ軸方向、およびｚ軸方向の成分である。
　前方方向検出部２３０１は、前方方向を実際の走行に合わせて動的に取得してよい。前方方向検出部２３０１は、例えば、自車位置と地図道路情報から自車走行路に対する自車位置を推定して自車進行方向を計算し、自車進行方向を前方方向としてもよい。また、前方方向検出部２３０１は、例えば、Lane Departure Warning（ＬＤＷ）（車線逸脱警報）で使用されている技術のように前方道路を撮影するカメラ映像を解析して得た映像内の自走路の白線等から自車進行方向を推定する。そして、前方方向検出部２３０１は、自車または運転席とカメラ設置位置の位置関係から映像上の進行方向を自車またはドライバーに対する進行方向に変換し、変換した進行方向を前方方向としてもよい。
　また、前方方向ベクトルを、固定値を成分とする定ベクトルとしても良く、例えば、前方方向ベクトルｕｉを（０，０，１）としてもよい。あらかじめ運転席と視線方向検出部（視線センサ）２０１のカメラの設置位置関係から、運転席に座ったドライバーの正面前方方向がカメラ映像の被写体としてどの方向に当るのかを計算しておき、例えば正面前方方向を視線センサの基準軸、例えばｚ軸方向となるよう視線センサを設定しておく。このようにすれば、任意ベクトルと前方方向ベクトルとの内積は任意ベクトルのｚ成分となるので、後述する内積指標算出部２４０１による内積の計算を簡略化できる。
　また、固定値を前方方向のデフォルト値としておき、走行時の前方方向の動的取得が失敗した場合に、デフォルト値を利用してもよい。尚、前方方向を固定値とする場合、前方方向検出部２３０１は、無くてもよい。
　図９は、視線方向ベクトルおよび前方方向ベクトルを示す図である。
　図９に示すように、視線方向ベクトルは、ドライバー７０１の視線の方向を示す。また、図９において、前方方向ベクトルは、ドライバーが運転している車両７０２の進行方向を示す。また。図９において、前方方向ベクトルは、視線方向検出部２０１が検出する視線方向ベクトルのｚ軸方向となっている。
　図８に戻り説明を続ける。
　内積指標算出部２４０１は、指標算出部４０１に相当する。内積指標算出部２４０１の処理については後述する。
　眠気判定部５０１は、内積指標算出部２４０１により算出された指標に基づいて、ドライバーの眠気の有無を判定する。眠気判定部５０１の処理については後述する。
　記憶部２６０１は、記憶部６０１に相当する。記憶部２６０１は、視線方向データ２６１１、前方方向データ２６２１、および内積データ２６３１を格納する。視線方向データ２６１１、前方方向データ２６２１、および内積データ２６３１は、それぞれ視線方向データ６１１、比較方向データ６２１、および指標データ６３１に相当する。
　視線方向データ２６１１は、視線方向検出部２０１で検出された視線方向を示すデータである。視線方向データ２６１１は、視線方向データ１６１１と同様であるため、説明は省略する。
　図１０は、前方方向データの例である。
　前方方向データ２６２１は、前方方向検出部２３０１で検出された前方方向を示すベクトルｕｉ（＝ｘｉ，ｙｉ，ｚｉ）（ｉ＝１～ｎ）と前方方向ｕｉを検出した時刻Ｔｉを含む。前方方向データ２６２１には、前方方向ｕｉと時刻Ｔｉとが対応付けられて格納されている。
　図１１は、前方方向データの他の例である。
　前方方向を固定値とする場合、前方方向データ２６２１は、図１１に示す前方方向データ２６２１’のような形式でもよい。前方方向データ２６２１’は、前方方向を示すベクトルｕｃ（＝（ｘｃ，ｙｃ，ｚｃ））を含む。ｘｃ，ｙｃ，ｚｃは予め定められた値である。例えば、ｕｃ＝（０，０，１）である。
　内積データ２６３１は、ドライバーの眠気の指標の算出に用いられるデータまたはドライバーの眠気の指標である。内積データ２６３１は、視線方向ｖｉの単位ベクトルと前方方向ｕｉの単位ベクトルとの内積Ａｉを含む。内積データ２６３１には、内積Ａｉと時刻Ｔｉとが対応付けられて格納されている。尚、内積Ａｉと対応付けられる時刻Ｔｉは、内積Ａｉの算出に用いた視線方向ｖｉまたは前方方向ｕｉに対応する時刻Ｔｉである。また、内積Ａｉと対応付けられる時刻Ｔｉは、現在の時刻や内積Ａｉの算出したときの時刻でもよい。尚、内積データ２６３１の形式は、内積データ１６３１の形式と同様である。
　内積指標算出部２４０１は、視線方向ベクトルｖｉの単位ベクトルと前方方向ベクトルｕｉの単位ベクトルとの内積Ａｉを算出する。内積指標算出部２４０１は、内積ＡｉをＡｉ＝（ｖｉ／｜ｖｉ｜）・（ｕｉ／｜ｕｉ｜）により算出する。尚、｜ｖｉ｜は、視線方向ベクトルｖｉの長さであり、｜ｖｉ｜＝（ａｉ ２＋ｂｉ ２＋ｃｉ ２）１／２である。また、｜ｕｉ｜は、前方方向ベクトルｕｉの長さであり、｜ｕｉ｜＝（ｘｉ ２＋ｙｉ ２＋ｚｉ ２）１／２である。尚、内積Ａｉを算出する際に用いる視線方向ベクトルｖｉおよび前方方向ベクトルｕｉは、検出された時刻が同一であるもの同士で算出する。検出された時刻が同一である視線方向ベクトルｖｉおよび前方方向ベクトルｕｉがない場合は、検出された時間が一番近いもの同士で内積Ａｉを算出する。後述の角度αｉの算出においても同様である。前方方向ベクトルが固定値の場合は、前方方向ベクトルｕｉとして前方方向ベクトルｕｃ（＝（ｘｃ，ｙｃ，ｚｃ））を用いる。
　内積指標算出部２４０１は、ドライバーの眠気の指標として内積Ａｉの分散Ｖを算出する。尚、分散Ｖは、Ｖ＝（１／ｎ）・（Σ（Ａｉ－Ａａｖｅ）２）より算出される。ｎは、分散Ｖの算出に用いた内積Ａｉの数であり、Ａａｖｅはｎ個の内積Ａｉの平均値である。すなわち、分散Ｖは、内積Ａｉから平均値Ａａｖｅを減算した値の二乗和を内積Ａｉの個数ｎで除算した値である。
　眠気判定部５０１は、分散Ｖが閾値以上である場合、ドライバーの眠気ありと判定し、分散Ｖが閾値未満である場合、ドライバーの眠気なしと判定する。
　内積指標算出部２４０１は、分散Ｖの算出において、内積データ２６３１に含まれる全ての内積を用いて分散Ｖを算出してもよいし、ドライバーの眠気を判定したい時刻Ｔｄから所定時間前までの間（規定時間窓）の時刻に対応する内積を用いて分散Ｖを算出しても良い。
　また、眠気判定部５０１は、内積Ａｉの平均値、最大値、最小値、中心値等に基づいて、ドライバーの眠気を判定しても良い。眠気判定部５０１は、規定時刻Ｔ（Ｔ≧Ｔ１かつＴ≦Ｔ２となる時刻）前後の内積からの差分値および差分値の規定次数微分、規定時間分の積分値等に基づいて、ドライバーの眠気を判定しても良い。
　また、眠気判定部５０１は、ドライバーの眠気の判定に用いる指標によっては、指標が閾値以下の場合にドライバーの眠気ありと判定しても良い。
　また、上述の説明では、内積を用いていたが、以下に述べるように角度を用いても良い。
　内積指標算出部２４０１は、視線方向ベクトルｖｉと前方方向ベクトルｕｉとがなす角度αｉを算出してもよい。内積指標算出部２４０１は、αｉをａｒｃｃｏｓαｉ＝（ｖｉ・ｕｉ）／（｜ｖｉ｜・｜ｕｉ｜）から求める。
　内積指標算出部２４０１は、ドライバーの眠気の指標として角度αｉの分散Ｖを算出する。尚、分散Ｖは、一般的な分散算出式であるＶ＝（１／ｎ）・（Σ（αｉ－αａｖｅ）２）より算出される。ｎは、分散Ｖの算出に用いた角度αｉの数であり、αａｖｅはｎ個の角度αｉの平均値である。すなわち、分散Ｖｉは、角度αｉから平均値αａｖｅを減算した値の二乗和を角度αｉの個数ｎで除算した値である。
　内積指標算出部２４０１は、分散Ｖの算出において、内積データ２６３１に含まれる全てのデータを用いて分散Ｖを算出してもよいし、ドライバーの眠気を判定したい時刻（例えば、現時刻または任意の過去の時刻）Ｔｄから所定時間前までの間（規定時間窓）の時刻に対応する内積を用いて分散Ｖを算出してもよいも良い。
　また、眠気判定部５０１は、角度αｉの平均値、最大値、最小値、中心値等に基づいて、ドライバーの眠気を判定しても良い。眠気判定部５０１は、規定時刻Ｔ（Ｔ≧Ｔ１かつＴ≦Ｔ２となる時刻）前後の角度αｉからの差分値および差分値の規定次数微分、規定時間分の積分値等に基づいて、ドライバーの眠気を判定しても良い。
　また、視線方向検出部２０１および前方方向検出部２３０１は、眠気判定装置２１０１の外部にあってもよい。その場合、視線方向検出部２０１および前方方向検出部２３０１を含む車載装置を車両に取り付け、眠気判定装置２１０１は、データセンター等に配置し、車載装置と眠気判定装置２１０１は、無線ネットワーク及び有線ネットワークを介して通信可能とする。視線方向検出部２０１および前方方向検出部２３０１は、それぞれ視線方向および前方方向を眠気判定装置２１０１に送信し、眠気判定装置２１０１は、視線方向データ２６１１および前方方向データ２６２１を記憶部２６０１に格納し、眠気の判定処理を行う。
　また、視線方向検出部２０１および前方方向検出部２３０１を含む車載装置が視線方向データ２６１１および前方方向データ２６２１を可搬型記録媒体（メモリカード、Universal Serial Bus（ＵＳＢ）メモリ等）に格納し、車載装置とは別の眠気判定装置２１０１が当該可搬型記録媒体から視線方向データ２６１１および前方方向データ２６２１を読み出し、眠気の判定処理を行っても良い。
　図１２は、実施の形態に係る第２の眠気判定方法フローチャートである。
　図１２では、視線方向ベクトルと前方方向ベクトルの内積の分散に基づいて、ドライバーの眠気を判定する場合を説明する。
　ステップＳ２８０１において、視線方向検出部２０１は、ドライバーの視線方向を検出し、視線方向を示す視線方向ベクトルと検出した時刻を記憶部２６０１に送信する。記憶部１６０１は、視線方向ベクトルと検出した時刻を視線方向データ１６１１として格納する。
　ステップＳ２８０２において、前方方向検出部２３０１は、ドライバーの前方方向を検出し、前方方向を示す前方方向ベクトルと検出した時刻を記憶部２６０１に送信する。記憶部２６０１は、前方方向ベクトルと検出した時刻を前方方向データ２６２１として格納する。
　ステップＳ２８０３において、内積指標算出部２４０１は、視線方向ベクトルの単位ベクトルと前方方向ベクトルの単位ベクトルとの内積を算出し、算出した内積および時刻を内積データ２６３１として格納する。また、内積データ２６３１がこれ以上データを格納できない場合、内積指標算出部２４０１は、内積データ２６３１から最古のエントリ（内積と当該内積に対応付けられた時刻から判断）を削除する。
　ステップＳ２８０４において、内積指標算出部２４０１は、内積データ２６３１に含まれている内積に対応する時刻と現時刻とを比較し、現時刻より所定時間以上前の内積を削除する。
　ステップＳ２８０５において、内積指標算出部２４０１は、内積データ２６３１に含まれている内積の数が規定数個以上あるか判定する。内積の数が規定数個以上ある場合、制御はステップＳ２８０６に進み、内積の数が規定数個以上ない場合、制御はステップＳ２８０１に戻る。
　ステップＳ２８０６において、内積指標算出部２４０１は、内積データ２６３１に含まれている内積の分散を算出する。尚、分散の算出において、内積データ２６３１に含まれている内積のうち、所定時間前までの時刻から現時刻までの間に対応する時刻に対応付けられた内積から分散を算出してもよい。
　ステップＳ２８０７において、眠気判定部５０１は、分散が閾値以上であるか否か判定する。
　ステップＳ２８０８において、眠気判定部５０１は、現時刻において、ドライバーの眠気ありと判定する。
　ステップＳ２８０９において、眠気判定部５０１は、現時刻において、ドライバーの眠気なしと判定する。
　第２の構成例の眠気判定装置によれば、視線方向と前方方向のベクトルの内積または角度に基づいて眠気を判定するため、低時間解像度な視線方向および前方方向のデータを利用することが出来る。このため、視線方向および前方方向の推定コストが高くても、単時間あたりの推定数を低く抑えることが可能なため、全体として低処理コストでの実現が可能となる。逆にいえば、一回あたりの視線方向及び前方方向の推定コストを高くすることが出来るので、高精細画像を用いたり、複雑な画像処理計算を用いた視線方向および前方方向を用いることが可能となるため、外乱の多い車載環境でもロバストな眠気判定が可能となる。
　第２の構成例の眠気判定装置によれば、逆光で頭部がうまく撮影できないまたは頭部の画像処理を失敗する等により、顔方向を検出できない場合でも、ドライバーの前方方向を利用することにより、眠気の判定を行うことが出来る。
　図１３は、実施の形態に係る眠気判定装置の第３の構成例である。
　眠気判定装置３１０１は、視線方向検出部２０１、前方方向検出部３３０１、角度指標算出部３４０１、眠気判定部５０１、および記憶部３６０１を備える。
　視線方向検出部２０１は、ドライバーの視線方向を検出し、視線方向に基づいた注視点Ｐｉを算出する。注視点Ｐｉは、ドライバーの視線方向を示す値である。また、注視点Ｐｉは、２次元ベクトル（Ｐｉｘ，Ｐｉｙ）で表される。注視点Ｐｉの成分Ｐｉｘ，Ｐｉｙは、ドライバーの視線方向と仮想平面との交点の座標（ｘ軸方向の座標とｙ軸方向の座標）を示す。仮想平面は、ドライバーの前方方向に対して垂直且つドライバーの眼から所定距離Ｌ離れた位置に設置されるように設定される。尚、ドライバーの前方方向は、前方方向データ３６２１から取得できる。
　また、視線方向検出部２０１は、相対距離Ｌｉを算出する。尚、相対距離Ｌｉの詳細については後述する。
　また、視線方向検出部２０１は、注視点Ｐｉ、相対距離Ｌｉ、および注視点Ｐｉを算出した時刻Ｔｉを記憶部３６０１に送信する。
　前方方向検出部３３０１は、比較方向検出部３０１に相当する。前方方向検出部３３０１は、ドライバーの前方方向を検出する。前方方向検出部３３０１の機能は、前方方向検出部２３０１の機能と同様であるため説明は省略する。尚、第３の構成例において、前方方向は固定値であることが望ましい。
　図１４は、注視点および前方方向ベクトルを示す図である。
　図１４に示すように、視線方向ベクトルは、ドライバーの視線方向を示す。また、仮想平面は、ドライバーの前方方向（前方方向ベクトル）に対して垂直且つドライバーの眼から所定距離Ｌ離れた位置に設置される。所定距離Ｌは、固定値でも良いし、動的に変更してもよい。ドライバーの前方方向と仮想平面との交点を仮想平面の原点とする。図１４に示すように、注視点Ｐｉは、ドライバーの視線方向と仮想平面との交点の座標である。また、原点と注視点Ｐｉとの距離をＲｉとすると、Ｒｉ＝（Ｐｉｘ ２＋Ｐｉｙ ２）１／２で算出される。また、視線方向ベクトルと前方方向ベクトルとがなす角度はαである。
　図１３に戻り説明を続ける。
　角度指標算出部３４０１は、指標算出部４０１に相当する。角度指標算出部３４０１の処理については後述する。
　眠気判定部５０１は、角度指標算出部３４０１により算出された指標に基づいて、ドライバーの眠気の有無を判定する。眠気判定部５０１の処理については後述する。
　記憶部３６０１は、記憶部６０１に相当する。記憶部２６０１は、視線方向データ３６１１、前方方向データ３６２１、および角度データ３６３１を格納する。視線方向データ３６１１、前方方向データ３６２１、および角度データ３６３１は、それぞれ視線方向データ６１１、比較方向データ６２１、および指標データ６３１に相当する。
　視線方向データ３６１１は、視線方向検出部２０１で検出された視線方向を示すデータである。
　図１５は、視線方向データの例である。
　視線方向データ３６１１は、視線方向検出部２０１で検出された視線方向に基づく注視点Ｐｉを示すベクトル（＝Ｐｉｘ，Ｐｉｙ）（ｉ＝１～ｎ）、相対距離Ｌｉ、および注視点Ｐｉを検出した時刻Ｔｉを含む。視線方向データ３６１１には、注視点Ｐｉ、相対距離Ｌｉ、および時刻Ｔｉとが対応付けられて格納されている。
　前方方向データ３６２１は、前方方向検出部３３０１で検出された前方方向を示すデータである。前方方向データ３６２１は、前方方向データ２６２１または前方方向データ２６２１’と同様であるため説明は省略する。
　図１６は、角度データの例である。
　角度データ３６３１は、ドライバーの眠気の指標の算出に用いられるデータまたはドライバーの眠気の指標である。角度データ３６３１は、注視点Ｐｉに基づく視線方向ベクトルと前方方向ｕｉとの角度αｉ含む。角度データ３６３１には、角度αｉと時刻Ｔｉとが対応付けられて格納されている。尚、角度αｉと対応付けられる時刻Ｔｉは、角度αｉの算出に用いた注視点Ｐｉまたは前方方向ｕｉに対応する時刻Ｔｉである。また、角度αｉと対応付けられる時刻Ｔｉは、現在の時刻や角度αｉの算出したときの時刻でもよい。
　角度指標算出部３４０１は、注視点Ｐｉに基づく視線方向ベクトルと前方方向ｕｉと角度αｉを算出する。角度指標算出部３４０１は、角度αｉをαｉ＝ａｒｃｔａｎ（Ｒｉ／Ｌｉ）により算出する。尚、Ｒｉは、注視点Ｐｉと仮想平面の原点との距離であり、Ｒｉ＝（Ｐｉｘ ２＋Ｐｉｙ ２）１／２により算出される。Ｌｉは、視線方向データ３６１１において、注視点Ｐｉに対応付けられた補正距離である。尚、Ｌｉの代わりに固定値Ｌを用いてもよい。尚、角度αｉを算出する際に用いる注視点Ｐｉとおよび前方方向ベクトルｕｉは、検出された時刻が同一であるもの同士で算出する。検出された時刻が同一である注視点Ｐｉとおよび前方方向ベクトルｕｉがない場合は、検出された時間が一番近いもの同士で角度αｉを算出する。前方方向ベクトルが固定値の場合は、前方方向ベクトルｕｉとして前方方向ベクトルｕｃ（＝（ｘｃ，ｙｃ，ｚｃ））を用いる。
　角度指標算出部３４０１は、ドライバーの眠気の指標として角度αｉの分散Ｖを算出する。尚、分散Ｖは、Ｖ＝（１／ｎ）・（Σ（αｉ－αａｖｅ）２）より算出される。ｎは、分散Ｖの算出に用いた角度αｉの数であり、αａｖｅはｎ個の角度αｉの平均値である。すなわち、分散Ｖは、角度αｉから平均値αａｖｅを減算した値の二乗和を角度αｉの個数ｎで除算した値である。
　眠気判定部５０１は、分散Ｖが閾値以上である場合、ドライバーの眠気ありと判定し、分散Ｖが閾値未満である場合、ドライバーの眠気なしと判定する。
　また、眠気判定部５０１は、角度αｉの平均値、最大値、最小値、中心値等に基づいて、ドライバーの眠気を判定しても良い。眠気判定部５０１は、規定時刻Ｔ（Ｔ≧Ｔ１かつＴ≦Ｔ２となる時刻）前後の内積からの差分値および差分値の規定次数微分、規定時間分の積分値等に基づいて、ドライバーの眠気を判定しても良い。
　また、眠気判定部５０１は、ドライバーの眠気の判定に用いる指標によっては、指標が閾値以下の場合にドライバーの眠気ありと判定しても良い。
　また、視線方向検出部２０１および前方方向検出部３３０１は、眠気判定装置３１０１の外部にあってもよい。その場合、視線方向検出部２０１および前方方向検出部３３０１を含む車載装置を車両に取り付け、眠気判定装置３１０１は、データセンター等に配置し、車載装置と眠気判定装置３１０１は、無線ネットワーク及び有線ネットワークを介して通信可能とする。視線方向検出部２０１は、視線方向を示す注視点を眠気判定装置３１０１に送信し、眠気判定装置３１０１は、視線方向データ３６１１を記憶部３６０１に格納し、眠気の判定処理を行う。
　また、視線方向検出部２０１および前方方向検出部３３０１を含む車載装置が視線方向データ３６１１および前方方向データ３６２１を可搬型記録媒体（メモリカード、Universal Serial Bus（ＵＳＢ）メモリ等）に格納し、車載装置とは別の眠気判定装置３１０１が当該可搬型記録媒体から視線方向データ３６１１および前方方向データ３６２１を読み出し、眠気の判定処理を行っても良い。
　図１７は、実施の形態に係る第３の眠気判定方法フローチャートである。
　図１７では、視線方向ベクトルと前方方向ベクトルとがなす角度の分散に基づいて、ドライバーの眠気を判定する場合を説明する。また、ドライバーの前方方向は固定値とする。
　ステップＳ３８０１において、視線方向検出部２０１は、規定のドライバー正面（前方方向）に対して垂直な仮想平面の定義を行う。すなわち、仮想平面の法線ベクトルとして、ドライバーの前方方向の単位ベクトルを設定する。
　ステップＳ３８０２において、視線方向検出部２０１は、ドライバーの眼と仮想平面の相対距離の規定値Ｌ（例えば、６０ｃｍ）を定義する。
　ステップＳ３８０３において、視線方向検出部２０１は、ステップＳ３８０１，Ｓ３０８２による設定に基づいて、仮想平面に対する二次元視線位置(Ｐｘ,Ｐｙ)を出力するように設定する。二次元視線位置(Ｐｘ,Ｐｙ)は、ドライバーの視線方向と仮想平面との交点の座標（注視点Ｐ）である。
　ステップＳ３８０４において、視線方向検出部２０１は、時刻Ｔｎでの仮想平面の注視点Ｐｎ＝(Ｐｎｘ,Ｐｎｙ)を出力する。尚、注視点Ｐｎの算出において、視線方向検出部２０１は、ドライバーの眼と仮想平面との相対距離を規定値Ｌとしている。尚、時刻Ｔｎは現時刻とする。視線方向検出部２０１は、時刻Ｔｎでの相対距離Ｌｎを算出し、出力する。相対距離Ｌｎの算出方法については後述する。
　ステップＳ３８０５において、角度指標算出部３４０１は、注視点Ｐｎ＝(Ｐｎｘ,Ｐｎｙ)と仮想平面の原点との距離Ｒｎを算出する。尚、Ｒｎ＝（Ｐｎｘ ２＋Ｐｎｙ ２）１／２である。
　ステップＳ３８０６において、角度指標算出部３４０１は、距離Ｒｎと相対距離Ｌｎに基づいて、視線方向と前方方向のなす角度αｎを算出する。尚、角度αｎ＝ａｒｃｔａｎ（Ｒｎ／Ｌｎ）である。角度指標算出部３４０１は、算出した角度αｎと時刻Ｔｎとを角度データ３６３１に格納する。また、相対距離Ｌｎの代わりに規定値Ｌを用いてもよい。相対距離Ｌｎを用いることにより、角度αｎの精度が上がり、眠気の判定結果の精度を向上させることができる。
　ステップＳ３８０７において、角度指標算出部３４０１は、角度データ３６３１に含まれている角度に対応する時刻と現時刻とを比較し、現時刻より所定時間以上前の時刻に対応する角度を削除する。
　ステップＳ３８０８において、角度指標算出部３４０１は、角度データ３６３１に含まれている角度の数が規定数個以上あるか判定する。角度の数が規定数個以上ある場合、制御はステップＳ３８０９に進み、角度の数が規定数個以上ない場合、制御はステップＳ３８０４に戻る。尚、角度の数が規定数個以上ない場合、制御はステップＳ３８０１に戻ってもよい。
　ステップＳ３８０９において、角度指標算出部３４０１は、角度データ３６３１に含まれている角度の分散を算出する。尚、分散の算出において、角度データ３６３１に含まれている角度のうち、所定時間前までの時刻から現時刻までの間に対応する時刻に対応付けられた角度から分散を算出してもよい。
　ステップＳ３８１０において、眠気判定部５０１は、分散が閾値以上であるか否か判定する。
　ステップＳ３８１１において、眠気判定部５０１は、現時刻において、ドライバーの眠気ありと判定する。
　ステップＳ３８１２において、眠気判定部５０１は、現時刻において、ドライバーの眠気なしと判定する。
　ここで、相対距離の算出方法について説明する。
　図１８は、時刻Ｔ１における眼の画像の例であり、図１９は、時刻Ｔｎにおける眼の画像の例である。
　視線方向検出部２０１は、各時刻Ｔ１～Ｔｎにおいて、ドライバーの眼の画像を取得し、取得した画像から左右瞳孔間の距離、または同じ顔部品の画像内大きさを算出する。
　視線方向検出部２０１は、規定時刻Ｔ０(Ｔ０はＴ１～Ｔｎのいずれかを用いる）の左右瞳孔間の距離、または同じ顔部品の画像内大きさを基準として、各時刻と基準時刻の顔部品の大きさ違いを用いて、各時刻の相対距離Ｌ１～Ｌｎを算出する。 
　時刻Ｔ０での相対距離を規定値Ｌと見做し、時刻Ｔｉでの相対距離Ｌｉは、Ｌｉ＝Ｌ×「Ｔｉでの顔部品大きさ」÷「Ｔ０での顔部品大きさ」により算出される。
　顔部品大きさは、例えば、左右瞳孔間距離ａ１、ａｎ、右眼瞳孔サイズｂ１、ｂｎ、または右眼サイズｃ１、ｃｎ等を用いることが出来る。尚、右眼サイズｃは、目頭位置ｆから目頭位置ｆを減算することで算出される。
　第３の構成例の眠気判定装置によれば、視線方向と前方方向のベクトルの内積または角度に基づいて眠気を判定するため、低時間解像度な視線方向および前方方向のデータを利用することが出来る。このため、視線方向および前方方向の推定コストが高くても、単時間あたりの推定数を低く抑えることが可能なため、全体として低処理コストでの実現が可能となる。逆にいえば、一回あたりの視線方向及び前方方向の推定コストを高くすることが出来るので、高精細画像を用いたり、複雑な画像処理計算を用いた視線方向および前方方向を用いることが可能となるため、外乱の多い車載環境でもロバストな眠気判定が可能となる。
　第３の構成例の眠気判定装置によれば、逆光で頭部がうまく撮影できないまたは頭部の画像処理を失敗する等により、顔方向を検出できない場合でも、ドライバーの前方方向を利用することにより、眠気の判定を行うことが出来る。
　また、第３の構成例の眠気判定装置は、２次元座標値で表される仮想平面上の注視点を用いて、ドライバーの眠気を判定している。そのため、視線方向検出部として、２次元座標値で表される仮想平面上の注視点を出力する安価な視線センサを使用することが出来る。
　図２０は、情報処理装置（コンピュータ）の構成図である。
　実施の形態の眠気判定装置１０１，１１０１，２１０１，３１０１は、例えば、図２０に示すような情報処理装置（コンピュータ）１によって実現可能である。
　情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。
　ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、指標算出部４０１、眠気判定部５０１、内積指標算出部１４０１，２４０１、または角度指標算出部３４０１として動作する。
　メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。
　この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
　入力装置４は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、視線センサ、または車両の状態を検出するセンサ等である。入力装置４は、視線方向検出部２０１、比較方向検出部３０１、顔向き方向検出部１３０１、または前方方向検出部２３０１，３３０１に相当する。また、入力装置４、ＣＰＵ２、およびメモリ３の各処理を組み合わせて、視線方向検出部２０１、比較方向検出部３０１、顔向き方向検出部１３０１、または前方方向検出部２３０１，３３０１として動作してもよい。
　出力装置５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ、またはプリンタ等である。
　記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、それらをメモリ３に読み出して使用することができる。メモリ３または記憶部６は、記憶部６０１，１６０１，２６０１，３６０１に相当する。
　記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ－ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、それらをメモリ３に読み出して使用することができる。
　ネットワーク接続装置８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。

Claims (27)

  1. 　複数の時刻それぞれにおけるドライバーの複数の視線方向と基準方向とに基づいて、前記ドライバーの眠気を示す指標を算出し、
    　前記指標に基づいて、前記ドライバーの眠気を判定する
    　処理をコンピュータに実行させる眠気判定プログラム。
  2. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の顔の向きを含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の顔の向きを示す複数の第２のベクトルそれぞれとの複数の内積を算出し、前記複数の内積に基づいて前記指標を算出することを特徴とする請求項１記載の眠気判定プログラム。
  3. 　前記指標は、前記複数の内積の分散であることを特徴とする請求項２記載の眠気判定プログラム。
  4. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の顔の向きを含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の顔の向きを示す複数の第２のベクトルそれぞれとの複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１記載の眠気判定プログラム。
  5. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の前方方向を示す複数の第２のベクトルそれぞれとの複数の内積を算出し、前記複数の内積に基づいて前記指標を算出することを特徴とする請求項１記載の眠気判定プログラム。
  6. 　前記指標は、前記複数の内積の分散であることを特徴とする請求項５記載の眠気判定プログラム。
  7. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の前方方向を示す複数の第２のベクトルそれぞれとの複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１記載の眠気判定プログラム。
  8. 　前記複数の第２のベクトルは定ベクトルであることを特徴とする請求項５から７のいずれか１項に記載の眠気判定プログラム。
  9. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出する処理は、前記複数の前方方向それぞれに対して垂直且つ前記ドライバーから所定距離離れた位置の仮想平面と、前記複数の視線方向それぞれとの交点の座標を示す複数の第１のベクトルの複数の長さを算出し、前記複数の長さと前記所定距離から前記複数の視線方向と前記複数の前方方向との複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１記載の眠気判定プログラム。
  10. 　複数の時刻それぞれにおけるドライバーの複数の視線方向と基準方向とに基づいて、前記ドライバーの眠気を示す指標を算出する算出部と、
    　前記指標に基づいて、前記ドライバーの眠気を判定する判定部（５０１）と、
    　を備える眠気判定装置。
  11. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の顔の向きを含み、
    　前記算出部は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の顔の向きを示す複数の第２のベクトルそれぞれとの複数の内積を算出し、前記複数の内積に基づいて前記指標を算出することを特徴とする請求項１０記載の眠気判定装置。
  12. 　前記指標は、前記複数の内積の分散であることを特徴とする請求項１１記載の眠気判定装置。
  13. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の顔の向きを含み、
    　前記算出部は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の顔の向きを示す複数の第２のベクトルそれぞれとの複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１０記載の眠気判定装置。
  14. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出部は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の前方方向を示す複数の第２のベクトルそれぞれとの複数の内積を算出し、前記複数の内積に基づいて前記指標を算出することを特徴とする請求項１０記載の眠気判定装置。
  15. 　前記指標は、前記複数の内積の分散であることを特徴とする請求項１４記載の眠気判定装置。
  16. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出部は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の前方方向を示す複数の第２のベクトルそれぞれとの複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１０記載の眠気判定装置。
  17. 　前記複数の第２のベクトルは定ベクトルであることを特徴とする請求項１４から１６のいずれか１項に記載の眠気判定装置。
  18. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出部は、前記複数の前方方向それぞれに対して垂直且つ前記ドライバーから所定距離離れた位置の仮想平面と、前記複数の視線方向それぞれとの交点の座標を示す複数の第１のベクトルの複数の長さを算出し、前記複数の長さと前記所定距離から前記複数の視線方向と前記複数の前方方向との複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１０記載の眠気判定装置。
  19. 　眠気判定装置が実行する眠気判定方法であって、
    　複数の時刻それぞれにおけるドライバーの複数の視線方向と基準方向とに基づいて、前記ドライバーの眠気を示す指標を算出し、（
    　前記指標に基づいて、前記ドライバーの眠気を判定する
    　処理を含む眠気判定方法。
  20. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の顔の向きを含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の顔の向きを示す複数の第２のベクトルそれぞれとの複数の内積を算出し、前記複数の内積に基づいて前記指標を算出することを特徴とする請求項１９記載の眠気判定方法。
  21. 　前記指標は、前記複数の内積の分散であることを特徴とする請求項２０記載の眠気判定方法。
  22. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の顔の向きを含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の顔の向きを示す複数の第２のベクトルそれぞれとの複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１記載の眠気判定方法。
  23. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の前方方向を示す複数の第２のベクトルそれぞれとの複数の内積を算出し、前記複数の内積に基づいて前記指標を算出することを特徴とする請求項１９記載の眠気判定方法。
  24. 　前記指標は、前記複数の内積の分散であることを特徴とする請求項２３記載の眠気判定方法。
  25. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出する処理は、前記複数の視線方向を示す複数の第１のベクトルそれぞれと前記複数の前方方向を示す複数の第２のベクトルそれぞれとの複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１９記載の眠気判定方法。
  26. 　前記複数の第２のベクトルは定ベクトルであることを特徴とする請求項２３から２５のいずれか１項に記載の眠気判定方法。
  27. 　前記基準方向は、前記複数の時刻それぞれにおける前記ドライバーの複数の前方方向を含み、
    　前記算出する処理は、前記複数の前方方向それぞれに対して垂直且つ前記ドライバーから所定距離離れた位置の仮想平面と、前記複数の視線方向それぞれとの交点の座標を示す複数の第１のベクトルの複数の長さを算出し、前記複数の長さと前記所定距離から前記複数の視線方向と前記複数の前方方向との複数の角度を算出し、前記複数の角度に基づいて前記指標を算出することを特徴とする請求項１９記載の眠気判定方法。
PCT/JP2016/053113 2016-02-02 2016-02-02 眠気判定プログラム、眠気判定装置、および眠気判定方法 WO2017134755A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/053113 WO2017134755A1 (ja) 2016-02-02 2016-02-02 眠気判定プログラム、眠気判定装置、および眠気判定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/053113 WO2017134755A1 (ja) 2016-02-02 2016-02-02 眠気判定プログラム、眠気判定装置、および眠気判定方法

Publications (1)

Publication Number Publication Date
WO2017134755A1 true WO2017134755A1 (ja) 2017-08-10

Family

ID=59499596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/053113 WO2017134755A1 (ja) 2016-02-02 2016-02-02 眠気判定プログラム、眠気判定装置、および眠気判定方法

Country Status (1)

Country Link
WO (1) WO2017134755A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297321A (ja) * 2008-06-16 2009-12-24 Calsonic Kansei Corp 視線方向認識エラー検出装置
JP2013105263A (ja) * 2011-11-11 2013-05-30 Daimler Ag 車両の覚醒度検出装置及び車両の警報装置
JP2015169959A (ja) * 2014-03-04 2015-09-28 国立大学法人静岡大学 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297321A (ja) * 2008-06-16 2009-12-24 Calsonic Kansei Corp 視線方向認識エラー検出装置
JP2013105263A (ja) * 2011-11-11 2013-05-30 Daimler Ag 車両の覚醒度検出装置及び車両の警報装置
JP2015169959A (ja) * 2014-03-04 2015-09-28 国立大学法人静岡大学 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム

Similar Documents

Publication Publication Date Title
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
EP2564766B1 (en) Visual input of vehicle operator
EP2042079B1 (en) Visual axis direction detection device and visual line direction detection method
JP7099037B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP4735676B2 (ja) 走行支援装置
US20100013949A1 (en) Eyeball parameter estimating device and method
US11455810B2 (en) Driver attention state estimation
JP2008079737A (ja) 集中度評価装置及びこれを用いた車両用表示装置
US10684695B2 (en) Data processing device, monitoring system, awakening system, data processing method, and data processing program
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
WO2019155913A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP2018101212A (ja) 車載器および顔正面度算出方法
JP6906943B2 (ja) 車載器
Rani et al. Computer vision based gaze tracking for accident prevention
WO2017134755A1 (ja) 眠気判定プログラム、眠気判定装置、および眠気判定方法
US20230394702A1 (en) Device, method, and computer program for estimating seat position
US20240029454A1 (en) Line of sight estimating device, storage medium for storing computer program for line of sight estimation, and line of sight estimating method
CN117734707A (zh) 一种驾驶员疲劳状态检测系统及方法
JP2022007157A (ja) 車両制御装置
JP2018106288A (ja) 撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889245

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16889245

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP