WO2021014632A1 - 運転者状態判断装置および運転者状態判断方法 - Google Patents

運転者状態判断装置および運転者状態判断方法 Download PDF

Info

Publication number
WO2021014632A1
WO2021014632A1 PCT/JP2019/029170 JP2019029170W WO2021014632A1 WO 2021014632 A1 WO2021014632 A1 WO 2021014632A1 JP 2019029170 W JP2019029170 W JP 2019029170W WO 2021014632 A1 WO2021014632 A1 WO 2021014632A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
unit
state
vehicle
information
Prior art date
Application number
PCT/JP2019/029170
Other languages
English (en)
French (fr)
Inventor
大晃 小林
健太 櫻井
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2019569858A priority Critical patent/JP6727465B1/ja
Priority to PCT/JP2019/029170 priority patent/WO2021014632A1/ja
Publication of WO2021014632A1 publication Critical patent/WO2021014632A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Definitions

  • the present invention relates to a driver state determination device that determines a driver's state from output data of a sensor mounted on a vehicle.
  • Patent Document 1 In the technique disclosed in Patent Document 1, an individual is set by setting a different threshold value for each driver in information representing the driver's condition such as the frequency and the amount of change in the posture of the driver and the blood flow rate of the driver. We are trying to deal with sex. However, information such as the frequency of changing posture, its fluctuation amount, and blood flow often causes events that change its value, and it takes time for the driver's state change to appear as posture and blood flow. Therefore, it is difficult to judge the individuality of the driver from such information. Further, Patent Document 1 does not describe a specific method for updating the threshold value.
  • the present invention has been made to solve the above problems, and provides a driver state determination device capable of estimating a driver's state in consideration of the individuality of the driver.
  • the purpose is.
  • the driver state determination device is a feature quantity used for estimating the state of the driver from the biometric signal by analyzing the biosensor unit that acquires the biometric signal of the driver of the vehicle and the biometric signal.
  • the biometric signal analysis unit that calculates the above, the driver state calculation unit that calculates the estimated value of the driver's state based on the feature amount of the biosignal, and the estimated value of the driver's state are predetermined.
  • a driver state classification unit that classifies the driver's state by comparing with a threshold value, an information presentation unit that presents information to the driver according to the classification result of the driver's state, and the driver.
  • the individuality regarding how the driver feels the state is determined from the past information on the driver's condition and the degree of eye closure, and based on the determination result, the driver's condition is determined.
  • the threshold for classifying states is updated.
  • the driver's condition can be classified in consideration of the individuality of the driver, and the accuracy of determining the driver's condition can be improved.
  • FIG. It is a figure which shows the structure of the driver state determination apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the structure of the biological sensor part. It is a figure which shows the structure of the vehicle behavior sensor part. It is a figure which shows the structure of the biological signal analysis part. It is a figure which shows the example of the filter bank generated by the filter bank generation part. It is a figure which shows the example of the amplitude spectrum before the filter bank is applied. It is a figure which shows the example of the amplitude spectrum after the filter bank is applied. It is a figure which shows an example of subjective evaluation in data collection for model learning. It is a figure which shows the example of the calculation result of the driver state using the learned model.
  • FIG. 1 is a diagram showing a configuration of a driver state determination device 100 according to a first embodiment of the present invention.
  • the driver state determination device 100 is mounted on the vehicle 10, and includes a biological sensor unit 110, a vehicle behavior sensor unit 120, a biological signal analysis unit 130, a driver state calculation unit 140, and a recording unit 141. It includes a threshold update unit 142, a driver state classification unit 150, an information presentation unit 160, and an eye closure degree calculation unit 171.
  • the biological sensor unit 110 acquires and outputs a biological signal of the driver of the vehicle 10.
  • the biological signal acquired by the biological sensor unit 110 is a time-series signal such as a heartbeat or a pulse wave.
  • Examples of the biological sensor unit 110 include an electrocardiogram sensor that electrically captures the contraction of the heart, and a photoelectric pulse wave sensor that captures the contraction of the heart by detecting a change in the volume of a blood vessel from a change in hemoglobin accompanying pulsation. These are sensors that are generally used in contact with or in close proximity to the driver's skin, but are used without contacting the driver's skin, such as sensors that measure chest mutations using radio waves. It may be a sensor. As described above, various types of the biological sensor unit 110 can be considered, and any one may be used as long as it can output the biological signal of the driver.
  • the biosensor unit 110 may be a single sensor, but in the present embodiment, the biosensor unit 110 having the configuration as shown in FIG. 2 is used. As shown in FIG. 2, the biosensor unit 110 includes a first biosensor 111, a second biosensor 112, a posture sensor 113, and a biosensor selection unit 114.
  • the first biological sensor 111 and the second biological sensor 112 are both sensors that acquire and output the biological signal of the driver. However, the measurement areas of the first biosensor 111 and the second biosensor 112 are different from each other.
  • the posture sensor 113 acquires posture information indicating the posture of the driver.
  • a method of acquiring the posture information by the posture sensor 113 for example, there is a method of using a pressure sensor arranged on the seat surface or the back surface of the driver's seat, a motion capture using a camera, and the like, and the posture information of the driver is acquired. The method does not matter as long as it can be obtained.
  • the biosensor selection unit 114 determines whether the driver is within the measurement range of the first biosensor 111 or the second biosensor 112 based on the posture information of the driver acquired by the attitude sensor 113. Then, the biological sensor selection unit 114 selects and outputs a biological signal to be output by a driver present in the measurement range from the first biological sensor 111 and the second biological sensor 112.
  • the biosensor unit 110 of FIG. 2 realizes a wide measurement range by selectively using the first biosensor 111 and the second biosensor 112 having different measurement ranges according to the posture of the driver. doing. As a result, the biological sensor unit 110 can acquire the biological signal of the driver with high accuracy.
  • the biosensor unit 110 has two biosensors is shown, but the number of biosensors may be three or more.
  • the vehicle behavior sensor unit 120 observes the behavior of the vehicle 10 and outputs a vehicle behavior signal indicating the movement of the vehicle 10.
  • a vehicle behavior sensor unit 120 an acceleration sensor that measures the acceleration of the vehicle 10, a gyro sensor that measures the direction of the vehicle 10, or a combination of both can be used.
  • the vehicle behavior sensor unit 120 having the configuration as shown in FIG. 3 is used.
  • the vehicle behavior sensor unit 120 includes an acceleration sensor 121 that outputs an acceleration signal corresponding to the acceleration of the vehicle 10 and an acceleration signal analysis unit 122 that analyzes the acceleration signal data output by the acceleration sensor 121. It has.
  • the acceleration signal is used as a vehicle behavior signal representing the behavior of the vehicle 10.
  • the acceleration sensor 121 includes a 1-axis, 2-axis, or 3-axis sensor, and any of them may be used. When the acceleration sensor 121 is a sensor having a plurality of axes, the acceleration sensor 121 outputs the acceleration signals of each axis independently.
  • the biological signal analysis unit 130 analyzes the biological signal of the driver output by the biological sensor unit 110, and calculates the feature amount required for estimating the state of the driver from the biological signal.
  • the biological signal analysis unit 130 having the configuration as shown in FIG. 4 is used.
  • the biological signal analysis unit 130 of the present embodiment includes a signal shaping unit 131, a spectrum calculation unit 132, a filter bank generation unit 133, a filter bank application unit 134, and a cepstrum calculation unit 135.
  • the signal shaping unit 131 performs preprocessing for analyzing the biological signal acquired from the biological sensor unit 110. Specifically, the signal shaping unit 131 cuts out a biological signal with a predetermined frame size and applies a window function. In the present embodiment, the signal shaping unit 131 removes the noise component of the biological signal caused by the movement of the vehicle 10 based on the data of the vehicle behavior signal (acceleration signal) acquired from the vehicle behavior sensor unit 120. If the systematic error of the biological sensor unit 110 is obvious, the signal shaping unit 131 may also remove the noise component of the biological signal by a bandpass filter.
  • the spectrum calculation unit 132 calculates the logarithmic amplitude spectrum of the biological signal by frequency analysis such as fast Fourier transform.
  • the filter bank generation unit 133 generates a bandpass filter having a different resolution in the portion corresponding to the band of the biological signal and the portion corresponding to the band of noise in the frequency domain.
  • a method of estimating a state such as fatigue, drowsiness, and anxiety of a driver from a biological signal
  • the filter bank generation unit 133 generates a group of triangular filters having different pass bands as shown in FIG.
  • the filter bank application unit 134 applies the filter bank generated by the filter bank generation unit 133 to the logarithmic amplitude spectrum calculated by the spectrum calculation unit 132.
  • the length of the logarithmic amplitude spectrum and the length of each filter bank must be the same.
  • the amplitude spectrum after applying the filter bank becomes as shown in the graph of FIG.
  • the cepstrum calculation unit 135 calculates the feature amount required for estimating the driver's state by converting the logarithmic amplitude spectrum obtained by the filter bank application unit 134 into a cepstrum region by discrete cosine transform or the like. At this time, the information corresponding to the low frequency in the logarithmic amplitude spectrum is converted into the cepstrum region.
  • the number of samples to be extracted may be any number.
  • the operation of the cepstrum calculation unit 135 ends by calculating the cepstrum of the biological signal scale.
  • the operation of the cepstrum calculation unit 135 is not limited to this, and for example, the velocity information obtained by first-ordering the cepstrum or the acceleration information obtained by second-ordering the cepstrum can be used as additional information of the feature amount. Good. Further, the cepstrum calculation unit 135 does not necessarily have to calculate the feature amount from the biological signal of a single frame, but may calculate it from the biological signal of a plurality of connected frames.
  • the driver state calculation unit 140 calculates an estimated value of the driver's state based on the feature amount data obtained as a result of the analysis of the biological signal. At this time, the driver state calculation unit 140 uses the data output by the acceleration sensor 121 in the vehicle behavior sensor unit 120 as the characteristic amount of the data of the behavior of the vehicle 10 obtained by the acceleration signal analysis unit 122 analyzing the acceleration signal. It may be added to the data.
  • the estimated value of the driver's state can be calculated by a method such as regression analysis using the driver's state as the objective variable and the feature amount as the explanatory variable.
  • the driver state calculation unit 140 calculates an estimated value of the driver's drowsiness.
  • FIG. 8 is an example of subjective evaluation in data collection for model learning of regression analysis. As shown in FIG. 8, the driver state calculation unit 140 performs regression analysis on drowsiness on a scale from 0 to 100, assuming that the state of not feeling drowsiness at all is 0 and the state of being sleepy at the limit of drowsiness is 100. By doing so, the drowsiness of the driver is estimated from the biological signal.
  • FIG. 9 shows an example of the calculation result of the driver state using the learned model. The driver state calculation unit 140 outputs an estimated value of the driver's drowsiness at regular intervals as shown in FIG.
  • the driver's state estimated by the driver state calculation unit 140 is drowsy, but the present invention is not limited to this, and for example, the driver state calculation unit 140 may estimate the driver's fatigue. Further, the estimation method is not limited to regression analysis, and known pattern recognition or machine learning methods may be used.
  • the eye-closing degree calculation unit 171 acquires an image of the driver's face taken by a camera installed in the vehicle 10, analyzes the image, calculates and outputs the driver's eye-closing degree.
  • the degree of eye closure is a time-series signal expressed by the reciprocal of the ratio of the distance between the upper and lower eyelids when the eyes are fully open and the distance between the upper and lower eyelids at a certain time. Is. For example, if the degree of eye closure when the eyes are completely closed is 100% and the degree of eye closure when the eyes are completely open is 0%, there will be an instantaneous peak of 100% in the time series signal of the degree of eye closure. When it appears, it indicates that it has blinked. By analyzing the time-series signal of the degree of eye closure, it is possible to determine the driver's condition such as drowsiness.
  • the image acquired by the eye closure degree calculation unit 171 is not limited to a still image, but may be a moving image.
  • the recording unit 141 synchronizes the data of the estimated value of the driver's state (here, drowsiness) calculated by the driver state calculation unit 140 and the data of the driver's eye closure degree output by the eye closure degree calculation unit 171 with each other. Let me record.
  • the driver state classification unit 150 classifies the driver's state by comparing a predetermined threshold value with the estimated value of the driver's state calculated by the driver state calculation unit 140.
  • the driver state classification unit 150 classifies the current state of the driver into classes according to the degree of drowsiness.
  • FIG. 10 is an example of the classification of the driver's condition, and the driver's drowsiness is classified into three classes of "C1: normal”, “C2: feeling drowsy", and "C3: feeling strong drowsiness”. Has been done.
  • C1 normal
  • C2 feeling drowsy
  • C3 feeling strong drowsiness
  • the threshold value between each class is the boundary between class C1 and class C2 (threshold value between C1-C2) and the threshold value between classes C1 when collecting learning data for constructing a model used by the driver state calculation unit 140. It is the average value of the result that the subject answered by the subjective evaluation about the boundary (threshold between C2-C3) between class C2 and class C3.
  • FIG. 11 shows the response results of each subject. Here, an example in which the driver's condition (sleepiness) is classified into three classes is shown, but it may be classified into more classes or two classes depending on the purpose.
  • the threshold value updating unit 142 determines the individuality regarding how the driver feels the state from the past driver's state and the degree of eye closure recorded in the recording unit 141, and based on the judgment result, the driver
  • the state classification unit 150 updates the threshold value for classifying the driver's state.
  • a method of updating the threshold value of the above-mentioned three-class classification of drowsiness will be described.
  • the threshold value update unit 142 takes out a sample from the data recorded in the recording unit 141, and obtains a regression line showing the relationship between the estimated value of drowsiness and the degree of eye closure.
  • FIG. 12 is an example of a regression line obtained from the latest 20 samples.
  • the horizontal axis is the estimated value of drowsiness calculated by the driver state calculation unit 140
  • the vertical axis is the degree of eye closure of the driver calculated by the eye closure degree calculation unit 171.
  • the threshold value update unit 142 adapts the threshold value to the driver by using the correlation.
  • the regression line of FIG. 12 has a small regression coefficient (slope of the regression line) and a small intercept, but this is a driver state calculation even when the driver has a low degree of eye closure, that is, a state in which he / she does not feel drowsy. It means that the estimated value of drowsiness calculated by the part 140 tends to be large.
  • the threshold value update unit 142 updates the threshold value between C2-C3 to a value larger than the current value to prevent an erroneous warning from being issued. To do.
  • the threshold update unit 142 updates the threshold between C2-C3 to a value smaller than the current value when the regression coefficient is large and the intercept is large, and C1-C2 when the regression coefficient is large and the intercept is small.
  • the inter-threshold value is updated to a value larger than the current value, and when the regression coefficient is small and the intercept is large, the inter-C1-C2 threshold value is updated to a value smaller than the current value.
  • FIG. 12 shows an example of obtaining a regression line using the latest 20 samples, but the number of samples and the interval may be arbitrary values.
  • the information presentation unit 160 presents information to the driver according to the classification result of the current driver's state by the driver state classification unit 150.
  • the method of presenting information may be a visual method of displaying an image such as an icon according to the driver's condition on the instrument panel or the center display of the vehicle 10, or the speaker provided in the vehicle 10 may be changed to the driver's condition. It may be an auditory one that outputs a corresponding voice message or alarm.
  • the information presentation unit 160 outputs a voice message from the speaker when the driver's drowsiness becomes class C2, displays an icon on the instrument panel, and displays the driver.
  • an alarm may be issued from the speaker, and an external image of the resting point closest to the center display and the route to the resting point may be displayed on the center display.
  • the threshold value update unit 142 determines the individuality regarding how the driver feels the state from the past driver state and the degree of eye closure. Then, based on the determination result, the driver state classification unit 150 updates the threshold value for classifying the driver's state. Therefore, the driver state classification unit 150 can make a detailed judgment in consideration of the individuality of the driver when classifying the state of the driver. Therefore, the accuracy of determining the driver's condition can be improved.
  • the biosensor unit 110 and the vehicle behavior sensor unit 120 are arranged in the driver state determination device 100, but the biosensor unit 110 and the vehicle behavior sensor unit 120 are the driver state determination device. It may be externally attached to 100. Further, if the behavior (movement) of the vehicle is not added to the calculation performed by the biological signal analysis unit 130 and the driver state calculation unit 140, the vehicle behavior sensor unit 120 may be omitted.
  • FIG. 14 is a diagram showing the configuration of the driver state determination device 100 according to the second embodiment.
  • the configuration of the driver state determination device 100 of FIG. 14 is a configuration in which the eye closure degree calculation unit 171 is replaced with the route information acquisition unit 172 with respect to the configuration of FIG.
  • the route information acquisition unit 172 acquires the position information, route information, traffic information, etc. of the vehicle 10 from the navigation system of the vehicle 10.
  • the recording unit 141 mutually obtains the data of the estimated value of the driver's state calculated by the driver state calculation unit 140 and the data of the route information of the vehicle 10 acquired by the route information acquisition unit 172. Record in sync. Further, the threshold value updating unit 142 determines the individuality regarding how the driver feels the state from the information recorded in the recording unit 141, and based on the determination result, the driver state classification unit 150 determines the driver. Update the threshold for classifying the state of. Since other configurations and operations of the driver state determination device 100 are the same as those in the first embodiment, the description of the same components as those in the first embodiment will be omitted here.
  • the driver state calculation unit 140 calculates an estimated value of the degree of anxiety as an estimated value of the driver's state.
  • the driver state classification unit 150 classifies the driver's anxiety level based on the threshold value updated by the threshold value update unit 142, and the information presentation unit 160 classifies the driver's anxiety level according to the classification result of the driver's anxiety level. Present information to the driver.
  • the threshold value update unit 142 refers to the data recorded in the recording unit 141, and confirms the estimated value of the driver's anxiety level when traveling on the currently traveling route in the past. If the estimated value of the anxiety degree is large when the driver has traveled on the currently traveling route in the past, the threshold value updating unit 142 performs processing such as reducing the threshold value for classifying the anxiety degree.
  • the route currently being traveled is the first route to be traveled and the past data on the route does not exist in the recording unit 141, as an alternative, the route is traveled to the route currently being traveled among other routes traveled in the past. Data of routes with similar conditions may be used.
  • the driver state calculation unit 140 calculates an estimated value of the driver's state as an estimated value of the driver's state, and the driver state classification unit 150 classifies the driver's carelessness. ..
  • the threshold value update unit 142 sets the threshold value for the carelessness classification in order to prevent a rear-end collision accident due to the driver's carelessness. Processing such as making it smaller may be performed.
  • the driver state classification unit 150 classifies the driver's state, the individuality of the driver, which can be seen from the driving history of the driver, is taken into consideration. Judgment will be made.
  • FIG. 15 is a diagram showing the configuration of the driver state determination device 100 according to the third embodiment.
  • the configuration of the driver state determination device 100 of FIG. 15 is a configuration in which the degree of eye closure calculation unit 171 is replaced with the vehicle interior environment information acquisition unit 173 with respect to the configuration of FIG.
  • the vehicle interior environment information acquisition unit 173 acquires information on the vehicle interior environment such as air conditioning set values, vehicle temperature, humidity, and carbon dioxide concentration from the air conditioning system of the vehicle 10.
  • the recording unit 141 synchronizes the data of the estimated value of the driver's state calculated by the driver state calculation unit 140 and the data of the information on the in-vehicle environment acquired by the route information acquisition unit 172 with each other. Let me record. Further, the threshold value updating unit 142 determines the individuality regarding how the driver feels the state from the information recorded in the recording unit 141, and based on the determination result, the driver state classification unit 150 determines the driver. Update the threshold for classifying the state of. Since other configurations and operations of the driver state determination device 100 are the same as those in the first embodiment, the description of the same components as those in the first embodiment will be omitted here.
  • the driver state calculation unit 140 calculates an estimated value of drowsiness or poor physical condition as an estimated value of the driver's state.
  • the driver state classification unit 150 classifies the driver's drowsiness and poor physical condition based on the threshold value updated by the threshold value update unit 142.
  • the information presentation unit 160 presents information to the driver according to the classification result of the driver's drowsiness and poor physical condition.
  • the threshold value update unit 142 takes out a sample from the data recorded in the recording unit 141 to obtain a regression line, and according to the regression coefficient of the regression line and the size of the intercept, the driver's Update the threshold for classifying states.
  • the threshold value update unit 142 may update the threshold value for classifying the driver's drowsiness or heat stroke based on the current temperature and humidity data acquired by the vehicle interior environment information acquisition unit 173.
  • the driver state classification unit 150 classifies the driver's state, a fine judgment is made in consideration of the in-vehicle environment of the vehicle 10. Become.
  • FIG. 16 is a diagram showing the configuration of the driver state determination device 100 according to the fourth embodiment.
  • the configuration of the driver state determination device 100 of FIG. 16 is a configuration in which the eye closure degree calculation unit 171 is replaced with the driver reaction determination unit 174 with respect to the configuration of FIG.
  • the driver reaction determination unit 174 operates the vehicle 10 performed by the driver after the information presentation unit 160 presents the information to the driver (that is, after the estimated value of the driver's state exceeds the threshold value).
  • the information is acquired to determine whether or not the operation of the vehicle 10 that matches the content of the information presentation has been performed, that is, whether or not the driver has accepted the content of the information presentation by the information presentation unit 160.
  • the driver state calculation unit 140 calculates an estimated value of concentration as an estimated value of the driver's state.
  • the eye closure degree calculation unit 171 may perform the eye closure degree calculation unit 171. After that, the information on the operation of the vehicle 10 performed by the driver is acquired. Then, the eye closure degree calculation unit 171 determines whether or not the driver operates the vehicle 10 according to the content of the information presentation, that is, whether or not the driver has moved the vehicle 10 to the presented break point.
  • the recording unit 141 receives the data of the estimated value of the driver's state calculated by the driver state calculation unit 140 and the determination result of the driver reaction determination unit 174 (the driver accepts the content of the information presentation). The data of (whether or not) is recorded in synchronization with each other. Further, the threshold value updating unit 142 determines the individuality regarding how the driver feels the state from the information recorded in the recording unit 141, and based on the determination result, the driver state classification unit 150 determines the driver. Update the threshold for classifying the state of. Since other configurations and operations of the driver state determination device 100 are the same as those in the first embodiment, the description of the same components as those in the first embodiment will be omitted here.
  • the threshold value update unit 142 refers to the data recorded in the recording unit 141 and confirms that the driver has not accepted the information presentation regarding the decrease in concentration in the past, the threshold value update unit 142 suppresses the excessive information presentation. In addition, processing such as increasing the threshold value for classifying the driver's concentration is performed.
  • the threshold value for classifying the driver's state is updated based on whether or not the driver accepts the content of the information presentation. Therefore, when the driver state classification unit 150 classifies the driver's state, a fine judgment is made according to the driver's preference.
  • FIG. 17 is a diagram showing a configuration of the driver state determination device 100 according to the fifth embodiment.
  • the configuration of the driver state determination device 100 of FIG. 17 is the same as that of the configuration of FIG. 1, the route information acquisition unit 172 described in the second embodiment, the in-vehicle environment information acquisition unit 173 described in the third embodiment, and the embodiment.
  • the driver reaction determination unit 174 described in 4 is added.
  • the recording unit 141 contains output data (estimated value of the driver's state) of the driver reaction determination unit 174, output data of the eye closure degree calculation unit 171 (driver's eye closure degree), and route information.
  • Output data of acquisition unit 172 position information and route information of vehicle 10, traffic information, etc.
  • output data of in-vehicle environment information acquisition unit 173 in-vehicle environment information
  • output data of driver reaction determination unit 174 driving. The judgment result of whether or not the person has accepted the content of the information presentation) is recorded in synchronization with each other.
  • the threshold value updating unit 142 determines the individuality regarding how the driver feels the state from the information recorded in the recording unit 141, and based on the determination result, the driver state classification unit 150 determines the driver. Update the threshold for classifying the state of. Since other configurations and operations of the driver state determination device 100 are the same as those in the first embodiment, the description of the same components as those in the first embodiment will be omitted here.
  • the threshold value update unit 142 operates based on the determination result of the driver reaction determination unit 174. It is preferable to update the threshold value for classifying the state of the person. However, if the information presentation unit 160 has never presented the information due to improper setting of the threshold value or the like, the driver reaction determination unit 174 has never made the determination. Therefore, it is impossible to update the threshold value based on the determination result of the driver reaction determination unit 174.
  • the threshold value update unit 142 includes the eye closure degree calculation unit 171 and the route information acquisition unit 172, and the vehicle interior environment information.
  • the threshold value for classifying the driver's state is updated based on the output data of any of the acquisition units 173. At this time, it is desirable that the threshold value is updated by taking advantage of the output data of the eye closure degree calculation unit 171 and the route information acquisition unit 172 and the vehicle interior environment information acquisition unit 173.
  • the threshold value update unit 142 updates the threshold value for classifying the driver's state, the eye closure degree calculation unit 171, the route information acquisition unit 172, and the in-vehicle environment information acquisition unit according to the flow of FIG.
  • the threshold value is updated by selecting either 173 or the output data of the driver reaction determination unit 174.
  • the threshold value update unit 142 first confirms whether or not the output data of the driver reaction determination unit 174 is recorded in the recording unit 141 (step ST101). However, if the output data of the driver reaction determination unit 174 is recorded (YES in step ST101), the threshold value is updated based on the data (step ST102). However, if the output data of the driver reaction determination unit 174 is not recorded in the recording unit 141 (NO in step ST101), the following processing is performed.
  • the output data of the route information acquisition unit 172 regarding the route is recorded in the recording unit 141, so that the threshold value is based on the data. By updating, the individuality of the driver can be reflected in the threshold value.
  • the output data of the route information acquisition unit 172 regarding the route is not recorded in the recording unit 141, so that the eye closure degree calculation unit 171 or It is necessary to use the output data of the vehicle interior environment information acquisition unit 173.
  • the threshold value updating unit 142 records in the recording unit 141 whether or not the currently traveling route is a route that the driver has traveled, that is, the output data of the route information acquisition unit 172 regarding the currently traveling route is recorded in the recording unit 141. It is confirmed whether or not it is present (step ST103). If the currently traveling route is a route in which the driver has travel experience (YES in step ST103), the threshold value is updated based on the output data of the route information acquisition unit 172 (step ST104).
  • the threshold value update unit 142 determines whether the current time is at night and the vehicle 10 is traveling in the tunnel. Check if it is inside (step ST105).
  • the threshold value update unit 142 updates the threshold value based on the output data of the in-vehicle environment information acquisition unit 173 recorded in the recording unit 141 (YES in step ST105) at night or during tunnel driving (step ST106). ). Further, when neither at night nor during tunnel driving (NO in step ST105), the threshold value update unit 142 updates the threshold value based on the output data of the eye closure degree calculation unit 171 recorded in the recording unit 141 (step ST107). ..
  • the threshold value for classifying the driver's condition is updated by taking advantage of each of the advantages of the first to fourth embodiments. Therefore, when the driver state classification unit 150 classifies the driver's state, a more detailed judgment is made.
  • ⁇ Hardware configuration example> 19 and 20 are diagrams showing an example of the hardware configuration of the driver state determination device 100, respectively.
  • Each function of the component of the driver state determination device 100 is realized by, for example, the processing circuit 50 shown in FIG. That is, the driver state determination device 100 acquires the biometric signal of the driver of the vehicle and analyzes the biometric signal to calculate the feature amount used for estimating the driver's state from the biometric signal, and features the biometric signal. By calculating an estimated value of the driver's condition based on the quantity and comparing the estimated value of the driver's condition with a predetermined threshold value, the driver's condition is classified and the classification result of the driver's condition is classified.
  • a processing circuit 50 for updating the threshold value based on the past information of at least one of them and the estimated value of the driver's condition is provided.
  • the processing circuit 50 may be dedicated hardware, or may be a processor (Central Processing Unit (CPU), processing unit, arithmetic unit, microprocessor, microprocessor, etc.) that executes a program stored in the memory. It may be configured by using a DSP (also called a Digital Signal Processor).
  • DSP also called a Digital Signal Processor
  • the processing circuit 50 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable). GateArray), or a combination of these, etc.
  • Each function of each component of the driver state determination device 100 may be realized by an individual processing circuit, or these functions may be collectively realized by one processing circuit.
  • FIG. 20 shows an example of the hardware configuration of the driver state determination device 100 when the processing circuit 50 is configured by using the processor 51 that executes the program.
  • the function of the component of the driver state determination device 100 is realized by software (software, firmware, or a combination of software and firmware).
  • the software or the like is described as a program and stored in the memory 52.
  • the processor 51 realizes the functions of each part by reading and executing the program stored in the memory 52. That is, the driver state determination device 100 estimates the driver's state from the biological signal by performing a process of acquiring the biological signal of the driver of the vehicle and analyzing the biological signal when executed by the processor 51.
  • a memory 52 for storing a program to be executed is provided. In other words, it can be said that this program causes the computer to execute the procedure and method of operation of the components of the driver state determination device 100.
  • the memory 52 is, for example, non-volatile such as RAM (RandomAccessMemory), ROM (ReadOnlyMemory), flash memory, EPROM (ErasableProgrammableReadOnlyMemory), EPROM (ElectricallyErasableProgrammableReadOnlyMemory), or the like. Volatile semiconductor memory, HDD (HardDiskDrive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (DigitalVersatileDisc) and its drive device, etc., or any storage medium used in the future. You may.
  • RAM RandomAccessMemory
  • ROM ReadOnlyMemory
  • flash memory EPROM (ErasableProgrammableReadOnlyMemory), EPROM (ElectricallyErasableProgrammableReadOnlyMemory), or the like.
  • Volatile semiconductor memory Volatile semiconductor memory, HDD (HardDiskDrive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (DigitalVersatileDisc) and
  • the present invention is not limited to this, and a configuration may be obtained in which a part of the components of the driver state determination device 100 is realized by dedicated hardware and another part of the components is realized by software or the like.
  • the function is realized by the processing circuit 50 as dedicated hardware, and for some other components, the processing circuit 50 as the processor 51 is a program stored in the memory 52. It is possible to realize the function by reading and executing it.
  • the driver state determination device 100 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.

Abstract

運転者状態判断装置（１００）は、車両（１０）の運転者の生体信号から運転者の状態の推定に用いる特徴量を算出する生体信号解析部（１３０）と、生体信号の特徴量に基づいて、運転者の状態の推定値を算出する運転者状態算出部（１４０）と、運転者の状態の推定値を予め定められた閾値と比較することで、運転者の状態を分類する運転者状態分類部（１５０）と、運転者の状態の分類結果に応じて、運転者に情報提示を行う情報提示部（１６０）とを備える。記録部（１４１）には、運転者の閉眼度、車両（１０）の経路情報、車両（１０）の車内環境情報、および、情報提示の内容に合致した車両（１０）の操作が行われたか否かの情報のうちの少なくとも１つと、運転者の状態の推定値とが、互いに同期して記録されており、閾値更新部（１４２）は、記録部（１４１）に記録された情報に基づいて、運転者の状態を分類するための閾値を更新する。

Description

運転者状態判断装置および運転者状態判断方法
　本発明は、車両に搭載されたセンサの出力データから、運転者の状態を判断する運転者状態判断装置に関するものである。
　車両の漫然運転が原因となった交通事故は依然として多い。そのため、センサで取得した運転者の生体信号に基づいて、例えば、運転者の疲労が蓄積した状態や運転に集中できていない状態といった通常とは異なる状態を検出して、漫然運転の回避に役立てる研究がなされている。また、運転者の状態（例えば眠気、疲労、不安度、集中力など）の本人の感じ方には個人性（個人差）があるため、運転者の状態の判断基準となる閾値を、個々の運転者ごとに異なる値に設定する方法が検討されている（例えば下記の特許文献１）。
国際公開第２００６／０５４５４２号
　特許文献１に開示された技術では、運転者が姿勢を変える頻度およびその変動量、運転者の血流量といった運転者の状態を表す情報に、運転者ごとに異なる閾値を設定することで、個人性への対応を図っている。しかし、姿勢を変える頻度およびその変動量、血流量といった情報は、その値の変化の要因となる事象が多いこと、また、運転者の状態変化が姿勢や血流として発現するまでに時間を要することなどから、それらの情報から運転者の個人性を判断することは難しい。また、特許文献１には、閾値を更新する具体的な方法については説明されていない。
　本発明は以上のような課題を解決するためになされたものであり、運転者の状態の推定を、その運転者の個人性を考慮して行うことが可能な運転者状態判断装置を提供することを目的とする。
　本発明に係る運転者状態判断装置は、車両の運転者の生体信号を取得する生体センサ部と、前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出する生体信号解析部と、前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出する運転者状態算出部と、前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類する運転者状態分類部と、前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行う情報提示部と、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値とを、互いに同期させて記録する記録部と、前記記録部に記録された情報に基づいて、前記閾値を更新する閾値更新部と、を備えるものである。
　本発明に係る運転者状態判断装置によれば、過去の運転者の状態および閉眼度の情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者の状態を分類するための閾値が更新される。運転者の状態の分類を、その運転者の個人性を考慮して行うことができ、運転者の状態の判断精度を向上させることができる。
　本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る運転者状態判断装置の構成を示す図である。 生体センサ部の構成を示す図である。 車両挙動センサ部の構成を示す図である。 生体信号解析部の構成を示す図である。 フィルタバンク生成部が生成するフィルタバンクの例を示す図である。 フィルタバンクが適用される前の振幅スペクトルの例を示す図である。 フィルタバンクが適用された後の振幅スペクトルの例を示す図である。 モデル学習のためのデータ収集における主観評価の例を示す図である。 学習したモデルを用いた運転者状態の算出結果の例を示す図である。 運転者の状態のクラス分類の例を示す図である。 運転者の状態を分類する閾値の初期値の決定方法の例を説明するための図である。 眠気の推定値と閉眼度と関係を示す回帰直線の例を示す図である。 閾値更新部における、閾値更新基準の例を示す図である。 実施の形態２に係る運転者状態判断装置の構成を示す図である。 実施の形態３に係る運転者状態判断装置の構成を示す図である。 実施の形態４に係る運転者状態判断装置の構成を示す図である。 実施の形態５に係る運転者状態判断装置の構成を示す図である。 実施の形態５の閾値更新部における更新基準とするデータ選択の手順の例を示すフローチャートである。 運転者状態判断装置のハードウェア構成例を示す図である。 運転者状態判断装置のハードウェア構成例を示す図である。
　＜実施の形態１＞
　図１は、本発明の実施の形態１に係る運転者状態判断装置１００の構成を示す図である。図１のように、運転者状態判断装置１００は、車両１０に搭載されており、生体センサ部１１０、車両挙動センサ部１２０、生体信号解析部１３０、運転者状態算出部１４０、記録部１４１、閾値更新部１４２、運転者状態分類部１５０、情報提示部１６０および閉眼度算出部１７１を備えている。
　生体センサ部１１０は、車両１０の運転者の生体信号を取得して出力する。生体センサ部１１０が取得する生体信号は、例えば心拍や脈波などの時系列信号である。生体センサ部１１０としては、例えば、心臓の収縮を電気的に捉える心電図センサや、脈動に伴うヘモグロビンの変化から血管の容積変化を検出することで心臓の収縮を捉える光電脈波センサなどがある。これらは、一般的に運転者の皮膚に接触あるいは近接させて使用されるセンサであるが、例えば、電波を用いて胸部変異を測定するセンサなど、運転者の皮膚に接触させずに使用されるセンサでもよい。このように、生体センサ部１１０には様々な種類が考えられるが、運転者の生体信号を出力可能であればどのようなものが用いられてもよい。
　生体センサ部１１０は単一のセンサでもよいが、本実施の形態では、図２のような構成の生体センサ部１１０が用いられている。図２のように、当該生体センサ部１１０は、第１生体センサ１１１、第２生体センサ１１２、姿勢センサ１１３、生体センサ選択部１１４を備えている。
　第１生体センサ１１１および第２生体センサ１１２は、いずれも運転者の生体信号を取得して出力するセンサである。ただし、第１生体センサ１１１と第２生体センサ１１２とでは、測定圏が互いに異なっている。
　姿勢センサ１１３は、運転者の姿勢を表す姿勢情報を取得する。姿勢センサ１１３が姿勢情報を取得する方法としては、例えば、運転席の座面または背面に配置された圧力センサを用いる方法や、カメラを用いたモーションキャプチャなどがあるが、運転者の姿勢情報を取得可能であればその方法は問わない。
　生体センサ選択部１１４は、姿勢センサ１１３が取得した運転者の姿勢情報に基づいて、運転者が第１生体センサ１１１および第２生体センサ１１２のどちらの測定圏内に存在するかを判定する。そして、生体センサ選択部１１４は、第１生体センサ１１１および第２生体センサ１１２のうち、測定圏内に運転者が存在する方が出力する生体信号を選択して出力する。
　このように、図２の生体センサ部１１０は、測定圏の異なる第１生体センサ１１１および第２生体センサ１１２を、運転者の姿勢に応じて選択的に使用することで、広い測定圏を実現している。それにより、生体センサ部１１０は、高い精度で運転者の生体信号を取得することができる。ここでは、生体センサ部１１０が２つの生体センサを有する例を示したが、生体センサの数は３つ以上でもよい。
　車両挙動センサ部１２０は、車両１０の挙動を観測し、車両１０の動きを表す車両挙動信号を出力する。車両挙動センサ部１２０としては、車両１０の加速度を測定する加速度センサや、車両１０の方位を測定するジャイロセンサ、あるいはその両方を組み合わせたものなどを用いることができる。
　本実施の形態では、図３のような構成の車両挙動センサ部１２０が用いられている。図３のように、当該車両挙動センサ部１２０は、車両１０の加速度に応じた加速度信号を出力する加速度センサ１２１と、加速度センサ１２１が出力する加速度信号のデータを解析する加速度信号解析部１２２とを備えている。本実施の形態では、加速度信号が、車両１０の挙動を表す車両挙動信号として使用される。なお、加速度センサ１２１としては、１軸、２軸あるいは３軸のセンサがあるが、そのいずれが用いられてもよい。加速度センサ１２１が複数軸のセンサである場合、加速度センサ１２１は、各軸の加速度信号をそれぞれ独立に出力する。
　生体信号解析部１３０は、生体センサ部１１０が出力する運転者の生体信号を解析することで、生体信号から、運転者の状態を推定するために必要な特徴量を算出する。本実施の形態では、図４のような構成の生体信号解析部１３０が用いられている。図４のように、本実施の形態の生体信号解析部１３０は、信号整形部１３１、スペクトル算出部１３２、フィルタバンク生成部１３３、フィルタバンク適用部１３４およびケプストラム算出部１３５を備えている。
　信号整形部１３１は、生体センサ部１１０から取得した生体信号を解析するための前処理を行う。具体的には、信号整形部１３１は、決められたフレームサイズで生体信号を切り出して、窓関数をかける。本実施の形態では、信号整形部１３１は、車両挙動センサ部１２０から取得した車両挙動信号（加速度信号）のデータに基づいて、車両１０の動きに起因する生体信号のノイズ成分を除去する。生体センサ部１１０の系統誤差が自明であれば、信号整形部１３１は、バンドパスフィルタによって生体信号のノイズ成分も除去してもよい。
　スペクトル算出部１３２は、高速フーリエ変換などの周波数解析によって、生体信号の対数振幅スペクトルを算出する。
　フィルタバンク生成部１３３は、周波数領域において、生体信号の帯域に相当する部分とノイズの帯域に相当する部分とで異なる解像度のバンドパスフィルタを生成する。生体信号から運転者の疲労や眠気、不安度といった状態を推定する手法として、運転者の心臓の収縮の情報に基づく手法がある。心臓の収縮を示す生体信号は、時系列信号として観測可能であるため、周波数解析によってその特徴を捉えることを考える。センサの分解能を上げるためにはサンプリング周波数を大きくする必要があるが、そうすると、取得されたデータの周波数領域において、生体信号が占める領域が小さくなる。したがって、生体信号に相当する情報を鋭敏に知覚する必要がある。そこで、フィルタバンク生成部１３３は、図５に示すような通過帯域の異なる三角フィルタ群を生成する。
　フィルタバンク適用部１３４は、スペクトル算出部１３２で算出された対数振幅スペクトルに、フィルタバンク生成部１３３で生成されたフィルタバンクを適用する。このとき、対数振幅スペクトルの長さと各フィルタバンクの長さとが同一である必要がある。例えば、図６のグラフの振幅スペクトルにフィルタバンクを適用すると、フィルタバンク適用後の振幅スペクトルは図７のグラフのようになる。これにより、周波数領域において生体信号の特徴を高密度に抽出しながら、ノイズに相当する特徴は低密度に抽出されるようにすることができる。
　ケプストラム算出部１３５は、フィルタバンク適用部１３４で得られた対数振幅スペクトルを離散コサイン変換などによって、ケプストラム領域に変換することで、運転者の状態推定に必要な特徴量を算出する。このとき、対数振幅スペクトルのうち、低周波に相当する情報をケプストラム領域に変換する。抽出するサンプル数は任意の数でよい。ここでは、ケプストラム算出部１３５の動作は、生体信号スケールのケプストラムを算出して終了するものとする。ただし、ケプストラム算出部１３５の動作はこれに限られず、例えば、ケプストラムを１階微分して得られる速度情報、または、ケプストラムを２階微分して得られる加速度情報を、特徴量の付加情報としてもよい。さらに、ケプストラム算出部１３５は、特徴量を必ずしも単一フレームの生体信号から算出しなくてもよく、連結された複数フレームの生体信号から算出してもよい。
　運転者状態算出部１４０は、生体信号の解析の結果得られた特徴量のデータに基づいて、運転者の状態の推定値を算出する。このとき、運転者状態算出部１４０は、車両挙動センサ部１２０において加速度センサ１２１が出力するデータを加速度信号解析部１２２が加速度信号を解析して得た車両１０の挙動のデータを、特徴量のデータに加えてもよい。運転者の状態の推定値は、運転者の状態を目的変数、特徴量を説明変数とする回帰分析などの手法により算出できる。
　本実施の形態では、運転者状態算出部１４０は、運転者の眠気の推定値を算出する。図８は、回帰解析のモデル学習のためのデータ収集における主観評価の一例である。運転者状態算出部１４０は、例えば図８のように、全く眠気を感じない状態を０、眠気の限界で今にも眠りそうな状態を１００として、０から１００までのスケールで眠気について回帰分析を行うことで、生体信号から運転者の眠気を推定する。学習したモデルを用いた運転者状態の算出結果の一例を図９に示す。運転者状態算出部１４０は、図９のように一定の周期で運転者の眠気の推定値を出力する。
　ここでは運転者状態算出部１４０が推定する運転者の状態を眠気としたが、これに限られず、例えば、運転者状態算出部１４０が運転者の疲労を推定してもよい。また、推定の手法も回帰分析に限られず、公知のパターン認識や機械学習手法などでもよい。
　閉眼度算出部１７１は、車両１０に設置されたカメラで撮影した運転者の顔の画像を取得し、その画像を解析することで運転者の閉眼度を算出して出力する。閉眼度は、目が完全に開いているときの上まぶたと下まぶたとの間の距離とある時刻での上まぶたと下まぶたとの間の距離との比の逆数をもって表される時系列信号である。例えば、目が完全に閉じているときの閉眼度を１００％、目が完全に開いているときの閉眼度を０％とすると、閉眼度の時系列信号に１００％になる瞬時的なピークが現れれば、それは瞬目したことを示す。この閉眼度の時系列信号を解析することで、眠気などの運転者の状態を判断することができる。なお、閉眼度算出部１７１が取得する画像は、静止画に限られず、動画でもよい。
　記録部１４１は、運転者状態算出部１４０が算出した運転者の状態（ここでは眠気）の推定値のデータと、閉眼度算出部１７１が出力した運転者の閉眼度のデータとを、互いに同期させて記録する。
　運転者状態分類部１５０は、予め定められた閾値と、運転者状態算出部１４０が算出した運転者の状態の推定値とを比較することで、運転者の状態を分類する。ここでは、運転者状態分類部１５０は、現在の運転者の状態を、眠気の度合いに応じたクラスに分類する。図１０は、運転者の状態のクラス分類の一例であり、運転者の眠気が、「Ｃ１：通常」、「Ｃ２：眠気を感じる」、「Ｃ３：強い眠気を感じる」という３つのクラスに分類されている。図１０において、各クラス間の閾値は、運転者状態算出部１４０で用いられるモデルを構築するための学習データを収集する際に、クラスＣ１とクラスＣ２との境界（Ｃ１－Ｃ２間閾値）およびクラスＣ２とクラスＣ３との境界（Ｃ２－Ｃ３間閾値）について、被験者が主観評価にて回答した結果の平均値である。図１１に各被験者の回答結果を示す。ここでは、運転者の状態（眠気）を３クラスに分類した例を示したが、目的に応じて、さらに多くのクラスに分類してもよいし、２クラスに分類してもよい。
　このように、各クラス間の閾値が設定されることで運転者の状態の分類が可能となるが、図１１に示した被験者の回答結果からも分かるように、状態の感じ方には個人性（個人差）がある。この個人性に対応するためには、各クラス間の閾値を、運転者ごとに修正して更新することが有効である。
　閾値更新部１４２は、記録部１４１に記録されている過去の運転者の状態および閉眼度の情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。以下、閾値更新部１４２の動作の例として、上述した眠気の３クラス分類の閾値を更新する方法について説明する。
　閾値更新部１４２は、記録部１４１に記録されているデータからサンプルを取り出し、眠気の推定値と閉眼度と関係を示す回帰直線を求める。図１２は、直近の２０サンプルから求めた回帰直線の例である。図１２のグラフにおいて、横軸は、運転者状態算出部１４０が算出した眠気の推定値であり、縦軸は、閉眼度算出部１７１が算出した運転者の閉眼度である。
　閉眼度と眠気との間には強い相関があるため、閾値更新部１４２は、その相関を利用して、閾値を運転者に適応させる。例えば、図１２の回帰直線は、回帰係数（回帰直線の傾き）が小さく切片も小さいが、これは、運転者が、閉眼度が低い状態すなわち眠気をあまり感じていない状態でも、運転者状態算出部１４０が算出する眠気の推定値が大きくなりやすい、という個人性を持つことを意味している。運転者がこのような個人性を持つ場合、例えば、クラスＣ２の状態になると警報を発するシステムにおいて、運転者が実際には眠気を感じていないにもかかわらず警報が発せられることになり、運転者に不快感を与える。そこで、閾値更新部１４２は、図１２のような回帰直線が得られた場合は、Ｃ２－Ｃ３間閾値を現在の値よりも大きい値に更新することで、誤った警告が発せられることを防止する。
　これと同様の考え方に基づき、閾値更新部１４２は、回帰係数が大きく切片も大きいときはＣ２－Ｃ３間閾値を現在よりも小さい値に更新し、回帰係数が大きく切片が小さいときはＣ１－Ｃ２間閾値を現在よりも大きい値に更新し、回帰係数が小さく切片が大きいときはＣ１－Ｃ２間閾値を現在よりも小さい値に更新する。以上の閾値更新部１４２の動作をまとめると図１３のようになる。
　なお、回帰係数が負の値となるときは、運転者の状態の推定値が不安定であるため、運転者状態分類部１５０の処理を停止させてもよい。また、図１２は、直近の２０サンプルを用いて回帰直線を求める例を示したが、サンプルの数および間隔はそれぞれ任意の値でよい。
　情報提示部１６０は、運転者状態分類部１５０による現在の運転者の状態の分類結果に応じて、運転者に情報提示を行う。情報提示の方法は、車両１０のインストゥルメンタルパネルやセンターディスプレイに運転者の状態に応じたアイコンなどの画像を表示する視覚的なものでもよいし、車両１０が備えるスピーカーから運転者の状態に応じた音声メッセージや警報を出力する聴覚的なものでもよい。
　上述した眠気の３クラス分類の例であれば、情報提示部１６０は、運転者の眠気がクラスＣ２になると、スピーカーから音声メッセージを出力するとともに、インストゥルメンタルパネルにアイコンを表示し、運転者の眠気がクラスＣ３になると、スピーカーから警報を発するとともに、センターディスプレイに最寄りの休憩地点の外観画像やその休憩地点までの経路をセンターディスプレイに表示することなどが考えられる。
　以上のように、実施の形態１に係る運転者状態判断装置１００では、閾値更新部１４２が、過去の運転者の状態および閉眼度の情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。よって、運転者状態分類部１５０は、運転者の状態を分類する際に、運転者の個人性が考慮されたきめ細かな判断をすることができる。よって、運転者の状態の判断精度を向上させることができる。
　なお、図１においては、生体センサ部１１０および車両挙動センサ部１２０が、運転者状態判断装置１００内に配置されているが、生体センサ部１１０および車両挙動センサ部１２０は、運転者状態判断装置１００に外付けされるものでもよい。また、生体信号解析部１３０および運転者状態算出部１４０が行う演算に、車両の挙動（動き）を加味しない場合は、車両挙動センサ部１２０は省略されてもよい。
　＜実施の形態２＞
　図１４は、実施の形態２に係る運転者状態判断装置１００の構成を示す図である。図１４の運転者状態判断装置１００の構成は、図１の構成に対し、閉眼度算出部１７１を経路情報取得部１７２に置き換えたものである。経路情報取得部１７２は、車両１０のナビゲーションシステムから、車両１０の位置情報および経路情報、交通情報などを取得する。
　実施の形態２では、記録部１４１は、運転者状態算出部１４０が算出した運転者の状態の推定値のデータと、経路情報取得部１７２が取得した車両１０の経路情報のデータとを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。
　例えば、運転者状態算出部１４０が、運転者の状態の推定値として、不安度の推定値を算出するものと仮定する。この場合、運転者状態分類部１５０は、閾値更新部１４２により更新される閾値に基づいて運転者の不安度を分類し、情報提示部１６０は、運転者の不安度の分類結果に応じて、運転者への情報提示を行う。
　閾値更新部１４２は、記録部１４１に記録されたデータを参照して、現在走行中の経路を過去に走行したときの、運転者の不安度の推定値を確認する。現在走行中の経路を過去に走行したときに運転者が不安度の推定値が大きくなっていれば、閾値更新部１４２は、不安度を分類するための閾値を小さくするといった処理を行う。
　なお、現在走行中の経路が初めて走行する経路であり、当該経路に関する過去のデータが記録部１４１に存在しない場合、その代替として、過去に走行した他の経路のうち現在走行中の経路に走行条件が類似した経路のデータを用いてもよい。
　また、例えば、運転者状態算出部１４０が、運転者の状態の推定値として不注意度の推定値を算出し、運転者状態分類部１５０が運転者の不注意度を分類するものと仮定する。この場合、経路情報取得部１７２が現在走行中の経路の渋滞発生情報を取得すると、閾値更新部１４２が、運転者の不注意による追突事故を防止するために、不注意度の分類の閾値を小さくするといった処理を行ってもよい。
　実施の形態２に係る運転者状態判断装置１００によれば、運転者状態分類部１５０が運転者の状態を分類する際に、運転者の走行履歴から分かる運転者の個人性が考慮されたきめ細かな判断が行われるようになる。
　＜実施の形態３＞
　図１５は、実施の形態３に係る運転者状態判断装置１００の構成を示す図である。図１５の運転者状態判断装置１００の構成は、図１の構成に対し、閉眼度算出部１７１を車内環境情報取得部１７３に置き換えたものである。車内環境情報取得部１７３は、車両１０の空調システムから、空調の設定値、車内の気温、湿度、二酸化炭素濃度など、車内環境の情報を取得する。
　実施の形態３では、記録部１４１は、運転者状態算出部１４０が算出した運転者の状態の推定値のデータと、経路情報取得部１７２が取得した車内環境の情報のデータとを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。
　例えば、運転者状態算出部１４０が、運転者の状態の推定値として、眠気や体調不良度の推定値を算出するものと仮定する。この場合、運転者状態分類部１５０は、閾値更新部１４２により更新される閾値に基づいて、運転者の眠気や体調不良度を分類する。また、情報提示部１６０は、運転者の眠気や体調不良度の分類結果に応じて、運転者への情報提示を行う。
　一般に、二酸化炭素濃度が高くなると、倦怠感や頭痛、眠気など人体に悪影響を及ぼすことが知られている。そこで、閾値更新部１４２は、記録部１４１に記録されたデータからサンプルを取り出して回帰直線を求め、その回帰直線の回帰係数および切片の大きさに応じて、図１３と同様に、運転者の状態を分類するための閾値を更新する。
　また、閾値更新部１４２は、車内環境情報取得部１７３が取得した現在の気温および湿度のデータに基づいて、運転者の眠気や熱中症といった状態を分類するための閾値を更新してもよい。
　実施の形態３に係る運転者状態判断装置１００によれば、運転者状態分類部１５０が運転者の状態を分類する際に、車両１０の車内環境が考慮されたきめ細かな判断が行われるようになる。
　＜実施の形態４＞
　図１６は、実施の形態４に係る運転者状態判断装置１００の構成を示す図である。図１６の運転者状態判断装置１００の構成は、図１の構成に対し、閉眼度算出部１７１を運転者反応判定部１７４に置き換えたものである。運転者反応判定部１７４は、情報提示部１６０が運転者に情報提示を行った後（つまり、運転者の状態の推定値が閾値を超えた後）に運転者が行った車両１０の操作の情報を取得して、情報提示の内容に合致した車両１０の操作が行われたか否か、つまり、運転者が情報提示部１６０による情報提示の内容を受け入れたか否かを判定する。
　例えば、運転者状態算出部１４０が、運転者の状態の推定値として、集中力の推定値を算出するものと仮定する。このとき、運転者状態分類部１５０により運転者の集中力が低下した状態にあると判断され、情報提示部１６０が運転者に休憩地点への案内を提示した場合、閉眼度算出部１７１は、その後に運転者が行った車両１０の操作の情報を取得する。そして、閉眼度算出部１７１は、運転者がその情報提示の内容に従って車両１０を操作したかどうか、つまり、運転者が車両１０を提示された休憩地点へ移動させたかどうかを判定する。
　実施の形態４では、記録部１４１は、運転者状態算出部１４０が算出した運転者の状態の推定値のデータと、運転者反応判定部１７４の判定結果（運転者が情報提示の内容を受け入れたか否か）のデータとを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。
　例えば、運転者状態分類部１５０により運転者の集中力が低下したと判断され、情報提示部１６０による情報提示が行われたにもかかわらず、運転者がそれに従って車両１０を操作しなかった場合、実際には、運転者は集中力の低下を感じていなかったと考えることができる。そこで、閾値更新部１４２は、記録部１４１に記録されているデータを参照して、過去に運転者が集中力低下に関する情報提示を受け入れなかったことを確認すると、過度な情報提示を抑制するために、運転者の集中力を分類するための閾値を大きくするといった処理を行う。
　実施の形態４に係る運転者状態判断装置１００によれば、情報提示の内容を運転者が受け入れたかどうかに基づいて、運転者の状態を分類するための閾値の更新が行われる。よって、運転者状態分類部１５０が運転者の状態を分類する際に、運転者の好みに応じたきめ細かな判断が行われるようになる。
　＜実施の形態５＞
　図１７は、実施の形態５に係る運転者状態判断装置１００の構成を示す図である。図１７の運転者状態判断装置１００の構成は、図１の構成に対し、実施の形態２で説明した経路情報取得部１７２、実施の形態３で説明した車内環境情報取得部１７３および実施の形態４で説明した運転者反応判定部１７４を追加したものである。
　実施の形態４では、記録部１４１は、運転者反応判定部１７４の出力データ（運転者の状態の推定値）と、閉眼度算出部１７１の出力データ（運転者の閉眼度）と、経路情報取得部１７２の出力データ（車両１０の位置情報および経路情報、交通情報など）と、車内環境情報取得部１７３の出力データ（車内環境の情報）と、運転者反応判定部１７４の出力データ（運転者が情報提示の内容を受け入れたか否かの判定結果）とを、互いに同期させて記録する。また、閾値更新部１４２は、記録部１４１に記録されたこれらの情報から、運転者の状態の感じ方に関する個人性を判断し、その判断結果に基づいて、運転者状態分類部１５０が運転者の状態を分類するための閾値を更新する。運転者状態判断装置１００のその他の構成および動作は、実施の形態１と同様であるため、ここでは実施の形態１と同様の構成要素についての説明は省略する。
　運転者状態分類部１５０が行う運転者の状態の分類に、運転者の個人性を的確に反映させるためには、閾値更新部１４２が、運転者反応判定部１７４の判定結果に基づいて、運転者の状態を分類するための閾値を更新することが好ましい。しかし、そもそも閾値の設定が不適切であったことなどが原因で、情報提示部１６０による情報提示が一度もなされていない場合には、運転者反応判定部１７４による判定も一度も成されていないため、運転者反応判定部１７４の判定結果に基づく当該閾値の更新は不可能である。
　そこで、実施の形態５では、閾値更新部１４２は、運転者反応判定部１７４の出力データが記録部１４１に記録されていない場合に、閉眼度算出部１７１、経路情報取得部１７２、車内環境情報取得部１７３のいずれかの出力データに基づいて、運転者の状態を分類するための閾値を更新する。このとき、閉眼度算出部１７１、経路情報取得部１７２および車内環境情報取得部１７３の出力データそれぞれの長所を活かした閾値の更新が行われることが望ましい。
　閾値更新部１４２の動作の一例を示す。本実施の形態では、閾値更新部１４２は、運転者の状態を分類するための閾値を更新する際、図１８のフローに従って、閉眼度算出部１７１、経路情報取得部１７２、車内環境情報取得部１７３、運転者反応判定部１７４の出力データのいずれかを選択して、閾値の更新を行う。
　上述したように、運転者の状態の分類に、運転者の個人性を的確に反映させるためには、閾値の更新が、運転者反応判定部１７４の出力データに基づいて行われることが好ましい。そこで、閾値更新部１４２は、まず、記録部１４１に運転者反応判定部１７４の出力データが記録されているか否かを確認する（ステップＳＴ１０１）。しかし、運転者反応判定部１７４の出力データが記録されていれば（ステップＳＴ１０１でＹＥＳ）、そのデータに基づく閾値の更新を行う（ステップＳＴ１０２）。しかし、記録部１４１に運転者反応判定部１７４の出力データが記録されていなければ（ステップＳＴ１０１でＮＯ）、以下の処理が行われる。
　例えば、車両１０が、運転者が走行した経験のある経路を走行中であれば、その経路に関する経路情報取得部１７２の出力データが記録部１４１に記録されているため、そのデータに基づいて閾値を更新することにより、閾値に運転者の個人性を反映させることができる。しかし、車両１０が、運転者が走行した経験のない経路を走行中であれば、その経路に関する経路情報取得部１７２の出力データは記録部１４１に記録されていないため、閉眼度算出部１７１あるいは車内環境情報取得部１７３の出力データを使用する必要がある。
　そこで、閾値更新部１４２は、現在走行中の経路が運転者の走行経験のある経路か否か、すなわち、現在走行中の経路に関する経路情報取得部１７２の出力データが記録部１４１に記録されているか否かを確認する（ステップＳＴ１０３）。現在走行中の経路が運転者の走行経験のある経路であれば（ステップＳＴ１０３でＹＥＳ）、経路情報取得部１７２の出力データに基づいて閾値の更新を行う（ステップＳＴ１０４）。
　車両１０が現在走行中の経路が運転者の走行経験のない経路であれば（ステップＳＴ１０３でＮＯ）、閾値更新部１４２は、現在時刻が夜間であるかどうか、また、車両１０がトンネルを走行中かどうかを確認する（ステップＳＴ１０５）。
　閉眼度算出部１７１は、カメラで撮影された運転者の顔の画像から閉眼度を算出するため、カメラの性能や仕様にもよるが、一般的には夜間やトンネル内など鮮明な画像の撮影が困難な状況では、閉眼度の算出精度は低下する。そこで、閾値更新部１４２は、夜間またはトンネル走行中のときは（ステップＳＴ１０５でＹＥＳ）、記録部１４１に記録された車内環境情報取得部１７３の出力データに基づいて閾値の更新を行う（ステップＳＴ１０６）。また、夜間でもトンネル走行中でもないときは（ステップＳＴ１０５でＮＯ）、閾値更新部１４２は、記録部１４１に記録された閉眼度算出部１７１の出力データに基づいて閾値の更新を行う（ステップＳＴ１０７）。
　本実施の形態によれば、実施の形態１～４それぞれの長所を生かして、運転者の状態を分類するための閾値の更新が行われる。よって、運転者状態分類部１５０が運転者の状態を分類する際に、さらにきめ細かな判断が行われるようになる。
　＜ハードウェア構成例＞
　図１９および図２０は、それぞれ運転者状態判断装置１００のハードウェア構成の例を示す図である。運転者状態判断装置１００の構成要素の各機能は、例えば図１９に示す処理回路５０により実現される。すなわち、運転者状態判断装置１００は、車両の運転者の生体信号を取得し、生体信号を解析することで、生体信号から運転者の状態の推定に用いる特徴量を算出し、生体信号の特徴量に基づいて、運転者の状態の推定値を算出し、運転者の状態の推定値を予め定められた閾値と比較することで、運転者の状態を分類し、運転者の状態の分類結果に応じて、運転者に情報提示を行い、運転者の閉眼度、車両の経路情報、車両の車内環境情報、および、情報提示の内容に合致した車両の操作が行われたか否かの情報のうちの少なくとも１つと、運転者の状態の推定値との、過去の情報に基づいて、閾値を更新する、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。
　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。運転者状態判断装置１００の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
　図２０は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における運転者状態判断装置１００のハードウェア構成の例を示している。この場合、運転者状態判断装置１００の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転者状態判断装置１００は、プロセッサ５１により実行されるときに、車両の運転者の生体信号を取得する処理と、生体信号を解析することで、生体信号から運転者の状態の推定に用いる特徴量を算出する処理と、生体信号の特徴量に基づいて、運転者の状態の推定値を算出する処理と、運転者の状態の推定値を予め定められた閾値と比較することで、運転者の状態を分類し、運転者の状態の分類結果に応じて、運転者に情報提示を行う処理と、運転者の閉眼度、車両の経路情報、車両の車内環境情報、および、情報提示の内容に合致した車両の操作が行われたか否かの情報のうちの少なくとも１つと、運転者の状態の推定値との、過去の情報に基づいて、閾値を更新する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、運転者状態判断装置１００の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、運転者状態判断装置１００の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、運転者状態判断装置１００の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、運転者状態判断装置１００は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
　本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　１１３　姿勢センサ、１１４　生体センサ選択部、１２０　車両挙動センサ部、１２１　加速度センサ、１２２　加速度信号解析部、１３０　生体信号解析部、１３１　信号整形部、１３２　スペクトル算出部、１３３　フィルタバンク生成部、１３４　フィルタバンク適用部、１３５　ケプストラム算出部、１４０　運転者状態算出部、１４１　記録部、１４２　閾値更新部、１５０　運転者状態分類部、１６０　情報提示部、１７１　閉眼度算出部、１７２　経路情報取得部、１７３　車内環境情報取得部、１７４　運転者反応判定部、５０　処理回路、５１　プロセッサ、５２　メモリ。

Claims (6)

  1. 　車両の運転者の生体信号を取得する生体センサ部と、
    　前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出する生体信号解析部と、
    　前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出する運転者状態算出部と、
    　前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類する運転者状態分類部と、
    　前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行う情報提示部と、
    　前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値とを、互いに同期させて記録する記録部と、
    　前記記録部に記録された情報に基づいて、前記閾値を更新する閾値更新部と、
    を備える運転者状態判断装置。
  2. 　前記生体センサ部は、
    　それぞれ測定圏が異なる複数の生体センサと、
    　前記運転者の姿勢を表す姿勢情報を取得する姿勢センサと、
    　前記姿勢情報に基づいて、前記複数の生体センサのうちから測定圏内に前記運転者が存在する生体センサを選択し、選択された生体センサが取得した生体信号を出力する生体センサ選択部と、
    を備える、
    請求項１に記載の運転者状態判断装置。
  3. 　前記車両の動きを表す車両挙動信号を出力する車両挙動センサ部をさらに備え、
    　前記生体信号解析部は、前記車両挙動信号を考慮に加えて、前記生体信号を解析する、
    請求項１または請求項２に記載の運転者状態判断装置。
  4. 　前記車両挙動信号は、前記車両の加速度信号である、
    請求項３に記載の運転者状態判断装置。
  5. 　前記生体信号解析部は、前記生体信号の周波数解析を行い、前記周波数解析の過程で、前記生体信号の対数振幅スペクトルに対し、前記生体信号が含まれる周波数帯域とそれ以外の周波数帯域とで解像度の異なるフィルタバンクを適用する、
    請求項１から請求項４のいずれか一項に記載の運転者状態判断装置。
  6. 　運転者状態判断装置の生体センサ部が、車両の運転者の生体信号を取得し、
    　前記運転者状態判断装置の生体信号解析部が、前記生体信号を解析することで、前記生体信号から前記運転者の状態の推定に用いる特徴量を算出し、
    　前記運転者状態判断装置の運転者状態算出部が、前記生体信号の特徴量に基づいて、前記運転者の状態の推定値を算出し、
    　前記運転者状態判断装置の運転者状態分類部が、前記運転者の状態の推定値を予め定められた閾値と比較することで、前記運転者の状態を分類し、
    　前記運転者状態判断装置の情報提示部が、前記運転者の状態の分類結果に応じて、前記運転者に情報提示を行い、
    　前記運転者状態判断装置の閾値更新部が、前記運転者の閉眼度、前記車両の経路情報、前記車両の車内環境情報、および、前記情報提示の内容に合致した前記車両の操作が行われたか否かの情報のうちの少なくとも１つと、前記運転者の状態の推定値との、過去の情報に基づいて、前記閾値を更新する、
    運転者状態判断方法。
PCT/JP2019/029170 2019-07-25 2019-07-25 運転者状態判断装置および運転者状態判断方法 WO2021014632A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019569858A JP6727465B1 (ja) 2019-07-25 2019-07-25 運転者状態判断装置および運転者状態判断方法
PCT/JP2019/029170 WO2021014632A1 (ja) 2019-07-25 2019-07-25 運転者状態判断装置および運転者状態判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/029170 WO2021014632A1 (ja) 2019-07-25 2019-07-25 運転者状態判断装置および運転者状態判断方法

Publications (1)

Publication Number Publication Date
WO2021014632A1 true WO2021014632A1 (ja) 2021-01-28

Family

ID=71663968

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029170 WO2021014632A1 (ja) 2019-07-25 2019-07-25 運転者状態判断装置および運転者状態判断方法

Country Status (2)

Country Link
JP (1) JP6727465B1 (ja)
WO (1) WO2021014632A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023112073A1 (ja) * 2021-12-13 2023-06-22 三菱電機株式会社 基準値作成装置、覚醒度推定装置、および、基準値作成方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11128185A (ja) * 1997-10-31 1999-05-18 Matsushita Electric Ind Co Ltd 心拍変動解析方法および装置
WO2008120312A1 (ja) * 2007-03-28 2008-10-09 Pioneer Corporation 状態判定装置、状態判定方法及び状態判定プログラム
JP2011022738A (ja) * 2009-07-15 2011-02-03 Nissan Motor Co Ltd 運転者状態推定装置及び方法
JP2014117425A (ja) * 2012-12-14 2014-06-30 Delta Tooling Co Ltd 運転時生体状態判定装置及びコンピュータプログラム
JP2017021731A (ja) * 2015-07-15 2017-01-26 日立オートモティブシステムズ株式会社 運転状態監視方法，装置，およびそれを備えた車両
JP2017140187A (ja) * 2016-02-09 2017-08-17 株式会社デンソーアイティーラボラトリ 運転者用呼吸モニタ装置
JP2018117740A (ja) * 2017-01-24 2018-08-02 パイオニア株式会社 生体情報検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007146998A (ja) * 2005-11-29 2007-06-14 Toyota Motor Corp 変速機の制御装置
JP2010256943A (ja) * 2009-04-21 2010-11-11 Nec Corp ドライバ状態判定システム、判定方法及び判定用プログラム
JP5423724B2 (ja) * 2011-04-28 2014-02-19 トヨタ自動車株式会社 ドライバ状態判定装置
JP6689214B2 (ja) * 2017-01-19 2020-04-28 株式会社デンソーアイティーラボラトリ ドライバ緊張度表示装置及びドライバ緊張度表示方法
CN109598174A (zh) * 2017-09-29 2019-04-09 厦门歌乐电子企业有限公司 驾驶员状态的检测方法、及其装置和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11128185A (ja) * 1997-10-31 1999-05-18 Matsushita Electric Ind Co Ltd 心拍変動解析方法および装置
WO2008120312A1 (ja) * 2007-03-28 2008-10-09 Pioneer Corporation 状態判定装置、状態判定方法及び状態判定プログラム
JP2011022738A (ja) * 2009-07-15 2011-02-03 Nissan Motor Co Ltd 運転者状態推定装置及び方法
JP2014117425A (ja) * 2012-12-14 2014-06-30 Delta Tooling Co Ltd 運転時生体状態判定装置及びコンピュータプログラム
JP2017021731A (ja) * 2015-07-15 2017-01-26 日立オートモティブシステムズ株式会社 運転状態監視方法，装置，およびそれを備えた車両
JP2017140187A (ja) * 2016-02-09 2017-08-17 株式会社デンソーアイティーラボラトリ 運転者用呼吸モニタ装置
JP2018117740A (ja) * 2017-01-24 2018-08-02 パイオニア株式会社 生体情報検出装置

Also Published As

Publication number Publication date
JP6727465B1 (ja) 2020-07-22
JPWO2021014632A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
EP2363067B1 (en) Arousal state classification model generating device, arousal state classifying device, and warning device
US20220095975A1 (en) Detection of cognitive state of a driver
US8306271B2 (en) Drowsiness assessment device and program
US7283056B2 (en) Method and computer program for identification of inattentiveness by the driver of a vehicle
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
US8433095B2 (en) Drowsiness detector
EP2087841A1 (en) Arousal level judging method and arousal level judging program
Doshi et al. A comparative exploration of eye gaze and head motion cues for lane change intent prediction
JP5007975B2 (ja) 居眠り検知装置
KR20110017883A (ko) 졸음 이벤트의 검출을 위한 방법 및 장치
EP3091900A1 (en) Systems and methods for diagnosing sleep
WO2017049628A1 (en) Devices, systems, and associated methods for evaluating potential stroke condition in subject
JP4977856B2 (ja) 覚醒状態検知方法および覚醒状態検知装置
CN109716411A (zh) 用以监测驾驶员的活动水平的方法和设备
JP6399311B2 (ja) 居眠り検知装置
WO2021014632A1 (ja) 運転者状態判断装置および運転者状態判断方法
JP6666705B2 (ja) 生体状態推定装置、生体状態推定方法及びコンピュータプログラム
Dehzangi et al. Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors
EP3157433B1 (en) Monitoring drowsiness
Murugappan et al. Subtractive fuzzy classifier based driver drowsiness levels classification using EEG
US20220265217A1 (en) Drowsiness estimation information correction device, drowsiness estimation device, drowsiness estimation information correction method, drowsiness estimation method, and recording medium
WO2017057022A1 (ja) 生体状態推定装置、生体状態推定方法及びコンピュータプログラム
JP2004089272A (ja) 生体状態推定方法及び装置、プログラム
JP2013111348A (ja) 状態判定装置および状態判定方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019569858

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938625

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938625

Country of ref document: EP

Kind code of ref document: A1