WO2010032491A1 - 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム - Google Patents

注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム Download PDF

Info

Publication number
WO2010032491A1
WO2010032491A1 PCT/JP2009/004771 JP2009004771W WO2010032491A1 WO 2010032491 A1 WO2010032491 A1 WO 2010032491A1 JP 2009004771 W JP2009004771 W JP 2009004771W WO 2010032491 A1 WO2010032491 A1 WO 2010032491A1
Authority
WO
WIPO (PCT)
Prior art keywords
attention
driver
driving
rule
state
Prior art date
Application number
PCT/JP2009/004771
Other languages
English (en)
French (fr)
Inventor
森川幸治
中田透
寺田佳久
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2009801108595A priority Critical patent/CN101980660B/zh
Priority to JP2010503303A priority patent/JP4500369B2/ja
Publication of WO2010032491A1 publication Critical patent/WO2010032491A1/ja
Priority to US12/793,263 priority patent/US8239015B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a device that measures a driver's condition using an electroencephalogram and supports safe driving.
  • a method of estimating the driver's state there is a method of indirectly obtaining a steering wheel steering angle or a change in traveling speed that reflects the operation state of the vehicle.
  • This method is information that can be easily acquired from the device side. For example, it is possible to support driving stability evaluation in combination with white line detection.
  • An electroencephalogram is a potential change on the scalp that can be measured by the head, and is considered to reflect brain activity, which may best represent the driver's condition.
  • An object of the present invention is to provide a distraction detection device for driving by a driver.
  • the driver's attention situation during driving is one of the situations where it is difficult to understand the situation of the vehicle such as the steering angle of the steering wheel or the external measurement of the camera.
  • the detection of the distraction situation is effective information for safe driving support. It is thought that it becomes.
  • Patent Document 1 An application for the purpose of detecting attention so far includes an invention disclosed in Patent Document 1, for example. This is an invention for detecting the driver's attention distribution from the vehicle situation, the driver's line of sight and the movement of the face.
  • a method for estimating brain activity from vehicle behavior is provided by providing a database in which the relationship between the brain activity status and the driver's vehicle operation is stored in advance. .
  • JP 2004-178367 A (Distribution of attention is detected from line of sight and face movement)
  • JP 2005-228003 A (Estimation of brain activity from vehicle operation information)
  • Patent Document 1 it is difficult to deal with cases where attention is distracted, such as when attention is not directed even if the line of sight is facing.
  • the present invention has been made to solve the above-mentioned problems, and its purpose is to accurately detect whether or not the driver's attention is distracted and to provide appropriate safe driving support to the driver. It is to provide.
  • the distraction detection device holds an electroencephalogram detection unit that detects an electroencephalogram signal of a driver, and a first rule that correlates the electroencephalogram signal and arousal level, and is based on the detected electroencephalogram signal and the first rule.
  • a wakefulness level estimation unit for estimating the wakefulness level, and a second rule for associating the electroencephalogram signal with the degree of attention distribution, and determining the degree of attention distribution based on the detected electroencephalogram signal and the second rule.
  • the first rule associates the frequency intensity of the electroencephalogram signal with the arousal level
  • the arousal level estimation unit calculates the frequency intensity of the detected electroencephalogram signal, and based on the calculation result and the first rule The arousal level may be estimated.
  • the arousal level estimation unit is provided in advance with a plurality of groups determined according to the frequency intensity of the electroencephalogram signal, and the arousal level estimation unit calculates the frequency intensities of the electroencephalogram signal calculated at a plurality of times.
  • the arousal level may be estimated based on at least one frequency intensity classified into one of the plurality of groups and the first rule.
  • the second rule associates the amplitude of the event-related potential of the electroencephalogram signal with attention allocation, and the attention allocation estimation unit calculates the amplitude of the event-related potential of the detected electroencephalogram signal, and the calculation result and The degree of attention distribution may be estimated based on the second rule.
  • the attention allocation estimation unit is provided in advance with a plurality of groups determined according to the amplitude of the event-related potential, and the attention allocation estimation unit is configured to calculate each event-related potential of the electroencephalogram signal calculated at a plurality of times. Classifying the amplitude into one of the plurality of groups, and estimating the degree of attention distribution based on the amplitude of at least one event-related potential classified into one of the plurality of groups and the second rule. May be.
  • the distraction detection device further includes an external environment detection unit for detecting an external environment, and the driver state estimation unit has a rule for deriving a required attention amount based on the detected external environment, The required attention amount derived by applying the rules to the external environment detected by the external environment detection unit is compared with the attention amount for driving estimated by the driver state estimation unit, and driving It may be determined whether a person is paying attention to the complexity of the external environment.
  • the driver state estimation unit calculates a driver's attention amount for driving by multiplying the arousal level estimated by the arousal level estimation unit and the attention distribution for the driving estimated by the attention distribution estimation unit. May be.
  • the attention allocation estimation unit has a rule for associating a relationship between attention allocation for non-driving and attention allocation for driving, and estimates attention allocation for the driving based on the attention allocation other than the driving and the rules.
  • the driver state estimation unit is configured to calculate a caution distribution for non-driving and a caution distribution for the driving estimated based on the rules, and a wakefulness estimated by the wakefulness estimation unit.
  • the amount of attention to the driver's driving may be calculated by multiplication.
  • the distraction detection method includes a step of preparing a first rule for associating an electroencephalogram signal with an arousal level, a step of preparing a second rule for associating the electroencephalogram signal with a degree of attention allocation, an alertness level and an attention allocation.
  • Preparing a third rule for deriving an attention amount from the step detecting a driver's brain wave signal, estimating the arousal level based on the detected brain wave signal and the first rule, A step of estimating a degree of attention distribution based on the detected electroencephalogram signal and the second rule; and a driver's attention amount for driving based on the estimated arousal level, the attention distribution and the third rule
  • And classifying the driver's state into a normal state, a low attention amount state, and a low arousal state, and a classification result of the step of classifying Includes a step of performing encourage for the driver.
  • the computer program according to the present invention executed by a computer has a first rule for associating the computer with the step of receiving a driver's brain wave signal, the detected driver's brain wave signal, and the brain wave signal and arousal level. Estimating an arousal level based on the detected EEG signal, and estimating a degree of attention distribution based on a second rule relating the brain wave signal to the degree of attention distribution; and the estimated awakening Based on the third rule for deriving the attention amount from the degree, the attention distribution, and the alertness and the attention distribution, the driver's attention amount to the driving is estimated, and the driver's state is changed to the normal state, the attention amount.
  • the driver's state can be determined more accurately by using only an electroencephalogram sensor, so that appropriate support according to the state can be implemented.
  • the device appropriately supports the driver, the reliability of the user is increased, and the driver can appropriately respond to the information on the device, thereby realizing safe driving.
  • (A) is a figure which shows an example of the determination method
  • (b) is a figure which shows an example of the determination method which combined alertness determination and attention distribution determination. It is a figure which shows the setting of the difficulty level with respect to a subject. It is a figure which shows the experimental result regarding arousal level. It is a figure which shows the experimental result regarding attention distribution. It is a figure which shows a part of experimental result of FIG. 4 with a waveform. It is a figure which shows an example of the graph which averaged the event related electric potential from the brake lamp of a preceding vehicle in the subject with respect to the driving
  • FIG. 1 is a configuration diagram of a distraction detection device 100 in Embodiment 1.
  • FIG. It is a figure explaining allocation of attention amount.
  • 3 is a flowchart of the entire process of the distraction detection device 100. It is a flowchart which shows the process sequence of the arousal level estimation part 3.
  • FIG. 4 is a flowchart illustrating a processing procedure of attention distribution estimation unit 4. It is a figure explaining the process for obtaining the amplitude of an event related electric potential from an electroencephalogram signal.
  • 4 is a flowchart showing a processing procedure of a driver state estimation unit 5.
  • It is a block diagram of the distraction detection apparatus 200 in Embodiment 2.
  • 5 is an overall flowchart of processing of the distraction detection apparatus 200. It is a figure which shows the table which stored several factors which influence an external condition, and the required attention amount corresponding to it.
  • 10 is a flowchart of driver state estimation in the second embodiment.
  • the inventors of the present application focused on an electroencephalogram that can measure brain activity with good response time and high time resolution, and examined whether it can be used for detecting distraction.
  • Attention research is one of the EEG research fields. For example, “Measurement of Attention to Images—Application Examples of Probe Stimulation Method Using Event-Related Potential—” (Irino, Physiological Psychology and Psychological Psychology, 2006, 24 (1), 5-18) Describes a method of measuring attention distribution from event-related potentials measured from the timing of video presentation using the method.
  • the “probe stimulation method” refers to a method in which two tasks, a main task and a secondary task, are set and the attention distribution of the main task is estimated by the attention distribution of the secondary task.
  • “event-related potential” refers to a transient potential fluctuation in the brain that occurs temporally in relation to an external or internal event.
  • a brain wave of about 300 ms is cut out from the timing of video presentation, and information is read from the waveform shape (amplitude) of the brain wave. This electroencephalogram component is called the P300 component of the event-related potential.
  • the inventors of the present application thought that attention distribution can be measured by an electroencephalogram if the above knowledge is applied to a driving scene. Then, we hypothesized that the amount of attention to driving can be estimated by allocating attention to tasks other than driving, and conducted experiments using a driving simulator to confirm its effectiveness.
  • a concept similar to attention detection is arousal level detection. This is used almost synonymously with sleepiness detection, and a decrease in arousal level is considered to be a state of strong sleepiness.
  • Japanese Patent Application Laid-Open No. 2007-0000280 discloses a method for determining a decrease in arousal level using an electroencephalogram. If the detection of the decrease in the arousal level and the detection of the decrease in the attention amount are determined independently, incorrect information is presented to the driver.
  • FIG. 1A shows an example of a determination method. In this case, it is determined whether or not attention is sufficient with respect to the magnitude of the amplitude with respect to a task other than the driving conceived of the probe stimulation.
  • Japanese Patent Application Laid-Open No. 2007-265377 discloses a driver state determination device using driver information that reflects arousal level, attention concentration level, and driving ability.
  • the arousal level is detected from an electroencephalogram, a heartbeat state, a closed eye time ratio, a facial expression sleepiness value, and the like.
  • the attention concentration is determined by head acceleration, head image, cervical electromyogram, and the like.
  • the inventors of the present application comprehensively determine how much attention the driver has allocated to driving based on the driver's current arousal level, and more accurately estimate the driver's state.
  • the method of was examined. Specifically, the present inventors use only an electroencephalogram sensor that is considered to most directly reflect the driver's state, and integratively use both different arousal levels and attention levels using different analysis methods. Judgment was made to determine whether the driver's condition could be estimated more accurately and simply.
  • FIG. 1B shows an example of a determination method that combines arousal level determination and attention allocation determination.
  • the feature is that the state of low alertness (cell 11) even when there is a large amount of attention, or the overall alertness level is high and there is no problem even if the attention distribution is small (cell 12), can be determined only by the electroencephalogram. Have.
  • the inventors of the present application conducted an experiment using a driving simulator.
  • the experiment was conducted by applying the following two problems to the situation during driving based on the concept of the probe stimulation method described in the above-mentioned literature.
  • non-driving tasks tasks related to tasks other than driving
  • the task of visually recognizing a display by pressing a button on the handle in a specific direction This is set on the assumption that the driver will operate the buttons when the car navigation system gives directions and restaurant / gas station information is presented, and attention to these tasks other than driving is too great. In this case, association is made when the attention distribution to driving is insufficient.
  • the difficulty level was changed in three stages in order to experimentally change the attention distribution during driving. That is, for the driving task, the speed of the preceding vehicle is changed, and for the non-driving task, the display interval of the direction indication arrows is changed.
  • the electroencephalogram measurement uses Polymate AP-112 (manufactured by Digitex), the measurement electrode is Pz (according to the international notation of the 10-20 method), the reference electrode is A1 (right earlobe), and the installation electrode is FPz ( Attached to the forehead).
  • FIG. 2 shows the setting of the difficulty level for the task with respect to the difficulty level of the experimental task.
  • the driving task which is the main task
  • the non-driving task which is the secondary task (display viewing task)
  • nine combinations are implemented by implementing all three combinations of situations. Experiments were conducted under different attention allocation conditions.
  • the driving simulator course set the situation where the preceding car is running on the highway course, and the preceding car runs while accelerating and braking, so driving that responds to the movement of the preceding car was required . Each trial was about 5 minutes.
  • FIG. 3 shows the experimental results regarding arousal level.
  • the vertical axis represents the ⁇ wave band (total value of the frequency of 8 to 13 Hz), and the horizontal axis represents the evaluation value of the mental burden of the NASA-TLX mental load.
  • NASA-TLX means NASA An index that can be used to evaluate mental load using Task ⁇ Load Index developed at Ames Laboratories, Inc. The degree of wakefulness can be estimated by EEG by looking at the correlation with this indicator.
  • the symbols given to each plot consist of two letters and indicate the experimental conditions.
  • the first character indicates the difficulty level for the driving task.
  • the second character indicates the difficulty level of the non-driving task (display viewing task).
  • L / M / H indicates low, medium, and high levels of difficulty.
  • the intensity of the ⁇ wave is correlated with the subjective burden of NASA-TLX with a correlation coefficient of 0.78, and the value corresponding to the arousal level can be estimated by the frequency analysis of the electroencephalogram. Recognize.
  • FIG. 4 shows the experimental results regarding attention allocation.
  • the vertical axis is a plot of the maximum amplitude of P3 in the 200-500 ms interval.
  • the correlation coefficient is -0.77. It can be said that attention distribution also appears in the amplitude of the event-related potential.
  • the response time of the button is short, it is judged that attention is sufficiently directed. Therefore, since there is a correlation between the reaction time and the amplitude, it can be seen that the amplitude is also effective as an index of attention distribution.
  • FIG. 5 shows a part of the experimental result of FIG. 4 in a waveform.
  • the experimental conditions are (a) condition ML, (b) condition MM, and (c) condition MH.
  • the difficulty level of the driving task was fixed at medium (M), and the non-driving task (display viewing task) was changed to the difficulty levels L, M, and H.
  • the horizontal axis of each graph is the elapsed time from the timing when the stimulus (arrow) presented on the display is lit, the unit is ms, the vertical axis is the electroencephalogram potential, and the unit is ⁇ V. In each graph, two lines are drawn.
  • the response to the stimulus presentation in a specific direction (right arrow in the experiment) in which the button press is required in the display visual recognition task is a solid line, and the response to the stimulus presentation not required to press the button is a broken line. It shows with.
  • a potential change considered to be a kind of P300 having a positive peak at 400 to 500 ms is observed corresponding to visual recognition of the display, and the magnitude of the amplitude increases as the display visual problem becomes more difficult (
  • FIG. 5 it can be seen that the value increases as the value changes from (a) to (c). This amplitude is considered to have changed in relation to the amount of attention allocated to the non-driving task (display viewing task).
  • FIG. 6 shows an example of a graph obtained by averaging event-related potentials starting from the brake lamp of the preceding vehicle in the problem of driving following the preceding vehicle.
  • the experimental conditions are the same as in FIG. That is, in (a) Condition ML, (b) Condition MM, and (c) Condition MH, the difficulty level of the driving task is fixed at medium (M), and the non-driving task (display viewing task) is set to the difficulty level L, M and H were changed.
  • each graph is the elapsed time from the timing when the brake lamp of the preceding vehicle is lit, the unit is ms, the vertical axis is the potential of the electroencephalogram and the unit is ⁇ V.
  • the amount of attention applied to driving is further reduced. Therefore, for example, the amount of attention applied to driving under the condition MH is smaller than the condition ML, and it is assumed that the amplitude also decreases. However, although a decrease in amplitude is seen as a tendency, a positive potential change as clear as P300 in FIG. 5 is not seen.
  • the display viewing task is executed, and the driving screen is an experimental condition that requires the steering operation in response to the road surface condition in addition to the preceding vehicle. It was not always possible to watch the preceding car. Thus, it is considered that a stable positive component was not seen because the stimulus was not constant and the visual timing of the stimulus was not constant.
  • the event-related potential for driving can be measured for various events that occur outside the vehicle. However, other than the case of the brake light of the preceding vehicle this time, it is assumed that the event outside the vehicle is likely to vary in the magnitude and timing of the stimulus, and it is considered difficult to directly and stably measure the event-related potential for driving . From such knowledge, it can be assumed that at least visual stimuli and audio stimuli generated by the devices in the vehicle are stable, and the event-related potentials associated therewith are also stable. It can be said that stable operation is easier to secure when starting from an event of a task other than driving that occurs.
  • FIG. 7 shows the attention determination result.
  • FIG. 7 shows the experimental conditions, the estimated value of the arousal level, the estimated value of attention allocation to the non-driving task, and the determination result in order from the left.
  • the numerical data is grouped in consideration of not only the allocation of attention to tasks other than driving but also the arousal level calculated from the electroencephalogram, which is influenced by small numerical differences. Therefore, it can be concluded that stable attention determination is possible. Details will be described below.
  • the experimental conditions are indicated by a required attention amount 20 for driving and a required attention amount 21 for tasks other than driving.
  • the difficulty of the problem in FIG. 2 and the required attention amount are associated with three types of high, medium, and low.
  • a state corresponding to a distracted state or a sleepy state is assumed by various combinations of the required amount of attention 20 for driving and the required amount of attention 21 for tasks other than driving.
  • column 22 shows the arousal level (alpha wave intensity) corresponding to each experimental condition.
  • the numerical value is obtained by extracting the intensity of the ⁇ wave from the analysis result shown in FIG. 7, and the column 23 shows the result of classifying these numerical values into three groups of L, M, and H.
  • the classification method into groups is a method in which appropriate ⁇ wave intensities are distributed into three, and classification can be performed by setting L to 0.5 or less, H to 0.9 or more, and M between them.
  • Columns 24 and 25 show the results regarding attention allocation to tasks other than driving, which is another information different from the arousal level.
  • the column 24 is obtained by extracting the amplitude of the event-related potential corresponding to each condition from FIG.
  • column 25 the result of classifying the numerical values in column 24 into three groups of L, M, and H is shown. Again, the grouping threshold can be set from FIG.
  • the column 22 classifies FIG. 7 from numerical intensities corresponding to the respective conditions. For example, 2.0 or less can be L, 5.0 or more can be H, and M between them.
  • Columns 26 and 27 show the result of caution determination for driving when only allocating attention to tasks other than driving is used.
  • the allocation of attention to driving is determined based on the idea that the remaining attention is allocated to tasks other than driving. For example, when the attention distribution to tasks other than driving is L, M, and H in order, the attention distribution for driving can be associated with H, M, and L, respectively.
  • a column 26 indicates correspondence of attention distribution.
  • the intensity of the ⁇ wave is assigned with values of “1”, “2”, and “3” corresponding to the groupings L, M, and H (column 23).
  • the amplitudes of event-related potentials (Event Related Potential; ERP) to tasks other than driving are also associated with the groupings L, M, and H (column 25), “0.3”, “0.6”, “ Each value of “0.9” was used. In this way, by including a discretization process called grouping, there is an effect that the determination result can be obtained stably.
  • ERP Event Related Potential
  • Column 28 shows values calculated based on the above formula. This is a determination result that takes into account the arousal level. Therefore, according to the numerical value, it can be classified into “sleepy”, “distraction”, and “normal” in ascending order.
  • the threshold value may be corrected according to actual data. For example, if it is 0.5 or less, it is “sleepy”, 0.5 to 1.0 is “distraction”, and 1.0 or more is “normal”. Can be classified.
  • the driver's state can be estimated from the characteristics obtained from the EEG signal processing. Moreover, as can be seen from FIG. 7, when it is determined only by attention distribution, it is possible to separate the state of distraction and strong drowsiness by combining with the degree of arousal, which is only the determination of whether it is distraction. .
  • the arousal level is estimated by EEG frequency analysis
  • the attention distribution is estimated by EEG event-related potential analysis, and they are integrated to make judgments. It was shown that it was possible to determine
  • the measured / calculated values of the ⁇ wave intensity and event-related potential amplitude do not directly correspond to the arousal level or the amount of attention allocated, and need to be classified to some extent. For example, by grouping these nine types of experimental data, instability of the measurement result can be removed and a stable result can be obtained.
  • the brain waves are used to identify whether the driver is paying sufficient attention to driving, and the state where attention is not fully paid is classified into strong sleepiness or distraction.
  • the configuration and processing for performing the corresponding support will be described.
  • FIG. 8 is a configuration diagram of the distraction detection device 100 according to Embodiment 1 of the present invention.
  • the distraction detection device 100 includes a biological signal detection unit 2, an arousal level estimation unit 3, a attention distribution estimation unit 4, a driver state estimation unit 5, and an output unit 6.
  • the biological signal detection unit 2 measures the brain wave of the driver 1.
  • the biological signal detection unit 2 is an electroencephalograph, for example.
  • the arousal level estimation unit 3 analyzes the measured electroencephalogram signal to estimate the driver's arousal level.
  • the “wakefulness level” is an index indicating how clear the driver is in consciousness.
  • Estimating the arousal level is an index highly related to how much the driver wants to sleep.
  • the attention allocation estimation unit 4 analyzes the measured electroencephalogram signal by another method and estimates the attention allocation amount.
  • “attention distribution” is an index indicating how much attention is distributed to tasks other than driving out of the total amount that the driver can pay attention to. A method by which the attention allocation estimation unit 4 estimates the attention allocation amount will be described later.
  • the driver state estimating unit 5 receives the estimation results from the arousal level estimating unit 3 and the attention amount estimating unit 4 and classifies the current driver state.
  • the “driver's state” represents a state related to attention among various states of the driver. In this specification, it is divided into the following three states. The state of the driver is classified into one of the following three states. State A: Sufficient attention is paid to driving. State B: The degree of arousal is sufficient, but not enough attention is paid to driving. State C: The attention level is insufficient for driving because the awakening level is low.
  • the arousal level estimation unit 3, the attention distribution estimation unit 4, and the driver state estimation unit 5 are realized, for example, as dedicated semiconductor chip circuits that implement each function.
  • the output unit 6 outputs information for alerting the driver based on the classification result of the driver state estimation unit 5.
  • the output unit 6 is, for example, a speaker that calls the driver by voice and presents operation sounds and warning sounds.
  • the output unit 6 may present text or an image on a car navigation or head-up display.
  • direct information presentation using AR (Augmented Reality) technology that overlays and displays on the object to which attention is desired, alerting using steering wheel vibration, and indirect by adjusting odor and air volume Special efforts are also included.
  • “Attention allocation” indicates how much attention is allocated to which of the various tasks performed by the driver when driving a car. “Caution” is a psychological amount that is consciously directed to confirming the state of a certain object and performing work, and careful driving is required to perform safe driving.
  • the driver performs various tasks when driving a car. For example, there are tasks related to driving such as checking safety ahead, checking signals, paying attention to the movement of pedestrians and bicycles, listening to music, operating car navigation and car stereos, information from the radio, etc. There are also tasks that are not directly related to driving, such as acquisition of traffic and conversation with passengers. It is considered that the driver is performing a plurality of tasks in parallel while changing the distribution of attention in various ways according to the situation at that time.
  • the current attention amount is considered as an amount like water stored in a cylinder.
  • the size of the cylinder is the maximum amount of attention that the driver can have, and the water stored at that time corresponds to attention.
  • This amount is considered to rise and fall depending on the degree of concentration and the degree of arousal.
  • FIG. 9A it is assumed that there is an attention amount of 70%. This number is given for convenience in order to explain the concept of attention allocation.
  • This amount of attention is considered to be allocated to the work performed by the driver at that time.
  • FIG. 9B when driving while listening to music, for example, it is considered that 50% of attention is allocated to driving and 20% of attention is allocated to music. With this distribution, it is assumed that the driver can perform safe driving while enjoying music.
  • FIG.9 (c) shows the attention amount when sleepiness becomes strong. Since the arousal level is reduced due to drowsiness, and the attention amount itself is reduced, the attention amount (50%) necessary for safe driving is not ensured.
  • FIG. 9 (d) shows a case where there is a sufficient amount of attention, but attention (50%) has been taken much in response to telephone calls and the distribution to driving is not sufficient. This case is called a distracted state in the present specification. In this case, since there is no drowsiness, a different alerting method from FIG. 9C is required.
  • FIG. 10 shows a flowchart of the entire process of the distraction detection apparatus 100.
  • step S10 the biological signal detection unit 2 acquires a driver's brain wave.
  • An electroencephalogram is a temporal potential change of the head, and can generally be measured by an electroencephalograph attached to the head.
  • step S20 the arousal level estimation unit 3 estimates the arousal level by processing the electroencephalogram signal measured in step S10.
  • step S30 the attention distribution estimation unit 4 processes the electroencephalogram signal measured in step S10 by a method different from that in step S20, and estimates attention distribution.
  • step S40 the driver state estimation unit 5 estimates the driver's state based on both the arousal level and the attention distribution calculated in step S20 and step S30.
  • the role of this step is to classify the driver's state into any of the above three states.
  • step S50 the output unit 6 works on the driver based on the state of the driver estimated in step S40. For example, when it is determined that the state is A (sufficient attention is paid to driving), there is no particular problem and no special output is performed. When it is determined that the state is B (the degree of arousal is sufficient, but not enough attention is given to driving), an output that promotes the improvement of attention distribution to driving is performed. Further, in state C (the attention level is insufficient for driving because the degree of arousal is low), an output for improving the degree of arousal of the driver is made. An output example will be described later.
  • Distraction detection is performed according to the above flow. Hereinafter, details of the processing of each step will be described in order.
  • the biosignal detector 2 measures the driver's brain waves. Although it is necessary for the driver to wear an electroencephalograph, the devices of the electroencephalograph are becoming smaller and simpler and easier to wear.
  • the measured brain wave signal of the driver is transmitted to the arousal level estimation unit 3 and the attention distribution estimation unit 4 by wire or wireless.
  • FIG. 11 is a flowchart showing a processing procedure of the arousal level estimation unit 3.
  • the arousal level estimation unit 3 receives a brain wave signal acquired by the biological signal measurement unit 2.
  • the range of brain waves to be received varies depending on the situation of the driver and the like. For example, brain wave data for a fixed time from a predetermined time before to the present, for example, 5 minutes from 5 minutes to the present is acquired.
  • step S22 the signal strength for each frequency is calculated.
  • FFT Fast Fourier Transform
  • the arousal level estimation unit 3 extracts the intensity of the specific frequency.
  • Frequency intensity is said to be related to arousal level.
  • Japanese Patent Application Laid-Open No. 2007-0000280 discloses a method using a ratio of ⁇ wave and ⁇ wave.
  • the frequency intensity increases as a whole, so that the intensity of the entire frequency range or a specific frequency band may be used as will be described later.
  • the arousal level estimation unit 3 may obtain the frequency intensity from the electroencephalogram signals at that time at a plurality of times. However, when the frequency intensity of the electroencephalogram signal at a plurality of times is used, it is preferable that a plurality of groups determined according to the frequency intensity of the electroencephalogram signal are prepared in advance. For example, as described above, it is preferable to provide groups of high (H), low (L), and intermediate (M) frequency intensities according to threshold values. The arousal level estimation unit 3 classifies each frequency intensity into one of a plurality of groups based on the magnitude relationship between the calculated frequency intensity of the electroencephalogram signal and a threshold value for determining the group.
  • the average frequency intensity of the group into which the most frequency intensity is classified may be used as the frequency intensity used in the next step S24.
  • the frequency intensity predetermined as the attribute (L, M, H) of each group may be used as the frequency intensity used in the next step S24.
  • the arousal level estimation unit 3 associates the frequency intensity calculated in step S23 with the arousal level.
  • the arousal level is a psychological quantity and requires some correspondence with the frequency intensity.
  • the awakening level estimation unit 3 holds a rule that associates the frequency intensity with the awakening level.
  • Various rules (methods) for the association can be considered.
  • the rule may be that the frequency intensity value is directly assigned to the arousal level, or the subjective evaluation value for the arousal level and the frequency intensity at that time are obtained as data in advance, and the relationship
  • a table or a mathematical expression that defines Such tables and mathematical formulas are rules for association.
  • any method may be used as long as the awakening level is estimated.
  • FIG. 12 is a flowchart for explaining the processing procedure of the attention allocation estimation unit 4.
  • the attention distribution estimation unit 4 receives the electroencephalogram acquired by the biological signal measurement unit 2 (the electroencephalogram 13 in FIG. 13). Which range of electroencephalogram 13 is received differs depending on the driver's situation and the like. For example, electroencephalogram data for a predetermined time from a predetermined time before that time, for example, 5 minutes from 5 minutes before to the present is acquired.
  • the trigger 14 is simultaneously attached to the electroencephalogram data together with the electroencephalogram data.
  • the trigger is a signal obtained by extracting a timing when some kind of stimulus is presented to the driver.
  • the electroencephalogram data before analysis records a series of potential changes, but by analyzing the interval starting from the trigger, the event-related potential for the stimulus to the driver can be analyzed for the first time, and the degree of attention can be grasped It becomes like this.
  • Other stimuli to be presented to the driver besides driving which can be the starting point for this caution detection, are the use of voice and sound effects from car navigation systems, and when information is presented on in-vehicle meters and information displays. Is possible.
  • the trigger 14 may be recorded in a channel other than the electroencephalogram at the time of electroencephalogram measurement, or may be recorded in another recording means in time synchronization.
  • step S32 the attention distribution estimation unit 4 extracts the trigger 14 from the data acquired in step S31.
  • the attention allocation is estimated using, for example, the amplitude of the apex of the P300 component of the event-related potential, and trigger information 14 indicating the starting point for acquiring the event-related potential is required.
  • the trigger information 14 includes information on which event has occurred at which time.
  • the electroencephalogram acquired in step S31 includes a plurality of triggers 14 for a plurality of events.
  • step S33 the attention distribution estimation unit 4 cuts out the waveform.
  • the electroencephalogram data is extracted as the event-related potential 15 in the range of ⁇ 200 milliseconds to 600 milliseconds, for example, from the timing. This cutout range may be changed according to the nature of the event-related potential to be used.
  • step S34 the amplitude 17 of the electroencephalogram data (event-related potential) cut out in step S33 is calculated.
  • a method using the value of the potential when taking the largest positive value in the range of 200 to 500 milliseconds can be considered.
  • the amount of attention to an event is related to the magnitude of the amplitude. The larger the amount of attention is, the larger the amplitude is (see “Measurement of attention to an image—probe stimulation using event-related potentials” above). Law application example ”).
  • the amplitude calculated here is once recorded in a memory (not shown) for processing in step S36.
  • requiring an amplitude after performing the addition average of a waveform can also be considered.
  • step S35 the attention distribution estimation unit 4 determines whether the processing for all triggers has been completed. If the processing for all triggers is completed, the process proceeds to step S36 as YES, and if not completed, the process proceeds to step S32 as NO.
  • step S36 the attention distribution estimation unit 4 calculates an average 17 of the values when a plurality of amplitude data for a plurality of waveforms are prepared in step S34. Since the electroencephalogram has a large variation in each individual trial, the stable waveform 16 and amplitude 17 can be calculated by averaging.
  • the attention allocation estimation unit 4 may calculate a plurality of event-related potential amplitudes from the electroencephalogram signals at that time at a plurality of times. However, when using the amplitudes of event-related potentials at a plurality of times, it is preferable that a plurality of groups determined according to the amplitudes are prepared in advance, as in the arousal level estimation unit 3. For example, as described above, it is preferable to provide groups of large (H), small (L), and intermediate (M) amplitude according to the threshold value. The attention distribution estimation unit 4 classifies each amplitude into one of a plurality of groups based on the magnitude relationship between the calculated event-related potential amplitudes and the threshold value that defines the group.
  • the average amplitude of the group in which the most amplitudes are classified may be used as the amplitude used in the next step S24.
  • the amplitude predetermined as the attribute (L, M, H) of each group may be used as the amplitude used in the next step S37.
  • step S37 the attention distribution estimation unit 4 associates the average amplitude calculated in step S36 with the attention distribution amount.
  • the attention allocation estimation unit 4 holds a rule that associates the average value of the amplitude with the attention allocation amount.
  • Various rules (methods) for the association can be considered.
  • the average value of the amplitude and the attention allocation amount may be acquired as data in advance, and a table or a mathematical formula in which these are associated may be held. Such tables and mathematical formulas are rules for association.
  • step S41 the driver state estimation unit 5 acquires the estimation result of the arousal level from the arousal level estimation unit 3.
  • step S42 the driver state estimation unit 5 acquires the attention distribution estimation result from the attention distribution estimation unit 4.
  • the driver state estimation unit 5 calculates a driving attention amount.
  • the driving attention amount is calculated by the following formula.
  • Driving attention amount alertness * (1-attention allocation)
  • the driving attention amount takes a value in the range of 0 to 1, and indicates how much attention is finally directed to driving.
  • attention distribution also takes a value in the range of 0 to 1, and out of attention distribution directed to tasks other than driving and driving, the ratio of attention distribution directed to tasks other than driving is indicated in a range of 0 to 1.
  • (1-attention allocation) corresponds to the percentage of attention directed to driving.
  • the inventors of the present application have defined that the driving attention amount is obtained by the product of the arousal level and the ratio of attention directed to driving.
  • step S44 it is determined whether the driving attention amount has a sufficient value. If there is a sufficient amount of driving attention, the answer is YES, and it is determined in step S46 that there is no particular problem (state A). On the other hand, if it is not sufficient, the determination is NO and the process proceeds to step S45.
  • step S45 the driver state estimation unit 5 confirms again whether the arousal level is sufficient. If the arousal level is high, the determination is YES.
  • step S48 it is determined that the state is a distracted state (state B) in which attention is directed to tasks other than driving. If the awakening level is low, step S47 is performed. In general, it is determined that attention is reduced (state C).
  • step S46 to step S48 the driver state corresponding to each of the above conditions is determined, and the determination result is sent to the next output unit.
  • the output unit 6 outputs to the driver from the apparatus 100 side as needed based on the driver state determined by the driver state estimation unit 5.
  • Examples of output methods from the output unit 6 to the driver include calls to the driver by voice, presentation of operation sounds and warning sounds, presentation of text and images on the car navigation system and head-up display, and targets for attention Direct information presentation using AR (Augmented Reality) technology that displays images etc. on a head-up display superimposed on an object, alerting using vibration of the handle, etc., indirect action by adjusting smell and air volume Etc. are included.
  • AR Augmented Reality
  • the states that require the driver to work from the output unit 6 are the state B and the state C described above. However, this is only an example, and the driver may be prompted only when in state C.
  • State B is a state where the arousal level is sufficient, but sufficient attention is not paid to driving. Therefore, the driver who already has a sufficient arousal level does not need to work to wake up.
  • As for how to work on the state B explain the voice situation that points attention to driving such as “Insufficient attention to driving. It is a road. Please concentrate on driving. "
  • State C is a state in which the arousal level is low and attention is insufficient for driving. Therefore, in the state C, basically, an action for increasing the arousal level may be performed. Specifically, the car uses a loudspeaker to increase the arousal level by encouraging breaks such as “It seems to be drowsy. I recommend a break.”, Opening windows, and increasing the wind of the air conditioner. It is effective to perform control to do this.
  • the driver's state is classified from the electroencephalogram signal, and when it is determined that the attention amount to driving is insufficient, the driver state is supported. As a result, it is possible to provide assistance corresponding to the driver's condition more than before. In addition, by providing appropriate assistance to the driver, the reliability of the driver's equipment is improved, and the driver's response to the output from the equipment is improved, which is close to realizing safe driving assistance.
  • the arousal level estimation unit 2 and the attention allocation estimation unit 3 are set to perform processing using a brain wave for 5 minutes. This is an improvement in processing accuracy and a trigger included in the trial time. It is possible to make the length shorter depending on the number of. In order to make a determination with an electroencephalogram in a shorter time, it is also effective to aggregate not only the response to information displayed on a single display as in this experiment, but also the event-related potentials for various responses. Thereby, the trigger which generate
  • the necessary EEG time can be reduced by developing noise countermeasures and high-precision event-related potential extraction methods.
  • the method for processing event-related potentials with a small number of trials has been extensively studied in the research field of electroencephalogram interface, and the number of necessary event-related potentials can be reduced by combining these techniques.
  • the analysis time of the electroencephalogram does not need to be constant, and the number of included triggers can be made constant.
  • the distraction state is determined only by the driver's state.
  • the amount of attention required for safe driving is assumed to vary depending on various factors such as the external environment during driving, such as road conditions, weather, time zones, and congestion. For this reason, in order to accurately notify the driver of distraction and the like, it is necessary to make a determination in consideration of the relationship with the external environment.
  • the required amount of attention differs between when driving on a highway with good visibility and low traffic, and when driving on a crowded shopping street. Also, it is assumed that the amount of attention required for driving varies depending on the weather and road conditions. It is possible to adjust the action to the driver from the output unit 6 according to these situations, and it is possible to realize a more appropriate action to the driver.
  • the distraction detection apparatus determines the driver state after comparing with the external environment.
  • FIG. 15 is a configuration diagram of the distraction detection apparatus 200 according to Embodiment 2 of the present invention.
  • the same components as those in the first embodiment are given the same numbers, and description thereof is omitted.
  • the difference from the first embodiment as a component is that an external environment detection unit 7 is provided.
  • the external environment detection unit 7 detects the situation outside the vehicle facing the driver. In the drawing, whether or not the external environment detection unit 7 exists is regarded as a difference from the first and second embodiments.
  • the processing inside the driver state estimation unit 5 that receives the signal from the external environment detection unit 7 is also different. Therefore, after describing the overall flowchart of the second embodiment, detailed processing of the external environment detection unit 7 and the driver state estimation unit 5 will be described.
  • FIG. 16 shows an overall flowchart of processing of the distraction detection apparatus 200. The steps for performing the same processing as in the first embodiment will be briefly described.
  • step S10 the biological signal detection unit 2 acquires a driver's brain wave.
  • step S20 the electroencephalogram signal measured in step S10 is processed. Thereby, the arousal level estimation unit 3 estimates the arousal level.
  • step S30 the attention allocation estimation unit 4 estimates the attention allocation using the electroencephalogram signal measured in step S10.
  • step S60 the external environment detection unit 7 recognizes the situation outside the vehicle. An example of the situation outside the vehicle will be described later.
  • step S40 the driver state estimation unit 5 calculates a driver's attention amount for driving based on both the arousal level and the attention distribution calculated in steps S20 and S30. And a driver
  • the state of the driver is the three states of the driver described in the first embodiment. That is, in connection with attention, State A: Sufficient attention is paid to driving, State B: The degree of arousal is sufficient, but not enough attention is given to driving, State C: Three states of low alertness and lack of attention in driving.
  • step 40 The role of step 40 is to classify the driver's state into one of these three states.
  • step S50 the output unit 6 works on the driver based on the state of the driver estimated in step S40. For example, when it is determined that the state is A, since there is no particular problem, no particular output is made. However, in the state B, an output that can improve attention distribution to driving is made. Output that can improve the arousal level.
  • the output example is as described in the first embodiment.
  • FIG. 17 shows a table that stores several factors that influence the external situation and the necessary amount of attention corresponding thereto. This table is held in, for example, the driver state estimation unit 5.
  • Factors that influence the external situation include time zones that are highly correlated with daily activities such as commuting and shopping, and the illuminance column 40 that relates to the ease of recognition of the external environment for the driver, and the behavior of the car with respect to driving operations.
  • the column 41 of the road surface condition that influences the road, the column 42 of the weather related to the ease of visual recognition from the outside and the visibility from the oncoming vehicle, the column 43 of the number of objects to be noted, etc. are listed. Yes. Some of these factors occur as combinations in each situation, and the required amount of attention varies depending on the combination.
  • These data may be preliminarily calculated and stored as a column 44 as the amount of attention required in some situations in a table format as shown in FIG. It is also possible to calculate from these parameters. That is, it is only necessary to have some rules for deriving the necessary attention amount from the outside (outside the vehicle) environment. For example, ambient illuminance and the like are easily recognized, and the number of objects to be noted is directly related to the amount of attention. Therefore, a certain coefficient can be applied to the necessary amount of attention.
  • FIG. 18 shows a flowchart of driver state estimation in the second embodiment. The steps for performing the same processing as in the first embodiment will be briefly described.
  • step S41 the driver state estimation unit 5 acquires the estimation result of the arousal level from the arousal level estimation unit 3.
  • step S42 the driver state estimation unit 5 acquires the attention distribution estimation result from the attention distribution estimation unit 4.
  • step S71 the driver state estimation unit 5 acquires the external environment status from the external environment detection unit 7.
  • step S43 the driver state estimation unit 5 calculates a driving attention amount.
  • step S72 the driver state estimation unit 5 calculates a required attention amount. As shown in FIG. 17, this may refer to the necessary amount of attention corresponding to the table format, or may be determined from rules set in advance.
  • step S73 the driver state estimating unit 5 compares the current driver's driving attention amount calculated in step S43 with the necessary attention amount calculated in step S72. If the driving attention amount is larger than the necessary attention amount, the answer is YES, and it is classified in step S46 that sufficient attention is paid to driving. If the driving attention amount is smaller than the required attention amount for determination, the determination becomes NO and the process proceeds to step S45.
  • step S45 the driver state estimation unit 5 confirms again whether the arousal level is sufficient. If the arousal level is high, the answer is YES. In step S48, it is classified as a distracted state in which attention is directed to tasks other than driving, and if the arousal level is low, generally in step S47. Classified as reduced attention.
  • step S46 to step S48 the driver state estimating unit 5 determines the driver state corresponding to each of the above conditions, and transmits the determination result information to the next output unit.
  • the presentation timing when a message is displayed on the car navigation system in the car corresponding to the display visual task as implemented by the present inventors can be used.
  • a visual stimulus presentation device for measuring event-related potentials is installed in the vehicle.
  • LEDs are installed on both side mirrors, car navigation systems, speedometers, etc. It is also possible to use the timing at which the visual stimulus presentation device blinks.
  • the timing of the alert sound generated by the combination of the alert sound generated by the car navigation system and the message “Pawn, next to the right” is used, or the sound suddenly appears while listening to radio or music. It is also possible to use changing timing.
  • presentation of stimuli for somatic sensations is also effective.
  • the steering wheel or driver's seat occasionally vibrates, and measurement of an event-related potential against the vibration can also be used as information reflecting attention to tasks other than driving.
  • a clear stimulus is desirable for an event outside the vehicle with respect to the driving of the car, but an example of a clear stimulus is, for example, the timing of traffic signal switching.
  • a warning sound emitted from an ambulance vehicle can be used as an auditory stimulus, and a vibration when a tire steps on a white line can be used as a somatosensory stimulus.
  • the processing of the distraction detection device relating to each of the above-described embodiments can be realized by a program executed on a computer.
  • the process described using the flowchart can be realized as a computer program that defines the procedure of the process.
  • Such a computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • All or part of the constituent elements of the distraction detection apparatus described above are realized as a general-purpose processor (semiconductor circuit) that executes a computer program.
  • a general-purpose processor semiconductor circuit
  • it is realized as a dedicated processor in which such a computer program and a processor are integrated.
  • the distraction detection device of the first embodiment is provided with a general-purpose processor, and when the processor executes a computer program, the arousal level estimation unit 3, the attention distribution estimation unit 4, and the driver state estimation unit 5 Act as part or all.
  • the illustrated distraction detection device does not have to be housed in one housing.
  • the electroencephalograph may be connected to other components of the distraction detection device in a wired or wireless manner.
  • a computer provided at a position distant through the communication network may function as part or all of the arousal level estimation unit 3, the attention distribution estimation unit 4, and the driver state estimation unit 5.
  • the estimation of the driver state by the distraction detection device can be used in a wide range of industries. For example, not only drivers of ordinary vehicles but also drivers who drive commercial vehicles (for example, drivers of trucks, taxis and buses), drivers of vehicles other than cars (trains, airplanes and ships), plants such as factories It can be used in industries that require attention such as driving and operation to other monitoring personnel.
  • drivers who drive commercial vehicles for example, drivers of trucks, taxis and buses
  • drivers of vehicles other than cars trains, airplanes and ships
  • plants such as factories It can be used in industries that require attention such as driving and operation to other monitoring personnel.

Abstract

　脳波計測により運転者の注意散漫状態と眠気の両方を判別し、それぞれの運転者状態に適した運転支援の動作をする技術を提供する。 　注意散漫検出装置は、運転者の脳波信号を検出する脳波検出部と、脳波信号と覚醒度とを対応付ける第１規則を保持し、検出された脳波信号および第１規則に基づいて、覚醒度を推定する覚醒度推定部と、脳波信号と注意配分の程度とを関連付ける第２規則を保持し、検出された脳波信号および第２規則に基づいて、注意配分の程度を推定する注意配分推定部と、覚醒度および注意配分から注意量を導出するための第３規則を保持し、推定された覚醒度、注意配分および第３規則に基づいて、運転者の運転に対する注意量を推定し、運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類する運転者状態推定部と、運転者状態分類部の分類結果に基づいて、運転者に対する働きかけを行う出力部とを備えている。

Description

注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
　本発明は、脳波を用いて運転者の状態を計測し安全運転支援を行う機器に関する。
　近年、自動車運転に関連した事故防止装置の中で、運転者の状態を計測し、その計測結果に基づいて運転支援を行う方法が検討されている。
　運転者の状態を推定する方法としては、間接的には自動車の操作状況を反映するハンドル操舵角や走行速度の変化などを取得する方法がある。この方法は、機器側からは取得が容易な情報で、例えば、白線検出と組み合わせて運転の安定性の評価等の支援が可能になった。
　一方、自動車状態ではなく運転者状態を直接計測する方法もある。例えばドライバーに向けられたカメラによって、視線の向きや瞬きの状況を検出し、ドライバーのよそ見や眠気の検出等が試みられてきた。
　さらに運転者状態を直接計測する方法としては、運転者の脳波を計測する方法が想定される。脳波は、頭部で計測可能な頭皮上の電位変化であり、脳活動を反映しているとされ、運転者の状態を最もよく現している可能性がある。
　本発明においては、運転者の運転に対する注意散漫検出装置の提供を目的としている。運転者の運転時の注意状況は、ハンドル操舵角等の自動車状況や、カメラ等の外部計測ではわかりにくい状況のひとつであり、注意散漫状況の検出は、安全運転支援に対して効果的な情報になると考えられる。
　これまでの注意検出を目的とした出願は、例えば特許文献１に開示される発明がある。これは車両状況と運転者の視線や顔の動きから、運転者の注意配分を検出する発明である。
　また特許文献２に開示される発明では、脳の活動状況と運転者の車両操作との関係を予め記憶したデータベースを備えることで、車両の挙動から、脳内活動を推定する方法を取っている。
特開２００４－１７８３６７号公報（視線や顔の動きから注意配分を検出） 特開２００５－２２８００３号公報（車の操作情報からの脳活動推定）
　しかしながら、上述の特許文献１によれば、注意が散漫になっている場合には、視線が向いていても注意が向けられていない場合等に対応が困難である。
　また特許文献２によれば、車両の挙動は脳内活動とは１対１には対応しないため、推定結果にはあいまいさが残ると考えられる。例えば、ブレーキ操作が比較的遅かった場合に、十分な余裕があると運転者が判断していたか、漫然と運転していたかは、そのときの運転者の計測をしない限りは、区別ができない。
　このように注意散漫検出においては、より正確な計測方法が求められてきた。
　本発明は、上記課題を解決するためになされたものであって、その目的は、運転者の注意が散漫しているか否かを正確に検出し、運転者に対して適切な安全運転支援を提供することにある。
　本発明による注意散漫検出装置は、運転者の脳波信号を検出する脳波検出部と、脳波信号と覚醒度とを対応付ける第１規則を保持し、検出された前記脳波信号および前記第１規則に基づいて、覚醒度を推定する覚醒度推定部と、脳波信号と注意配分の程度とを関連付ける第２規則を保持し、検出された前記脳波信号および前記第２規則に基づいて、注意配分の程度を推定する注意配分推定部と、覚醒度および注意配分から注意量を導出するための第３規則を保持し、推定された前記覚醒度、前記注意配分および前記第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類する運転者状態推定部と、前記運転者状態分類部の分類結果に基づいて、前記運転者に対する働きかけを行う出力部とを備えている。
　前記第１規則は、脳波信号の周波数強度と覚醒度とを対応付けており、前記覚醒度推定部は、検出された前記脳波信号の周波数強度を算出し、算出結果および前記第１規則に基づいて前記覚醒度を推定してもよい。
　前記覚醒度推定部には、脳波信号の周波数強度に応じて定まる複数のグループが予め設けられており、前記覚醒度推定部は、複数の時刻において算出した前記脳波信号の各周波数強度を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの周波数強度および前記第１規則に基づいて前記覚醒度を推定してもよい。
　前記第２規則は、脳波信号の事象関連電位の振幅と注意配分とを対応付けており、前記注意配分推定部は、検出された前記脳波信号の事象関連電位の振幅を算出し、算出結果および前記第２規則に基づいて前記注意配分の程度を推定してもよい。
　前記注意配分推定部は、前記事象関連電位の振幅に応じて定まる複数のグループが予め設けられており、前記注意配分推定部は、複数の時刻において算出した前記脳波信号の事象関連電位の各振幅を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの事象関連電位の振幅および前記第２規則に基づいて前記注意配分の程度を推定してもよい。
　前記注意散漫検出装置は、外部環境を検出する外部環境検出部をさらに備え、前記運転者状態推定部は、検出された外部環境に基づいて必要注意量を導出する規則を有しており、前記外部環境検出部にて検出された外部環境に対して前記規則を適用することによって導出される必要注意量と、前記運転手状態推定部にて推定された運転に対する注意量とを比較し、運転者が外部環境の複雑さに対して注意が払われているか否かを判定してもよい。
　前記運転者状態推定部は、前記覚醒度推定部によって推定された覚醒度と、前記注意配分推定部によって推定された運転に対する注意配分を掛け合わせることによって、運転者の運転に対する注意量を算出してもよい。
　前記注意配分推定部は、運転以外に対する注意配分と、運転に対する注意配分との関係を対応付ける規則を有しており、前記運転以外に対する注意配分および前記規則に基づいて、前記運転に対する注意配分を推定することが可能であり、前記運転者状態推定部は、前記運転以外に対する注意配分および前記規則に基づいて推定された前記運転に対する注意配分と、前記覚醒度推定部によって推定された覚醒度とを掛け合わせることによって、前記運転者の運転に対する注意量を算出してもよい。
　本発明による注意散漫検出方法は、脳波信号と覚醒度とを対応付ける第１規則を用意するステップと、脳波信号と注意配分の程度とを関連付ける第２規則を用意するステップと、覚醒度および注意配分から注意量を導出するための第３規則を用意するステップと、運転者の脳波信号を検出するステップと、検出された前記脳波信号および前記第１規則に基づいて覚醒度を推定するステップと、検出された前記脳波信号および前記第２規則に基づいて注意配分の程度を推定するステップと、推定された前記覚醒度、前記注意配分および前記第３規則に基づいて前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップとを包含する。
　コンピュータによって実行される本発明によるコンピュータプログラムは、前記コンピュータに対し、運転者の脳波信号を受け取るステップと、検出された運転者の脳波信号、および、脳波信号と覚醒度とを対応付ける第１規則に基づいて覚醒度を推定するステップと、検出された前記脳波信号、および、脳波信号と注意配分の程度とを関連付ける第２規則に基づいて注意配分の程度を推定するステップと、推定された前記覚醒度、前記注意配分、および、覚醒度および注意配分から注意量を導出する第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップとを実行させる。
　本発明の注意散漫検出装置によれば、運転者の状態が脳波センサのみで、より正確に判定できるので、状態に応じた適切な支援が実施できる。また、機器が運転者を適切に支援することでユーザの信頼が増し、運転者側でも機器の情報に対して適切に対応でき、安全運転が実現できる。
（ａ）は判定方法の一例を示す図であり、（ｂ）は覚醒度判定と注意配分判定とを組み合わせた判定方法の一例を示す図である。 課題に対する難易度の設定を示す図である。 覚醒度に関する実験結果を示す図である。 注意配分に関する実験結果を示す図である。 図４の実験結果の一部を波形で示す図である。 先行車に対する追従という運転に対する課題において、先行車のブレーキランプを起点とした事象関連電位を平均したグラフの一例を示す図である。 注意判定結果を示す図である。 実施形態１における注意散漫検出装置１００の構成図である。 注意量の配分を説明する図である。 注意散漫検出装置１００の処理の全体のフローチャートである。 覚醒度推定部３の処理手順を示すフローチャートである。 注意配分推定部４の処理手順を説明するフローチャートである。 脳波信号から事象関連電位の振幅を得るための処理を説明する図である。 運転者状態推定部５の処理手順を示すフローチャートである。 実施形態２における注意散漫検出装置２００の構成図である。 注意散漫検出装置２００の処理の全体のフローチャートである。 外部状況を左右するいくつかの要因と、それに対応する必要注意量を格納したテーブルを示す図である。 実施形態２における運転者状態推定のフローチャートである。
　本発明の実施形態の説明に先だって、本願発明者らが行った実験を説明し、その実験の結果から得られた本願発明者らの知見を説明する。
　本願発明者らは、脳活動を反応時間良く、時間分解能が高く計測可能な脳波に着目し、注意散漫の検出に利用可能か否かを検討した。
　脳波の研究分野の一つに注意研究がある。例えば、「映像に対する注意を測る－事象関連電位を用いたプローブ刺激法の応用例－」（入戸野、生理心理学と精神心理学、２００６、２４（１）、５－１８）には、プローブ刺激法を用いて、映像提示のタイミングを起点にして計測された事象関連電位から注意配分を計測する方法が記載されている。
　ここで、「プローブ刺激法」とは、主課題と二次課題の２つの課題を設定し、主課題の注意配分を二次課題の注意配分によって推定する方法をいう。また「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。この文献では、映像提示のタイミングを起点にして３００ｍｓ前後の脳波を切り出し、その脳波の波形形状（振幅）から情報を読み取っている。この脳波成分は、事象関連電位のＰ３００成分と呼ばれている。
　本願発明者らは上記の知見を運転場面に応用すれば、脳波により注意配分が計測可能であると考えた。そして、運転に対する注意量は運転以外のタスクに対する注意配分により推定可能であるという仮説をたて、ドライビングシミュレータを用いた実験を実施し、その有効性を確認した。
　しかしながら、注意配分のみでは次のような点で不十分であることがわかった。すなわち、運転時の注意が足りないと判定される局面では、運転以外のタスクに注意が取られて注意散漫になっている場合と、全体的に眠気が強いために注意が不足している場合の２つが考えられ、これを分離しなければ適切な運転支援を行うことできない。
　また、注意配分の研究においては前提条件がある。それは被験者の覚醒度が最大になっていることである。この前提が成り立つ場合には二次課題の注意配分から主課題の注意が推定できる。しかしながら、運転場面では覚醒度最大は常には成り立たない。
　これらの課題を事例に基づき説明する。注意検出と類似の概念に覚醒度検出がある。これは眠気の検出とほぼ同義で使われ、覚醒度の低下は眠気が強い状態であるとされる。例えば特開２００７－０００２８０号公報では脳波で覚醒度の低下を判定する方法が開示されている。これらの覚醒度の低下の検出と、注意量の低下の検出は、独立に判定がされると運転者に対して、誤った情報提示を行うことになってしまう。
　図１（ａ）は、判定方法の一例を示す。この場合には、プローブ刺激に想到する運転以外の課題に対する振幅の大小に対して、注意が十分かが判定される。
　しかしこの判定のみでは、注意配分が多くても覚醒度が低くてまだ注意量が不十分である場合や、注意配分が少なくても全体の覚醒度が高くて特に問題はない場合がカバーできない。
　このように、覚醒度判定や注意判定をそれぞれ独立して動作させる場合には、運転者の状態を正しく反映しない判定がなされる可能性が高まる。これらの判定装置を搭載した安全運転支援システムは適切に動作しないことになり、運転者の信頼が低下してしまう。運転者の安全運転支援システムへの信頼は、本当に警告を運転者に発したい時に運転者が適切に対応できるかどうかを左右する重要な属性である。
　これに関して、特開２００７－２６５３７７号公報では、覚醒度と注意集中度と運転能力を反映する運転者情報を用いた運転者状態判定装置が開示されている。覚醒度は、脳波、心拍状態、閉眼時間割合、顔表情眠気値等から検出される。また注意集中度は、頭部加速度、頭部画像、頚部筋電図等により判定を行う。この文献では、これらの組み合わせで運転者の複数の状態判定が可能であるとされている。しかしながら、それぞれ検出したい複数の情報に対応した複数のセンサを導入する必要があること、また、心拍計やカメラによる顔表情検出や加速度センサによる動きの検出は、運転者の注意の状態を間接的に反映するものである。例えば、カメラや加速度センサのみでは、眠気や注意を正確に検出するのは現時点では困難である。
　そこで本願発明者らは、運転者の現在の覚醒度のもとで、運転者が運転にどれだけ注意を配分しているかを統合的に判定し、運転者の状態をより正確に推定するための方法を検討した。具体的には、本願発明者らは、運転者の状態をもっとも直接的に反映すると考えられる脳波センサのみを用いて、覚醒度と注意集中度の両方をそれぞれ異なる解析方法を用いて統合的に判定し、運転者の状態をより正確に簡易に推定できるか否かを検討した。
　図１（ｂ）は、覚醒度判定と注意配分判定とを組み合わせた判定方法の一例を示す。ここでは注意配分が多くても覚醒度が低い状態（セル１１）や注意配分が少なくても全体の覚醒度が高くて問題がない場合（セル１２）が、脳波のみにて判定可能という特徴を有する。
　本願発明者らは、ドライビングシミュレータを用いた実験を行った。実験は、上述の文献に記載されるプローブ刺激法の考え方をベースに、運転時の状況に次のような二重の課題を適用して行った。
　まず運転に関する課題として、ドライビングシミュレータに搭乗した運転者が、画面に表示される先行車を、車間距離を２０～３０ｍの一定に保ちながら追跡するという課題を設定した。先行車を追従する作業では、先行車のブレーキ操作や加速に反応して運転する必要がある。
　また、運転以外のタスクに関する課題（プローブ刺激法での二次課題に対応する。以後「非運転課題」と記述する。）として、ドライビングシミュレータのダッシュボードに設置したディスプレイに表示される上下左右の矢印のうち、特定の方向（今回の実験では右矢印）に対してハンドルに設置されたボタンを押すというディスプレイ視認課題を設定した。これは、カーナビが方向指示をし、またレストランやガソリンスタンドの情報を提示した場合に運転者がボタンを操作する作業を想定して設定しており、これらの運転以外のタスクに対する注意が大きすぎる場合には、運転への注意配分が足りないと対応付けをする。
　このような二重課題のそれぞれに対して、運転時の注意配分を実験的に変化させるために、難易度をそれぞれ３段階に変化させた。すなわち、運転課題に対しては、先行車のスピードを変化させ、非運転課題としては、方向指示の矢印の表示間隔を変化させることにした。
　この設定において、プローブ刺激法の考えに則り、非運転課題を遂行しているときの事象関連電位を取得し、その振幅を用いることで、まず非運転課題に対する注意配分量を求め、その後に、運転に対する注意配分量を求めることにした。
　実験には、３０代～４０代の被験者８名に対して計測実験を行い、前方車の追従課題がうまく行えなかった２名を除外した６名の脳波データに対して、解析を行った。
　脳波計測は、ポリメイトＡＰ－１１２（デジテックス製）を使用し、測定電極はＰｚ（国際１０－２０法の場所表記による、以下同様）、基準電極はＡ１（右耳朶）、設置電極はＦＰｚ（前額部）に装着した。サンプリング周波数は２００Ｈｚ、時定数は３秒、フィルタは３０Ｈｚのローパスフィルタをかけた。
　図２は、実験課題の難易度に関して、課題に対する難易度の設定を示す。主課題である運転課題と、二次課題である非運転課題（ディスプレイ視認課題）は、それぞれ独立に難易度が三段階に設定され、各３通りの状況の組み合わせを全て実施することで９通りの異なる注意配分状況での実験を実施した。
　ドライビングシミュレータのコースは、高速道路のコースに先行車が走っている状況を設定し、先行車は加速やブレーキをしながら走るため、その先行車の動きに反応しながら追従する運転が求められた。１回あたりの試行は約５分程度であった。
　まず図３は、覚醒度に関する実験結果を示す。縦軸は、α波帯（８～１３Ｈｚの周波数の強度の合計値を示し、横軸はＮＡＳＡ－ＴＬＸの精神的負担の主観的負担の評価値を示す。「ＮＡＳＡ－ＴＬＸ」とは、ＮＡＳＡのエイムズ研究所で開発されたＴａｓｋ Ｌｏａｄ Ｉｎｄｅｘで心的な負荷が評価できる指標とされている。この指標との相関を見ることで、脳波で覚醒度がどの程度推定可能かの指標とした。
　各プロットに付与された記号は２文字のアルファベットからなり、それぞれ実験条件を示している。１文字目は、運転課題に対する難易度を示す。２文字目は、非運転課題（ディスプレイ視認課題）の難易度を示す。いずれも、Ｌ／Ｍ／Ｈによって、それぞれの難易度の低、中、高を示している。この２文字の組み合わせによって、どの状況でどのような強度が見られたかを確認することができる。
　図３より、α波の強度は、ＮＡＳＡ－ＴＬＸの主観的負担と相関係数０．７８で相関が取れており、脳波の周波数解析によって、覚醒度に相当する値が推定可能であることがわかる。
　次に、図４は注意配分に関する実験結果を示す。縦軸は２００－５００ｍｓの区間でのＰ３の最大振幅をプロットしたものである。こちらも参考のため、ボタンの反応時間との相関を示す。相関係数は－０．７７である。注意配分についても事象関連電位の振幅に現れているといえる。ボタンの反応時間が短いときは、注意が十分に向けられていると判断される。よって、反応時間と振幅との間には相関が見られるため、振幅も注意配分の指標として有効であることがわかる。
　次に、図５に図４の実験結果の一部を波形で示す。実験条件は、（ａ）条件ＭＬ、（ｂ）条件ＭＭ、（ｃ）条件ＭＨである。運転課題の難易度は中程度（Ｍ）で固定し、非運転課題（ディスプレイ視認課題）を、難易度Ｌ、Ｍ、Ｈと変化させた。各グラフの横軸はディスプレイに提示された刺激（矢印）が点灯したタイミングからの経過時間で単位はｍｓ、縦軸は脳波の電位で単位はμＶである。各グラフには２本線が描かれており、ディスプレイ視認課題においてボタン押しが要求される特定方向（実験では右矢印）の刺激提示に対する反応は実線で、ボタン押しを要求されない刺激提示に対する反応は破線で示す。図５では、ディスプレイの視認に対応して、４００～５００ｍｓに陽性のピークを持つＰ３００の一種と思われる電位変化が見られており、その振幅の大きさはディスプレイ視認課題が難しくなればなるほど（図５では（ａ）から（ｃ）に変化するにしたがって）大きくなることがわかる。この振幅は非運転課題（ディスプレイ視認課題）に対する注意配分の量に関連して変化したと考えられる。
　続いて図４の結果とは別に、運転に対する注意配分量を計測結果を説明する。図６は、先行車に対する追従という運転に対する課題において、先行車のブレーキランプを起点とした事象関連電位を平均したグラフの一例を示す。実験条件は、図５と同じである。すなわち、（ａ）条件ＭＬ、（ｂ）条件ＭＭ、（ｃ）条件ＭＨで、運転課題の難易度は中程度（Ｍ）で固定し、非運転課題（ディスプレイ視認課題）を、難易度Ｌ、Ｍ、Ｈと変化させた。各グラフの横軸は先行車のブレーキランプが点灯したタイミングからの経過時間で単位はｍｓ、縦軸は脳波の電位で単位はμＶである。図６においては非運転課題が難しくなると、運転にかけられる注意量がより減少するので、例えば条件ＭＬよりは条件ＭＨの方が運転にかけられる注意量は少なく、振幅も減少することが想定される。しかしながら傾向としては振幅減少が見られるものの図５におけるＰ３００ほど明確な陽性の電位変化が見られない。
　このように、運転以外のタスクに対する事象関連電位（図５）と、運転作業に対する事象関連電位（図６）とでは、Ｐ３００の現れやすさに違いがあることが示された。この原因は、運転以外のタスクに対する事象関連電位では、ディスプレイ視認課題という、車内の設定されたディスプレイに統制された刺激が提示される条件で計測されたのに対し、運転作業に対する事象関連電位では先行車のブレーキランプという起点自体は明確であるが視認の条件としては必ずしも安定的ではなかった。
　それは、参加者には先行車との距離をなるべく一定にして運転するように指示がされていたが、先行車が減速や加速を繰り返すためにこの条件は満たされない時間帯も多かった。このため、ブレーキランプの点灯に伴う視覚刺激は先行車との距離に応じて、遠くで光ったり、近くで光ったりして一定ではなかった。また、運転課題以外にもディスプレイ視認課題を実行し、また運転画面においても先行車以外に、路面状況に反応してハンドル操作を行う必要がある実験条件であり、必ずしもブレーキランプ点灯のタイミングに、先行車を注視できていたとは限らなかった。このように刺激が一定ではなかったこと、刺激の視認タイミングも一定ではなかったことから、安定した陽性成分が見られなかったと考えられる。
　運転に対する事象関連電位は、車外で発生する様々な事象に対して計測可能であると考えられる。しかし、今回の先行車のブレーキランプの事例以外でも車外事象は刺激の大きさやタイミングがばらつきやすいことが想定され、運転に対する事象関連電位を直接、安定的に計測することは困難であると考えられる。このような知見から、少なくとも車内の機器が生成する視覚刺激や音声刺激は安定しており、それに伴う事象関連電位も安定することが想定できるため、運転者の状態検出装置においては、車内の機器が発する運転以外のタスクの事象を起点にする方が安定動作が確保しやすいと言える。
　以上の実験結果を元に、注意判定を行った結果を説明する。図７は、注意判定結果を示す。図７では左から順に実験条件、覚醒度の推定値、非運転課題への注意配分の推定値、判定結果が示されている。
　図７によれば、運転以外のタスクへの注意配分のみならず、脳波から算出される覚醒度をも考慮して数値的データをグループ分けをすることで、細かな数値的な違いに影響されることなく、安定的な注意判定が可能であるという結論が得られる。以下、詳細に説明する。
　図７において実験条件は運転に対する必要注意量２０と運転以外のタスクに対する必要注意量２１で示されている。ここでは図２における課題の難しさと必要な注意量を高、中、低の３種類で対応させた。この運転に対する必要注意量２０と運転以外のタスクに対する必要注意量２１の様々な組み合わせにより、注意散漫状態や眠い状態に対応した状態を想定している。
　次に列２２に各実験条件に対応した覚醒度（α波の強度）を示す。数値はα波の強度を図７に示した分析結果から抽出したもので、列２３はそれらの数値をＬ、Ｍ、Ｈの３つのグループに分類した結果である。グループへの分類方法は適当なα波の強度を３つに分配したものであり、０．５以下をＬ、０．９以上をＨ、その間をＭとすることにより、分類可能である。
　列２４、２５には覚醒度とは別のもう一つの情報である運転以外のタスクに対する注意配分に関する結果を示している。列２４は各条件に対応する事象関連電位の振幅を図４から抽出したものである。こちらも列２５には、列２４の数値をＬ、Ｍ、Ｈの３つのグループに分類した結果を示す。こちらもグループ分けの閾値は図４より設定可能である。列２２には図７を各条件に対応した数値的な強度から分類したもので、例えば２．０以下をＬ、５．０以上をＨ、その間をＭとすることができる。
　列２６，２７には運転以外のタスクへの注意配分のみを用いた場合の、運転に対する注意判定結果を示す。運転に対する注意配分は、運転以外のタスクへ配分された注意への残り、という考え方で求めるものとする。例えば、運転以外のタスクへの注意配分が、順にＬ、Ｍ、Ｈの場合には、運転に対する注意配分は、それぞれＨ、Ｍ、Ｌであると対応付けることができる。列２６は、注意配分の対応付けを示している。運転に対する注意がＬやＭになっているものを注意散漫とすることで、一定の基準での注意散漫の判定が可能になる。
　これに対して、列２８および２９は、覚醒度も加味して注意配分を判定した結果を示す。この判定結果は、以下の式に基づいて算出された。
　運転への注意量＝α波の強度＊（１－運転以外へのタスクに関する事象関連電位の振幅）
　上述の式では、α波の強度は、グループ分けＬ、Ｍ、Ｈ（列２３）に対応して「１」、「２」、「３」の各値を充てた。また、運転以外のタスクへの事象関連電位（Ｅｖｅｎｔ　Ｒｅｌａｔｅｄ　Ｐｏｔｅｎｔｉａｌ；ＥＲＰ）の振幅もグループ分けＬ、Ｍ、Ｈ（列２５）に対応させて、「０．３」、「０．６」、「０．９」の各値を充てた。このように、グループ分けという離散化のプロセスを入れることで、判定結果が安定して得られるという効果がある。
　列２８は、上述の式に基づいて算出された値を示す。これが覚醒度も加味した判定結果となる。したがって、数値の大きさに応じて、小さい順に「眠い」「注意散漫」「正常」に分類できる。その閾値は、実際のデータに応じて修正されればよいが、例えば０．５以下であれば「眠い」、０．５～１．０までは「注意散漫」、１．０以上は「正常」と分類できる。
　例えば、行３１においては注意配分のみの判定によれば運転に十分に注意が払われていると判定される。しかしながら、実際には、運転にも運転以外のタスクにも注意が払われていない状況である。このような状況に対しては、覚醒度と組み合わせることで注意散漫と判定できている（列２９）。また、行３２、３３の事例においては、覚醒度自体の低さが影響して最終的な数値は小さくなり、「注意散漫」ではなく、「眠い」状況であると判定される。
　以上のように脳波計測の数値を複数の離散化の処理を加えることで、脳波の信号処理から得られた特徴から運転者の状態を推定できるようになる。また図７からわかるように、注意配分のみで判定した場合には、注意散漫かどうかのみの判定だったものが、覚醒度と組み合わせることで注意散漫と眠気が強い状態を分離できる可能性がある。
　このように、ドライビングシミュレータを運転する状況において、脳波の周波数解析により覚醒度を推定し、脳波の事象関連電位解析により注意配分を推定し、それらを統合して判断することで、眠気と注意散漫の判別が可能になることが示された。
　なお、α波の強度や事象関連電位の振幅は、計測／算出された値がそのまま覚醒度や注意配分量に対応するわけではなく、ある程度のクラス分けが必要になる。それは例えばこの９通りの実験データをグループ分けすることで、測定結果の不安定さを取り除き、安定した結果を得ることができる。
　例えば、今回のデータ分布からは、グループを想定しながら境界線を設定すると、覚醒度の強度に関してはＬ＜０．５＜Ｍ＜１．０＜Ｈなど、注意配分に関しては、Ｌ＜２．０＜Ｍ＜５．０＜Ｈなどと設定可能である。
　以上の知見に基づき、運転者が運転に十分な注意を払っているか否かを脳波により識別し、十分に注意が払われていない状態を、眠気が強いか注意散漫かに分類して状態に応じた支援を行うための構成および処理を説明する。
　以下、添付の図面を参照しながら、本発明の実施形態を説明する。
　（実施形態１）
　図８は、本発明の実施形態１における注意散漫検出装置１００の構成図である。注意散漫検出装置１００は、生体信号検出部２と、覚醒度推定部３と、注意配分推定部４と、運転者状態推定部５と、出力部６とを有している。
　生体信号検出部２は、運転者１の脳波を計測する。生体信号検出部２は、たとえば脳波計である。
　覚醒度推定部３は、計測された脳波信号を解析して運転者の覚醒度を推定する。「覚醒度」とは、運転者がどれぐらい意識が明確であるかを示す指標であり、眠たくなると覚醒度が低下する。この覚醒度を推定することは運転者がどれぐらい眠たいかと関連性の高い指標になる。
　注意配分推定部４は、計測された脳波信号を別の方法で解析して注意配分量を推定する。ここで「注意配分」とは、運転者が持つ注意の向けることのできる総量のうち、運転以外のタスクに対してどれだけ注意配分がされているかを示す指標である。注意配分推定部４が注意配分量を推定する方法は、後に説明する。
　また、運転者状態推定部５は、覚醒度推定部３および注意量推定部４からの推定結果を受けて現在の運転者の状態を分類する。「運転者の状態」とは、運転者の様々な状態のうち、注意に関連する状態を表す。本明細書では以下の３つの状態に区分している。運転者の状態は以下の３状態のいずれかに分類される。
　状態Ａ：運転に十分な注意が払われている。
　状態Ｂ：覚醒度は十分にあるが、運転には十分な注意が払われていない。
　状態Ｃ：覚醒度が低いので運転にも注意が不足している。
　覚醒度推定部３、注意配分推定部４および運転者状態推定部５は、たとえば各機能を実現する専用の半導体チップ回路として実現される。
　出力部６は、運転者状態推定部５の分類結果に基づき、運転者への注意喚起情報等を出力する。出力部６は、たとえば音声による運転者への呼びかけ、動作音や警告音の提示を行うスピーカである。または、出力部６は、カーナビやヘッドアップディスプレイ上へのテキストや画像の提示であってもよい。そのほかにも、注意を向けて欲しい対象物に重ね合わせて表示するＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等も含まれる。
　以下では、本実施形態で扱う概念のうち、注意配分推定部４等で使われる「注意配分」の概念と、「注意散漫状態」と「眠気」との区別を説明する。
　「注意配分」とは、運転者が自動車運転時に行う様々な作業のうち、どの作業にどれぐらいの注意を配分しているかを示している。「注意」とは、ある対象物の状態の確認や作業の執行に意識的に向けられる心理的な量のことで、安全運転を遂行するためには注意深い運転が求められる。
　運転者は自動車運転時に様々な作業を行っている。例えば、前方の安全確認、信号の確認、歩行者や自転車の移動に注意を払うこと、などの運転に関わる作業もあるし、音楽を聴いたり、カーナビやカーステレオの操作、ラジオ等からの情報の取得、同乗者との会話等の、直接には運転には関わらない作業もある。これらの作業に対して運転者は、その時の状況等に応じて、様々に注意の配分を変えながら、複数の作業を並行的に行っていると考えられる。
　このうち運転に対する注意が十分でない場合には、十分な安全運転ができないという意味で、機器からの運転に対する注意喚起が有効な場面が発生する。例えば、同乗者とのおしゃべりに夢中になって、車両前方の状況把握に注意配分が少ない場合には、とっさの状況変化に対応しにくくなるし、眠気が強い場合にも、状況変化の対応が遅れると考えられる。ここで前者の会話の事例のように十分な覚醒度があるにも関わらず運転への注意が減少している場合と、後者の眠気が強いために注意が減少している場合は、安全運転ではない点は同じでも、対応方法は異なるため、この両者を区別して扱うことが本発明の着眼点である。
　この注意量の配分について、さらに図９を用いて説明する。本願発明は注意に対し、「量」という概念を利用している。より具体的には、図９（ａ）のように、現在の注意量というのは、円筒に蓄えられた水のように、量として考える。このとき、円筒の大きさが、その運転者が持ちうる注意量の最大値になり、そのときに蓄えられた水が注意に相当すると考える。この量は、集中度合いや覚醒度によって上下するものと考えられる。例えば図９（ａ）の場合には、７０％の注意量があるとする。この数値は注意配分の概念説明のために、便宜的に付与したものである。この注意量が、その時の運転者が行う作業に配分されると考える。図９（ｂ）においては、音楽を聴きながら運転をしている場合には、例えば、運転に全体の５０％の注意が配分され、音楽に２０％の注意が配分されていると考えられる。この配分であれば、運転者は、音楽を楽しみながら安全運転が遂行できているとする。
　この考え方において、安全運転が遂行できない状況には、２通りある。眠さによって注意量が減少したとき、および、注意が散漫になり、注意配分にミスが生じるときである。図９（ｃ）は眠気が強くなった場合の注意量を示す。眠気のために覚醒度が低下して、注意量自体が低下したために、安全運転に必要な注意量（５０％）が確保されないために、注意喚起が必要になる。一方、図９（ｄ）は、注意量は十分にあるが、電話応対等に注意が多く（５０％）取られてしまい、運転への配分が十分でなくなった場合である。この場合を本願明細書においては、注意散漫状態と呼ぶ。この場合、眠気はないので図９（ｃ）とは別の注意喚起方法が必要になる。
　以下、順に注意散漫検出装置１００の処理の詳細について、フローチャート等を用いて説明する。処理の詳細の説明の後に、発明者らが行ったドライビングシミュレータを用いた実験結果によって、本実施形態の実現可能性を示す。
　図１０は、注意散漫検出装置１００の処理の全体のフローチャートを示す。
　ステップＳ１０では、生体信号検出部２は、運転者の脳波を取得する。脳波は頭部の時間的な電位変化のことで、一般的には頭部に装着された脳波計により計測可能である。
　ステップＳ２０では、覚醒度推定部３は、ステップＳ１０で計測された脳波信号を処理することで覚醒度を推定する。
　ステップＳ３０では、注意配分推定部４は、ステップＳ１０で計測された脳波信号をステップＳ２０とは異なる方法で処理し、注意配分の推定を行う。
　ステップＳ４０では、ステップＳ２０およびステップＳ３０にて算出された覚醒度と注意配分の両方の数値に基づいて、運転者状態推定部５にて運転者の状態の推定を行う。運転者の状態を上述の３状態のいずれかに分類するのがこのステップの役割である。
　ステップＳ５０では、出力部６は、ステップＳ４０にて推定された運転者の状態に基づき、運転者へ働きかけを行う。例えば、状態Ａ（運転に十分な注意が払われている）と判定された場合には、特に問題はなく特段の出力はされない。状態Ｂ（覚醒度は十分にあるが、運転には十分な注意が払われていない）と判定された場合には運転への注意配分の向上を促す出力がなされる。また状態Ｃ（覚醒度が低いので運転にも注意が不足している）では運転者の覚醒度を向上させる出力がなされる。出力例については後述する。
　以上のような流れにより注意散漫検出が行われる。以下、順に各ステップの処理の詳細を説明する。
　生体信号検出部２では運転者の脳波を計測する。脳波計は運転者が装着する必要があるが、脳波計のデバイスは小型化や簡易装着化が進み、容易に装着が可能になりつつある。計測された運転者の脳波の信号は、有線または無線で、覚醒度推定部３および注意配分推定部４に送信される。
　次に、図１１のフローチャートを参照しながら、覚醒度推定部３の処理を説明する。図１１は、覚醒度推定部３の処理手順を示すフローチャートである。
　ステップＳ２１では、覚醒度推定部３は生体信号計測部２にて取得された脳波の信号を受け取る。どの範囲の脳波を受け取るかは、運転者の状況等によって異なるが、例えば所定の時間前から現在までの一定時間、例えば５分前から現在までの５分間の脳波データが取得される。
　ステップＳ２２では、各周波数に対する信号強度が算出される。算出にはＦＦＴ（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）解析等が用いられる。
　ステップＳ２３では、覚醒度推定部３は特定周波数の強度を抽出する。周波数強度は覚醒度と関連があるとされている。例えば、特開２００７－０００２８０号公報においては、α波とβ波の比を用いる方法などが示されている。また、複雑な課題を遂行するときには、周波数強度が全体的に増加するので、後述するように周波数全域や特定の周波数帯域の強度を用いても良い。
　なお、覚醒度推定部３は、複数の時刻においてそのときの脳波信号から周波数強度を求めてもよい。ただし、複数の時刻における脳波信号の周波数強度を利用するときは、脳波信号の周波数強度に応じて定まる複数のグループが予め用意されていることが好ましい。たとえば、上述のように閾値に応じて周波数強度が高い（Ｈ）、低い（Ｌ）、その中間（Ｍ）のグループを設けることが好ましい。覚醒度推定部３は、算出した脳波信号の各周波数強度とグループを定める閾値との大小関係に基づいて、各周波数強度を複数のグループのいずれかに分類する。そして、最も多くの周波数強度が分類されたグループの平均周波数強度を、次のステップＳ２４で利用する周波数強度として利用してもよい。または、脳波信号の周波数強度そのものを利用するのではなく、各グループの属性（Ｌ、Ｍ、Ｈ）として予め定められた周波数強度を、次のステップＳ２４で利用する周波数強度として利用してもよい。
　ステップＳ２４では、覚醒度推定部３はステップＳ２３で算出された周波数強度と覚醒度を対応付ける。覚醒度は心理的な量であり、周波数強度と、何らかの対応付けが必要になる。覚醒度推定部３は、周波数強度と覚醒度とを対応付けた規則を保持している。その対応付けの規則（方法）は様々考えられる。たとえば、周波数強度の値をそのまま覚醒度に割り当てるという規則であっても良いし、覚醒度に関する主観評価の値と、そのときの周波数強度とを事前にデータとして取得しておいて、その関係性を規定したテーブルや数式を保持してもよい。そのようなテーブルや数式が、対応付けの規則となる。ここでは、覚醒度が推定される方法であれば良い。
　次に、図１２のフローチャートを参照しながら、注意配分推定部４の処理を説明する。また、同時に図１３の処理の例を平行して説明する。なお、図１３の波形は説明のための一例である。
　図１２は、注意配分推定部４の処理手順を説明するフローチャートである。
　図１２のステップＳ３１では、注意配分推定部４は、生体信号計測部２にて取得された脳波を受け取る（図１３の脳波１３）。どの範囲の脳波１３を受け取るかは運転者の状況等によって異なる。例えば所定の時間前からその時点までの一定時間、例えば５分前から現在までの５分間の脳波データが取得される。
　また、このとき脳波データとともにトリガ１４も同時に脳波データに付随しているものとする。ここでトリガとは、運転者に対して何らかの刺激が提示されたタイミングを信号として抽出したものである。解析前の脳波データは、一連の電位変化を記録したものであるが、トリガを起点にした区間を分析することで、初めて運転者に対する刺激に対する事象関連電位が解析でき、注意の程度が把握できるようになる。この注意検出の起点となり得る、運転以外に運転者に提示される刺激としては、カーナビからの音声や効果音の提示や、車内のメータ類や情報ディスプレイに情報が提示されたとき、などが利用可能である。これらの運転以外の刺激に対する事象関連電位の振幅の大小によって、同時にこなしている運転作業への注意量が判定可能になる。
　またトリガ１４は、脳波計測の時の脳波以外のチャンネルに記録してもよいし、時間的な同期を取って別の記録手段に記録されていてもよい。
　ステップＳ３２では、注意配分推定部４は、ステップＳ３１で取得したデータからトリガ１４を抽出する。注意配分の推定には、例えば事象関連電位のＰ３００成分の頂点の振幅などが用いられ、その事象関連電位を取得するための起点を示すトリガ情報１４が必要になる。トリガ情報１４は、どの時間にどのイベントが発生したかの情報を含む。ステップＳ３１で取得した脳波には、複数のイベントに対する複数のトリガ１４が含まれている。
　ステップＳ３３では、注意配分推定部４は波形を切り出す。ステップＳ３２で抽出されたトリガ情報１４のタイミングを用いて、そのタイミングから例えば－２００ミリ秒～６００ミリ秒などの範囲で脳波データが事象関連電位１５として切り出される。この切り出し範囲は、使用したい事象関連電位の性質等に応じて変更すればよい。
　ステップＳ３４では、ステップＳ３３で切り出された脳波データ（事象関連電位）の振幅１７を算出する。イベントに対するＰ３００信号を使用する場合では、例えば２００－５００ミリ秒の範囲の中で陽性に最も大きな値をとった場合の電位の値を用いる方法などが考えられる。ある事象に対する注意の量と、振幅の大きさは関係があるとされ、注意の量が大きいほど、振幅も大きくなるとされる（上述の「映像に対する注意を測る－事象関連電位を用いたプローブ刺激法の応用例－」参照）。ここで算出された振幅は、ステップＳ３６での処理のために、いったんメモリ（図示せず）に記録される。なお振幅の算出は、波形の加算平均を行った後に求める方法も考えられる。
　ステップＳ３５では、注意配分推定部４は、すべてのトリガに対する処理が完了したかを判断する。もしもすべてのトリガに対する処理が完了していれば、ＹＥＳとしてステップＳ３６に進み、まだ完了していない場合にはＮＯとしてステップＳ３２に進む。
　ステップＳ３６では、注意配分推定部４は、ステップＳ３４にて複数の波形に対する複数の振幅データがそろった時点で、その値の平均１７を算出する。脳波は、各単独試行でのばらつきが大きいので、加算平均をすることで、その安定した波形１６と振幅１７を算出できる。
　なお、注意配分推定部４は、複数の時刻においてそのときの脳波信号から事象関連電位の振幅を複数算出してもよい。ただし、複数の時刻における事象関連電位の振幅を利用するときは、覚醒度推定部３と同様、振幅に応じて定まる複数のグループが予め用意されていることが好ましい。たとえば、上述のように閾値に応じて振幅が大きい（Ｈ）、小さい（Ｌ）、その中間（Ｍ）のグループを設けることが好ましい。注意配分推定部４は、算出した事象関連電位の各振幅とグループを定める閾値との大小関係に基づいて、各振幅を複数のグループのいずれかに分類する。そして、最も多くの振幅が分類されたグループの平均振幅を、次のステップＳ２４で利用する振幅としてもよい。または、脳波信号の事象関連電位の振幅そのものを利用するのではなく、各グループの属性（Ｌ、Ｍ、Ｈ）として予め定められた振幅を、次のステップＳ３７で利用する振幅としてもよい。
　ステップＳ３７では、注意配分推定部４は、ステップＳ３６で算出された振幅の平均値と注意配分量との対応付けを行う。注意配分推定部４は、振幅の平均値と注意配分量とを対応付けた規則を保持している。その対応付けの規則（方法）は様々考えられる。たとえば、振幅の平均値と注意配分量とを事前にデータとして取得しておいて、それらを対応付けたテーブルや数式を保持してもよい。そのようなテーブルや数式が、対応付けの規則となる。
　次に、図１４のフローチャートを参照しながら、運転者状態推定部５の処理を説明する。　ステップＳ４１では、運転者状態推定部５は、覚醒度推定部３から覚醒度の推定結果を取得する。
　ステップＳ４２では、運転者状態推定部５は、注意配分推定部４から注意配分の推定結果を取得する。
　ステップＳ４３では、運転者状態推定部５は運転注意量を算出する。運転注意量は以下の式によって算出する。
　　運転注意量＝覚醒度＊（１－注意配分）
　ここで運転注意量は、０から１の範囲の値を取り、最終的に運転に対してどれだけの注意が向けられているかを示す。また、注意配分も０から１の範囲の値をとり、運転と運転以外のタスクに向けられた注意配分のうち、運転以外のタスクに向けられた注意配分の割合を０から１の範囲で示す。したがって（１－注意配分）は、運転に向けられた注意の割合に該当する。このように、本願発明者らは、運転注意量は、覚醒度と運転に向けられた注意の割合の積で求められると定義した。
　この式での定義により、運転に向けられる注意の割合が多くても、覚醒度が低くて運転に対する注意量が不足する場合や、運転に向けられる注意の割合は少なくても十分な覚醒度によって安全に運転可能な注意量が確保されている状況等が表現可能になる。
　ステップＳ４４では、運転注意量が十分な値があったかが判定される。もしも十分な運転注意量があった場合にはＹＥＳとなり、ステップＳ４６で特に問題はない（状態Ａ）と判定される。反対に十分でない場合にはＮＯとなり、ステップＳ４５に進む。
　ステップＳ４５では、運転者状態推定部５は覚醒度が十分であったかを再度確認する。ここで覚醒度が高い場合にはＹＥＳとなり、ステップＳ４８で、運転以外のタスクに注意が向けられていた注意散漫状態（状態Ｂ）であったと判定され、覚醒度が低い場合には、ステップＳ４７で全般的に注意が低下している（状態Ｃ）と判定される。
　ステップＳ４６～ステップＳ４８では、上記の各条件に対応した運転者状態の判断がなされ、次の出力部に判定結果が送られる。
　次に、出力部６の動作を説明する。出力部６は、運転者状態推定部５で判定された運転者状態に基づいて、必要に応じて装置１００側から運転者に出力する。
　出力部６から運転者への出力方法の例は、音声による運転者への呼びかけ、動作音や警告音の提示、カーナビやヘッドアップディスプレイ上へのテキストや画像の提示、注意を向けて欲しい対象物に重ね合わせて画像等をヘッドアップディスプレイ上に表示するＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等、様々なものが含まれる。
　出力部６から運転者への働きかけが必要な状態は、上述した状態Ｂと状態Ｃである。ただしこれは一例であり、運転者への働きかけを状態Ｃのときのみ行ってもよい。
　状態Ｂは、覚醒度は十分にあるが、運転には十分な注意が払われていない状態である。よって、すでに十分な覚醒度を持つ運転者には目を覚ますための働きかけは不要である。状態Ｂに対する働きかけ方としては、「運転に対する注意が不足しています。運転に集中してください。」等の運転に注意を向けるような音声指示や、外部の状況を説明して、「混雑した道路です。運転に集中してください。」等の音声指示が可能である。
　状態Ｃは、覚醒度が低く運転にも注意が不足している状態である。よって、状態Ｃにおいては基本的には覚醒度を高くするための働きかけを行えばよい。具体的には、自動車がスピーカを利用して「眠気が強いようです。休憩をお薦めします。」等の休憩を促したり、窓を開けたり、エアコンの風を強くする等、覚醒度を高くするための制御をすることが有効になる。
　以上のような処理によって、脳波信号から運転者の状態が分類され、運転に対する注意量が不足していると判定された場合には、運転者状態に支援が実施される。これによって、従来よりもさらに運転者の状態に対応した支援が可能になる。また運転者に適切な支援がされることで運転者の機器に対する信頼度が向上し、機器からの出力に対する運転者の反応も良くなり、安全運転支援の実現に近づけられる。
　なお、今回解析に使用した運転作業以外に対応する事象関連電位のトリガとしては、ディスプレイ上の特定の情報に対する反応を利用したが、カーナビ等が発生する音声や効果音の発生タイミング、や文字提示タイミング等も利用可能である。また、同乗者との会話における発話に対する反応等も利用可能である。
　なお、本実施形態１において、覚醒度推定部２および注意配分推定部３では、５分間の脳波を用いて処理を行うと設定したが、これは処理精度の向上や、試行時間に含まれるトリガの個数によって、もっと短くすることも可能である。もっと短い時間の脳波で判定するには、今回の実験のような単独のディスプレイ上に表示された情報に対する反応だけではなく、様々な反応に対する事象関連電位を集計することも有効である。これにより、単位時間に発生するトリガが増え、解析できる脳波データが増やすことができる。
　またノイズ対策や高精度の事象関連電位抽出手法の開発によっても、必要な脳波時間を減少させることができる。試行回数の少ない事象関連電位の処理方法については、脳波インタフェースの研究分野で盛んに研究がなされており、これらの技術を組み合わせることで、必要な事象関連電位の個数が減らせる。
　また、脳波の解析時間は一定である必要はなく、含まれるトリガの個数を一定にすることもできる。
　（実施形態２）
　実施形態１においては、運転者の状態のみによって注意散漫状態の判定がなされていた。しかしながら、実際の運転場面においては、安全運転に必要な注意量は、運転時の外部環境、例えば道路の状況や天候、時間帯、混雑度等、様々な要因によって変動することが想定される。このため、運転者により正確に、注意散漫等を知らせるためには、外部環境との関係を考慮した判定が必要になる。
　例えば見通しのよい、通行量の少ない高速道路を走行している場合と、混雑した商店街を走行している場合では、必要な注意量は異なることが想定される。また、天候や路面状況によっても運転に必要な注意量は異なることが想定される。これらの状況に応じて出力部６からの運転者への働きかけを調整することが可能になり、より適切な運転者への働きかけが実現できる。
　本実施形態による注意散漫検出装置は、外部環境との比較を行った上で、運転者状態を判定する。
　本実施形態では、運転に対して同じ注意配分がされていても十分な安全運転ができている場合と、十分な安全運転ではなくさらに注意配分が必要な場合があることを検出して、その必要注意配分量との比較により、より運転状況に適した支援を行える実施形態について説明する。
　図１５は、本発明の実施形態２における注意散漫検出装置２００の構成図である。実施形態１と同じ構成要素には同じ番号を付与し、説明を省略する。構成要素として実施形態１と異なるのは、外部環境検出部７を備えている点である。外部環境検出部７は、運転者が直面している車外の状況を検出する。なお、図面上は外部環境検出部７が存在するか否かが、実施形態１および２との差異として捉えられる。しかしながら、外部環境検出部７の信号を受ける運転者状態推定部５内部の処理も異なる。よって、実施形態２の全体のフローチャートを説明した後に、外部環境検出部７および運転者状態推定部５の詳細処理を説明する。
　図１６は注意散漫検出装置２００の処理の全体のフローチャートを示す。実施形態１と同じ処理を行うステップに関しては、説明を簡易にとどめる。
　ステップＳ１０では、生体信号検出部２は、運転者の脳波を取得する。
　ステップＳ２０では、ステップＳ１０で計測された脳波信号を処理する。これにより、覚醒度推定部３にて、覚醒度が推定される。
　ステップＳ３０は、注意配分推定部４は、ステップＳ１０で計測された脳波信号を利用して注意配分を推定する。
　ステップＳ６０では、外部環境検出部７が車外の状況を認識する。車外の状況の例については、後述する。
　ステップＳ４０では、運転者状態推定部５は、ステップＳ２０およびステップＳ３０にて算出された覚醒度と注意配分の両方の数値に基づいて、運転者の運転についての注意量を算出する。そして、ステップＳ６０にて得られた車外の状況から算出された安全な運転に必要な注意量と比較することで、運転者の状態を分類する。
　ここで運転者の状態とは、実施形態１において説明した運転者の３つの状態である。すなわち、注意に関連して、
　状態Ａ：運転に十分な注意が払われている、
　状態Ｂ：覚醒度は十分にあるが、運転には十分な注意が払われていない、
　状態Ｃ：覚醒度が低いので運転にも注意が不足している、の３状態のことである。
　運転者の状態をこの３状態のいずれかに分類するのがステップ４０の役割である。
　ステップＳ５０では、出力部６は、ステップＳ４０にて推定された運転者の状態に基づき、運転者へ働きかけを行う。例えば状態Ａであると判定された場合には、特に問題はないので、特に出力はされないが、状態Ｂでは、運転への注意配分が向上できるような出力がなされ、状態Ｃでは、運転者の覚醒度が向上できるような出力がなされる。出力例については、実施形態１で説明した通りである。
　次に、図１７の例を用いて外部環境検出部７で検出される外部環境の例を示す。
　図１７は、外部状況を左右するいくつかの要因と、それに対応する必要注意量を格納したテーブルを示している。このテーブルは、たとえば運転者状態推定部５に保持されている。
　外部状況を左右する要因としては、通勤や買い物等の日常の活動と相関の高い時間帯や運転者にとっての外部環境の認識のしやすさに関係する照度の列４０、運転操作に対する車の挙動を左右する路面状況の列４１、外部の視認のしやすさや対向車からの視認のされやすさに関連する天候の列４２、注意すべき対象物の個数の列４３などが、リストになっている。これらのいくつかの要因は、各状況で組み合わせとして発生し、その組み合わせによって必要注意量も変動する。
　これらのデータは、図１７のように表形式でいくつかの状況では、どれだけの注意量が必要かをデータベースとしてあらかじめ列４４のように算出して保持しておいても良いし、各状況のパラメータから算出することも可能であると考えられる。すなわち、外部（車外）環境から必要注意量を導出するための何らかの規則を有していればよい。例えば、周囲の照度などは認識のしやすさとして、注意すべき物体の個数なども注意量にそのまま関係するので、ある係数をかけて必要注意量に反映させることもできる。
　図１８は、実施形態２における運転者状態推定のフローチャートを示す。実施形態１と同じ処理を行うステップに関しては、説明を簡易にとどめる。
　ステップＳ４１では、運転者状態推定部５は、覚醒度推定部３から覚醒度の推定結果を取得する。
　ステップＳ４２では、運転者状態推定部５は、注意配分推定部４から注意配分の推定結果を取得する。
　ステップＳ７１では、運転者状態推定部５は、外部環境検出部７から、外部環境の状況を取得する。
　ステップＳ４３では、運転者状態推定部５は、運転注意量を算出する。運転注意量は運転注意量＝覚醒度＊（１－注意配分）の式によって算出される。
　ステップＳ７２では、運転者状態推定部５は、必要注意量の算出を行う。これは、図１７に示したように、表形式で対応する必要注意量を参照しても良いし、事前に設定したルール等から決めることもできる。
　ステップＳ７３では、運転者状態推定部５は、ステップＳ４３で算出された現在の運転者の運転注意量と、ステップＳ７２で算出された必要注意量の比較を行う。もしも、運転注意量が必要注意量より大きい場合にはＹＥＳとなり、ステップＳ４６で運転には十分な注意が払われていると分類される。判定に運転注意量が必要注意量より小さい場合にはＮＯとなりステップＳ４５に進む。
　ステップＳ４５では、運転者状態推定部５は、覚醒度が十分であったかを再度確認する。ここで覚醒度が高い場合にはＹＥＳとなり、ステップＳ４８で、運転以外のタスクに注意が向けられていた注意散漫状態であったと分類され、覚醒度が低い場合には、ステップＳ４７で全般的に注意が低下していると分類される。
　ステップＳ４６～ステップＳ４８では、運転者状態推定部５は、上記の各条件に対応した運転者状態の判断を行い、次の出力部に判定結果の情報を送信する。
　このような運転者状態の推定により、事前に設定された固定的な注意量に基づく判定ではなく、道路状況に適した運転者状態の分類ができ、必要な場合にのみ運転者に注意喚起を行えるようになり、必要以上な警告や、警告不足の状況を減らすことができる。
　なお、実施の形態における運転以外のタスクに対する事象関連電位の起点としては、本願発明者らが実施したようなディスプレイ視認課題に相当する車内のカーナビ等にメッセージを表示したときの提示タイミングが使用できる。その他の視覚刺激としては、車内に事象関連電位計測用の視覚刺激提示装置を設置する。例えば両サイドミラーやカーナビ、スピードメータ部等にＬＥＤを設置する。その視覚刺激提示装置を点滅させたタイミングを用いることも可能である。
　また、聴覚刺激としては、カーナビが発する注意喚起音とメッセージの組み合わせ「ポーン、次右方向です」における注意喚起音の発生タイミングを用いたり、ラジオや音楽を聴取しているときに音が急に変化するタイミングを用いることも可能である。
　また、視覚や音声刺激以外にも体性感覚に対する刺激の提示も有効である。例えば、ハンドルやドライバのシートが時折振動し、その振動に対する事象関連電位の計測によっても、運転以外のタスクに対する注意を反映する情報として利用可能である。
　また、車の運転に対する車外の事象については明確な刺激であることが望ましいと考えられるが、明確な刺激の例としては、例えば交通信号の切り替わりのタイミング等がある。信号が赤に変ることはブレーキ操作や、ブレーキの準備が必要になり、注意変化を捉えやすいタイミングと言える。同様に、聴覚刺激では救急車両の発する警告音が、また体性感覚刺激としては、白線をタイヤが踏んだときの振動が使用可能である。
　上述の各実施形態に関する注意散漫検出装置の処理は、コンピュータに実行されるプログラムによって実現され得る。たとえば、フローチャートを用いて説明した処理は、その処理の手順を規定したコンピュータプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
　上述の注意散漫検出装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。たとえば実施形態１の注意散漫検出装置には汎用のプロセッサが設けられており、そのプロセッサがコンピュータプログラムを実行することにより、覚醒度推定部３、注意配分推定部４および運転者状態推定部５の一部または全てとして機能する。
　なお、図示された注意散漫検出装置は１つの筐体内に収められていなくてもよい。たとえば生体信号検出部として脳波計を利用する際には、脳波計は注意散漫検出装置の他の構成要素と有線または無線で接続されてもよい。また、通信ネットワークを介して離れた位置に設けられたコンピュータが、覚醒度推定部３、注意配分推定部４および運転者状態推定部５の一部または全てとして機能してもよい.。
　本発明にかかる注意散漫検出装置による運転者状態の推定は幅広い産業で利用可能である。たとえば、一般車両の運転者だけでなく、業務用車両を運転する運転者（たとえばトラックやタクシーやバスの運転者）、車以外の乗物（電車や飛行機や船舶）の操縦者、工場等のプラントの監視者等に対して運転や操作等の注意が必要とされる産業に利用可能である。
　　１　運転者
　　２　生体信号検出部
　　３　覚醒度推定部
　　４　注意量推定部
　　５　運転者状態推定部
　　６　出力部
　　７　外部環境検出部

Claims (10)

  1. 　運転者の脳波信号を検出する脳波検出部と、
    　脳波信号と覚醒度とを対応付ける第１規則を保持し、検出された前記脳波信号および前記第１規則に基づいて、覚醒度を推定する覚醒度推定部と、
    　脳波信号と注意配分の程度とを関連付ける第２規則を保持し、検出された前記脳波信号および前記第２規則に基づいて、注意配分の程度を推定する注意配分推定部と、
    　覚醒度および注意配分から注意量を導出するための第３規則を保持し、推定された前記覚醒度、前記注意配分および前記第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類する運転者状態推定部と、
    　前記運転者状態分類部の分類結果に基づいて、前記運転者に対する働きかけを行う出力部と
    　を備えた注意散漫検出装置。
  2. 　前記第１規則は、脳波信号の周波数強度と覚醒度とを対応付けており、
    　前記覚醒度推定部は、検出された前記脳波信号の周波数強度を算出し、算出結果および前記第１規則に基づいて前記覚醒度を推定する、請求項１に記載の注意散漫検出装置。
  3. 　前記覚醒度推定部には、脳波信号の周波数強度に応じて定まる複数のグループが予め設けられており、
    　前記覚醒度推定部は、複数の時刻において算出した前記脳波信号の各周波数強度を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの周波数強度および前記第１規則に基づいて前記覚醒度を推定する、請求項２に記載の注意散漫検出装置。
  4. 　前記第２規則は、脳波信号の事象関連電位の振幅と注意配分とを対応付けており、
    　前記注意配分推定部は、検出された前記脳波信号の事象関連電位の振幅を算出し、算出結果および前記第２規則に基づいて前記注意配分の程度を推定する、請求項１に記載の注意散漫検出装置。
  5. 　前記注意配分推定部は、前記事象関連電位の振幅に応じて定まる複数のグループが予め設けられており、
    　前記注意配分推定部は、複数の時刻において算出した前記脳波信号の事象関連電位の各振幅を前記複数のグループのいずれかに分類し、前記複数のグループのうちの１つに分類された少なくとも１つの事象関連電位の振幅および前記第２規則に基づいて前記注意配分の程度を推定する、請求項４に記載の注意散漫検出装置。
  6. 　外部環境を検出する外部環境検出部をさらに備え、
    　前記運転者状態推定部は、検出された外部環境に基づいて必要注意量を導出する規則を有しており、前記外部環境検出部にて検出された外部環境に対して前記規則を適用することによって導出される必要注意量と、前記運転手状態推定部にて推定された運転に対する注意量とを比較し、運転者が外部環境の複雑さに対して注意が払われているか否かを判定する、請求項１に記載の注意散漫検出装置。
  7. 　前記運転者状態推定部は、前記覚醒度推定部によって推定された覚醒度と、前記注意配分推定部によって推定された運転に対する注意配分を掛け合わせることによって、運転者の運転に対する注意量を算出する、請求項１に記載の注意散漫検出装置。
  8. 　前記注意配分推定部は、運転以外に対する注意配分と、運転に対する注意配分との関係を対応付ける規則を有しており、前記運転以外に対する注意配分および前記規則に基づいて、前記運転に対する注意配分を推定することが可能であり、
    　前記運転者状態推定部は、前記運転以外に対する注意配分および前記規則に基づいて推定された前記運転に対する注意配分と、前記覚醒度推定部によって推定された覚醒度とを掛け合わせることによって、前記運転者の運転に対する注意量を算出する、請求項１に記載の注意散漫検出装置。
  9. 　脳波信号と覚醒度とを対応付ける第１規則を用意するステップと、
    　脳波信号と注意配分の程度とを関連付ける第２規則を用意するステップと、
    　覚醒度および注意配分から注意量を導出するための第３規則を用意するステップと、
    　運転者の脳波信号を検出するステップと、
    　検出された前記脳波信号および前記第１規則に基づいて覚醒度を推定するステップと、
    　検出された前記脳波信号および前記第２規則に基づいて注意配分の程度を推定するステップと、
    　推定された前記覚醒度、前記注意配分および前記第３規則に基づいて前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、
    　分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップと
    　を包含する注意散漫検出方法。
  10. 　コンピュータによって実行されるコンピュータプログラムであって、
    　前記コンピュータプログラムは、前記コンピュータに対し、
    　運転者の脳波信号を受け取るステップと、
    　検出された運転者の脳波信号、および、脳波信号と覚醒度とを対応付ける第１規則に基づいて覚醒度を推定するステップと、
    　検出された前記脳波信号、および、脳波信号と注意配分の程度とを関連付ける第２規則に基づいて注意配分の程度を推定するステップと、
    　推定された前記覚醒度、前記注意配分、および、覚醒度および注意配分から注意量を導出する第３規則に基づいて、前記運転者の運転に対する注意量を推定し、前記運転者の状態を、通常状態、注意量低下状態および覚醒度低下状態に分類するステップと、
    　分類する前記ステップの分類結果に基づいて、前記運転者に対する働きかけを行うステップと
    　を実行させる、コンピュータプログラム。
PCT/JP2009/004771 2008-09-19 2009-09-18 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム WO2010032491A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2009801108595A CN101980660B (zh) 2008-09-19 2009-09-18 注意力分散检测装置、及注意力分散检测方法
JP2010503303A JP4500369B2 (ja) 2008-09-19 2009-09-18 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
US12/793,263 US8239015B2 (en) 2008-09-19 2010-06-03 Distraction detection apparatus, distraction detection method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008240470 2008-09-19
JP2008-240470 2008-09-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/793,263 Continuation US8239015B2 (en) 2008-09-19 2010-06-03 Distraction detection apparatus, distraction detection method, and computer program

Publications (1)

Publication Number Publication Date
WO2010032491A1 true WO2010032491A1 (ja) 2010-03-25

Family

ID=42039338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004771 WO2010032491A1 (ja) 2008-09-19 2009-09-18 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム

Country Status (4)

Country Link
US (1) US8239015B2 (ja)
JP (1) JP4500369B2 (ja)
CN (1) CN101980660B (ja)
WO (1) WO2010032491A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158939A1 (ja) * 2010-06-18 2011-12-22 株式会社日立製作所 疲労度評価システム
JP2014064604A (ja) * 2012-09-24 2014-04-17 Denso Corp ストレス評価装置、及び、ストレス評価プログラム
JP2014509877A (ja) * 2010-12-30 2014-04-24 デンソー インターナショナル アメリカ インコーポレーテッド 人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法
CN103932719A (zh) * 2013-01-18 2014-07-23 袁囡囡 疲劳驾驶检测技术
JP2014179103A (ja) * 2013-03-14 2014-09-25 Toyota Motor Engineering & Manufacturing North America Inc 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
JP2015104515A (ja) * 2013-11-29 2015-06-08 株式会社デンソー ストレス評価装置，及びプログラム
JP2015104516A (ja) * 2013-11-29 2015-06-08 株式会社デンソー 精神負担評価装置、及びプログラム
JP2019154868A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 推定システム、推定装置及び推定方法
JP2020144239A (ja) * 2019-03-06 2020-09-10 本田技研工業株式会社 運転技量分析装置
WO2020184581A1 (ja) * 2019-03-13 2020-09-17 いすゞ自動車株式会社 車両制御装置
WO2020203350A1 (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 集中度計測装置、集中度計測方法、及び、プログラム
WO2021176633A1 (ja) * 2020-03-05 2021-09-10 三菱電機株式会社 運転者状態推定装置および運転者状態推定方法
WO2022168187A1 (ja) * 2021-02-03 2022-08-11 三菱電機株式会社 調整装置、調整システム、および、調整方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102119857B (zh) * 2011-02-15 2012-09-19 陕西师范大学 基于匹配追踪算法的疲劳驾驶脑电检测系统及检测方法
US9037523B2 (en) 2011-04-07 2015-05-19 Honeywell International Inc. Multiple two-state classifier output fusion system and method
US9146133B2 (en) * 2011-06-06 2015-09-29 Honeywell International Inc. Methods and systems for displaying procedure information on an aircraft display
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
US9251704B2 (en) * 2012-05-29 2016-02-02 GM Global Technology Operations LLC Reducing driver distraction in spoken dialogue
US8758126B2 (en) * 2012-11-08 2014-06-24 Audible, Inc. In-vehicle gaming system for passengers
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
JP5974915B2 (ja) 2013-01-29 2016-08-23 株式会社デンソー 覚醒度検出装置、および覚醒度検出方法
US9064420B2 (en) 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
WO2014147828A1 (ja) 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
KR102113767B1 (ko) * 2013-11-28 2020-05-21 현대모비스 주식회사 운전자 상태 감지 장치 및 그 방법
US10417486B2 (en) * 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
US9718558B2 (en) 2014-02-26 2017-08-01 Honeywell International Inc. Pilot centered system and method for decluttering aircraft displays
CN103919565A (zh) * 2014-05-05 2014-07-16 重庆大学 一种疲劳驾驶脑电信号特征提取与识别的方法
CN105313898B (zh) * 2014-07-23 2018-03-20 现代摩比斯株式会社 驾驶员状态感应装置及其方法
US9778628B2 (en) 2014-08-07 2017-10-03 Goodrich Corporation Optimization of human supervisors and cyber-physical systems
US9764689B2 (en) 2014-10-08 2017-09-19 Livio, Inc. System and method for monitoring driving behavior
US10147007B1 (en) * 2015-01-13 2018-12-04 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for determining whether a vehicle is being operated in autonomous mode or manual mode
CN104850227B (zh) * 2015-05-05 2018-09-28 北京嘀嘀无限科技发展有限公司 信息处理的方法、设备及系统
JP6692610B2 (ja) * 2015-06-09 2020-05-13 富士通株式会社 検出プログラム、検出方法および検出装置
CN105286891A (zh) * 2015-11-17 2016-02-03 南京信息工程大学 面向车载网中感知层面的疲劳检测与处理方法
EP3384475B1 (en) * 2015-12-06 2021-12-22 Cerence Operating Company System and method of conversational adjustment based on user's cognitive state
US10414406B2 (en) * 2016-03-01 2019-09-17 International Business Machines Corporation Measuring driving variability under potentially distracting conditions
JP6579014B2 (ja) * 2016-03-29 2019-09-25 株式会社デンソー 自動ブレーキ制御装置及びコンピュータプログラム
CN105893980B (zh) * 2016-04-26 2019-02-26 北京科技大学 一种注意力专注度评价方法及系统
WO2018094232A1 (en) 2016-11-17 2018-05-24 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations
CN106691441A (zh) * 2016-12-22 2017-05-24 蓝色传感（北京）科技有限公司 基于脑电与运动状态反馈的注意力训练系统及方法
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP6638701B2 (ja) * 2017-06-08 2020-01-29 トヨタ自動車株式会社 運転意識推定装置
KR20190061726A (ko) * 2017-11-28 2019-06-05 현대자동차주식회사 차량의 운전제어권 조정 시스템 및 방법
CN107961006B (zh) * 2017-12-28 2023-12-05 出门问问信息科技有限公司 腕式智能穿戴设备和信息提示方法
US10810966B1 (en) * 2019-01-15 2020-10-20 Ambarella International Lp Fusion of electronic mirror systems and driver monitoring for increased convenience and added safety
KR20210000876A (ko) * 2019-06-26 2021-01-06 현대자동차주식회사 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치
CN111897414B (zh) * 2020-06-10 2024-01-30 中国联合网络通信集团有限公司 控制物体速度的方法、系统及电子设备
CN111951637B (zh) * 2020-07-19 2022-05-03 西北工业大学 一种任务情景相关联的无人机飞行员视觉注意力分配模式提取方法
CN112890831A (zh) * 2021-01-15 2021-06-04 褚明礼 一种基于脑电信息的效率管理方法
CN115920192B (zh) * 2023-02-06 2023-05-09 西南医科大学附属医院 专注力分配能力训练系统、运行方法及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178367A (ja) * 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
JP2005228003A (ja) * 2004-02-12 2005-08-25 Toyota Motor Corp 走行支援装置、運転能力試験装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119076B2 (ja) 1994-06-02 2000-12-18 日産自動車株式会社 車両用警報表示装置
CN2236420Y (zh) * 1995-05-23 1996-10-02 孟正权 汽车司机疲劳、走神驾驶电脑监测制动装置
US6496724B1 (en) * 1998-12-31 2002-12-17 Advanced Brain Monitoring, Inc. Method for the quantification of human alertness
US20050107716A1 (en) * 2003-11-14 2005-05-19 Media Lab Europe Methods and apparatus for positioning and retrieving information from a plurality of brain activity sensors
KR100569009B1 (ko) * 2003-12-30 2006-04-07 현대자동차주식회사 차량용 정보 시스템의 사용성 평가 시스템
JP2007000280A (ja) 2005-06-22 2007-01-11 Toyota Motor Corp 覚醒度低下判定装置
JP2007265377A (ja) 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP4240118B2 (ja) * 2006-12-12 2009-03-18 トヨタ自動車株式会社 運転支援装置
WO2009064473A1 (en) * 2007-11-13 2009-05-22 Wavesynch Technologies, Inc. A method for monitoring attentiveness and productivity in a subject

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178367A (ja) * 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
JP2005228003A (ja) * 2004-02-12 2005-08-25 Toyota Motor Corp 走行支援装置、運転能力試験装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NORIYOSHI MATSUO: "Jidosha Unten ni Okeru No Kino Hyoka to No Kassei Shuho", JAPANESE JOURNAL OF CLINICAL NEUROPHYSIOLOGY, YUGEN SEKININ CHUKAN HOJIN NIPPON RINSHO SHINKEI SEIRI GAKKAI, vol. 35, no. 5, 1 October 2007 (2007-10-01), pages 329 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011158939A1 (ja) * 2010-06-18 2011-12-22 株式会社日立製作所 疲労度評価システム
JP5462941B2 (ja) * 2010-06-18 2014-04-02 株式会社日立製作所 疲労度評価システム
JP2014509877A (ja) * 2010-12-30 2014-04-24 デンソー インターナショナル アメリカ インコーポレーテッド 人間・機械インターフェース性能評価のための運転手作業負荷関数および運転手作業負荷関数の使用を判定する方法
US9946334B2 (en) 2010-12-30 2018-04-17 Denso International America, Inc. Method to determine driver workload function and usage of driver workload function for human-machine interface performance assessment
JP2014064604A (ja) * 2012-09-24 2014-04-17 Denso Corp ストレス評価装置、及び、ストレス評価プログラム
CN103932719A (zh) * 2013-01-18 2014-07-23 袁囡囡 疲劳驾驶检测技术
JP2014179103A (ja) * 2013-03-14 2014-09-25 Toyota Motor Engineering & Manufacturing North America Inc 自動車又は携帯電子装置を使用した能動的且つ自動的なパーソナルアシスタンスを提供するコンピュータベースの方法及びシステム
JP2014182597A (ja) * 2013-03-19 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
JP2015104515A (ja) * 2013-11-29 2015-06-08 株式会社デンソー ストレス評価装置，及びプログラム
JP2015104516A (ja) * 2013-11-29 2015-06-08 株式会社デンソー 精神負担評価装置、及びプログラム
JP2019154868A (ja) * 2018-03-14 2019-09-19 オムロン株式会社 推定システム、推定装置及び推定方法
JP2020144239A (ja) * 2019-03-06 2020-09-10 本田技研工業株式会社 運転技量分析装置
JP7266429B2 (ja) 2019-03-06 2023-04-28 本田技研工業株式会社 運転技量分析装置
WO2020184581A1 (ja) * 2019-03-13 2020-09-17 いすゞ自動車株式会社 車両制御装置
WO2020203350A1 (ja) * 2019-03-29 2020-10-08 パナソニックＩｐマネジメント株式会社 集中度計測装置、集中度計測方法、及び、プログラム
CN113631211A (zh) * 2019-03-29 2021-11-09 松下知识产权经营株式会社 专注度测量装置、专注度测量方法以及程序
WO2021176633A1 (ja) * 2020-03-05 2021-09-10 三菱電機株式会社 運転者状態推定装置および運転者状態推定方法
WO2022168187A1 (ja) * 2021-02-03 2022-08-11 三菱電機株式会社 調整装置、調整システム、および、調整方法
JPWO2022168187A1 (ja) * 2021-02-03 2022-08-11
JP7399324B2 (ja) 2021-02-03 2023-12-15 三菱電機株式会社 調整装置、調整システム、および、調整方法

Also Published As

Publication number Publication date
JP4500369B2 (ja) 2010-07-14
US8239015B2 (en) 2012-08-07
CN101980660A (zh) 2011-02-23
CN101980660B (zh) 2013-01-16
JPWO2010032491A1 (ja) 2012-02-09
US20100241021A1 (en) 2010-09-23

Similar Documents

Publication Publication Date Title
JP4500369B2 (ja) 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
US9117124B2 (en) Driving attention amount determination device, method, and computer program
Doudou et al. Driver drowsiness measurement technologies: Current research, market solutions, and challenges
Li et al. Influence of traffic congestion on driver behavior in post-congestion driving
US9480429B2 (en) State-of-attention determination apparatus
JP2011180873A (ja) 運転支援装置、及び運転支援方法
CN111754729A (zh) 疲劳驾驶提示装置及提示方法
JP5127576B2 (ja) 精神作業負荷検出装置及びそれを備えた自動二輪車
KR20080064199A (ko) 사람의 상태 검출 장치
KR101999211B1 (ko) 뇌파를 이용한 운전자 상태 검출 장치 및 그 방법
KR101259663B1 (ko) 무력상태 모니터
Manikandan et al. Automobile drivers distraction avoiding system using galvanic skin responses
Arun et al. Hypovigilance warning system: A review on driver alerting techniques
Melnicuk et al. Employing consumer electronic devices in physiological and emotional evaluation of common driving activities
Ahlstrom et al. Measuring driver impairments: sleepiness, distraction, and workload
Mabry et al. Commercial motor vehicle operator fatigue detection technology catalog and review
Niwa et al. A wearable device for traffic safety-a study on estimating drowsiness with eyewear, JINS MEME
Antunes et al. An intelligent system to detect drowsiness at the wheel
JP2008049067A (ja) 人の状態検出装置及び人の状態検出方法
JP6648788B1 (ja) 運転制御調整装置および運転制御調整方法
Arun et al. Hypovigilance detection using energy of electrocardiogram signals
Miyaji Data mining for safety transportation by means of using Internet survey
Langer et al. Driver Condition Detection
John et al. Driver Drowsiness Detection From Multiple Facial Features Using Mobile Devices
Hagenmeyer et al. Development and application of a universal, multimodal hypovigilance-management-system

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980110859.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010503303

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09814336

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09814336

Country of ref document: EP

Kind code of ref document: A1