WO2011055505A1 - 注意状態判定装置、方法およびプログラム - Google Patents

注意状態判定装置、方法およびプログラム Download PDF

Info

Publication number
WO2011055505A1
WO2011055505A1 PCT/JP2010/006257 JP2010006257W WO2011055505A1 WO 2011055505 A1 WO2011055505 A1 WO 2011055505A1 JP 2010006257 W JP2010006257 W JP 2010006257W WO 2011055505 A1 WO2011055505 A1 WO 2011055505A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
determination
eye movement
state
attention
Prior art date
Application number
PCT/JP2010/006257
Other languages
English (en)
French (fr)
Inventor
透 中田
幸治 森川
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10828066.0A priority Critical patent/EP2500889B1/en
Priority to CN201080016580.3A priority patent/CN102396009B/zh
Priority to JP2011515619A priority patent/JP4772935B2/ja
Publication of WO2011055505A1 publication Critical patent/WO2011055505A1/ja
Priority to US13/207,547 priority patent/US9480429B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6816—Ear lobe

Definitions

  • the present invention determines the state of caution of an operator who operates a vehicle such as driving an automobile (for example, whether it is concentrated in driving or distracted) based on brain waves and performs safe driving. It is related to technology to support.
  • Patent Document 1 discloses a technique for estimating a driver's arousal level from a sleep waveform pattern of an electroencephalogram or an ⁇ wave component.
  • the inventors of the present application believe that it is not sufficient to simply capture the state of the driver while driving based on the arousal level. The reason is that the degree of arousal alone cannot capture a state in which attention is not paid to driving despite being awake (so-called distraction state). Therefore, in addition to the conventional detection of sleep due to arousal level, a certain state of attention to driving (for example, other things are considered, or attention is focused on music and conversation, and the consciousness is not concentrated on driving) It is necessary to have a method to measure and evaluate "awareness aside").
  • an electroencephalogram-related potential Erye Fixation Related Potential: EFRP
  • EFRP Electroencephalogram-related potential
  • the “eye-stop related potential” is related to the end time of rapid eye movement (saccade), that is, the start time of eye stop when a person is working or looking at things freely.
  • a positive component that appears more predominately in the occipital region than in the frontal region is referred to as “lambda reaction”. It is known that the lambda response varies depending on the degree of attention concentration on the visual target.
  • Patent Document 2 in an environment where saccades of various sizes are generated, saccades are classified for each saccade size and line-of-sight movement pattern to calculate an eyeball related potential. Then, the attention concentration is evaluated from the specific component of the calculated eyeball retention-related potential (for example, the amplitude value of the component of the eyeball retention-related potential corresponding to the lambda reaction).
  • FIGS. 1 (a) to 1 (c) show the results of experiments conducted by the inventors of the present application on eyeball-related potentials.
  • 1A is a waveform obtained by averaging the waveforms of all 12 subjects measured at the back of the head
  • FIG. 1B is a waveform obtained by adding and averaging the waveforms of the subject A measured a plurality of times
  • FIG. 1C shows a waveform obtained by averaging the waveforms of the subject B measured a plurality of times.
  • the horizontal axis indicates the time (latency) when the start time of eyeball retention is 0 milliseconds, and the unit is milliseconds.
  • the vertical axis indicates the potential (EERP amplitude), the unit is ⁇ V, and the downward direction is positive.
  • a solid line indicates an eyeball stop-related potential in a state of being concentrated on driving, and a dotted line indicates an eyeball stop-related potential in a state where attention is not directed to driving (that is, a distraction state).
  • the amplitude of the positive component (lambda response) that appears in the vicinity of about 100 milliseconds starting from the eyeball retention start time is as large as 3.4 ⁇ V during driving concentration, and 1 when distracted. It is as small as 2 ⁇ V.
  • the amplitude value of the lambda response increases and decreases according to the attention state as in the conventional knowledge.
  • a certain threshold is set, and if the amplitude value of the lambda response is equal to or greater than the threshold, the driving concentration state is determined. If it is small, it is desirable to determine that the state is distracted.
  • the vicinity of 0.9 ⁇ V may be set as the threshold value.
  • the optimum threshold value for determining the attention state is determined based on a graph that may cause individual differences, the value varies greatly from subject to subject. Therefore, it can be understood that the attention state for driving cannot be accurately determined unless this individual difference is taken into consideration.
  • Patent Document 3 proposes a method of adjusting an individual difference when using an electroencephalogram interface that identifies an option that a subject wants to select from among a plurality of options using an event-related potential of an electroencephalogram.
  • a subject performs a task of selecting one option from a plurality of options in advance using an electroencephalogram interface about 100 times per subject. Then, the system learns the characteristics of the brain waves for each individual from the brain wave data obtained in each work.
  • a similar method can be considered for determining the driving attention state using an electroencephalogram.
  • requiring complicated calibration work before driving takes time and is a heavy burden on the driver.
  • it is difficult to get a sufficient amount of learning data in advance because it is practically impossible to actually drive public roads in a distracted state for pre-calibration work. is there.
  • the present invention has been made to solve the above-mentioned problems, and its purpose is to perform explicit calibration work in advance in an apparatus for determining a driving attention state using an electroencephalogram having a large individual difference for each driver. Therefore, it is possible to accurately determine the attention state of each driver without causing the driver to perform.
  • An attention state determination device includes an electroencephalogram measurement unit that measures an electroencephalogram signal of an operator, an eye movement measurement unit that measures an eye movement signal indicating the eye movement of the operator, and the operator starts a driving operation.
  • a preparation state detection unit that detects a time interval during which preparation is performed, and a determination reference adjustment unit that adjusts a determination reference for determining a caution state when the operator is performing a driving operation.
  • an attention state determination unit that determines the attention state of the operator performing the driving operation, and acts to call attention to the operator based on the determination result And an output unit.
  • the determination criterion adjustment unit may further adjust the determination criterion based on a power spectrum value of the frequency of the electroencephalogram signal measured in the time interval.
  • the attention state determination unit may determine the attention state of the operator by comparing the amplitude value of the lambda response of the eye-resting-related potential that has been averaged with a determination threshold that is the determination criterion. .
  • the determination criterion adjustment unit sets a determination threshold value that is the determination criterion as the calculated lambda response amplitude value of the eyeball retention-related potential increases, and sets the determination threshold value as the lambda response amplitude value decreases. May be.
  • the determination reference adjustment unit sets the determination reference higher as the power spectrum value of the ⁇ wave included in the electroencephalogram signal measured in the time interval increases, and is included in the electroencephalogram signal measured in the time interval.
  • the determination criterion may be set lower as the ⁇ wave power spectrum value increases.
  • the preparation state detector At least one time when a vehicle engine is started, a setting operation of a car navigation system provided in the vehicle is started, a brake of the vehicle is released, and a vehicle speed of the vehicle is detected to be a predetermined value or less. May be detected as the start time.
  • the preparation state detection unit detects that the vehicle speed is equal to or higher than a predetermined value, and sets at least one time after a predetermined time from the start time as an end time.
  • the time interval may be detected.
  • the determination criterion adjustment unit may detect, based on the eye movement signal, a time when the eye movement of the operator becomes smaller than a predetermined threshold value as a start time of the eyeball stop related potential.
  • the attention amount determination unit may use a local maximum value included in 50 ⁇ 100 milliseconds of the eye-holding related potential averaged from the eye-holding start time as an amplitude value of a lambda reaction.
  • Another caution state determination device includes a preparation state detection unit that detects a time interval during which an operator is preparing before starting a driving operation, and a caution when the operator is performing a driving operation.
  • a determination reference adjustment unit that adjusts a determination reference for determining a state, using the eye movement signal measured by the eye movement measurement unit that measures an eye movement signal indicating the eye movement of the operator, Judgment of calculating an eyeball retention-related potential of the electroencephalogram signal measured at least in the time interval by an electroencephalogram measurement unit that measures an electroencephalogram signal of an operator, and adjusting the determination criterion based on the calculated eyeball retention-related potential
  • a reference adjustment unit and calculates an eyeball-related potential from the electroencephalogram signal and the eye movement signal measured after the operator starts the driving operation.
  • an attention state determination unit that determines the attention state of the operator performing the driving operation based on the adjusted determination criterion, and alerts the operator based on the determination result.
  • an output section that acts for this purpose.
  • the attention state determination method includes a step of measuring an electroencephalogram signal of an operator, a step of measuring an eye movement signal indicating the eye movement of the operator, and a preparation before the operator starts a driving operation.
  • a computer program is a computer program executed by a computer installed in an attention state determination device, wherein the computer program receives data of an electroencephalogram signal of an operator from the computer, and the operation Receiving eye movement signal data indicating a person's eye movement, detecting a time interval when the operator is preparing before starting the driving operation, and the operator performing the driving operation Adjusting a criterion for determining an attention state at the time, and using the eye movement signal, calculating an eyeball-related potential of the electroencephalogram signal measured at least in the time interval, and calculating Adjusting the determination criterion based on the eyeball stop-related potential; and Based on the step of calculating an eyeball retention-related potential from the electroencephalogram signal and the eye movement signal measured after the operation is started, and based on the calculated eyeball retention-related potential and the adjusted criterion, the driving operation is performed.
  • the step of determining the attention state of the operator being performed and the step of acting to alert the operator based on the determination result are executed.
  • the determination accuracy of each operator's attention state (for example, whether the user is focused on driving or distracted) without causing the operator to perform explicit calibration work in advance. Can be kept high. Therefore, it is possible to perform appropriate support such as alerting each operator based on the determination result.
  • (A)-(c) is a figure which shows the experimental result which this inventor implemented about the eyeball retention related electric potential. It is a figure which shows the electrode position of the international 10-20 method.
  • (A) And (b) is a figure which shows the time change of a lambda reaction amplitude value. It is a figure which shows the relationship between the lambda reaction amplitude value of an operation preparation state, and an optimal threshold value. Linear multiple regression analysis with the optimal threshold value for each subject as the objective variable, and the lambda response amplitude value (L) and ⁇ , ⁇ , and ⁇ wave power spectrum values ( ⁇ , ⁇ , ⁇ ) in the operational preparation state as explanatory variables It is a figure which shows the result of having performed.
  • FIG. 1 It is a block block diagram of the caution state determination apparatus 1 by this embodiment. It is a figure which shows the structural example of the electroencephalogram measurement part 11 implement
  • FIG. 4 is a flowchart illustrating a processing procedure of a determination criterion adjustment unit 14; It is a figure which shows the data of the waveform relevant to the process of the determination reference adjustment part. 4 is a flowchart illustrating a processing procedure of an attention state determination unit 15. It is a figure which shows the example of the determination target time section 83 (a)-(d). 5 is a diagram illustrating a specific example of an output unit 16.
  • FIG. (A)-(d) is a figure which shows the average value of all the 12 test subjects of the discrimination rate of the driving attention state calculated
  • the attention state determination device is used in a situation where the driver operates the vehicle (automobile).
  • the attention state determination device is used in a situation where the driver operates the vehicle (automobile).
  • the inventors of the present application determined the optimum threshold value for each driver for determining the driving attention state by the experiment described below, the lambda response amplitude value of the eyeball stop-related potential in the driving operation preparation state, and the components of the electroencephalogram It was found that estimation can be made based on the power spectrum values of ⁇ wave, ⁇ wave, and ⁇ wave.
  • the “driving operation preparation state” in an example of driving a vehicle such as an automobile is a state in which preparations before starting running (driving operation) (for example, engine start, car navigation system operation, side brake release) are performed. Or, the vehicle speed is generally lower than 10 km / hour. As will be described later, in the present invention, since it is not necessary to be limited to the operation of driving, the comprehensive term “operation preparation state” may be used.
  • the “eyeball retention-related potential” and the “lambda response” are as already described in the background art section.
  • test subjects were 7 men and 5 women in total, with an average age of 21.3 ⁇ 1.2 years.
  • the inventors of the present application conducted an experiment by a double task method in which the subject performed two tasks in parallel.
  • the first problem is a driving problem.
  • the subject was challenged to drive a city course of about 6 minutes with a driving simulator (Mitsubishi Precision, abbreviated as “DS” hereinafter).
  • the congestion of the roads in the city course was set to such an extent that the vehicle could run freely within the speed limit, and a forward vehicle, an oncoming vehicle, a following vehicle, and a pedestrian were arranged.
  • the subject followed a predetermined route according to the instructions displayed on the screen of the car navigation system.
  • the directions were confirmed only by visual inspection of the subjects themselves, and no navigation by voice guidance was performed.
  • n-Back test means that, for example, a one-digit number is presented by voice every 3 seconds, and the number presented n times before (eg, 0 before, 2 before) is answered by utterance. It is a problem. This will be specifically described. For example, if there is a voice presentation of “3, 5, 9, 1, 6,...” Every 3 seconds and a 0-back number is answered, the subject is “3, 5, 9, The numbers presented as “1, 6,...” Will be answered as they are.
  • the experimental conditions will be explained.
  • the first condition is a driving concentration condition.
  • the operation concentration condition the DS operation (operation) and the 0-Back test are performed in parallel.
  • the 0-Back test is considered to be a state where the driver can concentrate on driving because the cognitive load is not so large.
  • the second condition is a distraction condition.
  • the DS operation (driving) and the 2-Back test are performed in parallel. Since the 2-Back test has a large cognitive load, the subject has to devote a lot of attention resources to accomplishing this task, which can result in distracting driving.
  • the subject was equipped with an electroencephalograph (manufactured by TEAC, polymate AP-1124).
  • the arrangement of the electroencephalograph electrodes is as follows.
  • the lead-out electrode was placed on Oz (back of the head) in the International 10-20 method
  • the reference electrode was placed on A1 and A2 (average of both left and right earlobe)
  • the ground electrode was placed on the forehead.
  • FIG. 2 shows the electrode positions for the International 10-20 method.
  • FIG. 2 shows the lead-out electrode Oz and the left and right earlobe reference electrodes A1 and A2.
  • the EEG data measured at a sampling frequency of 200 Hz and a time constant of 3 seconds was subjected to a band pass filter process of 1 to 15 Hz. Then, electroencephalogram data from -300 milliseconds to 600 milliseconds was cut out starting from the saccade end time, that is, the eyeball retention start time, and baseline correction was performed with the potential value at the time of 0 milliseconds.
  • FIGS. 1A to 1C show the addition average waveform of the eyeball retention-related potential (EFRP) after the above processing is performed.
  • EFRP eyeball retention-related potential
  • FIG. 1 shows the addition average waveform for all 12 subjects
  • (b) shows the addition average waveform of a subject A
  • (c) shows the addition average waveform of another subject B.
  • the solid line shows the waveform under the driving concentration condition
  • the dotted line shows the waveform under the distraction condition.
  • the horizontal axis is the time (latency) when the eyeball retention start time is 0 millisecond, the unit is millisecond, the vertical axis is the potential, and the unit is ⁇ V.
  • the positive component that appears at a time of about 100 milliseconds (this component is a lambda response) has an amplitude of lambda response of 3.4 ⁇ V during operation (ie, when the subject is concentrated). It is large and is as small as 1.2 ⁇ V when distracted. From this graph, it can be seen that the amplitude value of the lambda response increases or decreases depending on the attention state.
  • the attention state whether the attention was focused on driving or the attention was distracted for each subject.
  • it is determined (estimated) using the lambda response amplitude value and the threshold value that the driver is in a driving concentration state if the amplitude value is greater than the threshold value, and is in a distracted state if the amplitude value is less than the threshold value.
  • the threshold is set near 0.9 ⁇ V, and if it is more than that, it is determined that it is in a driving concentration state, and if it is smaller, it is in a distraction state Is desirable.
  • subject B in (c) it is desirable to determine the driving concentration state and the distraction state by setting the threshold value around 8.4 ⁇ V. That is, it can be seen that the optimum threshold for estimating the attention state varies greatly from subject to subject, and it is not possible to accurately determine the attention state for driving unless this individual difference is taken into consideration.
  • 3 (a) and 3 (b) show changes over time in the lambda response amplitude values of subjects A and B, respectively.
  • the horizontal axis is the elapsed time, and the unit is seconds.
  • the vertical axis represents potential, the unit is ⁇ V, and is positive upward.
  • a solid line indicates a driving concentration condition, and a dotted line indicates a distraction condition.
  • the first plots 91 to 94 existing at the left end of each graph of FIGS. 3A and 3B show lambda response amplitude values calculated from the EFRP average waveform in the operation preparation state.
  • An example of the time width of the “driving operation preparation state” is from the engine start until a predetermined time (45 seconds) has elapsed.
  • the lambda response amplitude values in the driving concentration condition and the distraction condition shown in FIG. 3A are 2.2 ⁇ V (plot 91) and 1.2 ⁇ V (plot 92), respectively.
  • the lambda response amplitude values in the driving concentration condition and the distraction condition of the subject B shown in FIG. 3B are 6.9 ⁇ V (plot 93) and 7.8 ⁇ V (plot 94), respectively.
  • the second and subsequent plots of each graph show the lambda calculated from the EFRP added average waveform for each determination target time interval when the time width TW is 180 seconds and the time shift TS is 30 seconds after the driving operation preparation state.
  • the response amplitude value is shown.
  • the lambda response amplitude value in the driving preparation state is less affected by the difference in the attention state, while the individual differences between the subjects A and B are greatly reflected. It can also be seen that the lambda response amplitude value after the driving operation preparation state reflects the influence of the attention state in addition to the individual difference. Specifically, in the graphs of FIGS. 3 (a) and 3 (b), the lambda response amplitude value tends to be maintained or increased during driving concentration, whereas it tends to decrease during distraction.
  • eye movement accompanying fine confirmation work occurs.
  • the eye movement starts from the engine start, accompanying the operation of the car navigation system, the release of the side brake, the left / right confirmation before the departure and during the slowing down period, and the like.
  • a certain amount of attention resources is assigned to each of the confirmation operations. Because the operation to set the desired destination in the car navigation system and the operation to take out the vehicle while being careful not to hit the front, rear, left and right from a relatively narrow place such as a parking lot, This is because it is a series of tasks that cannot be accomplished without a certain amount of care compared to relatively monotonous tasks.
  • any operation requires visual confirmation, it is inevitably considered to be an operation in which eye movement occurs.
  • the “driving operation ready state” can be regarded not only as a time range before traveling or during a slow running period but also as a state where the above-described series of operations are actually being performed. For this reason, the lambda response amplitude value in the driving preparation state is less influenced by the difference in attention state (experimental conditions) (difference between plots 91 and 92 in FIG. 3 or difference between plots 93 and 94), while individual differences (figure 3 (a) plots 91 and 92 and the difference between plots 93 and 94 in FIG.
  • the adjustment of the determination standard corresponding to each driver is preferably performed by using an eyeball related potential during actual driving. This is because, since it is necessary to determine the attention state of the driver during driving, it is naturally considered appropriate to acquire the eyeball stop-related potential of the driving time interval in which individual differences occur. .
  • the inventors of the present application have a constant and small variation in the driver's attention state, and that the influence of individual differences is likely to appear in the eyeball-related potential before driving (rather than driving).
  • the time interval of the driving operation preparation state is a time zone suitable for acquiring the driver's eyeball stop-related potential, and the adjustment of the criterion for each driver (so-called calibration) It can be said that it is preferable to use the eyeball retention-related potential in the operation preparation state.
  • an optimum threshold value considering the characteristics of each subject can be calculated by using the lambda response amplitude value in the operation preparation state in which only individual differences are strongly reflected.
  • an optimal threshold value may be calculated as follows.
  • L is the lambda response amplitude value in the operation ready state
  • Th is the optimum determination threshold for each subject.
  • FIG. 4 shows the relationship between the lambda response amplitude value in the operation ready state and the optimum threshold value.
  • the horizontal axis is the lambda response amplitude value (L) of the operation preparation state for each subject, the unit is ⁇ V, and the vertical axis is the optimum judgment threshold (Th) for each subject obtained from the experimental results, and the unit is ⁇ V.
  • the “optimum determination threshold value” is a value obtained from a result of performing both the driving concentration condition and the distraction condition experiment described above for each subject.
  • the threshold with the highest discrimination rate is set as the “optimum judgment threshold”. As shown in FIGS. 1B and 1C, for example, in the case of the subject A, it is 0.9 ⁇ V, and in the case of the subject B, it is 8.4 ⁇ V.
  • the optimum determination threshold (Th) can be approximated by the following equation.
  • the correlation coefficient R in the above approximate expression is 0.96, and it was found that there is a very strong correlation between the lambda response amplitude value in the operation ready state and the optimum threshold value.
  • “Correlation function” is a statistical index indicating the correlation (degree of similarity) between two variables, and is generally considered to have a strong correlation when the absolute value is 0.7 or more. . By utilizing this relationship, it is possible to estimate an optimum threshold value from the lambda response amplitude value in the operation preparation state.
  • the inventors of the present application further obtained a threshold value by using power spectrum values of ⁇ wave, ⁇ wave, and ⁇ wave, and evaluated them.
  • FIG. 5 further uses the optimum threshold value for each subject as an objective variable, and explains the lambda response amplitude value (L) and the power spectrum values ( ⁇ , ⁇ , ⁇ ) of ⁇ , ⁇ , and ⁇ waves in the operational preparation state. Shows the results of linear multiple regression analysis.
  • the vertical axis is the optimum threshold (Th) for each subject, and the unit is ⁇ V.
  • the horizontal axis is an evaluation value (E) represented by the following approximate expression.
  • the evaluation value (E) and the optimum threshold value have a linear relationship with a slope of 1 and an intercept of 0.
  • the correlation coefficient R in the above approximate expression is 0.99, which indicates that a stronger correlation exists than in the example of FIG.
  • the power spectrum values of ⁇ wave, ⁇ wave, and ⁇ wave are used only by or in addition to the lambda response amplitude value in the operation preparation state.
  • the optimum threshold value for each subject can be estimated more accurately.
  • the “driving operation preparation state” is a vehicle operation that is divided into an operation to drive toward the destination (driving operation) and an operation to prepare for starting the driving operation.
  • the detection of the driving operation preparation state may be performed based on, for example, whether or not the driving operation preparation state is within a predetermined time starting from a certain time such as engine start, and / or may be changed according to the content of the operation preparation. . For example, when the operation of the shift lever or the depression of the accelerator is detected, it may be determined that the “driving operation preparation state” has ended and the state has transitioned to the “driving operation state”.
  • FIG. 6 shows a block diagram of the attention state determination apparatus 1 according to the present embodiment.
  • the attention state determination apparatus 1 determines an attention state with respect to driving by using a brain wave signal of the driver 10, more specifically, an eyeball retention related potential which is one component of the brain wave signal.
  • the attention state with respect to driving is whether attention is concentrated on driving or attention is distracted.
  • the attention state determination apparatus 1 performs support for prompting the operator to call attention.
  • the caution state determination device 1 adjusts the determination criterion for each driver. As a result, it becomes possible to accurately analyze brain waves that vary greatly from person to person.
  • the attention state determination apparatus 1 includes an electroencephalogram measurement unit 11, an eye movement measurement unit 12, an output unit 16, and a determination processing unit 20.
  • the determination processing unit 20 includes a preparation state detection unit 13, a determination reference adjustment unit 14, and an attention state determination unit 15. Note that the block of the driver 10 is shown for convenience of explanation.
  • the electroencephalogram measurement unit 11 measures an electroencephalogram signal of the driver 10.
  • the eye movement measuring unit 12 measures the eye movement of the driver 10 and outputs an eye movement signal indicating the eye movement.
  • the preparation state detection unit 13 of the determination processing unit 20 detects a time interval in the driving operation preparation state, in other words, a period in which the driving operation preparation state continues.
  • the determination criterion adjustment unit 14 of the determination processing unit 20 adjusts the determination criterion for determining the driving attention state based on the value of a specific component (described later) calculated from the electroencephalogram data and eye movement data in the time interval.
  • the attention state determination unit 15 of the determination processing unit 20 uses the eye movement data measured by the eye movement measurement unit 12 to calculate an eyeball retention related potential from the electroencephalogram data measured by the electroencephalogram measurement unit 11.
  • the attention state for driving is determined based on the amplitude value of the specific component of the eyeball retention-related potential and the determination criterion adjusted by the determination criterion adjustment unit 14.
  • the output unit 16 provides support for prompting the driver 10 to call attention based on the determination result.
  • the electroencephalogram measurement unit 11 is an electroencephalograph that outputs an electroencephalogram signal by measuring a potential using an electrode mounted on the head of the driver 10 and measuring the potential change.
  • the inventors of the present application envision a wearable electroencephalograph in the future.
  • FIG. 7 shows a configuration example of the electroencephalogram measurement unit 11 realized as a head-mounted electroencephalograph.
  • Electrodes 11a to 11e are arranged in the electroencephalogram measurement unit 11 so as to come into contact with a predetermined position of the head when worn on the head of the driver 10. For example, it is assumed that the electrodes 11a and 11c are in contact with the electrode positions O1 and O2 on the back of the head according to the international 10-20 method. Similarly, the electrode 11b contacts the occipital electrode position Oz, the electrode 11d contacts the earlobe A1, and the electrode 11e contacts the forehead portion.
  • a head-mounted electroencephalograph in which electrodes are arranged so as to be in contact with the position may be adopted.
  • the electrode position may be determined from the reliability of signal measurement and the ease of mounting.
  • At least two electrodes are sufficient. For example, potential measurement is possible only with the electrodes 11b and 11d corresponding to the electrode positions Oz and A1.
  • the electroencephalogram measurement unit 11 can measure the electroencephalogram of the driver 10.
  • the measured electroencephalogram signal is sampled so as to be processed by a computer and stored in a primary storage device (for example, a semiconductor memory) held in the electroencephalogram measurement section 11.
  • a primary storage device for example, a semiconductor memory
  • the attention state determination apparatus 1 may be provided with an auxiliary storage device (not shown) such as a hard disk drive, and the sampled electroencephalogram signal may be stored in the auxiliary storage device.
  • data for a predetermined period of time is temporarily stored in the above-described primary storage device and updated as needed. Alternatively, it is not temporary and may be stored entirely in the above-described auxiliary storage device.
  • the electroencephalogram signal measured by the electroencephalogram measurement unit 11 is preferably subjected to low-pass filter processing in advance.
  • low-pass filter processing For example, when a commercial power supply of 50 Hz or 60 Hz is used, a 30 Hz low-pass filter process may be applied to the electroencephalogram signal.
  • the eye movement measuring unit 12 measures the eye movement based on the EOG (Electrooculogram) method.
  • the “EOG method” is a method of measuring eye movement from changes in potential of electrodes arranged on the left and right and top and bottom of the eyeball.
  • the EOG method utilizes the property that the cornea of the eyeball is positively charged with respect to the retina.
  • the eye movement measurement unit 12 outputs a signal indicating eye movement (eye movement signal).
  • FIG. 8 shows a hardware configuration example of the eye movement measurement unit 12 that measures eye movement by the EOG method and outputs an eye movement signal indicating the eye movement.
  • the eye movement measurement unit 12 includes an electrode (H1, H2 and V1, V2), a horizontal potential detector 21, a vertical potential detector 22, an eyeball angle information memory 23, a converter 24, and a primary memory 25. And.
  • the horizontal potential detector 21 detects a horizontal eye movement signal representing the horizontal movement of the eyeball from the potential difference between the electrodes (H1, H2) attached to the left and right temples of the driver 10.
  • the vertical potential detector 22 detects a vertical eye movement signal representing the vertical movement of the eyeball from the potential difference between the electrodes (V1, V2) mounted on the upper and lower sides of the eyeball.
  • the signal indicating the eye movement direction may be a vector signal obtained by combining horizontal and vertical eye movement signals.
  • the eyeball angle information memory 23 stores in advance information (first eyeball angle information) indicating the correspondence between the amplitude values of the horizontal and vertical eye movement signals and the angle of the eyeball.
  • the converter 24 measures the angle of the eyeball from each amplitude value based on the eyeball angle information.
  • the primary memory 25 stores data for a predetermined time and updates it as needed.
  • the eye movement measuring unit 12 shown in FIG. 8 may be a head-mounted measuring device as with the electroencephalograph.
  • FIG. 9 shows an example of the data structure of the first eyeball angle information.
  • the first eyeball angle information is configured by associating the amplitude value (electric potential) in the horizontal direction and the vertical direction with the angle of the eyeball. For example, when the amplitude value (potential) changes +50 ⁇ V in the horizontal direction and +30 ⁇ V in the vertical direction in 1 second, the angle of the eyeball is specified as 5 degrees (degrees) in the right direction and 5 degrees (degrees) in the upward direction. be able to.
  • the angular velocity of the eyeball at this time can be calculated as (5 2 +5 2 ) 1/2 ⁇ 7.07 degrees (degrees) / second.
  • the eye movement measurement unit 12 may measure based on the corneal reflection method instead of the EOG method.
  • FIG. 10 shows a hardware configuration example of the eye movement measuring unit 12 that measures the eye movement by the cornea reflection method and outputs an eye movement signal indicating the eye movement.
  • the “corneal reflection method” means that a near-infrared light source (point light source) irradiates the eyeball with near-infrared light, captures an image of the eyeball with a camera, and uses the captured image of the corneal reflection image of the light source on the pupil and corneal surface. This is a method for detecting a position.
  • the eye movement measurement unit 12 includes a near-infrared light source 31, a CCD camera 32, a reflected image position detector 33, an eyeball angle information memory 34, a converter 35, and a primary memory 36.
  • the near-infrared light source 31 is a near-infrared point light source and irradiates the eyeball 37 with the near-infrared light.
  • the CCD camera 32 images the eyeball 37 irradiated with near infrared rays.
  • the gaze position is shown as a gaze point 41.
  • the reflected image position detector 33 recognizes the pupil 38 and the corneal surface based on the captured image of the eyeball, and further detects the position of the reflected image of the light source (corneal reflected image 39) on the pupil 38 and the corneal surface.
  • the eyeball angle information memory 34 stores in advance a relationship (second eyeball angle information) between the position of the cornea reflection image 39 and the angle of the eyeball 37.
  • the data structure of the second eyeball angle information is similar to the data structure shown in FIG.
  • the converter 35 measures the angle of the eyeball from the position of the reflected image based on the eyeball angle information.
  • the primary memory 36 stores data for a predetermined time and updates as needed.
  • the eye movement measuring unit 12 shown in FIG. 10 may be a head-mounted measuring instrument as in the case of an electroencephalograph, or a stationary type installed in front of the vehicle (such as on the dashboard or behind the rearview mirror). It may be a device.
  • FIG. 11 shows a hardware configuration example of the determination processing unit 20.
  • FIG. 11 also shows the electroencephalogram measurement unit 11 and the eye movement measurement unit 12 connected to the determination processing unit 20 via the bus 19.
  • the determination processing unit 20 includes a CPU 5a, a RAM 5b, a ROM 5c, a program 5d, an image processing circuit 5e, and an audio processing circuit 5f.
  • the CPU 5a reads the computer program 5d stored in the ROM 5c into the RAM 5b, and expands and executes it on the RAM 5b.
  • the CPU 5a functions as the preparation state detection unit 13, the determination criterion adjustment unit 14, and the attention state determination unit 15 described with reference to FIG. 6 by executing the computer program 5d.
  • the computer program 5d is a set of instructions executed by the CPU 5a. When the CPU 5a executes the computer program 5d, the CPU 5a or a component having received an instruction from the CPU 5a performs processing defined in FIGS. 12 and 14 described later.
  • the ROM 5c may be a rewritable ROM (for example, EEPROM).
  • the determination processing unit 20 further includes an image processing circuit 5e and an audio processing circuit 5f.
  • the image processing circuit 5e generates image data to be displayed on a head-up display (HUD) 16a described later in accordance with an instruction from the CPU 5a.
  • the sound processing circuit 5f generates sound data to be output from the speaker 16b in the vehicle in accordance with an instruction from the CPU 5a.
  • the above-mentioned computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • the determination processing unit 20 can also be realized as hardware such as a DSP in which a computer program is incorporated in a semiconductor circuit.
  • the preparation state detection unit 13 detects a time interval in a driving operation preparation state.
  • start timing of the time section include timing when the engine speed is started, when the operation of the car navigation system is started, when the side brake is released, and when the vehicle speed is less than 10 km / hour.
  • the end timing of the time section for example, timing when a vehicle speed of 10 km / hour or more is detected, completion of setting in the car navigation system, a predetermined time after the start timing (for example, 45 seconds later), etc. It is done.
  • the preparation state detector 13 detects at least one of the start timings and detects at least one of the end timings. Furthermore, when the preparation state detection unit 13 detects the start and end timings, which are time intervals in the driving operation preparation state, the preparation state detection unit 13 notifies the determination criterion adjustment unit 14 of the results.
  • the determination reference adjustment unit 14 Based on the specific component calculated from the electroencephalogram data and the eye movement data of the time interval, the determination reference adjustment unit 14 specifically, the determination reference adjustment unit 14 includes the lambda response amplitude value of the eyeball retention-related potential and the ⁇ wave. Based on the power spectrum values such as, ⁇ wave, ⁇ wave, etc., the determination criterion for determining the driving attention state is adjusted.
  • the procedure of the process performed by the determination criterion adjustment unit 14 will be described with reference to FIGS. 12 and 13.
  • FIG. 12 is a flowchart showing a processing procedure of the determination criterion adjustment unit 14, and FIG. 13 shows waveform data related to the processing of the determination criterion adjustment unit 14.
  • the determination criterion adjustment unit 14 receives the start and end timings of the driving operation preparation state detected by the driving preparation detection unit 13.
  • step S52 the determination reference adjustment unit 14 acquires the eye movement data measured by the eye movement measurement unit 12 in the time interval from the eye movement measurement unit 12.
  • FIG. 13 shows a waveform example of the read eye movement data 61.
  • step S53 a saccade in the eye movement data is detected, and an end time of each detected saccade, that is, an eyeball stop start time is extracted or specified.
  • the time required for saccade is usually 20 to 70 milliseconds, and the speed of saccade is 300 to 500 degrees in terms of viewing angle ( degrees) / second. Therefore, an eye movement in which the eye movement direction is the same continuously for a predetermined time (for example, 20 to 70 milliseconds) and the average angular velocity of the predetermined time is 300 degrees / second or more is detected as a saccade. be able to.
  • a saccade detection method it is possible to use a method of first detecting each saccade in the horizontal and vertical directions and then integrating the saccades having overlapping time intervals in the horizontal and vertical saccades into one. .
  • a method of calculating vector data obtained by first combining horizontal eye movement data and vertical eye movement data and detecting a saccade based on the direction and size data of the vector data may be used. good.
  • the determination criterion adjustment unit 14 extracts each detected saccade end time as an eyeball stop start time.
  • FIG. 13 shows an example of the extracted eyeball retention start times t1, t2,..., T8.
  • step S54 the determination criterion adjustment unit 14 acquires the electroencephalogram data corresponding to the time interval of the driving operation preparation state received in step S51 from the electroencephalogram measurement unit 11.
  • FIG. 13 shows a waveform example of the read electroencephalogram data 62.
  • step S55 the determination criterion adjustment unit 14 cuts out the electroencephalogram data from ⁇ 300 milliseconds to 600 milliseconds from the electroencephalogram data read out in step S54, starting from each eyeball stop start time extracted in step S53.
  • FIG. 13 shows a waveform example of electroencephalogram data (eyeball retention-related potential) 64 cut out at each eyeball retention start time.
  • step S56 the determination criterion adjustment unit 14 calculates the amplitude value of the lambda reaction from each cut out electroencephalogram data. The procedure will be described in detail below.
  • the determination criterion adjustment unit 14 performs baseline correction on the extracted electroencephalogram data so that the electric potential at the eyeball retention start time (0 milliseconds) becomes 0 ⁇ V.
  • the determination criterion adjustment unit 14 performs an averaging process on all the extracted electroencephalogram data.
  • the addition and averaging processing of the electroencephalogram data corresponding to a total of eight starting points indicated at the eyeball retention start time 63 (t1, t2,..., T8) is performed.
  • FIG. 13 shows a waveform example of the electroencephalogram data (eyeball retention-related potential) 65 after the averaging process.
  • the determination criterion adjustment unit 14 measures the amplitude value of the lambda reaction, which is a positive component in the vicinity of about 100 milliseconds, in the eyeball retention-related potential after the averaging.
  • FIG. 13 shows an example of the lambda response amplitude 66.
  • the time after the elapse of a predetermined time calculated from the eyeball retention start time is expressed as, for example, “about 100 ms”. This means that a range centered on a specific time of 100 ms can be included.
  • event-related potential which is one of the components of an electroencephalogram signal as well as eye-holding-related potential
  • Event-related potential (ERP) manual-focusing on P300 (edited by Kimitaka Kaga et al., Shinohara Publishing Shinsha, 1995) )It has been known.
  • the determination criterion adjustment unit 14 is not limited to the above-described addition averaging process, and may measure a lambda reaction amplitude value from, for example, a non-addition brain wave (one piece of brain wave data).
  • step S57 the determination criterion adjustment unit 14 calculates a power spectrum value for each frequency band of the electroencephalogram data read in step S54.
  • the frequency component of the brain wave from 8 Hz to less than 13 Hz is called ⁇ wave
  • the frequency component from 13 Hz to 13 Hz is called ⁇ wave
  • the frequency component from 4 Hz to less than 8 Hz is called ⁇ wave. Therefore, the criterion adjustment unit 14 first obtains frequency component data from the time-series brain wave data by Fourier transform, and calculates the power spectrum of the brain wave data by the product of the frequency component data and its complex conjugate. Further, by calculating the frequency components described above in the calculated power spectrum, the power spectrum values of the ⁇ wave, ⁇ wave, and ⁇ wave are obtained.
  • step S58 the determination criterion for determining the driving attention state is adjusted based on the lambda reaction amplitude value calculated in step S56 and step S57 and the power spectrum values of ⁇ wave, ⁇ wave, and ⁇ wave. More specifically, the determination criterion adjustment unit 14 calculates an optimum threshold value for each driver.
  • the threshold value (Th) to be estimated has a positive correlation with the lambda response amplitude value (L) in the operation preparation state. That is, the determination criterion adjustment unit 14 sets the threshold (Th) higher as the lambda response amplitude value (L) in the driving operation ready state increases, and decreases as the lambda response amplitude value (L) in the driving operation ready state decreases. What is necessary is just to set a threshold value (Th) low.
  • the determination criterion adjustment unit 14 sets the threshold (Th) higher as the power spectrum value of the ⁇ wave in the driving operation preparation state increases, and the power of the ⁇ wave in the driving operation preparation state.
  • the threshold (Th) may be set lower as the spectrum value increases.
  • the inventors of the present application have found the advantage of using the power spectrum value as follows.
  • the attention state determination unit 15 described later determines that the state is the “low” attention state when the lambda response amplitude value during driving is smaller than the threshold value (Th). Therefore, it is considered that the distracting state can be detected without being missed by adjusting the threshold value (Th) largely.
  • the threshold (Th) is small according to Equation 3.
  • the calculated threshold value is used when the attention state determination unit 15 determines the attention state with respect to the driving that changes every moment using the lambda reaction amplitude value at that time.
  • step S59 the determination criterion adjustment unit 14 notifies the attention state determination unit 15 of the adjustment result of the determination criterion adjusted in step S58.
  • step S53 it has been described that the electroencephalogram data from ⁇ 300 milliseconds to 600 milliseconds is extracted from each extracted eyeball stop start time as a starting point.
  • the time width of the extracted electroencephalogram data is an example.
  • electroencephalogram data from 0 to 200 milliseconds may be cut out starting from the eyeball stop start time.
  • the largest value in the vicinity of 100 milliseconds may be added and averaged starting from the eyeball retention start time.
  • the attention state determination unit 15 calculates an eye stop related potential from the electroencephalogram data and the eye motion data measured by the electroencephalogram measurement unit 11 and the eye movement measurement unit 12, and calculates the lambda reaction amplitude value of the calculated eye stop related potential and the determination criterion. Based on the determination criteria adjusted by the adjusting unit 14, the attention state for driving is determined.
  • the processing procedure of the attention state determination unit 15 will be described with reference to FIGS. 14 and 15.
  • FIG. 14 is a flowchart showing a processing procedure of the attention state determination unit 15.
  • the attention state determination unit 15 acquires the determination standard adjusted by the determination standard adjustment unit 14, more specifically, the optimum threshold value for each driver.
  • the caution state determination unit 15 determines a time interval for determining the driving caution state.
  • the attention state determination unit 15 holds data of a time width TW (seconds) and a time shift TS (seconds) of the determination target time interval in advance.
  • the time width TW is a parameter that determines how many sections of the eyeball retention-related potential are used
  • FIG. 15 shows an example of the determination target time intervals 83 (a) to (d).
  • step S73 to step S77 Since the processing from step S73 to step S77 is the same as that from step S52 to step S56 described using FIG. 12 and FIG.
  • step S78 the attention state determination unit 15 determines the driver's attention state for driving based on the lambda reaction amplitude value (L) calculated in step S77 and the threshold value for each driver received in step S71.
  • the driver's attention state when determining whether the driver's attention state is high or low, if L ⁇ Th with respect to the threshold Th, “low” attention state (that is, distraction state), Th ⁇ L If there is, it is determined that the state is a “high” caution state (ie, driving concentration state). Further, when determining whether the driver's attention state corresponds to high / medium / low, two threshold values Th1 and Th2 (Th1 ⁇ Th2) are received from the determination reference adjustment unit 14, and L ⁇ Th1. If there is a “low” attention state, if “Th1 ⁇ L ⁇ Th2”, it is determined as “medium” attention state, and if “Th2 ⁇ L”, it is determined as “high” attention state.
  • step S79 the attention state determination unit 15 transmits the result determined in step S78 to the output unit 16.
  • the attention state determination unit 15 repeats the above-described series of processes every time shift TS (seconds).
  • the output unit 16 presents the result determined by the attention state determination unit 15 with an image or sound.
  • the attention state determination unit 15 determines that the state is the “low” attention state
  • the output unit 16 acts on the driver to alert the driver.
  • the driver can receive assistance for prompting a state change.
  • Examples of the output method to the driver of the output unit 16 include calling the driver by voice, presenting operation sounds and warning sounds, or presenting text and images on a car navigation system or a head-up display (HUD). It is done.
  • calling the driver by voice presenting operation sounds and warning sounds, or presenting text and images on a car navigation system or a head-up display (HUD). It is done.
  • HUD head-up display
  • FIG. 16 shows a configuration example of the output unit 16.
  • An image 17 for alerting the driver is blinking on the head-up display 16a of the automobile.
  • a sound for calling the driver is output from the speaker 16b in the vehicle.
  • the alerting to the driver may use both images and sounds at the same time, or only one of the images and sounds.
  • the attention state determination apparatus 1 executes the processes illustrated in FIGS. 12 and 14. As a result, even if each operator does not perform explicit calibration work in advance, the attention state determination apparatus 1 is able to display the attention state of each operator (for example, whether the state is concentrated on driving or distracted). ) Can be determined with high accuracy. Therefore, it is possible to perform appropriate support such as alerting each operator based on the determination result.
  • the “discrimination rate” represents the discrimination rate of two states, that is, a driving concentration state or a distraction state.
  • FIGS. 17 (a) to 17 (d) show the average values of all 12 subjects of the driving attention state discrimination rate obtained under four conditions.
  • the four conditions mean that the discrimination rate is calculated using four different values. That is, (a) a threshold value common to all subjects, (b) an optimum threshold value (estimated value) obtained for each subject from a lambda response amplitude value in a driving operation preparation state according to the present invention, and (c) a driving operation according to the present invention.
  • Optimal threshold value (estimated value) obtained for each subject from the lambda response amplitude value in the ready state and the average power spectrum value of ⁇ , ⁇ , and ⁇ waves, and (d) both driving concentration and distraction experiment results ( This is an optimum threshold value for each subject obtained from a prior explicit calibration work).
  • the threshold value common to all subjects in condition (a) was the average value of lambda response amplitudes in each condition in the addition average waveform of all subjects shown in FIG.
  • Condition (d) means a condition in which an explicit calibration operation is performed in advance by the driver.
  • the discrimination rate when the threshold value common to all subjects in (a) is used is the lowest (69.2%), and each subject obtained by the prior explicit calibration work in (d)
  • the discriminating rate when using the optimal threshold of (92.2%) is the highest.
  • the discrimination rates when using the present invention of (b) and (c) are 82.7% and 87.6%, respectively, and (d) It can be seen that discrimination can be made with an accuracy close to that of
  • the caution state determination device that determines the driver's caution state
  • the lambda reaction amplitude value and the ⁇ , ⁇ , and ⁇ wave power spectrum values in the driving operation preparation state Based on the above, the optimum threshold value for determining the attention state of each driver is calculated. As a result, it is possible to maintain a high attention state determination accuracy without causing the driver to perform prior calibration work, and to prompt the driver to appropriately change the state based on the determination result. Can provide support.
  • the attention state determination device has been described on the assumption that a plurality of components are integrally configured. However, for example, a part or all of the functions of the determination processing unit 20 may be provided at a different position from the electroencephalogram measurement unit 11, the eye movement measurement unit 12, and the output unit 16.
  • the determination processing unit 20 may be realized by a remote computer connected to the electroencephalogram measurement unit 11 or the like via a wireless network. At this time, the determination processing unit 20 itself functions as an attention state determination device.
  • the electroencephalogram measurement unit 11, the eye movement measurement unit 12 and the output unit 16 are respectively an electroencephalograph separate from the attention state determination device, an eye movement measurement device as shown in FIG. 8, and a speaker as shown in FIG. Realized as a head-up display.
  • the attention state determination device 1 has been described as including the output unit 16. However, providing the output unit 16 is not essential. For example, the output unit may be omitted, and the determination result may not be output, and may be stored in the attention state determination unit 15 in an internal memory (not shown). Alternatively, a recording device (for example, a hard disk drive) that accumulates the determination result of the attention state and the determination threshold value may be provided inside the attention state determination device 1.
  • a recording device for example, a hard disk drive
  • the attention state determination apparatus determines that the driver is in a driving concentration state when the amplitude value of the lambda response is equal to or greater than the threshold value, and determines that the attention state is distracting when the amplitude value is smaller than the threshold value. However, if the amplitude value of the lambda response is equal to the threshold value, it may be determined that the state is distracted.
  • the caution state determination device has been described as being used for determination of the caution state while driving a car.
  • a use mode is an example, and is not limited to driving an automobile.
  • the attention state determination device can be used in various situations in which an operator operates a device or the like.
  • the present invention can be applied to judgment of an operator's attention state in a monitoring system such as a control tower, plant equipment, or road monitoring.
  • the operator's attention state is accurately determined by defining the preparatory state before the operator performs the monitoring operation as a predetermined time after the operator enters the monitoring room or logs in to the monitoring system, Appropriate monitoring work can be performed.
  • a driver of a general vehicle not only a driver of a general vehicle but also a driver of a commercial vehicle, for example, a driver of a truck, a taxi, a bus, a non-car train, an airplane, a ship operator, a plant such as a factory.
  • This method is applicable when it is necessary to estimate how much attention is allocated to the original work such as driving and operation, such as a supervisor.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

　脳波を用いて操作者の注意状態を判定する装置において、事前に明示的なキャリブレーション作業を行わせることなく、かつ各操作者の注意状態を精度良く判定する。　装置は、操作者が運転操作開始前の準備を行っている時区間を検知する準備状態検知部と、運転操作時の操作者の注意状態を判定するための判定基準を調整する判定基準調整部であって、計測された操作者の眼球運動信号を利用して、少なくとも時区間において計測された操作者の脳波信号の眼球停留関連電位を算出し、算出した眼球停留関連電位に基づいて、判定基準を調整する判定基準調整部と、運転操作開始後に計測された操作者の脳波信号および眼球運動信号から眼球停留関連電位を算出し、算出された眼球停留関連電位および調整された判定基準に基づいて、運転操作中の操作者の注意状態を判定する注意状態判定部と、判定結果に基づいて、操作者に注意を喚起するために作用する出力部とを備えている。

Description

注意状態判定装置、方法およびプログラム
　本発明は、自動車の運転などの車両の操作を行う操作者の注意状態（たとえば、運転に集中している状態か、注意が散漫している状態か）を、脳波に基づいて判定し安全運転を支援する技術に関する。
　近年、安全運転支援技術の開発において、運転者の身体状態や心理状態をリアルタイムに把握した上で、運転者の状態に即した支援を行う技術の必要性が高まっている。運転者の状態を客観的かつ定量的に評価する手法として、脳波や瞬目などの生理指標を用いた覚醒度の定量化が試みられている。例えば特許文献１には、脳波の入眠波形パターンやα波成分から運転者の覚醒度を推定する技術が開示されている。
　しかしながら本願発明者らは、運転中の運転者の状態を単に覚醒度によって捉えるのでは不十分であると考えている。その理由は、覚醒度だけでは、覚醒しているにも関わらず運転に対して注意が向いていない状態（いわゆる注意散漫状態）を捉えきれないためである。したがって、従来の覚醒度による居眠り検出だけではなく、運転に対するある特定の注意状態（例えば他の事を考えていて、あるいは音楽や会話に気をとられていて意識が運転に集中していない状態などの「意識の脇見状態」）を計測・評価する手法が必要である。
　近年、脳波の眼球停留関連電位（Ｅｙｅ Ｆｉｘａｔｉｏｎ Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＦＲＰ）を用いて、視対象にどのくらい注意を向けているかを調べる研究が行われている。この方法によれば、意識の脇見状態を含めた運転に対する注意状態を調べることが可能になる。ここで「眼球停留関連電位」とは、人が作業しているときや自由にものを見ているときにおける、急速眼球運動（サッケード）の終了時刻、すなわち眼球停留の開始時刻に関連して生じる脳の一過性の電位変動をいう。眼球停留関連電位の成分のうち、近に、前頭部よりも後頭部で優位に出現する正の成分を「ラムダ反応」という。ラムダ反応は、視対象に対する注意集中度によって変動することが知られている。
　例えば特許文献２では、大小様々なサッケードが発生する環境下において、サッケードサイズや視線移動パターンごとにサッケードを分類して眼球停留関連電位を算出している。そして、算出された眼球停留関連電位の特定成分（例えばラムダ反応に対応する眼球停留関連電位の成分の振幅値）から注意集中度を評価している。
特開平７－１０８８４８公報 特開２００７－１２５１８４公報 特開２００５－３４６２０公報
　しかしながら、脳波の波形の出方は運転者ごとの個人差に大きく左右されるため、特許文献２に記載の従来技術では、運転に対する注意状態を正確に判定することができない。
　図１を参照しながら具体的に説明する。図１（ａ）～（ｃ）には、眼球停留関連電位について本願発明者らが実施した実験結果を示す。図１（ａ）は後頭部で計測された全被験者１２名分の各波形を加算平均した波形であり、図１（ｂ）は複数回計測された被験者Ａの各波形を加算平均した波形であり、図１（ｃ）は複数回計測された被験者Ｂの各波形を加算平均した波形である。図１（ａ）～（ｃ）の各々のグラフにおいて、横軸は眼球停留の開始時刻を０ミリ秒とした時間（潜時）を示しており、単位はミリ秒である。また、縦軸は電位（ＥＥＲＰの振幅）を示しており、単位はμＶ、下向きが正である。実線は運転に集中している状態の眼球停留関連電位を示し、点線は運転に注意が向けられていない状態（すなわち注意散漫状態）の眼球停留関連電位を示している。
　図１（ａ）のグラフによれば、眼球停留開始時刻を起点として約１００ミリ秒付近に出現する正の成分（ラムダ反応）の振幅は、運転集中時に３．４μVと大きく、注意散漫時に１．２μVと小さくなっている。従来の知見通り、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。ラムダ反応の振幅値を用いて運転に対する注意状態を被験者ごとに判定しようとした場合、ある閾値を設定して、ラムダ反応の振幅値がその閾値以上であれば運転集中状態と判定し、閾値より小さければ注意散漫状態と判定することが望ましい。被験者Ａでは、図１（ｂ）のグラフから読み取ることにより、０．９μV付近を閾値にすればよい。個人差が生じ得るグラフに基づいて注意状態を判定するための最適な閾値を決定すると、その値は被験者ごとに大きく異なる。よって、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。
　このような個人差を調整する方法として、事前に各被験者に対する判定基準の調整を行っておくこと、いわゆるキャリブレーションが考えられる。例えば特許文献３では、複数の選択肢の中から被験者が選択したいと思っている選択肢を、脳波の事象関連電位を用いて識別する脳波インタフェース利用時の個人差を調整する方法が提案されている。この方法では、事前に複数の選択肢の中から被験者が脳波インタフェースを用いて１つの選択肢を選択する作業を、１被験者あたり１００回程度行わせている。そして、各作業で得られた脳波データから個人ごとの脳波の特徴をシステムに学習させている。
　脳波を用いた運転注意状態の判定においても同様の方法が考えられる。しかしながら、運転する前に煩雑なキャリブレーション作業を必須とするのは、手間がかかり、運転者にとって大きな負担である。更に、事前のキャリブレーション作業のために、注意散漫状態で実際に公道を運転してもらうことは現実的には不可能であるため、十分な量の学習データを事前に取得することは困難である。
　本発明は上記課題を解決するためになされたものであって、その目的は、運転者ごとの個人差が大きい脳波を用いて運転注意状態を判定する装置において、事前に明示的なキャリブレーション作業を運転者に行わせることなく、かつ各運転者の注意状態を精度良く判定することにある。
　本発明による注意状態判定装置は、操作者の脳波信号を計測する脳波計測部と、前記操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部と、前記操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。
　前記判定基準調整部は、さらに、前記時区間において計測された前記脳波信号の周波数のパワースペクトル値に基づいて、前記判定基準を調整してもよい。
　前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、前記判定基準である判定閾値とを比較することにより、前記操作者の注意状態を判定してもよい。
　前記判定基準調整部は、算出した前記眼球停留関連電位のラムダ反応振幅値が大きくなるに従って前記判定基準である判定閾値を高く設定し、前記ラムダ反応振幅値が小さくなるに従って前記判定閾値を低く設定してもよい。
　前記判定基準調整部は、前記時区間において計測された前記脳波信号に含まれるα波のパワースペクトル値が大きくなるに従って前記判定基準を高く設定し、前記時区間において計測された前記脳波信号に含まれるβ波のパワースペクトル値が大きくなるに従って、前記判定基準を低く設定してもよい。
　前記注意状態判定装置が、車両の運転操作を行っている操作者の注意状態を判定し、前記操作者に対して注意を喚起するために利用されるときにおいて、前記準備状態検知部は、前記車両のエンジンの始動時、前記車両に設けられたカーナビゲーションシステムの設定操作の開始時、前記車両のブレーキ解除時、前記車両の車速が所定値以下であることを検知した時の少なくとも一つの時刻を開始時刻として、前記時区間を検知してもよい。
　前記準備状態検知部は、前記カーナビゲーションシステムの設定操作の完了時、前記車両の車速が所定値以上であることを検知した時、前記開始時刻から所定時間後の少なくとも一つの時刻を終了時刻として、前記時区間を検知してもよい。
　前記判定基準調整部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留関連電位の開始時刻として検出してもよい。
　前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の５０±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用してもよい。
　本発明による他の注意状態判定装置は、操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部によって計測された前記眼球運動信号を利用して、前記操作者の脳波信号を計測する脳波計測部によって少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部とを備えている。
　本発明による注意状態判定方法は、操作者の脳波信号を計測するステップと、前記操作者の眼球運動を示す眼球運動信号を計測するステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを包含する。
　本発明によるコンピュータプログラムは、注意状態判定装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、操作者の脳波信号のデータを受け取るステップと、前記操作者の眼球運動を示す眼球運動信号のデータを受け取るステップと、前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップとを実行させる。
　本発明によれば、操作者に事前の明示的なキャリブレーション作業を行わせることなく、各操作者の注意状態（たとえば運転に集中している状態か、注意が散漫な状態か）の判定精度を高く維持することができる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。
（ａ）～（ｃ）は、眼球停留関連電位について本願発明者らが実施した実験結果を示す図である。 国際１０－２０法の電極位置を示す図である。 （ａ）および（ｂ）はラムダ反応振幅値の時間変化を示す図である。 操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す図である。 被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値（Ｌ）およびα波、β波、θ波のパワースペクトル値（α、β、θ）を説明変数として線形重回帰分析を行った結果を示す図である。 本実施形態による注意状態判定装置１のブロック構成図である。 ヘッドマウント式脳波計として実現された脳波計測部１１の構成例を示す図である。 ＥＯＧ法によって眼球運動を計測する眼球運動計測部１２のハードウェア構成例を示す図である。 第１眼球角度情報のデータ構造の例を示す図である。 角膜反射法によって眼球運動を計測する眼球運動計測部１２のハードウェア構成例を示す図である。 判定処理部２０のハードウェア構成例を示す図である。 判定基準調整部１４の処理の手順を示すフローチャートである。 判定基準調整部１４の処理に関連する波形のデータを示す図である。 注意状態判定部１５の処理の手順を示すフローチャートである。 判定対象時区間８３（ａ）～（ｄ）の例を示す図である。 出力部１６の具体例を示す図である。 （ａ）～（ｄ）は、４つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者１２名の平均値を示す図である。
　以下、添付の図面を参照しながら、本発明による注意状態判定装置、方法およびプログラムの実施形態を説明する。
　本実施形態では、注意状態判定装置は、運転者が車両（自動車）を運転操作する局面において利用されるとする。以下では、まず本願発明者らが行った実験、および、当該実験に基づく結果から本願発明者らが得た知見を説明する。
　本願発明者らは、以下に説明する実験により、運転注意状態を判定するための運転者ごとの最適な閾値を、運転操作準備状態における眼球停留関連電位のラムダ反応振幅値、および、脳波の成分のうちのα波、β波、θ波のパワースペクトル値に基づいて推定できることを見出した。
　自動車などの車両を運転する例における「運転操作準備状態」とは、走行（運転操作）を開始する前の準備（たとえばエンジン始動、カーナビゲーションシステムの操作、サイドブレーキの解除）を行っている状態、または一般に徐行とされる車速１０ｋｍ/時未満の状態を指す。後述のように、本願発明では特に運転という操作に限定される必要はないため、「操作準備状態」という包括的な語を用いてもよい。なお、「眼球停留関連電位」および「ラムダ反応」は、背景技術の欄において既に説明したとおりである。
　以下に本願発明者らが行った実験の詳細を説明する。
　被験者は男性７名、女性５名の合計１２名で、平均年齢は２１．３±１．２歳である。本願発明者らは被験者に２つの課題を並行して実施してもらう二重課題法による実験を行った。
　第１の課題は、運転課題である。被験者に対して、ドライビングシミュレータ（三菱プレシジョン製。以降「ＤＳ」と省略する。）で約６分の市街地コースを運転する課題を課した。市街地コースの道路の混雑状況は、制限速度内で自由に走行できる程度に設定し、前方車両、対向車両、後続車両、および歩行者を配置した。被験者はカーナビゲーションシステムの画面に表示される指示に従い、所定の道順を走行した。但し、道順の確認は被験者自身による画面の目視のみで行い、音声案内によるナビゲーションは行わなかった。
　第２の課題は、認知負荷課題である。被験者の注意資源を実験的に運転から逸らすことを目的として、ｎ－Ｂａｃｋテストと呼ばれる課題を課した。「ｎ－Ｂａｃｋテスト」とは、例えば３秒ごとに１桁の数字が音声で提示され、提示後にｎ個前（例：０個前、２個前）に提示された数字を発声で回答するという課題である。具体的に説明する。例えば、“３、５、９、１、６、…”という音声提示が３秒ごとにあり、０個前（０－Ｂａｃｋ）の数字を回答する場合は、被験者は“３、５、９、１、６、…”と提示された数字をそのまま回答することになる。一方、２個前（２－Ｂａｃｋ）の数字を回答する場合は、被験者は“－（無回答）、－（無回答）、３、５、９、…”にように常に２個前の数字を回答する。ｎの値が大きいほど、被験者は多くの数値を一時的に記憶および更新しなければならなくなり、被験者の認知負荷は大きくなる。そのため、運転中の考え事や記憶に関連する会話などを実験的に模擬できると考えられる。
　続いて実験条件を説明する。本実験では表１に示す２つの条件で運転中の脳波を計測した。第１の条件は運転集中条件である。運転集中条件では、ＤＳ操作（運転）と０－Ｂａｃｋテストを並行して実施する。０－Ｂａｃｋテストはそれほど認知負荷が大きくないため運転に集中できる状態と考えられる。
　第２の条件は注意散漫条件である。注意散漫条件では、ＤＳ操作（運転）と２－Ｂａｃｋテストとを並行して実施する。２－Ｂａｃｋテストは認知負荷が大きいため、被験者は多くの注意資源をこの課題の遂行に割かなければならなくなり、その結果運転に対して注意散漫な状態になると考えられる。
Figure JPOXMLDOC01-appb-T000001
　また、被験者には脳波計（ティアック製、ポリメイトＡＰ－１１２４）を装着させた。脳波計の電極の配置は以下のとおりである。導出電極を国際１０－２０法におけるＯｚ（後頭部）に配置し、基準電極をＡ１およびＡ２（左右両耳朶の平均）に配置し、接地電極を前額部に配置した。図２は、国際１０－２０法の電極位置を示す。図２には、導出電極Ｏｚおよび左右両耳朶の基準電極Ａ１およびＡ２が示されている。
　サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波データに対して１～１５Ｈｚのバンドパスフィルタ処理をかけた。そして、サッケード終了時刻すなわち眼球停留開始時刻を起点に－３００ミリ秒から６００ミリ秒の脳波データを切り出し、０ミリ秒の時刻における電位値でベースライン補正を行った。
　先に説明した通り、図１（ａ）～（ｃ）は、上記の処理を行った後の眼球停留関連電位（ＥＦＲＰ）の加算平均波形を示す。（ａ）は全被験者１２名分の加算平均波形を示し、（ｂ）はある被験者Ａの加算平均波形を示し、（ｃ）は別の被験者Ｂの加算平均波形を示す。図１の各々のグラフにおいて、実線は運転集中条件時、点線は注意散漫条件時の波形を示している。また、横軸は眼球停留の開始時刻を０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。
　（ａ）のグラフにおいて、約１００ミリ秒の時刻に出現する正の成分（この成分がラムダ反応である。）は、運転時（すなわち被験者の集中時）のラムダ反応の振幅は３．４μVと大きく、注意散漫時には１．２μVと小さくなっている。このグラフにより、注意状態に応じてラムダ反応の振幅値が増減していることが分かる。
　ここで、被験者ごとに運転に対して注意を集中していたか、または、注意が散漫であったかの注意状態を推定することを考える。本実施形態においては、ラムダ反応の振幅値と閾値とを用いて、振幅値が閾値より大きければ運転集中状態であり、それ以下であれば注意散漫状態であると判定（推定）することとする。
　ラムダ反応の振幅値から判断すると、（ｂ）の被験者Ａに関しては、閾値を０．９μV付近に設定し、それ以上であれば運転集中状態、それより小さければ注意散漫状態であると判定することが望ましい。一方、（ｃ）の被験者Ｂに関しては、閾値を８．４μV付近に設定して運転集中状態および注意散漫状態を判定することが望ましい。すなわち、注意状態を推定するための最適な閾値は被験者ごとに大きく異なり、この個人差を考慮しなければ運転に対する注意状態を正確に判定することはできないことが分かる。
　図３（ａ）および（ｂ）はそれぞれ、被験者ＡおよびＢのラムダ反応振幅値の時間変化を示す。横軸は経過時間で、単位は秒である。縦軸は電位で単位はμＶであり、上向きに正である。実線は運転集中条件時、点線は注意散漫条件時を示す。
　図３（ａ）および（ｂ）の各グラフの左端に存在する、最初のプロット９１～９４は運転操作準備状態のＥＦＲＰ加算平均波形から算出されたラムダ反応振幅値を示している。「運転操作準備状態」の時間的な幅の一例を挙げると、エンジン始動から所定時間（４５秒間）経過後までである。図３（ａ）に示す被験者Ａの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ２．２μＶ（プロット９１）および１．２μＶ（プロット９２）である。図３（ｂ）に示す被験者Ｂの運転集中条件および注意散漫条件時のラムダ反応振幅値はそれぞれ６．９μＶ（プロット９３）と７．８μＶ（プロット９４）である。
　一方、各グラフの２番目以降のプロットは、運転操作準備状態後において時間幅ＴＷを１８０秒、時間シフトＴＳを３０秒としたときの各判定対象時区間に対するＥＦＲＰ加算平均波形から算出されたラムダ反応振幅値を示している。
　図３のプロット９１～９４によれば、運転操作準備状態のラムダ反応振幅値は、注意状態の違いによる影響が小さく、一方で被験者Ａおよび被験者Ｂの個人差が大きく反映されている。また、運転操作準備状態後のラムダ反応振幅値は、個人差に加えて、注意状態の影響が反映されていることが分かる。具体的には図３（ａ）および(ｂ)のグラフにおいて、運転集中時はラムダ反応振幅値が維持または増加傾向にあるのに対して、注意散漫時は減少傾向になっている。
　ここで、このような特性を受けて、本願発明者らは以下のような考察を行った。
　運転操作準備状態では、細かな確認作業に伴う眼球運動が発生する。例えば、エンジン始動から始まり、カーナビゲーションシステムの操作、サイドブレーキ解除、発車前および徐行期間中での左右確認などに伴う眼球運動が発生する。同時に運転操作準備状態では、それらの確認作業の各々に対して、ある程度一定の注意資源が都度割り当てられていると考えられる。なぜなら、カーナビゲーションシステムに所望の目的地を設定するための操作や、駐車場等の比較的狭い場所から前後左右をぶつけないように注意しながら車両を出すための操作は、その後の運転時の比較的単調な作業と比べて、一定の注意を払わなければ遂行できない一連の作業だからである。さらに、いずれの操作も目視による確認を必要とするため、必然的に眼球運動が発生する作業だと考えられる。
　したがって、「運転操作準備状態」とは、単に走行前や徐行期間の時間的範囲を指すだけではなく、上述の一連の作業を実際に遂行している状態と捉えることもできる。そのため、運転操作準備状態におけるラムダ反応振幅値は注意状態（実験条件）の違いによる影響（図３のプロット９１および９２の差、あるいはプロット９３および９４の差）が小さく、一方で個人差（図３（ａ）のプロット９１および９２と、図３（ｂ）のプロット９３および９４の差）が大きく反映された結果になったと考えられる。
　各運転者に対応する判定基準の調整（いわゆるキャリブレーション）は、通常であれば、実際の運転中の眼球停留関連電位を利用して行うことが好ましいといえる。なぜなら、運転中の運転者の注意状態を判定する必要がある以上、個人差が生じている運転中の時区間の眼球停留関連電位を取得することが当然に適切であると考えられるためである。
　しかしながら本願発明者らは、運転者の注意状態のばらつきが少なく一定であり、かつ、眼球停留関連電位に個人差の影響のみが出現しやすいのは運転中よりもむしろ運転を行う前（運転の準備期間中）の運転操作準備状態である、ということを実験によって認識するに至った。この知見によれば、運転操作準備状態の時区間は運転者の眼球停留関連電位を取得するのに適した時間帯であり、各運転者に対する判定基準の調整（いわゆるキャリブレーション）は、その運転操作準備状態における眼球停留関連電位を利用して行うことが好ましいといえる。
　この方針によれば、個人差のみが強く反映されている操作準備状態のラムダ反応振幅値を用いれば、被験者ごとの特性を考慮した最適な閾値を算出することができると考えられる。最も簡潔な方法の一例としては、以下のように最適な閾値を算出しても良い。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｌは操作準備状態のラムダ反応振幅値であり、Ｔｈは被験者ごとの最適な判定閾値である。
　さらに、上式以外の具体的な算出方法を以下詳しく説明する。
　図４は、操作準備状態のラムダ反応振幅値と最適な閾値との関係を示す。横軸は被験者ごとの操作準備状態のラムダ反応振幅値（Ｌ）で単位はμＶ、縦軸は実験結果から得られた被験者ごとの最適な判定閾値（Ｔｈ）で単位はμＶである。ここで「最適な判定閾値」とは、被験者ごとに前述の運転集中条件と注意散漫条件の両方の実験を実施した結果から得られた値である。具体的には、時間幅ＴＷ＝１８０秒、時間シフトＴＳ＝３０秒とした場合の各々のラムダ反応振幅値を、ある閾値に基づいて運転集中または注意散漫のどちらかの注意状態に判別しようとした際に、最も判別率が高くなった閾値を「最適な判定閾値」としている。図１（ｂ）および（ｃ）に示す通り、例えば被験者Ａの場合は０．９μＶであり、被験者Ｂの場合は８．４μＶである。
　図４にプロットされたデータに関して線形回帰分析を行った結果、最適な判定閾値（Ｔｈ）は下記の式で近似することができる。
Figure JPOXMLDOC01-appb-M000002
　上記近似式における相関係数Ｒは０．９６であり、操作準備状態のラムダ反応振幅値と最適な閾値との間には極めて強い相関関係があることが分かった。「相関関数」とは、２つの変数の間の相関（類似性の度合い）を示す統計的指標であり、一般的に絶対値が０．７以上の場合に強い相関があると見なされている。この関係を利用することにより、操作準備状態のラムダ反応振幅値から最適な閾値を推定することが可能となる。
　上述のとおり、ラムダ反応振幅値のみによっても閾値を推定することが可能である。ここで本願発明者らは、さらにα波、β波、θ波のパワースペクトル値を利用して閾値を求め、その評価を行った。
　図５は、更に被験者ごとの最適な閾値を目的変数とし、操作準備状態におけるラムダ反応振幅値（Ｌ）およびα波、β波、θ波のパワースペクトル値（α、β、θ）を説明変数として線形重回帰分析を行った結果を示す。縦軸は被験者ごとの最適な閾値（Ｔｈ）で単位はμＶである。横軸は下記の近似式で表される評価値（Ｅ）である。評価値（Ｅ）と最適な閾値とは、傾きが１で切片が０の線形の関係を有している。
Figure JPOXMLDOC01-appb-M000003
 　上記近似式における相関係数Ｒは０．９９であり、図４の例と比べて更に強い相関関係が存在することが分かる。
　以上の通り、本願発明者らの実験および実験結果から、操作準備状態におけるラムダ反応振幅値のみによって、または、ラムダ反応振幅値に加えて、α波、β波、θ波のパワースペクトル値を用いることによって、被験者ごとの最適な閾値を更に正確に推定できることが分かった。
　なお、「運転操作準備状態」とは、車両の操作を、目的地に向けて運転する操作（運転操作）と、その運転操作を開始するまでの準備をする操作とに分けて考えたときの、後者のことをいう。運転操作準備状態の検出は、たとえばエンジン始動などのある時刻を起点とした所定時間内であるか否かで行ってもよいし、および／または、操作準備の内容に応じて変化させてもよい。たとえばシフトレバーの操作やアクセルの踏み込みが検出されたときは、「運転操作準備状態」が終了して「運転操作状態」に遷移したと判断してもよい。
　以下、上述の知見に基づいて本願発明者らがなした、本発明にかかる注意状態判定装置の実施形態を説明する。先の説明と同様、自動車などを運転する状況を想定しているが、これは一例である。
　図６は、本実施形態による注意状態判定装置１のブロック構成図を示す。注意状態判定装置１は、運転者１０の脳波信号、より具体的には脳波信号の一成分である眼球停留関連電位を利用して、運転に対する注意状態を判定する。先に説明したように、運転に対する注意状態とは、運転に対して注意を集中していたか、または、注意が散漫であったかである。そしてその注意状態に応じて、注意状態判定装置１は、操作者へ対して注意喚起を促す支援を行う。注意状態の判定を的確に行うため、注意状態判定装置１では運転者ごとに、判定基準が調整される。この結果、個人ごとに大きく異なる脳波を的確に解析することが可能になる。
　注意状態判定装置１は、脳波計測部１１と、眼球運動計測部１２と、出力部１６と、判定処理部２０とを備えている。判定処理部２０は、準備状態検知部１３と、判定基準調整部１４と、注意状態判定部１５とを有している。なお、運転者１０のブロックは説明の便宜のために示されている。
　以下では、各構成要素を概略的に説明し、その後順次詳細に説明する。
　脳波計測部１１は、運転者１０の脳波信号を計測する。
　眼球運動計測部１２は、運転者１０の眼球運動を計測し、眼球運動を示す眼球運動信号を出力する。
　判定処理部２０の準備状態検知部１３は、運転操作準備状態の時区間、言い換えると運転操作準備状態が継続している期間を検知する。判定処理部２０の判定基準調整部１４は、時区間の脳波データおよび眼球運動データから算出した特定成分（後述）の値に基づいて、運転注意状態を判定するための判定基準を調整する。また、判定処理部２０の注意状態判定部１５は、眼球運動計測部１２で計測した眼球運動データを利用して、脳波計測部１１で計測した脳波データから眼球停留関連電位を算出し、算出された眼球停留関連電位の特定成分の振幅値と判定基準調整部１４で調整した判定基準に基づいて、運転に対する注意状態を判定する。
　出力部１６は、判定結果に基づき運転者１０へ対して注意喚起を促す支援を行う。
　以下、各機能ブロックを詳しく説明する。
　脳波計測部１１は、運転者１０の頭部に装着された電極を利用して電位を測定し、その電位変化を計測することによって脳波信号を出力する脳波計である。本願発明者らは、将来的には装着型の脳波計を想定している。
　図７は、ヘッドマウント式脳波計として実現された脳波計測部１１の構成例を示す。運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１１には電極１１ａ～１１ｅが配置されている。例えば電極１１ａおよび１１ｃは、国際１０－２０法による、後頭部の電極位置Ｏ１およびＯ２に接触することを想定している。同様に、電極１１ｂは後頭部の電極位置Ｏｚ、電極１１ｄは、耳朶Ａ１、電極１１ｅは前額部に接触する。従来文献（宮田洋ら、新生理心理学１、1998、ｐ２６２、北大路書房）によれば、認知や注意を反映し、眼球停留開始時刻を起点として約１００ミリ秒付近に現れるラムダ成分は、後頭部で優位に出現するとされている。
　但し、後頭部周辺のＰｚ（頭頂中央）でも計測は可能であり、当該位置に接触するよう電極が配置されたヘッドマウント式脳波計を採用しても良い。電極位置は、信号測定の信頼性および装着の容易さ等から決定すればよい。
　また、電極は最低２個あればよい。例えば電極位置OｚとＡ１に対応する電極１１ｂと１１ｄのみでも電位計測は可能である。
　このような電極配置を採用することにより、脳波計測部１１は運転者１０の脳波を測定することができる。測定された脳波信号は、コンピュータで処理できるようにサンプリングされ、脳波計測部１１内に保持する一次記憶装置（たとえば半導体メモリ）に記憶される。なお、注意状態判定装置１にハードディスクドライブなどの補助記憶装置（図示せず）を設け、その補助記憶装置にサンプリングされた脳波信号を記憶させてもよい。例えば、予め決められた一定時間分のデータは上述の一次記憶装置に一時的に記憶され、かつ随時更新される。あるいは一時的ではなく、上述の補助記憶装置に全て記憶されても良い。
　なお、脳波信号に混入する商用電源ノイズの影響を低減するため、脳波計測部１１において計測される脳波信号には、予めローパスフィルタ処理を施すことが好ましい。たとえば５０Hzまたは６０Ｈｚの商用電源を利用するときには、脳波信号に３０Ｈｚのローパスフィルタ処理を施せばよい。
　運転者１０は予め上述のような脳波計を装着しているとする。
　眼球運動計測部１２は、ＥＯＧ（Ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）法に基づいて眼球運動を計測する。「ＥＯＧ法」とは、眼球の左右および上下に配置した電極の電位変化から眼球運動を計測する方法である。ＥＯＧ法は、眼球の角膜が網膜に対して正に帯電する性質を利用する。眼球運動計測部１２は、眼球運動を示す信号（眼球運動信号）を出力する。
　図８は、ＥＯＧ法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部１２のハードウェア構成例を示す。眼球運動計測部１２は、電極（H１、H２およびＶ１、Ｖ２）と、水平方向電位検出器２１と、垂直方向電位検出器２２と、眼球角度情報メモリ２３と、変換器２４と、一次メモリ２５とを備えている。
　水平方向電位検出器２１は、運転者１０の左右こめかみに装着された電極（H１、H２）における電位差から、眼球の水平方向の動きを表す水平眼球運動信号を検出する。垂直方向電位検出器２２は、眼球の上下に装着された電極（V１、V２）における電位差から眼球の垂直方向の動きを表す垂直眼球運動信号を検出する。なお、眼球運動方向を示す信号は、水平および垂直眼球運動信号を合成して得られたベクトル信号を用いても良い。眼球角度情報メモリ２３は、水平および垂直眼球運動信号の振幅値と眼球の角度との対応関係を示す情報（第１眼球角度情報）を予め記憶している。変換器２４は、当該眼球角度情報に基づいて、各振幅値から眼球の角度を計測する。一次メモリ２５は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図８に示した眼球運動計測部１２は、脳波計と同様にヘッドマウント式の計測器であっても良い。
　図９は、第１眼球角度情報のデータ構造の例を示す。第１眼球角度情報は、水平方向および垂直方向における振幅値（電位）と眼球の角度とが対応付けられて構成されている。例えば、振幅値（電位）が１秒間で水平方向に＋５０μＶ、垂直方向に＋３０μＶの変化をした場合、眼球の角度は右方向に５度（degrees）、上方向に５度（degrees）と特定することができる。このときの眼球の角速度は、（５2＋５2）1/2≒７．０７度（degrees）／秒と算出することができる。
　また、眼球運動計測部１２は、ＥＯＧ法の代わりに角膜反射法に基づいて計測しても良い。
　図１０は、角膜反射法によって眼球運動を計測し、眼球運動を示す眼球運動信号を出力する眼球運動計測部１２のハードウェア構成例を示す。「角膜反射法」とは、近赤外線光源（点光源）が近赤外線を眼球に照射し、カメラで眼球の映像を撮影し、撮影した映像を用いて瞳孔および角膜表面における光源の角膜反射像の位置を検出する方法である。
　眼球運動計測部１２は、近赤外線光源３１と、ＣＣＤカメラ３２と、反射像位置検出器３３と、眼球角度情報メモリ３４と、変換器３５と、一次メモリ３６とを備えている。
　近赤外線光源３１は、近赤外線の点光源であり、近赤外線を眼球３７に照射する。ＣＣＤカメラ３２は、近赤外線が照射された眼球３７を撮影する。このとき、被験者はディスプレイ４０に表示された画像等を注視している。注視する位置は注視点４１として示されている。反射像位置検出器３３は、撮影した眼球の映像に基づいて瞳孔３８および角膜表面を認識し、更に瞳孔３８および角膜表面における光源の反射像（角膜反射像３９）の位置を検出する。眼球角度情報メモリ３４は、角膜反射像３９の位置と眼球３７の角度との関係（第２眼球角度情報）を予め記憶している。第２眼球角度情報のデータ構造は、図９に示すデータ構造に類似するためその具体的な例示は省略する。
　変換器３５は、当該眼球角度情報に基づいて、反射像の位置から眼球の角度を計測する。一次メモリ３６は、予め決められた一定時間分のデータを記憶し、かつ随時更新する。図１０に示した眼球運動計測部１２は、脳波計と同様にヘッドマウント式計測器であっても良く、あるいは車両前方（ダッシュボードの上やバックミラーの後ろなど）に設置される据置型の機器であっても良い。
　次に、判定処理部２０（図６）の具体的な構成を説明する。
　図１１は、判定処理部２０のハードウェア構成例を示す。判定処理部２０との関係を示すため、図１１には、バス１９を介して判定処理部２０と接続された脳波計測部１１および眼球運動計測部１２も併せて記載されている。
　判定処理部２０は、ＣＰＵ５ａと、ＲＡＭ５ｂと、ＲＯＭ５ｃと、プログラム５ｄと、画像処理回路５ｅと、音声処理回路５ｆとを有している。
　ＣＰＵ５ａは、ＲＯＭ５ｃに格納されているコンピュータプログラム５ｄをＲＡＭ５ｂに読み出し、ＲＡＭ５ｂ上に展開して実行する。ＣＰＵ５ａは、このコンピュータプログラム５ｄを実行することにより、図６に関連して説明した準備状態検知部１３、判定基準調整部１４および注意状態判定部１５として機能する。コンピュータプログラム５ｄはＣＰＵ５ａが実行する命令の集合である。ＣＰＵ５ａがコンピュータプログラム５ｄを実行することにより、ＣＰＵ５ａまたはＣＰＵ５ａから指示を受けた構成要素は後述する図１２および図１４に規定される処理を行う。なお、ＲＯＭ５ｃは書き換え可能なＲＯＭ（たとえばＥＥＰＲＯＭ）であってもよい。
　判定処理部２０は、さらに、画像処理回路５ｅおよび音声処理回路５ｆを有している。画像処理回路５ｅは、ＣＰＵ５ａの指示に従って、後述するヘッドアップディスプレイ（ＨＵＤ）１６ａ上に表示するための画像のデータを生成する。また音声処理回路５ｆは、ＣＰＵ５ａの指示に従って、車内のスピーカ１６ｂから出力するための音声のデータを生成する。
　上述のコンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。なお、判定処理部２０は、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現することも可能である。
　次に、判定処理部２０のＣＰＵ５ａがプログラム５ｄを実行することにより、準備状態検知部１３、判定基準調整部１４および注意状態判定部１５として動作するときのその動作（機能）をそれぞれ説明する。
　準備状態検知部１３は、運転操作準備状態の時区間を検知する。
　当該時区間の開始タイミングの具体例は、エンジン始動時、カーナビゲーションシステムの操作開始時、サイドブレーキ解除時、車速が１０ｋｍ/時未満の状態を検知したタイミングが挙げられる。
　そして、当該時区間の終了タイミングとしては、例えば車速が１０ｋｍ/時以上の状態を検知したタイミング、カーナビゲーションシステムへの設定完了時、前記開始タイミングから所定時間後（例えば４５秒後）などが挙げられる。
　準備状態検知部１３は、上記開始タイミングのうちの少なくとも１つを検知し、上記終了タイミングのうちの少なくとも１つを検知する。さらに準備状態検知部１３は、運転操作準備状態の時区間である上記開始および終了タイミングをそれぞれ検知すると、その結果を判定基準調整部１４へ通知する。
　判定基準調整部１４は、上記時区間の脳波データおよび眼球運動データから算出した特定成分に基づいて、具体的には判定基準調整部１４は、眼球停留関連電位のラムダ反応振幅値と、α波、β波、θ波などのパワースペクトル値とに基づいて、運転注意状態を判定するための判定基準を調整する。ここで、図１２および図１３を参照しながら、判定基準調整部１４の処理の手順を説明する。
　図１２は判定基準調整部１４の処理の手順を示すフローチャートであり、図１３は判定基準調整部１４の処理に関連する波形のデータを示す。
　図１２のステップＳ５１では、判定基準調整部１４は、運転準備検知部１３で検知した運転操作準備状態の開始および終了タイミングを受信する。
　ステップＳ５２では、判定基準調整部１４は、上記時区間において眼球運動計測部１２が計測した眼球運動データを眼球運動計測部１２から取得する。図１３には、読み出された眼球運動データ６１の波形例が示されている。
　ステップＳ５３では、上記眼球運動データにおけるサッケードを検出し、検出した各サッケードの終了時刻、すなわち眼球停留開始時刻を抽出または特定する。
　従来文献（宮田洋ら、新生理心理学１、１９９８、ｐ２５６、北大路書房）によれば、サッケードに要する時間は通常２０～７０ミリ秒で、サッケードの速度は視角で表すと３００～５００度（degrees）／秒であるとされている。したがって、眼球の運動方向が所定時間（例えば、２０～７０ミリ秒）連続して同じであり、かつ当該所定時間の平均角速度が３００度（degrees）／秒以上である眼球運動をサッケードとして検出することができる。
　サッケードの検出方法には、最初に水平および垂直方向のそれぞれのサッケードを検出し、その後で水平および垂直方向のサッケードで時区間が重複しているサッケードを１つに統合する方法を用いることができる。また、また最初に水平眼球運動データおよび垂直眼球運動データを合成して得られたベクトルデータを計算し、当該ベクトルデータの向きおよび大きさのデータに基づいてサッケードの検出を行う方法を用いても良い。
　判定基準調整部１４は、検出した各々のサッケード終了時刻を眼球停留開始時刻として抽出する。図１３には、抽出した眼球停留開始時刻ｔ１、ｔ２、・・・、ｔ８の例が示されている。
　ステップＳ５４では、判定基準調整部１４は、ステップＳ５１で受信した運転操作準備状態の時区間に該当する脳波データを脳波計測部１１から取得する。図１３には、読み出される脳波データ６２の波形例が示されている。
　ステップＳ５５では、判定基準調整部１４は、ステップＳ５４で読み出した脳波データのうち、ステップＳ５３で抽出した各眼球停留開始時刻を起点として、－３００ミリ秒から６００ミリ秒までの脳波データを切り出す。図１３には、眼球停留開始時刻毎に切り出された脳波データ（眼球停留関連電位）６４の波形例が示されている。
　ステップＳ５６では、判定基準調整部１４は、切り出した各脳波データからラムダ反応の振幅値を算出する。以下にその手順を詳しく説明する。
　判定基準調整部１４は、まず、切り出した各脳波データを眼球停留開始時刻（０ミリ秒）の電位が０μＶになるようにベースライン補正を行う。
　次に、判定基準調整部１４は、切り出した全ての脳波データの加算平均処理を行う。図１３の例では眼球停留開始時刻６３（ｔ１、ｔ２、…、ｔ８）に示した合計８個の起点に対応する脳波データの加算平均処理を行う。図１３には、加算平均処理後の脳波データ（眼球停留関連電位）６５の波形例を示す。
　最後に、判定基準調整部１４は、加算平均後の眼球停留関連電位において、約１００ミリ秒付近の陽性の成分であるラムダ反応の振幅値を計測する。図１３にはラムダ反応振幅６６の一例が示されている。
　なお、本願明細書においては、眼球停留関連電位の成分を定義するために、眼球停留開始時刻から起算した所定時間経過後の時刻を、たとえば「約１００ｍｓ」と表現している。これは、１００ｍｓという特定の時刻を中心とした範囲を包含し得ることを意味している。眼球停留関連電位と同じく脳波信号を構成する成分の一つである事象関連電位に関し、「事象関連電位（ＥＲＰ）マニュアル－Ｐ３００を中心に」（加我君孝ほか編集、篠原出版新社、１９９５）が知られている。本文献の３０頁に記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる、とされている。したがって、「約Ｘｍｓ」や「Ｘｍｓ付近」という語は、Ｘｍｓを中心として３０から５０ｍｓの幅がその前後（例えば、１００ｍｓ±５０ｍｓ）に存在し得ることを意味している。眼球停留関連電位にも、個人毎の差異（ずれ）が事象関連電位と同程度存在し得ると考えられる。そこで本願明細書では、眼球停留関連電位に関しても、「約１００ミリ秒付近」は、例えば５０ミリ秒から１５０ミリ秒の期間を意味するものとする。
　なお、眼球停留関連電位の研究では一般的に、脳波データの加算平均を求めてから解析が行われる。これにより、眼球停留に関係しないランダムな脳の活動電位は相殺され、一定の潜時と極性を持つ成分が検出できる。但し、本発明における判定基準調整部１４は、前述の加算平均処理に限定されるものではなく、例えば非加算脳波（１個の脳波データ）からラムダ反応振幅値を計測してもよい。
　ステップＳ５７では、判定基準調整部１４は、ステップＳ５４で読み出した脳波データの各周波数帯域に対するパワースペクトル値を算出する。
　一般に、脳波の８Ｈｚ以上１３Ｈｚ未満の周波数成分はα波、１３Ｈｚ以上の周波数成分はβ波、４Ｈｚ以上８Ｈｚ未満の周波数成分はθ波と呼ばれる。したがって、判定基準調整部１４は、まず時系列の脳波データからフーリエ変換によって周波数成分データを求め、周波数成分データとその複素共役との積によって脳波データのパワースペクトルを算出する。さらに算出したパワースペクトルにおいて前述したそれぞれの周波数成分を算出することによって、α波、β波、θ波のそれぞれのパワースペクトル値を求める。
　ステップＳ５８では、ステップＳ５６およびステップＳ５７で算出したラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、運転注意状態を判定するための判定基準を調整する。より具体的には、判定基準調整部１４は運転者ごとの最適な閾値を算出する。
　上述の数１、数２および数３によれば、推定すべき閾値（Ｔｈ）は、運転操作準備状態のラムダ反応振幅値（Ｌ）と正の相関になっていることが分かる。すなわち、判定基準調整部１４は、運転操作準備状態のラムダ反応振幅値（Ｌ）が大きくなるに従って閾値（Ｔｈ）を高く設定し、運転操作準備状態のラムダ反応振幅値（Ｌ）が小さくなるに従って閾値（Ｔｈ）を低く設定すれば良い。
　本実施形態ではラムダ反応振幅値およびパワースペクトル値を利用する例を説明したが、上述の数２および数３に関連して説明したように、ラムダ反応振幅値のみで閾値を設定することも可能である。
　パワースペクトル値を利用する場合には、判定基準調整部１４は、運転操作準備状態のα波のパワースペクトル値が大きくなるに従って閾値（Tｈ）を高く設定し、運転操作準備状態のβ波のパワースペクトル値が大きくなるに従って閾値（Tｈ）を低く設定すれば良い。
　本願発明者らは、以下のようにパワースペクトル値を用いることの利点を見出した。
　一般に、精神活動を行っているときの脳波にはβ波が現れ、ぼんやりした状態ではα波が現れるとされている。よって、α波が大きくβ波が小さいとき、すなわち、ぼんやりした状態のときは、上述の数３によると閾値（Ｔｈ）は大きくなる。
　後述する注意状態判定部１５は、運転中のラムダ反応振幅値が閾値（Ｔｈ）より小さい場合に“低”注意状態であると判定する。そのため、閾値（Ｔｈ）が大きく調整されることによって、注意散漫な状態を取りこぼさずに検出できるようになると考えられる。
　一方、α波が小さくβ波が大きいとき、すなわち、精神活動を行っているときは、数３によると閾値（Ｔｈ）は小さくなる。その結果、運転に集中している状態を“低”注意状態であると誤って判定する可能性が減少できるようになると考えられる。
　算出された閾値は、注意状態判定部１５にて時々刻々と変化する運転に対する注意状態を、その時々のラムダ反応振幅値を用いて判定する際に用いられる。
　ステップＳ５９では、判定基準調整部１４は、ステップS５８で調整した判定基準の調整結果を注意状態判定部１５へ通知する。
　上述のステップＳ５３では、抽出した各眼球停留開始時刻を起点として、－３００ミリ秒から６００ミリ秒までの脳波データを切り出すとして説明した。しかしながら、切り出す脳波データの時間幅は一例である。たとえば眼球停留開始時刻を起点として０～２００ミリ秒までの脳波データを切り出してもよい。または、ラムダ反応が取得できればよいとの観点からすると、たとえば眼球停留開始時刻を起点として１００ミリ秒付近の最も大きい値を加算平均してもよい。
　次に、注意状態判定部１５の処理を説明する。
　注意状態判定部１５は、脳波計測部１１および眼球運動計測部１２で計測した脳波データおよび眼球運動データから眼球停留関連電位を算出し、算出された眼球停留関連電位のラムダ反応振幅値と判定基準調整部１４で調整した判定基準に基づいて、運転に対する注意状態を判定する。以下、図１４および図１５を参照しながら、注意状態判定部１５の処理の手順を説明する。
　図１４は注意状態判定部１５の処理の手順を示すフローチャートである。
　図１４のステップＳ７１では、注意状態判定部１５は、判定基準調整部１４で調整された判定基準、より具体的には運転者ごとの最適な閾値、を取得する。
　ステップＳ７２では、注意状態判定部１５は、運転注意状態を判定する時区間を決定する。注意状態判定部１５は予め判定対象時区間の時間幅ＴＷ（秒）および時間シフトＴＳ（秒）のデータを保持している。時間幅TWはどれぐらいの区間に含まれる眼球停留関連電位を使うかを決め、時間シフトＴＳは何秒おきに注意状態を算出するかを決定するパラメータである。例えば時間幅ＴＷ＝２０秒、時間シフトＴＳ＝５秒のように設定しておく。
　但し、上述の設定値は一例である。時間幅は解析精度が保てる範囲で短く設定すればよいし、時間シフト量は想定用途に応じて決められる。例えば、運転に対する注意状態が低いと判定された際にできるだけ速く運転者に警告を与える等の即時的な反応が求められる場合には、時間幅TW＝２０秒／１０秒／５秒、時間シフトＴＳ＝５秒となるように短く設定すればよい。一方、即時的な反応ではなく、運転終了後に運転者の注意状態を検証する際に正確な状態評価が求められる場合には、時間幅TW＝２分や３分となるように比較的長く設定すればよい。
　図１５は、判定対象時区間８３（ａ）～（ｄ）の例を示す。判定対象時区間は現在時刻Ｔａから過去ＴＷ（秒）遡った範囲とし、更にＴＳ（秒）後に再度このステップＳ７２が実行される場合には現在時刻Ｔｂ（＝Ｔａ＋ＴＳ）から過去ＴＷ（秒）遡った範囲とする。このように時間経過に応じて判定対象時区間を移動させることによって、その時々の運転注意状態を判定することができる。
　ステップＳ７３からステップＳ７７までの処理は、図１２および図１３を用いて説明したステップＳ５２からステップＳ５６と同じであるため、具体的な説明は省略する。
　ステップＳ７８では、注意状態判定部１５は、ステップＳ７７で算出したラムダ反応振幅値（Ｌ）とステップＳ７１で受信した運転者ごとの閾値に基づいて、運転に対する運転者の注意状態を判定する。
　例えば運転者の注意状態が高／低のいずれに該当するかを判別する場合は、閾値Ｔｈに対して、Ｌ＜Ｔｈであれば“低”注意状態（すなわち注意散漫状態）、Ｔｈ≦Ｌであれば“高”注意状態（すなわち運転集中状態）と判別する。また、運転者の注意状態が高／中／低のいずれに該当するかを判別する場合は、２つの閾値Ｔｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）を判定基準調整部１４から受信し、Ｌ＜Ｔｈ１であれば“低”注意状態、Ｔｈ１≦Ｌ＜Ｔｈ２であれば“中”注意状態、Ｔｈ２≦Ｌであれば“高”注意状態と判別する。
　ステップS７９では、注意状態判定部１５は、ステップS７８で判定した結果を出力部１６へ送信する。
　また、注意状態判定部１５は、上述した一連の処理を時間シフトＴＳ（秒）ごとに繰り返し実施される。
　出力部１６は、注意状態判定部１５で判定された結果を画像や音声によって提示する。注意状態判定部１５によって“低”注意状態であると判定されたときは、出力部１６は、運転者の注意を喚起するための作用を運転者に対して及ぼす。言い換えると、出力部１６からの作用により、運転者は状態変化を促す支援を受けることができる。
　出力部１６の運転者への出力方法としては、音声による運転者への呼びかけ、動作音や警告音の提示、またはカーナビゲーションシステムやヘッドアップディスプレイ（ＨＵＤ）上へのテキストや画像の提示が挙げられる。
　図１６は、出力部１６の構成例を示す。自動車のヘッドアップディスプレイ１６ａには、運転者の注意を喚起するための画像１７が点滅している。また、車内のスピーカ１６ｂからは、運転者への呼びかけのための音声が出力される。運転者への注意喚起は、画像および音声の両方を同時に利用してもよいし、画像または音声のいずれか一方のみでもよい。
　そのほかにも、注意を向けて欲しい対象物に重ね合わせて画像を表示するＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示、ハンドルの振動等を用いた注意喚起、においや風量の調節による間接的な働きかけ等の、運転者の知覚へ作用する種々の方法を採用することが可能である。
　注意状態判定装置１の各構成要素が上述した動作を行うことにより、注意状態判定装置１は、図１２および図１４に示す処理を実行する。これにより、各操作者は事前の明示的なキャリブレーション作業を行わなくても、注意状態判定装置１は各操作者の注意状態（たとえば運転に集中している状態か、注意が散漫な状態か）を高い精度で判定することが可能になる。よって、当該判定結果に基づいて、各操作者に注意喚起等の適切な支援を行うことができる。
　さらに、本実施形態によって得られる利点を、運転注意状態の判別率の試算結果に基づいて具体的に説明する。
　判別率の試算は前述の実験結果を利用した。ここで「判別率」とは運転集中状態か注意散漫状態かの２状態の判別率を表す。時間幅TW＝１８０秒、時間シフトTS＝３０秒とした場合に、運転集中条件（０－Ｂａｃｋテスト時）のラムダ反応振幅値から正しく運転集中と判別できた確率、および注意散漫条件（２－Ｂａｃｋテスト時）のラムダ反応振幅値から正しく注意散漫と判別できた確率の平均値を上記判別率としている。
　図１７（ａ）～（ｄ）は、４つの条件の下でそれぞれ求めた、運転注意状態の判別率の全被験者１２名の平均値を示す。４つの条件とは、判別率の計算を、４つの異なる値を用いて行うことを意味している。すなわち、（ａ）全被験者共通の閾値、（ｂ）本発明による、運転操作準備状態のラムダ反応振幅値から被験者ごとに求めた最適な閾値（推定値）、（ｃ）本発明による、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波の平均パワースペクトル値から被験者ごとに求めた最適な閾値（推定値）、および、（ｄ）運転集中および注意散漫の両実験結果（事前の明示的なキャリブレーション作業に相当）から得られた被験者ごとの最適な閾値である。条件（ａ）の全被験者共通の閾値は、図１（ａ）に示す全被験者の加算平均波形における各条件のラムダ反応振幅の平均値とした。条件（ｄ）は、事前に明示的なキャリブレーション作業を運転者に行わせた条件を意味している。
　図１７に示す通り、（ａ）の全被験者共通の閾値を用いた場合の判別率が最も低く（６９．２％）、（ｄ）の事前の明示的なキャリブレーション作業によって得られた被験者ごとの最適な閾値を用いた場合の判別率が最も高くなっている（９２．２％）。一方、（ｂ）および（ｃ）の本発明を用いた場合の判別率はそれぞれ８２．７％と８７．６％であり、事前のキャリブレーション作業をしていないにも関わらず、（ｄ）の場合に近い精度で判別できていることが分かる。
　図１７に示す結果によれば、本実施形態の構成によれば運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持できるといえる。
　本実施形態にかかる構成および処理の手順によれば、運転者の注意状態を判定する注意状態判定装置において、運転操作準備状態のラムダ反応振幅値およびα波、β波、θ波のパワースペクトル値に基づいて、各運転者の注意状態を判定するための最適な閾値を算出する。これにより、運転者に事前のキャリブレーション作業を行わせることなく、注意状態の判別精度を高く維持することができ、当該判別結果に基づいて、運転者に適切に注意喚起等の状態変化を促す支援を行うことができる。
　本実施形態による注意状態判定装置は、複数の構成要素が一体的に構成されていることを想定して説明した。しかしながら、たとえば判定処理部２０の一部または全部の機能が、脳波計測部１１、眼球運動計測部１２および出力部１６と別の位置に設けられてもよい。たとえば判定処理部２０が、脳波計測部１１等と無線ネットワークで接続された遠隔地のコンピュータによって実現されてもよい。このときは、判定処理部２０自体が注意状態判定装置として機能することになる。脳波計測部１１、眼球運動計測部１２および出力部１６は、それぞれ注意状態判定装置とは別体の脳波計、図８に示すような眼球運動計測装置、および、図１６に示すようなスピーカ、ヘッドアップディスプレイとして実現される。
　なお、本明細書においては、注意状態判定装置１は出力部１６を含むとして説明した。しかしながら、出力部１６を設けることは必須ではない。たとえば出力部を省略して判定結果を出力させず、注意状態判定部１５に内部メモリ（図示せず）に格納してもよい。または、注意状態の判定結果や判定閾値を蓄積する記録装置（たとえばハードディスクドライブ）を注意状態判定装置１内部に設けてもよい。
　本実施形態による注意状態判定装置は、ラムダ反応の振幅値が閾値以上の場合には運転集中状態であると判定し、閾値より小さい場合には注意散漫状態であると判定するとした。しかしながら、ラムダ反応の振幅値と閾値とが等しい場合には、注意散漫状態であると判定してもよい。
　なお、本実施形態による注意状態判定装置は、自動車運転中の注意状態の判定に利用されるとして説明した。しかしながら、このような利用態様は一例であり、自動車の運転に限られることはない。注意状態判定装置は、操作者が機器等の操作を行う種々の局面で利用され得る。たとえば、管制塔やプラント設備、道路監視などの監視システムにおけるオペレータの注意状態判定にも適用することが可能である。例えば、オペレータが監視作業を行う前の準備状態を、オペレータが監視ルームに入室したタイミングまたは監視システムにログインしたタイミングから所定時間後までと定義することによって、オペレータの注意状態を精度良く判定し、適切な監視業務を行うことができる。
　本発明では、一般車両の運転者だけでなく、業務用車両を運転する運転者、たとえばトラック、タクシー、バスの運転者や、車ではない電車、飛行機、船舶の操縦者、工場等のプラントの監視者など、運転や操作等の本来業務にどれくらい注意が配分されているかを推定する必要がある場合に適用可能である。
　１　注意状態判定装置
　１１　脳波計測部
　１２　眼球運動計測部
　１３　準備状態検知部
　１４　判定基準調整部
　１５　注意状態判定部
　１６　出力部
　２０　判定処理部

Claims (12)

  1. 　操作者の脳波信号を計測する脳波計測部と、
    　前記操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部と、
    　前記操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、
    　前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、
    　前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、
    　前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部と
    　を備えた注意状態判定装置。
  2. 　前記判定基準調整部は、さらに、前記時区間において計測された前記脳波信号の周波数のパワースペクトル値に基づいて、前記判定基準を調整する、請求項１に記載の注意状態判定装置。
  3. 　前記注意状態判定部は、加算平均された前記眼球停留関連電位のラムダ反応の振幅値と、前記判定基準である判定閾値とを比較することにより、前記操作者の注意状態を判定する、請求項１に記載の注意状態判定装置。
  4. 　前記判定基準調整部は、算出した前記眼球停留関連電位のラムダ反応振幅値が大きくなるに従って前記判定基準である判定閾値を高く設定し、前記ラムダ反応振幅値が小さくなるに従って前記判定閾値を低く設定する、請求項３に記載の注意状態判定装置。
  5. 　前記判定基準調整部は、前記時区間において計測された前記脳波信号に含まれるα波のパワースペクトル値が大きくなるに従って前記判定基準を高く設定し、前記時区間において計測された前記脳波信号に含まれるβ波のパワースペクトル値が大きくなるに従って、前記判定基準を低く設定する、請求項２に記載の注意状態判定装置。
  6. 　前記注意状態判定装置が、車両の運転操作を行っている操作者の注意状態を判定し、前記操作者に対して注意を喚起するために利用されるときにおいて、
    　前記準備状態検知部は、前記車両のエンジンの始動時、前記車両に設けられたカーナビゲーションシステムの設定操作の開始時、前記車両のブレーキ解除時、前記車両の車速が所定値以下であることを検知した時の少なくとも一つの時刻を開始時刻として、前記時区間を検知する、請求項１に記載の注意状態判定装置。
  7. 　前記準備状態検知部は、前記カーナビゲーションシステムの設定操作の完了時、前記車両の車速が所定値以上であることを検知した時、前記開始時刻から所定時間後の少なくとも一つの時刻を終了時刻として、前記時区間を検知する、請求項１に記載の注意状態判定装置。
  8. 　前記判定基準調整部は、前記眼球運動信号に基づいて、前記操作者の眼球運動が予め定めた閾値よりも小さくなった時刻を前記眼球停留関連電位の開始時刻として検出する、請求項１に記載の注意状態判定装置。
  9. 　前記注意量判別部は、前記眼球停留開始時刻を起点として、加算平均された前記眼球停留関連電位の５０±１００ミリ秒に含まれる極大値を、ラムダ反応の振幅値として利用する、請求項３に記載の注意状態判定装置。
  10. 　操作者が運転操作を開始する前の準備を行っている時区間を検知する準備状態検知部と、
    　前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整する判定基準調整部であって、操作者の眼球運動を示す眼球運動信号を計測する眼球運動計測部によって計測された前記眼球運動信号を利用して、前記操作者の脳波信号を計測する脳波計測部によって少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整する判定基準調整部と、
    　前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出し、算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定する注意状態判定部と、
    　前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用する出力部と
    　を備えた注意状態判定装置。
  11. 　操作者の脳波信号を計測するステップと、
    　前記操作者の眼球運動を示す眼球運動信号を計測するステップと、
    　前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、
    　前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、
    　前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、
    　算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、
    　前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップと
    　を包含する、注意状態判定方法。
  12. 　注意状態判定装置に実装されたコンピュータによって実行されるコンピュータプログラムであって、
    　前記コンピュータプログラムは、前記コンピュータに対し、
    　操作者の脳波信号のデータを受け取るステップと、
    　前記操作者の眼球運動を示す眼球運動信号のデータを受け取るステップと、
    　前記操作者が運転操作を開始する前の準備を行っている時区間を検知するステップと、
    　前記操作者が運転操作を行っている際の注意状態を判定するための判定基準を調整するステップであって、前記眼球運動信号を利用して、少なくとも前記時区間において計測された前記脳波信号の眼球停留関連電位を算出し、算出した前記眼球停留関連電位に基づいて、前記判定基準を調整するステップと、
    　前記操作者が運転操作を開始した後に計測された前記脳波信号および前記眼球運動信号から眼球停留関連電位を算出するステップと、
    　算出された前記眼球停留関連電位および調整された前記判定基準に基づいて、前記運転操作を行っている前記操作者の注意状態を判定するステップと、
    　前記判定結果に基づいて、前記操作者に対して注意を喚起するために作用するステップと
    　を実行させる、コンピュータプログラム。
PCT/JP2010/006257 2009-11-09 2010-10-22 注意状態判定装置、方法およびプログラム WO2011055505A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10828066.0A EP2500889B1 (en) 2009-11-09 2010-10-22 Alertness assessment device, method, and program
CN201080016580.3A CN102396009B (zh) 2009-11-09 2010-10-22 注意力状态判定装置、方法
JP2011515619A JP4772935B2 (ja) 2009-11-09 2010-10-22 注意状態判定装置、方法およびプログラム
US13/207,547 US9480429B2 (en) 2009-11-09 2011-08-11 State-of-attention determination apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009256170 2009-11-09
JP2009-256170 2009-11-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/207,547 Continuation US9480429B2 (en) 2009-11-09 2011-08-11 State-of-attention determination apparatus

Publications (1)

Publication Number Publication Date
WO2011055505A1 true WO2011055505A1 (ja) 2011-05-12

Family

ID=43969748

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006257 WO2011055505A1 (ja) 2009-11-09 2010-10-22 注意状態判定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US9480429B2 (ja)
EP (1) EP2500889B1 (ja)
JP (1) JP4772935B2 (ja)
CN (1) CN102396009B (ja)
WO (1) WO2011055505A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013078461A1 (en) * 2011-11-22 2013-05-30 Dignity Health System and method for using microsaccade peak velocity as a measure of mental workload and fatigue
JP2015104516A (ja) * 2013-11-29 2015-06-08 株式会社デンソー 精神負担評価装置、及びプログラム
JP2016045681A (ja) * 2014-08-22 2016-04-04 三菱電機株式会社 安全運転支援システム
US9636162B2 (en) 2011-12-05 2017-05-02 Dignity Health Surgical rod bending system and method
JP2019082776A (ja) * 2017-10-30 2019-05-30 富士通株式会社 操作支援方法、操作支援プログラム及び頭部装着型表示装置
CN112086196A (zh) * 2020-09-16 2020-12-15 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统
JP2021079041A (ja) * 2019-11-22 2021-05-27 パナソニックＩｐマネジメント株式会社 共感度評価システム、共感度評価方法及びプログラム
US11376053B2 (en) 2012-12-05 2022-07-05 Dignity Health Surgical rod bending system and method

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN102697494B (zh) * 2012-06-14 2015-12-09 西南交通大学 高速列车驾驶员无线可穿戴脑电信号采集设备
US9888874B2 (en) 2012-06-15 2018-02-13 Hitachi, Ltd. Stimulus presentation system
US20140098008A1 (en) * 2012-10-04 2014-04-10 Ford Global Technologies, Llc Method and apparatus for vehicle enabled visual augmentation
DE102012219508A1 (de) * 2012-10-25 2014-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
JP5950025B2 (ja) * 2013-03-22 2016-07-13 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
CN103337171B (zh) * 2013-06-15 2018-04-10 广东安达交通工程有限公司 一种交通综合监控系统及其监控方法
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
CN105046887B (zh) * 2015-04-16 2016-10-26 刘更新 证卷交易人员状态电子检测系统
CN104783817B (zh) * 2015-04-16 2016-08-24 深圳市索菱实业股份有限公司 双模式汽车驾驶员驾驶状态检测平台
JP2018521830A (ja) * 2015-07-31 2018-08-09 アテンティブ エルエルシー 注意欠陥を監視し改善する方法およびシステム
CN105559760B (zh) * 2015-12-10 2018-10-19 塔普翊海（上海）智能科技有限公司 头戴设备的人身模式识别方法
JP6306071B2 (ja) * 2016-02-09 2018-04-04 Ｐｓｔ株式会社 推定装置、推定プログラム、推定装置の作動方法および推定システム
CN105774794A (zh) * 2016-05-06 2016-07-20 丰如我 汽车行驶安全装置
US10319253B2 (en) * 2017-01-06 2019-06-11 International Business Machines Corporation Cognitive workload awareness
CN107233104A (zh) * 2017-05-27 2017-10-10 西南交通大学 认知分心测评方法和系统
CN109044380A (zh) * 2018-09-19 2018-12-21 西藏帝亚维新能源汽车有限公司 一种驾驶员状态检测装置和状态检测方法
US20220095972A1 (en) * 2019-01-21 2022-03-31 Mitsubishi Electric Corporation Attentiveness determination device, attentiveness determination system, attentiveness determination method, and computer-readable storage medium
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN112860054A (zh) * 2019-11-28 2021-05-28 北京宝沃汽车股份有限公司 控制无人机的方法和车辆
CN111476122A (zh) * 2020-03-26 2020-07-31 杭州鸿泉物联网技术股份有限公司 一种驾驶状态监测方法、设备及存储介质
CN111387976B (zh) * 2020-03-30 2022-11-29 西北工业大学 一种基于眼动和脑电数据的认知负荷评估方法
CN112603336B (zh) * 2020-12-30 2023-05-16 国科易讯(北京)科技有限公司 基于脑电波的注意力分析方法、系统
CN113133583B (zh) * 2021-04-28 2022-06-28 重庆电子工程职业学院 计算机软件开发人员用多功能工作台
CN113679386A (zh) * 2021-08-13 2021-11-23 北京脑陆科技有限公司 对注意力进行识别的方法、装置、终端及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07108848A (ja) 1993-10-12 1995-04-25 Matsushita Electric Ind Co Ltd 居眠り運転防止装置
JP2005034620A (ja) 2003-07-02 2005-02-10 Naoyuki Kano 事象関連電位を利用したヒトの心理状態等の判定方法及び装置
JP2007125184A (ja) 2005-11-02 2007-05-24 Toyota Central Res & Dev Lab Inc 眼球停留関連電位解析装置及び解析方法
JP2009297129A (ja) * 2008-06-11 2009-12-24 Yamaha Motor Co Ltd 精神作業負荷検出装置及びそれを備えた自動二輪車
JP2010057710A (ja) * 2008-09-04 2010-03-18 Toyota Central R&D Labs Inc 集中度算出装置及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
US6092058A (en) * 1998-01-08 2000-07-18 The United States Of America As Represented By The Secretary Of The Army Automatic aiding of human cognitive functions with computerized displays
JP3228228B2 (ja) 1998-06-11 2001-11-12 日本電気株式会社 誘発電位測定装置及び誘発電位測定プログラムを記憶した記憶媒体
US6496724B1 (en) * 1998-12-31 2002-12-17 Advanced Brain Monitoring, Inc. Method for the quantification of human alertness
JP4822235B2 (ja) * 2001-03-21 2011-11-24 公益財団法人新産業創造研究機構 眼球停留関連電位解析装置
DE102004006910A1 (de) 2004-02-12 2005-08-25 Bayerische Motoren Werke Ag Betriebsverfahren für Fahrzeuge
JP2007038772A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 速度制御装置
FR2893173B1 (fr) * 2005-11-10 2008-01-18 Valeo Vision Sa Procede d'evaluation, par un vehicule automobile, des caracteristiques d'un element frontal.
RU2410026C2 (ru) 2006-11-15 2011-01-27 Панасоник Корпорэйшн Аппарат настройки для способа идентификации мозговых волн, способ настройки и компьютерная программа
CN100482155C (zh) * 2007-05-09 2009-04-29 西安电子科技大学 基于脑机交互的注意力状态即时检测系统及检测方法
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07108848A (ja) 1993-10-12 1995-04-25 Matsushita Electric Ind Co Ltd 居眠り運転防止装置
JP2005034620A (ja) 2003-07-02 2005-02-10 Naoyuki Kano 事象関連電位を利用したヒトの心理状態等の判定方法及び装置
JP2007125184A (ja) 2005-11-02 2007-05-24 Toyota Central Res & Dev Lab Inc 眼球停留関連電位解析装置及び解析方法
JP2009297129A (ja) * 2008-06-11 2009-12-24 Yamaha Motor Co Ltd 精神作業負荷検出装置及びそれを備えた自動二輪車
JP2010057710A (ja) * 2008-09-04 2010-03-18 Toyota Central R&D Labs Inc 集中度算出装置及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Event-Related Potential (ERP) Manual -- mainly concerning P300", 1995, SHINOHARA SHUPPAN SHINSHA
YO MIYATA ET AL., NEW PHYSIOPSYCHOLOGY 1, 1998, pages 256
YO MIYATA ET AL., NEW PHYSIOPSYCHOLOGY 1, 1998, pages 262

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013078461A1 (en) * 2011-11-22 2013-05-30 Dignity Health System and method for using microsaccade peak velocity as a measure of mental workload and fatigue
US9763573B2 (en) 2011-11-22 2017-09-19 Dignity Health System and method for using microsaccade peak velocity as a measure of mental workload and fatigue
US9636162B2 (en) 2011-12-05 2017-05-02 Dignity Health Surgical rod bending system and method
US11172971B2 (en) 2011-12-05 2021-11-16 Dignity Health Surgical rod bending system and method
US11974795B2 (en) 2011-12-05 2024-05-07 Dignity Health Surgical rod bending system and method
US11376053B2 (en) 2012-12-05 2022-07-05 Dignity Health Surgical rod bending system and method
JP2015104516A (ja) * 2013-11-29 2015-06-08 株式会社デンソー 精神負担評価装置、及びプログラム
JP2016045681A (ja) * 2014-08-22 2016-04-04 三菱電機株式会社 安全運転支援システム
JP2019082776A (ja) * 2017-10-30 2019-05-30 富士通株式会社 操作支援方法、操作支援プログラム及び頭部装着型表示装置
JP2021079041A (ja) * 2019-11-22 2021-05-27 パナソニックＩｐマネジメント株式会社 共感度評価システム、共感度評価方法及びプログラム
CN112086196A (zh) * 2020-09-16 2020-12-15 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统
CN112086196B (zh) * 2020-09-16 2023-11-28 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统

Also Published As

Publication number Publication date
JPWO2011055505A1 (ja) 2013-03-21
EP2500889A4 (en) 2014-09-03
CN102396009A (zh) 2012-03-28
EP2500889B1 (en) 2021-07-28
JP4772935B2 (ja) 2011-09-14
CN102396009B (zh) 2014-06-25
US9480429B2 (en) 2016-11-01
EP2500889A1 (en) 2012-09-19
US20110295086A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
JP4772935B2 (ja) 注意状態判定装置、方法およびプログラム
US9117124B2 (en) Driving attention amount determination device, method, and computer program
JP4625544B2 (ja) 運転注意量判定装置、方法およびプログラム
JP5127576B2 (ja) 精神作業負荷検出装置及びそれを備えた自動二輪車
JP4500369B2 (ja) 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
JP5570386B2 (ja) 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
US11602296B2 (en) Non-invasive systems and methods for detecting mental impairment
JP2011180873A (ja) 運転支援装置、及び運転支援方法
KR101259663B1 (ko) 무력상태 모니터
KR101999211B1 (ko) 뇌파를 이용한 운전자 상태 검출 장치 및 그 방법
JP2012085746A (ja) 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
JP2013244116A (ja) 注意状態推定装置及び注意状態推定方法
KR20130108778A (ko) Ｓｓｖｅｐ 기반 차량 안전 주행 제어 시스템 및 방법
Ahlstrom et al. Measuring driver impairments: sleepiness, distraction, and workload
JPH09309358A (ja) 車間距離警報装置
JP2013111348A (ja) 状態判定装置および状態判定方法
JP2020030688A (ja) 運転制御調整装置および運転制御調整方法
Ohsuga et al. Classification of blink waveforms toward the assessment of driver’s arousal levels-an EOG approach and the correlation with physiological measures
Shirakata et al. Detect the imperceptible drowsiness
Rodríguez-Ibáñez et al. Drowsiness Detection by Electrooculogram Signal Analysis in Driving Simulator Conditions for Gold Standard Signal Generation.
Hsieh et al. A calculation for complex eye-blink duration by regression

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080016580.3

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011515619

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10828066

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010828066

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE