WO2010016244A1 - 運転注意量判定装置、方法およびプログラム - Google Patents

運転注意量判定装置、方法およびプログラム Download PDF

Info

Publication number
WO2010016244A1
WO2010016244A1 PCT/JP2009/003724 JP2009003724W WO2010016244A1 WO 2010016244 A1 WO2010016244 A1 WO 2010016244A1 JP 2009003724 W JP2009003724 W JP 2009003724W WO 2010016244 A1 WO2010016244 A1 WO 2010016244A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
visual field
peripheral
attention amount
stimulus
Prior art date
Application number
PCT/JP2009/003724
Other languages
English (en)
French (fr)
Inventor
中田透
森川幸治
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP09804731.9A priority Critical patent/EP2312551A4/en
Priority to CN2009801193390A priority patent/CN102047304B/zh
Priority to JP2010510585A priority patent/JP4625544B2/ja
Publication of WO2010016244A1 publication Critical patent/WO2010016244A1/ja
Priority to US12/718,326 priority patent/US20100156617A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change

Definitions

  • the present invention relates to a technique for determining a driver's condition using an electroencephalogram and providing safe driving support.
  • Peripheral vision generally refers to a region of 130 degrees up and down and 180 degrees left and right outside the range of about 20 degrees (center vision) centered on the line of sight. In the peripheral vision, it is difficult to recognize the shape and color of an object in detail, but it is known that it reacts sensitively to a moving object and an object that changes with time such as blinking light. The driver needs to pay attention to the peripheral visual field region, the door mirrors existing in the region, etc. in preparation for a pedestrian jumping out or a motorcycle crossing the side. Therefore, when the attention amount to the driver's peripheral visual field is low, measures such as issuing a warning to the driver are required.
  • a method of determining the driver's attention state there is a method of detecting the driver's line of sight and face movement with a camera directed at the driver and determining the driver's attention distribution state.
  • the driver's attention is determined by comparing the optimal gaze position that the driver should be aware of based on the surrounding situation of the vehicle with the gaze point detected from the driver's line of sight and the movement of the face.
  • a technique for determining an allocation state is disclosed.
  • Patent Document 2 discloses a technique for determining a driver's concentration level using a brake response time for sudden deceleration of a preceding vehicle, and determining whether or not to output an alarm to the driver. Yes.
  • Event-related potential refers to a transient potential fluctuation in the brain that occurs temporally in relation to an external or internal event.
  • a positive component appearing in the vicinity of about 300 milliseconds starting from the occurrence timing of an external visual stimulus or the like is called a P300 component, which reflects recognition and attention to the stimulus.
  • Non-Patent Document 1 discloses a study on measurement of driving attention using event-related potentials.
  • the driver is forced to step on the brake pedal of the vehicle when the brake lamp of the vehicle ahead is lit.
  • P300 of the event-related potential in the high caution condition It has been reported that the amplitude of the component increases.
  • Patent Document 1 since the technique described in Patent Document 1 is based on the idea that attention is not directed to where the line of sight is not directed, the driver's attention to the peripheral visual field region cannot be accurately determined. For example, in an actual driving situation, the driver detects the movement of parallel vehicles and pedestrians by peripheral vision while monitoring the forward vehicle by central vision, and determines the direction of the line of sight according to the situation in front and surroundings. ing. Therefore, it is difficult for the conventional technology to cope with a case where the line of sight is directed forward while paying attention to the peripheral visual field region.
  • Non-Patent Document 1 also uses the event-related potential (ERP) for lighting the brake lamp of the vehicle ahead, as described above. Therefore, the driving attention amount being measured is limited to that for the driver's central visual field region, and the attention amount for the peripheral visual field region cannot be measured.
  • ERP event-related potential
  • the present invention has been made in view of the above problems, and its purpose is to determine the amount of attention to the driver's peripheral visual field region even when the driver does not point his / her line of sight to the surrounding object, and the determination result It is to provide safe driving support according to the situation.
  • a driving attention amount determination apparatus includes an electroencephalogram measurement unit that measures a driver's electroencephalogram signal, and the electroencephalogram signal measured from the start point of occurrence of a visual stimulus generated in the peripheral visual field region of the driver.
  • An attention amount determination unit that determines a driver's attention amount with respect to the peripheral visual field region, and an output unit that alerts the driver by outputting a signal based on the determination result.
  • the attention amount determination unit may determine the attention amount according to the magnitude of the event-related potential amplitude of the electroencephalogram signal measured from the generation point of the visual stimulus.
  • the attention amount determination unit starts the attention amount when the amplitude of an event-related potential of P300, which is a positive component in a section from 300 milliseconds to 600 milliseconds starting from the time point of occurrence of the visual stimulus, is smaller than a predetermined threshold value. May be determined to be low.
  • the output unit may output the signal to the driver.
  • the attention amount determination unit when the amplitude of the event-related potential of the P300 component, which is a positive component in the section from 300 milliseconds to 600 milliseconds starting from the occurrence time of the visual stimulus, is larger than the predetermined threshold value, When it is determined that the amount of attention is large and the amount of attention is determined to be large, the output unit may not output the signal to the driver.
  • the attention amount determination unit may determine the attention amount according to a correlation coefficient between the electroencephalogram signal measured starting from the occurrence time of the visual stimulus and a template stored in advance.
  • the output unit may output at least one of a video signal for presenting characters or symbols on a screen for presenting information and an audio signal for output from a speaker for outputting sound.
  • the driving attention amount determination apparatus may further include a peripheral stimulus generation unit that generates the visual stimulus in the driver's peripheral visual field region.
  • the driving attention amount determination device detects an occurrence point of the visual stimulus generated in the peripheral visual field region from an imaging unit that captures an image in front of a vehicle driven by the driver and the captured image.
  • a peripheral stimulus detection unit; and the attention amount determination unit may receive information specifying the detected time point of the visual stimulus from the peripheral stimulus detection unit.
  • the driving attention amount determination device further includes a line-of-sight measurement unit that measures the driver's line of sight, and the peripheral stimulus detection unit is measured by the line-of-sight measurement unit, and the driver's attention level determination unit Depending on the line of sight and the captured video, it may be detected whether the visual stimulus has occurred in the peripheral visual field region.
  • the driving attention amount determination device includes a situation detection unit that detects the speed of the vehicle or the presence or absence of lighting of a headlamp, and the peripheral stimulus detection unit determines whether or not the visual stimulus is in the peripheral visual field region. You may detect according to the detection result of the said situation detection part.
  • the attention amount determination unit is configured to output the visual stimulus detected in the peripheral visual region.
  • Data on the event-related potential of the electroencephalogram signal may be excluded from the analysis target.
  • the peripheral stimulus generation unit generates the visual stimulus in the driver's peripheral visual field at a generation timing having a time difference greater than or equal to a predetermined value from a visual stimulus generation timing generated in the driver's central visual field. May be.
  • a method for determining a driving attention amount includes a step of measuring a driver's brain wave signal, and the brain wave signal measured from the occurrence point of a visual stimulus generated in the driver's peripheral visual field region, The method includes a step of determining a driver's attention amount to the peripheral visual field region and a step of calling attention to the driver by outputting a signal based on the determination result.
  • a computer program for determining a driving attention amount according to the present invention is executed by a computer to receive a driver's brain wave signal from the computer, and a vision generated in the driver's peripheral visual field region.
  • the attention amount in the driver's peripheral visual field area is determined from the electroencephalogram signal measured from the start point of the visual stimulus generated in the driver's peripheral visual field area.
  • EEG signals are used to accurately determine the amount of attention to events that may occur in the driver's peripheral visual field, such as sudden vehicle interruptions or pedestrian jumps, and appropriate attention should be paid to the driver based on the determination results. It is possible to prompt state changes such as arousal.
  • FIG. 3 is a configuration diagram of functional blocks of a driving attention amount determination apparatus 1 according to the first embodiment. It is a figure which shows the example of a peripheral visual field area
  • FIG. 5 is a flowchart illustrating a processing procedure of a peripheral visual field attention amount determination unit 13; It is a figure which shows the example of a process of the peripheral visual field attention amount determination part. It is a figure which shows the example of alerting of the output part. It is a figure which shows the presentation screen of the experiment which the present inventors conducted. It is a figure which shows the addition average waveform for every visual field area
  • FIG. 6 is a configuration diagram of functional blocks of a driving attention amount determination apparatus 1 according to a second embodiment.
  • 4 is a flowchart showing a processing procedure of a peripheral stimulus detection unit 16. It is a block diagram of the functional block of the driving attention amount determination apparatus 1 at the time of providing the condition detection part 17 in Embodiment 2.
  • FIG. It is a figure which shows the example of a center visual field area
  • FIG. 10 is a configuration diagram of functional blocks of a driving attention amount determination apparatus 1 according to a third embodiment.
  • 3 is a configuration diagram of functional blocks of a line-of-sight measurement unit 18.
  • FIG. (A) It is a figure which shows the data structure of the calibration information of the gaze measurement part 18 in Embodiment 3,
  • (b) It is a figure which shows the example of a driver
  • 3 is a configuration diagram of functional blocks of a driving attention amount determination device 1a in which a line-of-sight measurement unit 18 is provided for the configuration of the first embodiment.
  • FIG. It is a block diagram of the functional block of the driving attention amount determination apparatus 2b which provided the condition detection part 18 with respect to the structure of Embodiment 2.
  • FIG. 1 is a block diagram showing a main configuration of a driving attention amount determination apparatus 100 according to the present invention.
  • the driving attention amount determination apparatus 100 includes an electroencephalogram measurement unit 11, an attention amount determination unit 13, and an output unit 14.
  • the electroencephalogram measurement unit 11 measures an electroencephalogram signal of the driver 10.
  • the attention amount determination unit 13 determines the attention amount with respect to the peripheral visual field region of the driver 10 from the electroencephalogram signal measured from the generation time point of the visual stimulus generated in the peripheral visual field region of the driver 10.
  • the “peripheral visual field region” refers to a region other than a certain visual field region (central visual field region) determined from the human visual line direction in the human visual field region.
  • the central visual field region can be defined as a region surrounded by a certain angle between the side surface of the cone and the line-of-sight direction when a cone with the human viewpoint direction as an axis is assumed. In the following embodiments, this fixed angle is described as being about 20 degrees.
  • the output unit 14 alerts the driver 10 by outputting a signal based on the determination result of the attention amount determination unit 13. Thereby, it becomes possible to improve the driver's attention and to support safe driving.
  • the above-described attention amount determination unit 13 specifies the generation time point of the visual stimulus generated in the peripheral visual field region.
  • the visual stimulus may be given by providing a light emitting device in the driving attention amount determination device 100 and causing the light emitting device to emit light, or may be given from an external environment (for example, a lamp lighted by another vehicle). .
  • an external environment for example, a lamp lighted by another vehicle.
  • FIG. 2 is a block diagram of the driving attention amount determination apparatus 1 according to the present embodiment.
  • the driving attention amount determination device 1 is a device for determining the attention amount for driving using the brain wave signal of the driver 10 and providing support according to the determination result. For example, use brain waves to determine the amount of attention to events that can occur in the peripheral vision area of the driver, such as sudden interruption of a vehicle or pedestrian jumping out, and alert the driver according to the determination result Can do.
  • the driving attention amount determination apparatus 1 includes an electroencephalogram measurement unit 11, a peripheral stimulus generation unit 12, an attention amount determination unit 13, and an output unit 14.
  • the driver 10 block is shown for convenience of explanation.
  • the electroencephalogram measurement unit 11 is an electroencephalograph, for example, and measures the electroencephalogram of the driver 10.
  • the peripheral stimulus generator 12 is constituted by, for example, an LED light source and its control circuit, and generates a visual stimulus in the peripheral visual field region of the driver 10.
  • the peripheral stimulus generation unit 12 transmits a visual stimulus toward the driver 10 and transmits information indicating a stimulus generation timing toward the attention amount determination unit 13.
  • the attention amount determination unit 13 is, for example, a microcomputer, and measures an electroencephalogram signal starting from a stimulus occurrence point specified based on information indicating the stimulus occurrence timing, and attention to the peripheral visual field region of the driver 10 from the electroencephalogram signal. Determine the amount.
  • the output unit 14 is a device that can output at least one of an image and a sound.
  • the image is output using a display device such as a liquid crystal display device or a so-called organic EL display.
  • the sound is output using a speaker.
  • the output unit 14 prompts the driver 10 to call attention based on the determination result.
  • the electroencephalogram measurement unit 11 detects an electroencephalogram signal by measuring a potential change at an electrode mounted on the head of the driver 10.
  • the inventors of the present application envision a wearable electroencephalograph in the future. Therefore, the electroencephalograph may be a head-mounted electroencephalograph. It is assumed that the driver 10 is wearing an electroencephalograph in advance.
  • Electrodes are arranged in the electroencephalogram measurement unit 11 so as to come into contact with a predetermined position of the head when worn on the head of the driver 10.
  • the arrangement of the electrodes is, for example, Pz (midline parietal), A1 (earlobe) and nose root defined by the International 10-20 method.
  • Pz midline parietal
  • A1 earlobe
  • nose root defined by the International 10-20 method.
  • Pz midline parietal
  • A1 earlobe
  • the P300 component of the event-related potential is said to reach a maximum amplitude at Pz (midline parietal).
  • the P300 component can also be measured at Cz (top of the skull) and Oz (back of the head) around Pz, and electrodes may be arranged at the positions. This electrode position is determined from the reliability of signal measurement and the ease of mounting.
  • the electroencephalogram measurement unit 11 can measure the electroencephalogram of the driver 10.
  • the measured electroencephalogram is sampled so as to be processed by a computer and sent to the peripheral visual field attention amount determination unit 13.
  • the electroencephalogram measured by the electroencephalogram measurement unit 11 is subjected to, for example, a 15 Hz low-pass filter process in advance when focusing on the event-related potential.
  • the peripheral stimulus generator 12 generates a visual stimulus in the peripheral visual field region of the driver.
  • the definition of the peripheral visual field region will be described using an example.
  • a light source 23 such as an LED at the edge of the display 22 is used.
  • Visual stimuli can be presented by blinking.
  • the peripheral stimulus generator 12 includes a light source 23 and a control circuit (not shown) that controls the blinking timing while supplying power to the light source 23.
  • the number of blinks per unit time that is a visual stimulus is determined from the determination accuracy and determination interval of the attention amount determination unit 13 described later. For example, when the change in the attention amount is determined every 3 minutes, if the number (number of additions) of brain wave data necessary for the determination is 30, the number of blinks is 10 times per minute.
  • the required number of blinks can be further reduced by combining various noise countermeasures and high-precision analysis methods currently used in EEG event-related potential (ERP) research.
  • the blinking position may be determined randomly, or may be blinked sequentially in a predetermined order.
  • a location where the light source 23 is arranged at this time is defined as a peripheral visual field region viewed from the driver.
  • the light source 23 such as an LED may be disposed on the edge portion of the in-vehicle windshield or on the door mirror, and in this case, the place where the light source 23 is disposed is also used as the peripheral visual field region viewed from the driver.
  • the peripheral stimulus generator 12 needs to generate a visual stimulus in the peripheral visual field with a timing shifted from the visual stimulus generated in the driver's central visual field. Specific examples will be described below.
  • FIG. 4 shows an example of the central visual field region 31.
  • the central field of view area 31 an area where a lane where the host vehicle is present and a front panel (not shown) is present is defined as the central field of view area 31.
  • a region other than the central region other than the central visual region 31 is set as a peripheral visual region 32.
  • the timing of blinking the blinker display on the front panel existing in the driver's central visual field 31 and the interior of the vehicle existing in the peripheral visual field 32 It is necessary to intentionally shift the blinking timing of the light source 23 disposed on the edge portion of the windshield, the door mirror, or the like.
  • the attention amount determination unit 13 uses an event-related potential of an electroencephalogram starting from the time of occurrence of the stimulus, and particularly uses an event-related potential from 300 ms to 600 ms starting from the time of occurrence of the stimulus. Judging the amount. If visual stimuli occur simultaneously in both the central visual field and the peripheral visual field, it cannot be specified whether the attention amount determined by the attention amount determination unit 13 is for the central visual field region 31 or the peripheral visual field region 32. Therefore, it is necessary to generate visual stimuli in the peripheral visual field region 32 with a predetermined time difference from the visual stimuli generated in the central visual field region 31 so that the analysis time intervals for the respective stimuli do not overlap.
  • the event-related potential (300 milliseconds to 600 milliseconds) of interest is triggered by which visual stimulus.
  • it In order to be able to identify what has been done, it must be generated with a time difference of at least 300 milliseconds from other visual stimuli. For example, if the blinking timing of the front panel blinker is set to every 600 milliseconds, the light source 23 in the peripheral visual field region can be blinked every 600 milliseconds at a timing shifted by 300 milliseconds from the visual stimulus of the front panel. good.
  • the amount of attention to the peripheral visual field region 32 is set as described above. It cannot be measured correctly. Therefore, the event-related potential data for the stimulus generated in the peripheral visual field region 32 is excluded from the analysis target of the attention amount determination unit 13. This process may be realized when the attention amount determination unit 13 discards the data without using the data, or may be realized when the electroencephalogram measurement unit 11 stops outputting the electroencephalogram signal at that timing.
  • the “peripheral visual field region” refers to a region of 130 degrees up and down and 180 degrees left and right outside the range of about 20 degrees (center visual field) around the line of sight (gaze point). Therefore, when providing a gaze measuring unit that measures the driver's gaze, as shown in FIG. 5, an area within the driver's viewing angle of 20 degrees from the measured gaze point 41 is set as the central visual field area 42, and other areas (
  • the peripheral visual field region 43 can be 20 degrees or more and 130 degrees or less centered on the line of sight in each of the vertical directions, and an area of 20 degrees or more and 180 degrees or less centered on the line of sight in each of the left and right directions. .
  • the central visual field region and the peripheral visual field region are set as shown in FIGS. 4 and 5 described above. It is assumed that the driving driver is basically looking at the front center, and the central visual field region and the peripheral visual field region are fixed.
  • the driver's line of sight may fluctuate during actual driving.
  • an example in which the driver's line of sight is measured will be described.
  • an example in which an external visual stimulus is used will be described in another embodiment described later.
  • the peripheral stimulus generation unit 12 transmits information indicating the time or generation timing (trigger) when the above stimulus is generated to the attention amount determination unit 13.
  • the attention amount determination unit 13 determines the attention amount with respect to the peripheral visual field region of the driver 10 based on the information received from the peripheral stimulus generation unit 12 by analyzing the measured electroencephalogram signal starting from the generation point of the stimulus.
  • the procedure of the attention amount determination unit 13 will be described with reference to FIGS.
  • FIG. 6 is a flowchart showing a processing procedure of the attention amount determination unit 13.
  • FIG. 7 is a waveform example relating to the processing of the attention amount determination unit 13.
  • the attention amount determination unit 13 receives the electroencephalogram data measured from the electroencephalogram measurement unit 11.
  • FIG. 7 shows the received electroencephalogram data 61.
  • step S52 the attention amount determination unit 13 receives information on the time when the stimulus is generated from the peripheral stimulus generation unit 12.
  • FIG. 7 shows the time 62 when the trigger stimulus is generated.
  • step S53 the attention amount determination unit 13 cuts out electroencephalogram data from ⁇ 100 milliseconds to 600 milliseconds from the occurrence time acquired in step S52 from the electroencephalogram data received in step S51.
  • FIG. 7 shows an example of the cut out electroencephalogram data (event-related potential) 63. Note that the above-described time width for cutting out electroencephalogram data is determined as a range that necessarily includes the P300 component of the event-related potential. If the P300 component is included, the electroencephalogram data may be cut out with a time width different from this time width.
  • step S54 the attention amount determination unit 13 performs baseline correction of the cut out electroencephalogram data.
  • the baseline correction is performed with an average potential from ⁇ 100 milliseconds to 0 milliseconds starting from the time when the stimulus occurs.
  • step S55 the attention amount determination unit 13 temporarily accumulates the electroencephalogram data subjected to the baseline correction in step S54.
  • step S56 the attention amount determination unit 13 determines whether or not the number of the electroencephalogram data accumulated in step S55 has reached a preset required number of additions. If not reached, the process returns to S51, and if reached, the process proceeds to S57.
  • event-related potentials in general, in the study of event-related potentials, analysis is performed after obtaining an average of electroencephalogram data. As a result, random brain action potentials that are not related to the event of interest are canceled out, and event-related potentials that have a certain latency (the time from when the stimulus occurs to the time when the action potential is generated) and polarity. (For example, P300 component) can be detected.
  • the number of additions is, for example, 20 to 30 times. By increasing the number of times, it is possible to improve the SN ratio. However, this number of additions is an example, and the present invention is not limited to this number.
  • the attention amount may be determined from the non-additional electroencephalogram (one electroencephalogram data).
  • step S57 the attention amount determination unit 13 performs an averaging process on the electroencephalogram data for the required number of times accumulated in step S55.
  • FIG. 7 shows a waveform 64 and an amplitude 65 after the averaging.
  • the amplitude of the event-related potential from 300 milliseconds to 600 milliseconds is analyzed from the electroencephalogram data after the addition averaging, and the attention amount is determined based on the magnitude of the amplitude.
  • the attention amount for the peripheral visual field region is determined based on the ERP characteristic specific to the peripheral visual field region specified by the inventors of the present application. Details of the determination process will be described later with reference to the experimental results shown in FIGS.
  • the relationship between the target range of the electroencephalogram data to be added and the target range of the determined attention amount will be described.
  • the attention amount for the entire peripheral visual field is determined.
  • the attention amount for each light source position is determined.
  • the attention amount determination unit 13 transmits the determination result to the output unit 14.
  • the output unit 14 presents the result determined by the attention amount determination unit 13 with an image or sound. Alternatively, the output unit 14 outputs a signal for alerting the driver from the device side when the attention amount is low based on the determination result. Thereby, a driver
  • the signal output for the output unit 14 to alert the driver may be, for example, one of a video signal and an audio signal, or both.
  • a call to a driver by an audio signal, an operation sound and a warning sound by an audio signal, or a video signal may be presented by text or an image on a car navigation system or a head-up display. This makes it possible to call attention in order to improve the driver's attention.
  • the signal that the output unit 14 outputs to call attention includes a control signal that causes an action to call attention to the driver.
  • control signals for direct information presentation using AR (Augmented Reality) technology that displays an image superimposed on an object to which attention is desired, indirect by adjusting vibration to the handle, smell or air volume
  • a control signal for causing a special action is included in the action for calling attention. It can be said that any example including the previous example is calling attention by applying an external action to the driver.
  • FIG. 8 shows an example of alerting the output unit 14.
  • the attention amount determination unit 13 determines that the attention amount with respect to the left side of the driver is reduced as a result of adding the electroencephalogram data and determining the attention amount for each light source position. It is.
  • a left arrow image signal 152 is output (presented) on the head-up display (HUD) 151 in order to prompt the driver to call attention to the left side. This image signal functions as information for calling attention.
  • test subjects were a total of 4 people, 1 male and 3 female, with an average age of 21 ⁇ 1.5 years. The contents of the experiment will be described with reference to FIG.
  • the inventors of the present application conducted an experiment by a double task method in which the subject performed two tasks in parallel.
  • the first task is a central task 71 for counting the number of times of switching of symbols ( ⁇ / ⁇ / ⁇ / x) presented in the center of the screen in FIG.
  • the second task is a peripheral task 72 in which lamps around the screen flash in a random order, and the subject presses the button at hand when he notices the flashing.
  • the subjects were instructed to keep their eyes on the center of the screen. In this way, by performing the two tasks at the center and the periphery at the same time, it is possible to examine how much attention is directed to the periphery of the screen while paying attention to the center of the screen.
  • the test subject wears an electroencephalograph (manufactured by TEAC, polymate AP-1124), the electrode is placed using the international 10-20 electrode method, the lead electrode is Pz (midline parietal), the reference electrode is A1 (right earlobe), The ground electrode was the forehead part.
  • EEG data measured at a sampling frequency of 200 Hz and a time constant of 3 seconds is subjected to a band pass filter process of 1 to 6 Hz, and electroencephalogram data from -100 milliseconds to 600 milliseconds is extracted from the time when the peripheral lamp blinks. Baseline correction was performed with an average potential from milliseconds to 0 milliseconds.
  • FIG. 10 shows the addition average waveform of all subjects of the electroencephalogram data for each of the first and second conditions after performing the above-described processing.
  • the first condition is a classification condition performed on the visual field region.
  • the viewing angle the angle at which the line connecting the eye position of the subject and the gaze point in the center of the screen intersects the line connecting the eye position of the subject and the blinking lamp
  • region 1 from 0 degrees to less than 10 degrees
  • region 2 from 10 degrees to less than 20 degrees
  • region 3 as 20 degrees or more.
  • the second condition is a classification condition related to the button press reaction time of the subject.
  • the reaction time until the button was pressed was used to classify the amount of attention as an experimental condition.
  • the reaction time reflects the amount of attention.
  • Patent Document 2 also calculates the concentration of attention to driving using the brake reaction time.
  • the amplitude of the P300 component is significantly reduced when the attention amount is small (region (f) in FIG. 10) in the region 3 (generally regarded as the peripheral visual field) that is 20 degrees or more. I understand that.
  • the maximum amplitudes (81 (d) to (f)) of the P300 component in (d) to (f) of FIG. 10 are 13.6 ⁇ V, 13.2 ⁇ V, and 2.5 ⁇ V, respectively.
  • FIG. 11 shows the maximum amplitude of the P300 component under each condition of FIG.
  • the horizontal axis is the area 1 / area 2 / area 3 of the visual field area
  • the vertical axis is the potential
  • the unit is ⁇ V.
  • a solid line represents a case where the attention amount is large
  • a dotted line represents a case where the attention amount is small.
  • the amplitude differences 91 (a) to 91 (c) in each visual field region when the attention amount is large and small are 6.7 ⁇ V, 6.4 ⁇ V, and 18.4 ⁇ V, respectively.
  • FIG. 11 also shows that there is a significant amplitude difference in the region 3 (peripheral visual field region) where the visual angle is 20 degrees or more, depending on the amount of attention.
  • the amount of attention to events that can occur in the peripheral visual field area of the driver, such as sudden interruption of the vehicle or pedestrian jumping, by determining the magnitude of the amplitude of the event-related potential using the ERP characteristics in the peripheral visual field area described above can be determined with high accuracy by the electroencephalogram.
  • FIG. 12 shows a probability distribution with respect to the maximum amplitude of the P300 component at the time of non-additive brain waves for each visual field region.
  • (A) shows the probability distribution in the case of the region 1
  • (b) shows the region 2
  • (c) shows the probability distribution in the case of the region 3 (peripheral visual field region).
  • the vertical axis represents potential
  • the unit is ⁇ V
  • the horizontal axis represents the occurrence probability for each attention amount
  • the unit is%.
  • Table 1 shows the discrimination rate when the amount of attention is discriminated in each visual field region.
  • a threshold value of the maximum ERP amplitude at which the discrimination rate is maximum in each visual field region is set, and the amount of attention is discriminated depending on whether or not the ERP amplitude of each non-additive brain wave is equal to or greater than the threshold value.
  • the threshold value that maximizes the discrimination rate is a threshold value that maximizes the average of the correct answer rate when the attention amount is large and the correct answer rate when the attention amount is small.
  • the above threshold values are 7.5 ⁇ V, 22.5 ⁇ V, and 32.5 ⁇ V, respectively, and the threshold values are indicated by alternate long and short dash lines in FIGS. 12A to 12C.
  • region 3 peripheral visual field region
  • the probability distribution when the attention amount is large and the probability distribution when the attention amount is small are separated to some extent.
  • the quantity discrimination rate is also 73.1%, which is a very high value for discrimination at the time of non-additive brain waves. Therefore, according to the attention amount determination in the peripheral visual field of the present embodiment, it is possible to maintain a high discrimination rate with the non-additional electroencephalogram without performing the addition of several tens to several hundreds of levels. In other words, it is possible to determine the attention amount of the driver for the very moment, not the determination of the attention state for a certain time width of about several minutes.
  • the attention amount in the peripheral visual field region may be determined based on the value of the correlation coefficient with the template stored in advance, instead of the threshold processing for the amplitude of the event-related potential described above.
  • the template refers to the addition average waveform data of the electroencephalogram signal of (c) when the attention amount is large in the region 3 (peripheral visual field) in FIG. 10, and the addition average of the electroencephalogram signal of (f) when the attention amount is small. Waveform data.
  • the visual stimulus is generated in the peripheral visual field region of the driver, and the generation time point of the stimulus is the starting point.
  • the attention amount in the peripheral visual field region of the driver is determined from the event-related potential of the electroencephalogram signal. As a result, the amount of attention can be determined even when an action index such as a brake cannot be obtained for an event that may occur in the peripheral visual field region of the driver, such as a sudden interruption of a vehicle or a pedestrian jumping out. And based on the said determination result, the assistance which prompts a driver
  • a photographing unit that photographs the front of the host vehicle is provided.
  • This driving attention amount determination device detects the occurrence of a visual stimulus that is a starting point when analyzing an event-related potential of an electroencephalogram from an image captured by an imaging unit, and determines the central visual field region and the visual field region from the position of the occurrence of the visual stimulus in the captured image. Distinguish peripheral vision areas. Then, the attention amount in the peripheral visual field region is determined.
  • the driving attention amount determination device does not intentionally give a visual stimulus as in the first embodiment, and uses the natural visual stimulus generated in front of the driver during driving from the front shot image. It is possible to determine the attention amount in the visual field region.
  • FIG. 13 is a block diagram of the driving attention amount determination apparatus 2 according to this embodiment.
  • the difference between the driving attention amount determination device 2 and the driving attention amount determination device 1 (FIG. 2) according to the first embodiment is that the driving attention amount determination device 2 includes a photographing unit 15 in addition to the driving attention amount determination device 1. Further, the peripheral stimulus generation unit 12 of the driving attention amount determination device 1 is replaced with a peripheral stimulus detection unit 16. The different components will be described in detail below.
  • the photographing unit 15 is, for example, a camera that can shoot moving images.
  • the imaging unit 15 is installed in front of the vehicle (on the dashboard, behind the rearview mirror, etc.) and, for example, images the front of the vehicle at 30 frames per second at an angle of view of 105 degrees in the vertical direction and 135 degrees in the horizontal direction.
  • the photographing unit 15 can photograph the image shown in FIG. 4, for example.
  • the peripheral stimulus detection unit 16 detects the generation time point of the visual stimulus that is a starting point when analyzing the event-related potential of the electroencephalogram from the video imaged by the imaging unit 15, and simultaneously determines (specifies the generation region of the visual stimulus in the captured video image )
  • the visual stimulus indicates that the amount of change in luminance in the video exceeds a predetermined threshold.
  • the amount of change is an example.
  • the rate of change in luminance can be employed. In this case, it may be determined that a visual stimulus has occurred when the rate of change in luminance is 50% or more.
  • a brake lamp for a preceding vehicle, a blinker for a parallel vehicle, a headlight for an oncoming vehicle, a signal change, and the like correspond to this.
  • the time at which the change occurred is detected as the visual stimulus occurrence time.
  • the peripheral stimulus detection unit 16 detects the generation time point of the visual stimulus defined as described above, and determines whether the position of the stimulus, that is, the luminance change position is the central visual field region or the peripheral visual field region. As a determination method, as shown in FIG. 4, when the stimulus is present in the lane region where the host vehicle is present in the captured video, it is determined as the central visual field region 31, and the stimulus exists in a region other than the region described above. The case is determined as the peripheral visual field region 32. If the peripheral visual field region 32 is determined, the generation point of the stimulus is transmitted to the attention amount determination unit 13.
  • FIG. 14 is a flowchart illustrating a processing procedure of the peripheral stimulus detection unit 16 according to the present embodiment.
  • the amount of change in luminance will be described as an example.
  • step S161 the peripheral stimulus detection unit 16 calculates the difference between the luminance images of each frame with respect to the vehicle front image captured by the imaging unit 15.
  • step S162 the peripheral stimulus detection unit 16 determines whether or not there has been a luminance change equal to or greater than a predetermined threshold value Th1 from the above difference. If there is a change in luminance, the process proceeds to step S163. If not, the process returns to step S161, and the next inter-frame luminance difference is calculated.
  • step S163 the peripheral stimulus detection unit 16 stores the luminance change time point and the position where the luminance change has occurred in the image.
  • step S164 the peripheral stimulus detection unit 16 detects a white line from the inter-frame luminance difference calculated in step S161. More specifically, road images from vehicles moving at regular intervals appear to move asphalt on the road surface, structures around the road, and vegetation. It appears to be stationary on the image. Therefore, the peripheral stimulus detection unit 16 detects an area of a predetermined threshold Th2 or less as an unmoved white line area from the inter-frame luminance difference.
  • step S165 the peripheral stimulus detection unit 16 uses the detected white line, and extracts a region where the distance between both the white lines is a certain width or more as a lane region.
  • the lane region is shown as the central visual field region 31.
  • step S166 the peripheral stimulus detection unit 16 determines whether or not the luminance change position stored in step S163 is outside the lane region extracted in step S165. If it is determined that it is outside the lane region, it is determined that the luminance change has occurred in the peripheral visual field region 32 (FIG. 4), and the process proceeds to step S167. It is determined that the error occurred in step 4), and the process returns to step S161 to calculate the next inter-frame luminance difference.
  • step S167 the peripheral stimulus detection unit 16 transmits the luminance change time point determined as the luminance change in the peripheral visual field region 32 (FIG. 4) to the attention amount determination unit 13.
  • peripheral visual field region 31 and the peripheral visual field region 32 do not change greatly and are generally fixed.
  • the central visual field area and the peripheral visual field area of the driver are not fixed, and are considered to change depending on the driving situation (the speed of the own vehicle or the brightness around the own vehicle). For example, when the host vehicle is traveling at 100 km / h or higher on an expressway, the driver's field of view is narrower than when the vehicle is stationary. Also, when the periphery of the vehicle is dark, such as at night, the driver's field of view is narrower than in the daytime. If the driver's field of view becomes narrower, detection of a dangerous object is delayed even in a field of view closer to the center, and there is a higher possibility that it will lead to an encounter accident or a jump-out accident.
  • FIG. 15 shows a configuration of the driving attention amount determination device 2a provided with the situation detection unit 17.
  • the situation detection unit 17 is connected to a speedometer of the vehicle, a sensor provided for an automatic light function that automatically turns on the headlamp when dark, and / or a lighting switch of the headlamp,
  • the driving situation speed, brightness around the host vehicle and / or presence / absence of lighting of the headlamp of the host vehicle
  • the central visual field area can be defined smaller than when the vehicle is stationary or during the daytime, and the attention amount can be determined using the area other than the central visual field as the peripheral visual field area. it can.
  • 16 and 17 show the reduced central visual field regions 171 and 182 respectively. Accordingly, it is possible to set a visual field region corresponding to the change in the driver's visual field that occurs due to a change in an external situation. Therefore, it is possible to determine the amount of attention to the peripheral visual field region according to the speed of the host vehicle and the presence / absence of lighting of the headlamp of the host vehicle, thereby reducing the risk of encounter accidents and pop-out accidents.
  • the peripheral stimulus detection unit 16 changes the definition of the central and peripheral visual field regions according to the speed of the host vehicle detected by the situation detection unit 17 and the presence / absence of lighting of the headlamp of the host vehicle.
  • FIG. 16 shows a reduced central viewing area 171.
  • Table 2 shows an example of the relationship between the speed of the host vehicle and the area ratio of the central visual field area when the vehicle is stationary.
  • the area ratio compared to when the vehicle is stationary is 1
  • the area ratio is set to 0.6
  • the area ratio of the central visual field area 171 shown in FIG. 16 to the central visual field area when the vehicle is stationary is 0.8.
  • Table 3 shows an example of the relationship between the presence or absence of lighting of the headlamp of the host vehicle and the area ratio of the central visual field area to daytime.
  • the occurrence of a visual stimulus is detected from an image captured in front of the host vehicle, the central visual field region and the peripheral visual field region are distinguished from the position of the stimulus occurrence in the captured image, Determine the amount of attention in the visual field area.
  • the attention amount in the peripheral visual field region can be obtained by using the natural visual stimulus generated in front of the driver during driving from the front shot image without intentionally giving the visual stimulus by the driving attention amount determination device. Can be determined.
  • the driver basically determines the stimulation generation area on the premise that the driver is looking at the front center while driving. However, when a visual stimulus is generated, the driver does not always turn his / her line of sight toward the front center, and therefore the peripheral visual field region is always changing.
  • the line-of-sight measurement unit that measures the line of sight of the driver is provided in the driving attention amount determination device.
  • the driving attention amount determination device determines the generation region of the visual stimulus according to the position of the driver's gazing point.
  • FIG. 18 is a block diagram of the driving attention amount determination apparatus 3 according to this embodiment.
  • the driving attention amount determination device 3 is configured by adding a line-of-sight measurement unit 18 to the driving attention amount determination device 2 (FIG. 13).
  • FIG. 19 shows a configuration example of the line-of-sight measurement unit 18.
  • the line-of-sight measurement unit 18 measures the driver's gazing point 137 on the two-dimensional plane 136 that projects the scenery in front of the vehicle (that is, the vehicle front image captured by the imaging unit 15).
  • the near-infrared light source 131 irradiates the eyeball with a near-infrared point light source, and the image of the eyeball is captured by the CCD camera 132.
  • the reflected image position detection unit 133 detects the position of the corneal reflection image of the light source on the pupil and the corneal surface.
  • the calibration information storage unit 135 stores in advance the relationship between the position of the corneal reflection image and the gazing point coordinates in the vehicle front image captured by the imaging unit 15. Based on the calibration information, the conversion unit 134 measures the driver's gazing point on the vehicle front image from the position of the cornea reflection image.
  • FIG. 20 (a) shows an example of calibration information
  • FIG. 20 (b) shows an example of coordinates of the gaze position on the vehicle front image.
  • the calibration information includes a corneal reflection image position and a gaze position coordinate.
  • the conversion unit 134 Based on the corneal reflection image position (Pxn, Pyn) detected by the reflection image position detection unit 133, the conversion unit 134 converts the gaze position coordinate (Xn, Yn) of the driver on the vehicle front image.
  • the line-of-sight measuring unit 18 may be a head-mounted measuring instrument worn by the driver in advance, or an in-vehicle measuring instrument installed near the rear view mirror of the vehicle.
  • the peripheral stimulus detection unit 16 detects the generation time point of the visual stimulus and determines whether the position of the stimulus is the central visual field region or the peripheral visual field region.
  • the stimulus generation region is determined based on the position of the gazing point 41 (FIG. 5) measured by the line-of-sight measurement unit 18.
  • the peripheral visual field generally refers to a region of 130 degrees up and down and 180 degrees left and right outside the range of about 20 degrees (center visual field) centered on the line of sight. Therefore, as shown in FIG. 5, a case where the stimulus is present in a region within 20 degrees of the driver's viewing angle from the gaze point 41 measured is determined as the central visual field region 42, and the stimulus is present in a region other than the region described above. The case is determined to be the peripheral visual field region 43. And when it determines with the peripheral visual field area
  • the driver By measuring the driver's line of sight according to the configuration and processing procedure according to the present embodiment and determining the peripheral visual field region according to the position of the gazing point, the driver directs the line of sight toward the front center when a visual stimulus occurs. Even if there is not, it can be accurately determined whether or not the stimulus is the peripheral visual field region. As a result, the attention amount in the peripheral visual field region can be determined with higher accuracy.
  • the driving attention amount determination device is configured as a head-mounted display type device worn by the user
  • the attention amount with respect to the peripheral visual field is not limited to safety support while driving a car but also during bicycle driving or walking. Can be determined.
  • the amount of attention in the peripheral visual field of the user is determined based on the event-related potential of the electroencephalogram. Appropriate alerts to things can be performed appropriately.
  • the configuration of the above-described line-of-sight measurement unit 18 can be provided in the driving attention amount determination apparatus 1 (FIG. 2) of the first embodiment and the driving attention amount determination apparatus 2a (FIG. 15) of the second embodiment.
  • FIG. 21 shows a block diagram of a driving attention amount determination apparatus 1a according to a modification of the first embodiment.
  • the driving attention amount determination device 1 a is provided with a new line-of-sight measurement unit 18 with respect to the driving attention amount determination device 1.
  • the line-of-sight measurement unit 18 As the line-of-sight measurement unit 18, the configuration shown in FIG.
  • functions and operations of the driving attention amount determination device 1a different from the driving attention amount determination device 1 (FIG. 2) will be described.
  • the driving attention amount determination apparatus 1a can dynamically specify the driver's central visual field region and peripheral visual field region that change every moment. Thereby, the peripheral stimulus generation part 12 can selectively blink the light source located in the driver's peripheral visual field region.
  • the peripheral stimulus generating unit 12 displays both eyes of the head-mounted display.
  • the visual light stimulus can be presented by blinking the light source 23 located on the right side.
  • the light source is not provided in each frame on the side close to the nose, but the line-of-sight measurement unit 18 may be provided and the light sources may be provided on the sides of all the frames. However, it is necessary to consider that light from a light source arranged on the left / right eye frame does not enter the opposite right / left eye.
  • the visual line measurement unit 18 by providing the visual line measurement unit 18 and controlling the presentation of the visual stimulus, it is possible to reliably present the visual stimulus to the peripheral visual field region of the driver. This makes it possible to determine with higher accuracy whether or not attention is directed to the peripheral visual field region.
  • FIG. 22 shows a block configuration diagram of the driving attention amount determination device 2b having the situation detection unit 17 and the line-of-sight measurement unit 18.
  • the driving attention amount determination device 2b is configured by providing a line-of-sight measurement unit 18 with respect to the driving attention amount determination device 2a (FIG. 15) in the second embodiment.
  • the peripheral stimulus detection unit 16 uses the situation detection unit 17
  • the definition of the central and peripheral visual field regions is changed according to the speed and the presence / absence of lighting of the headlamp of the host vehicle.
  • FIG. 17 shows an example of the central visual field region 182 reduced based on the detection result of the situation detection unit 17.
  • the central visual field region 182 is smaller than the conventional visual angle of 20 degrees, and is defined within a range of about 16 degrees centered on the position of the gazing point 181, for example.
  • the driving attention amount determination device 2b determines the attention amount with respect to the peripheral visual field region according to the speed of the host vehicle and the presence / absence of lighting of the headlamp of the host vehicle.
  • the processing described using the flowcharts can be realized as a program executed by a computer.
  • a computer program is recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or transmitted through an electric communication line such as the Internet.
  • All or part of the components constituting the driving attention amount determination device are realized as a general-purpose processor (semiconductor circuit) that executes a computer program.
  • a processor that executes a computer program receives a driver's brain wave signal measured by the brain wave measuring unit 11. Then, the amount of attention to the driver's peripheral visual field region is determined from the electroencephalogram signal measured from the generation time point of the visual stimulus generated in the driver's peripheral visual field region, and a signal is output based on the determination result. Thereby, it becomes possible to call attention to the driver.
  • the processor controls each operation of the peripheral stimulus generation unit 12, the imaging unit 15, the peripheral stimulus detection unit 16, the situation detection unit 17, the line-of-sight measurement unit 18, and the like. May function as those components.
  • the driving attention amount determination apparatus is useful for preventing accidents with respect to events that may occur in the peripheral visual field region of the driver, such as a sudden interruption of a vehicle or a jump of a pedestrian.
  • accidents with respect to events that may occur in the peripheral visual field region of the driver such as a sudden interruption of a vehicle or a jump of a pedestrian.
  • it when configured as a head-mounted display type device, it can also be applied to safety assistance during bicycle driving or walking.

Abstract

　運転者が視線を周辺の対象物に向けていない場合でも、運転者の周辺視野領域に対する注意量を判定し、判定結果に応じた安全運転支援を行うことを可能にする。 　運転注意量判定装置は、運転者の脳波信号を計測する脳波計測部と、運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された脳波信号から、運転者の周辺視野領域に対する注意量を判定する注意量判定部と、判定結果に基づいて信号を出力することにより、運転者に対して注意を喚起する出力部とを備えている。

Description

運転注意量判定装置、方法およびプログラム
　本発明は、脳波を用いて運転者の状態を判定し安全運転支援を行う技術に関する。
　近年、自動車運転に関連した事故防止装置の中で、運転者の状態を判定し、その判定結果に基づいて運転支援を行う方法が検討されている。安全運転に必要な運転者の視覚認知機能の１つとして危険対象物の検出がある。危険対象物の検出とは、周辺視で周囲の車両や歩行者の危険な動きに気づくものであり、この検出機能が低下すると出会い頭事故や飛び出し事故に繋がることになる。
　「周辺視野」とは一般に、視線を中心にした約２０度の範囲（中心視野）から外れた上下１３０度、左右１８０度の領域を指す。周辺視野では、物の形や色を詳細に認識することは難しいが、移動する対象や点滅する光のように時間的に変化する物に対しては敏感に反応することが知られている。運転者は、歩行者の飛び出しやバイクが側方を横切る等に備えて、周辺視野領域や、当該領域に存在するドアミラー等にも注意を向ける必要がある。そこで、運転者の周辺視野領域に対する注意量が低い場合には、当該運転者に警告を発する等の措置が求められている。
　運転者の注意状態を判定する方法としては、運転者に向けられたカメラによって、運転者の視線や顔の動きを検出し、運転者の注意配分状態を判定する方法がある。例えば特許文献１では、自車両の周辺状況から判定した運転者が注意すべき最適な注視位置と、運転者の視線や顔の動きから検出した注視点とを比較することにより、運転者の注意配分状態を判定する技術が開示されている。
　また、自車両の操作状況を反映する走行速度やハンドル操舵角の変化などにより、運転者の注意状態を判定する方法がある。例えば特許文献２では、前方車両の急減速に対するブレーキ反応時間などを用いて運転者の運転集中度を求め、これによって運転者に警報を出力するかどうかの必要度を判断する技術が開示されている。
　一方、運転者の運転に対する注意量を脳波の事象関連電位（Ｅｖｅｎｔ－Ｒｅｌａｔｅｄ Ｐｏｔｅｎｔｉａｌ：ＥＲＰ）を用いて調べる研究が行われている。「事象関連電位」とは、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。事象関連電位のうち、例えば外的な視覚刺激などの発生タイミングを起点として約３００ミリ秒付近に現れる陽性の成分をＰ３００成分といい、その刺激に対する認知や注意を反映するとされている。
　例えば非特許文献１では、事象関連電位を用いた運転注意量の計測に関する研究が開示されている。この研究を具体的に説明すると、前方車両に追従走行する実験において、前方車両のブレーキランプ点灯時に運転者は自車のブレーキペダルを踏む課題を課せられている。前方車両が急ブレーキする場合の走行（高注意条件）と、しない場合の走行（低注意条件）の２つの実験条件で事象関連電位を比較した結果、高注意条件の場合に事象関連電位のＰ３００成分の振幅が大きくなることが報告されている。
特開２００４－１７８３６７号公報 特開２００２－１２７７８０号公報
「事象関連電位を用いた運転注意力計測技術」、江部ら、自動車技術、Ｖｏｌ．５８，Ｎｏ．７，ｐｐ．９１－９６，２００４年
　しかしながら、特許文献１に記載の技術では、視線を向けていないところは注意を向けていないという考え方に基づいているため、運転者の周辺視野領域に対する注意量を確度良く判定することができない。例えば実際の運転場面において、運転者は中心視により前方車両を監視しながら、同時に周辺視により並行車両や歩行者の動きを検知し、その前方と周辺の状況に応じて視線の向きを決定している。したがって従来技術では、周辺視野領域にも注意を向けつつ、前方に視線を向けている場合等に対応が困難である。
　また、特許文献２に記載の技術では、前方車両の急減速に対するブレーキ反応時間などを用いているため、求められる運転集中度は自車両前方、つまり運転者の中心視野領域に対するものに限定されている。実際の運転場面では、運転者の周辺視野領域で起こる事象に対する反応が、ブレーキなどの行動にそのまま表れるケースは非常に少ない。よって、自車両の操作状況を用いる従来技術では運転者の周辺視野領域に対する注意量を確度良く判定することができない。
　さらに、非特許文献１に記載の研究でも上記と同様に、前方車両のブレーキランプ点灯に対する事象関連電位（ＥＲＰ）を用いている。ゆえに、計測している運転注意量は運転者の中心視野領域に対するものに限定され、周辺視野領域に対する注意量を計測することができない。
　本発明は上記の課題に鑑みてなされたものであり、その目的は、運転者が視線を周辺の対象物に向けていない場合でも、運転者の周辺視野領域に対する注意量を判定し、判定結果に応じた安全運転支援を行うことにある。
　本発明による運転注意量判定装置は、運転者の脳波信号を計測する脳波計測部と、前記運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された前記脳波信号から、前記運転者の前記周辺視野領域に対する注意量を判定する注意量判定部と、前記判定結果に基づいて信号を出力することにより、前記運転者に対して注意を喚起する出力部とを備えている。
　前記注意量判定部は、前記視覚刺激の発生時点を起点として計測された前記脳波信号の事象関連電位の振幅の大きさに応じて、前記注意量を判定してもよい。
　前記注意量判定部は、前記視覚刺激の発生時点を起点にして３００ミリ秒から６００ミリ秒の区間の陽性成分であるＰ３００の事象関連電位の振幅が所定の閾値より小さい場合に、前記注意量が低いと判定してもよい。
　前記注意量判定部が、前記注意量が低いと判定した場合には、前記出力部は、前記運転者に対して前記信号を出力してもよい。
　前記注意量判定部は、前記視覚刺激の発生時点を起点にして３００ミリ秒から６００ミリ秒の区間の陽性成分であるＰ３００成分の事象関連電位の振幅が前記所定の閾値より大きい場合に、前記注意量が大きいと判定し、前記注意量が大きいと判定された場合には、前記出力部は、前記運転者に対して前記信号を出力しなくてもよい。
　前記注意量判定部は、前記視覚刺激の発生時点を起点として計測された前記脳波信号と、予め保持しているテンプレートとの相関係数に応じて前記注意量を判定してもよい。
　前記出力部は、情報を提示するための画面に文字または記号を提示するための映像信号、および、音声を出力するためのスピーカから出力するための音声信号の少なくとも一方を出力してもよい。
　前記運転注意量判定装置は、前記運転者の周辺視野領域内で前記視覚刺激を発生させる周辺刺激発生部をさらに備えていてもよい。
　前記運転注意量判定装置は、前記運転者が運転する車両の前方の映像を撮影する撮影部と、撮影された前記映像から、前記周辺視野領域内で発生した前記視覚刺激の発生時点を検出する周辺刺激検出部とをさらに備え、前記注意量判定部は、検出された前記視覚刺激の発生時点を特定する情報を前記周辺刺激検出部から受け取ってもよい。
　前記運転注意量判定装置は、前記運転者の視線を計測する視線計測部をさらに備え、前記周辺刺激検出部は、前記視線計測部によって計測された、前記視覚刺激の発生時点における前記運転者の視線、および、撮影された前記映像に応じて、前記視覚刺激が周辺視野領域内で発生したか否かを検出してもよい。
　前記運転注意量判定装置は、前記車両の速度またはヘッドランプの点灯の有無を検出する状況検出部を備え、前記周辺刺激検出部は、前記視覚刺激が前記周辺視野領域にあるか否かを、前記状況検出部の検出結果に応じて検出してもよい。
　前記運転者の周辺視野領域および中心視野領域の各々で検出された視覚刺激の発生タイミングの時間差が所定値以下の場合、前記注意量判定部は、前記周辺視野領域で検出された視覚刺激に対する前記脳波信号の事象関連電位のデータを解析対象から除外してもよい。
　前記周辺刺激発生部は、前記運転者の中心視野領域で発生させる視覚刺激の発生タイミングとは所定値以上の時間差を有する発生タイミングで、前記運転者の周辺視野領域内で前記視覚刺激を発生させてもよい。
　本発明による、運転注意量を判定する方法は、運転者の脳波信号を計測するステップと、前記運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された前記脳波信号から、前記運転者の前記周辺視野領域に対する注意量を判定するステップと、前記判定結果に基づいて信号を出力することにより、前記運転者に対して注意を喚起するステップとを包含する。
　本発明による、運転注意量を判定するためのコンピュータプログラムは、コンピュータによって実行されることにより、前記コンピュータに対し、運転者の脳波信号を受け取るステップと、前記運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された前記脳波信号から、前記運転者の前記周辺視野領域に対する注意量を判定するステップと、前記判定結果に基づいて信号を出力するステップとを実行させて、前記運転者に対して注意を喚起させる。
　本発明によれば、運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された脳波信号から、運転者の周辺視野領域における注意量を判定する。脳波信号を用いることにより、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する注意量を確度良く判定し、当該判定結果に基づいて、運転者に適切に注意喚起等の状態変化を促すことができる。
本発明による運転注意量判定装置１００の主要な構成を示す機能ブロックの構成図である。 実施形態１における運転注意量判定装置１の機能ブロックの構成図である。 装着型の脳波計とディスプレイとを組み合わせたメガネ型ヘッドマウントディスプレイを想定した場合の周辺視野領域の例を示す図である。 撮影部１５を設けた場合の中心視野領域および周辺視野領域の例を示す図である。 視線計測部１８を設けた場合の中心視野領域および周辺視野領域の例を示す図である。 周辺視野注意量判定部１３の処理の手順を示すフローチャートである。 周辺視野注意量判定部１３の処理の例を示す図である。 出力部１４の注意喚起の例を示す図である。 本願発明者らが実施した実験の提示画面を示す図である。 視野領域および反応時間ごとの加算平均波形を示す図である。 視野領域とＰ３００成分の最大振幅との関係を示す図である。 視野領域ごとの非加算脳波時のＰ３００成分の最大振幅の確率分布を示す図である。 実施形態２における運転注意量判定装置１の機能ブロックの構成図である。 周辺刺激検出部１６の処理の手順を示すフローチャートである。 実施形態２において状況検出部１７を設けた場合の運転注意量判定装置１の機能ブロックの構成図である。 実施形態２において状況検出部１７を設けた場合の中心視野領域および周辺視野領域の例を示す図である。 実施形態３において状況検出部１７を設けた場合の中心視野領域および周辺視野領域の例を示す図である。 実施形態３における運転注意量判定装置１の機能ブロックの構成図である。 視線計測部１８の機能ブロックの構成図である。 （ａ）実施形態３における視線計測部１８のキャリブレーション情報のデータ構造を示す図であり、（ｂ）撮影映像上での運転者の注視位置座標の例を示す図である。 実施形態１の構成に対して視線計測部１８を設けた運転注意量判定装置１ａの機能ブロックの構成図である。 実施形態２の構成に対して状況検出部１８を設けた運転注意量判定装置２ｂの機能ブロックの構成図である。
　以下、添付の図面を参照しながら、本発明による運転注意量判定装置の概念を説明し、その後、各実施形態を説明する。
　図１は、本発明による運転注意量判定装置１００の主要な構成を示すブロック図である。運転注意量判定装置１００は、脳波計測部１１と、注意量判定部１３と、出力部１４とを備えている。
　脳波計測部１１は、運転者１０の脳波信号を計測する。
　注意量判定部１３は、運転者１０の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された脳波信号から、運転者１０の周辺視野領域に対する注意量を判定する。
　ここで「周辺視野領域」とは、人の視野領域のうち、人の視線方向を中心として定まる一定の視野領域（中心視野領域）以外の領域をいう。中心視野領域は、人の視点方向を軸とした円錐を想定したときに、その円錐側面と視線方向がなす一定の角度によって囲まれた領域として定義できる。以下の実施形態では、この一定の角度は約２０度であるとして説明している。
　出力部１４は、注意量判定部１３の判定結果に基づいて信号を出力することにより、運転者１０に対して注意を喚起する。これにより、運転者の注意量を向上させて、安全運転を支援することが可能になる。
　上述の注意量判定部１３は、周辺視野領域で発生した視覚刺激の発生時点を特定する。視覚刺激は、運転注意量判定装置１００に発光装置を設け、その発光装置を発光させることによって与えられてもよいし、外部環境（たとえば他車が点灯させたランプなど）から与えられてもよい。以下の実施形態では、その両方の態様を説明している。
　なお、脳波計測部１１、注意量判定部１３、出力部１４の具体的な構成は、各実施形態においてより詳細に説明する。
　（実施形態１）
　図２は、本実施形態による運転注意量判定装置１のブロック構成図を示す。
　運転注意量判定装置１は、運転者１０の脳波信号を利用して運転に対する注意量を判定し、判定結果に応じた支援を行うための装置である。たとえば、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する注意量を、脳波を利用して判定し、判定結果に応じて、運転者に注意喚起を行うことができる。
　運転注意量判定装置１は、脳波計測部１１と、周辺刺激発生部１２と、注意量判定部１３と、出力部１４とを備えている。運転者１０のブロックは説明の便宜のために示されている。
　各構成要素のハードウェア構成および機能の概要は以下の通りである。
　脳波計測部１１は、たとえば脳波計であり、運転者１０の脳波を計測する。
　周辺刺激発生部１２は、たとえばＬＥＤ光源およびその制御回路によって構成されており、運転者１０の周辺視野領域に視覚刺激を発生させる。周辺刺激発生部１２は、運転者１０に向けて視覚刺激を伝達し、注意量判定部１３に向けて刺激発生タイミングを示す情報を伝達する。
　注意量判定部１３は、たとえばマイコンであり、刺激発生タイミングを示す情報に基づいて特定される刺激の発生時点を起点に脳波信号を計測し、その脳波信号から運転者１０の周辺視野領域に対する注意量を判定する。
　出力部１４は、画像や音声の少なくとも一方を出力可能な機器である。画像は液晶表示装置や、いわゆる有機ＥＬディスプレイなどの表示装置を利用して出力される。音声は、スピーカを用いて出力される。出力部１４は、判定結果に基づき運転者１０に対して注意喚起を促す。
　以下、各構成要素を詳しく説明する。
　脳波計測部１１は、運転者１０の頭部に装着された電極における電位変化を計測することによって脳波信号を検出する。本願発明者らは、将来的には装着型の脳波計を想定している。そのため、脳波計はヘッドマウント式脳波計であってもよい。運転者１０は予め脳波計を装着しているとする。
　運転者１０の頭部に装着されたとき、その頭部の所定の位置に接触するよう、脳波計測部１１には電極が配置されている。電極の配置は、例えば国際１０－２０法で定義されるＰｚ（正中頭頂）、Ａ１（耳朶）および鼻根部になる。従来文献（宮田洋ら、新生理心理学、1998、ｐ１１９、北大路書房）によれば、外的な刺激に対する認知や注意を反映し、その刺激の発生タイミングを起点として約３００ミリ秒付近に現れる事象関連電位のＰ３００成分は、Ｐｚ（正中頭頂）で最大の振幅に達するとされている。但し、Ｐｚ周辺のＣｚ（頭蓋頂）、Ｏｚ（後頭部）でもＰ３００成分の計測は可能であり、当該位置に電極を配置しても良い。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。
　この結果、脳波計測部１１は運転者１０の脳波を測定することができる。測定された脳波は、コンピュータで処理できるようにサンプリングされ、周辺視野注意量判定部１３に送られる。なお、脳波に混入するノイズの影響を低減するため、脳波計測部１１において計測される脳波は、事象関連電位に着目する場合には、予め例えば１５Ｈｚのローパスフィルタ処理がされているものとする。
　周辺刺激発生部１２は、運転者の周辺視野領域に視覚刺激を発生させる。ここで、例を用いて、周辺視野領域の定義を説明する。
　例えば、図３に示す装着型の脳波計とディスプレイとを組み合わせたメガネ型のヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）を想定した場合は、ディスプレイ２２の縁の部分にあるＬＥＤ等の光源２３を点滅させることによって視覚刺激を提示することが可能である。本実施形態においては、周辺刺激発生部１２は、光源２３と、その光源２３に電力を供給しながら点滅タイミングを制御する制御回路（図示せず）を有するとする。
　この視覚刺激となる点滅の単位時間あたりの回数は、後述する注意量判定部１３の判定精度や判定間隔等から決定される。例えば、注意量の変化を３分ごとに判定していく場合、判定に必要な脳波データの個数（加算回数）が３０個であれば、点滅回数は毎分１０回となる。
　現在、脳波の事象関連電位（ＥＲＰ）研究において行われている様々なノイズ対策や高精度な解析方法を組み合わせることによって、必要な点滅回数はさらに減少させることが可能である。点滅位置はランダムに決定しても良いし、予め決定した順番で順次点滅させても良い。このときの光源２３が配置されている箇所を運転者から見た周辺視野領域とする。また、ＬＥＤ等の光源２３は車内フロントガラスの縁の部分やドアミラーに配置されていても良く、その際も同様に光源２３が配置されている箇所を運転者から見た周辺視野領域とする。
　また、周辺刺激発生部１２は、運転者の中心視野で発生する視覚刺激とはタイミングをずらして周辺視野に視覚刺激を発生させる必要がある。以下にその具体例を説明する。
　まず、図４は、中心視野領域３１の一例を示している。ここでは、運転者の視野のうち、自車両が存在する車線およびフロントパネル（図示せず）が存在する領域を中心視野領域３１として定めている。そして、中心視野領域３１以外の中心領域以外の領域を周辺視野領域３２としている。
　いま、例えば、方向転換時あるいは車線変更時に運転者がウィンカーを点滅させる場合、運転者の中心視野領域３１内に存在するフロントパネルのウィンカー表示を点滅させるタイミングと、周辺視野領域３２に存在する車内フロントガラスの縁の部分やドアミラー等に配置された光源２３の点滅タイミングを意図的にずらす必要がある。
　以下にその理由を説明する。後述する注意量判定部１３は、刺激の発生時点を起点にした脳波の事象関連電位を用いて、特に刺激の発生時点を起点に３００ミリ秒から６００ミリ秒における事象関連電位を用いて、注意量を判定している。仮に中心視野と周辺視野の両方で同時に視覚刺激が発生した場合、注意量判定部１３で判定した注意量は中心視野領域３１に対するものか周辺視野領域３２に対するものかを特定することができない。したがって、各々の刺激に対する解析時区間が重複しないように、中心視野領域３１で発生する視覚刺激に対して所定の時間差をもって、周辺視野領域３２で視覚刺激を発生させる必要がある。
　周辺視野領域３２における視覚刺激と中心視野領域３１で発生する視覚刺激とに時間差を与える場合には、今回注目している事象関連電位（３００ミリ秒から６００ミリ秒）が、どの視覚刺激によって誘発されたものかを特定できるようにするためには、他の視覚刺激から少なくとも３００ミリ秒は時間差をもって発生させる必要がある。例えば、フロントパネルのウィンカーが点滅するタイミングを６００ミリ秒おきとした場合、周辺視野領域の光源２３はフロントパネルの視覚刺激から３００ミリ秒ずらしたタイミングで同様に６００ミリ秒おきに点滅させれば良い。
　また、仮に中心視野領域３１と周辺視野領域３２の両方で同時に視覚刺激が検出された場合、あるいは、各々の刺激検出タイミングが３００ミリ秒以下の場合、上述のとおり周辺視野領域３２に対する注意量を正しく計測することができない。したがって、当該周辺視野領域３２で発生させた刺激に対する事象関連電位のデータを注意量判定部１３の解析対象から除外する。この処理は、注意量判定部１３がそのデータを利用せず破棄することによって実現されてもよいし、脳波計測部１１がそのタイミングの脳波信号の出力を停止することによって実現されてもよい。
　なお、一般的には、「周辺視野領域」とは、視線（注視点）を中心にした約２０度の範囲（中心視野）から外れた上下１３０度、左右１８０度の領域を指している。したがって、運転者の視線を計測する視線計測部を設ける場合、図５に示すように、計測した注視点４１から運転者の視角２０度以内の領域を中心視野領域４２とし、それ以外の領域（上下方向のそれぞれについて、視線を中心とした２０度以上～１３０度以下、左右方向のそれぞれについて、視線を中心とした２０度以上～１８０度以下の領域）を周辺視野領域４３とすることができる。
　以下の説明では、中心視野領域および周辺視野領域は、上述した図４、図５に示すように設定されるとする。そして、運転中の運転者は、基本的に前方中央を見ていることを前提とし、中心視野領域および周辺視野領域は固定されているとする。
　ただし、実際の運転時は、運転者の視線は変動し得る。これに鑑みて、後述の他の実施形態においては、運転者の視線を計測する例を説明する。また、外部からの視覚刺激を利用する例についても後述の他の実施形態において説明する。
　周辺刺激発生部１２は、上記の刺激が発生した時刻または発生タイミング（トリガ）を示す情報を注意量判定部１３へ送信する。
　注意量判定部１３は、周辺刺激発生部１２から受け取った情報に基づいて、刺激の発生時点を起点に前記計測した脳波信号を解析して運転者１０の周辺視野領域に対する注意量を判定する。ここで図６および図７を参照しながら、注意量判定部１３の処理の手順を説明する。
　図６は、注意量判定部１３の処理の手順を示すフローチャートである。また図７は、注意量判定部１３の処理に関する波形例である。
　図６のステップＳ５１では、注意量判定部１３は脳波計測部１１から計測した脳波データを受信する。図７には、受信した脳波データ６１が示されている。
　ステップＳ５２では、注意量判定部１３は、周辺刺激発生部１２から刺激が発生した時刻の情報を受信する。図７には、トリガとなる刺激が発生した時刻６２が示されている。
　ステップＳ５３では、注意量判定部１３は、ステップＳ５１で受信した脳波データのうち、ステップＳ５２で取得した各発生時刻を起点として、－１００ミリ秒から６００ミリ秒までの脳波データを切り出す。図７は切り出した脳波データ（事象関連電位）６３の例を示している。なお、脳波データを切り出す上述の時間幅は、事象関連電位のＰ３００成分を必ず含む範囲として定められたものである。Ｐ３００成分が含まれるのであれば、この時間幅とは異なる時間幅で脳波データを切り出してもよい。
　ステップＳ５４では、注意量判定部１３は、切り出した脳波データのベースライン補正を行う。例えば、刺激が発生した時刻を起点として、－１００ミリ秒から０ミリ秒までの平均電位でベースライン補正を行う。
　ステップＳ５５では、注意量判定部１３は、ステップＳ５４でベースライン補正を行った脳波データを一時的に蓄積する。
　ステップＳ５６では、注意量判定部１３は、ステップＳ５５で蓄積した脳波データの個数が予め設定された必要な加算回数に達しているか否かを判別する。達していない場合は処理はＳ５１に戻り、達している場合はＳ５７に進む。
　なお、一般的に、事象関連電位の研究では、脳波データの加算平均を求めてから解析が行われる。これにより、注目している事象と関係のないランダムな脳の活動電位は相殺され、一定の潜時（刺激の発生時点を起点に活動電位が発生するまでの時間）と極性を持つ事象関連電位（例えばＰ３００成分）を検出できる。
　例えば、従来文献（宮田洋ら、新生理心理学、1998、p110、北大路書房）によれば、３０回の加算平均処理を行っている。
　本実施形態においては、加算回数はたとえば２０～３０回である。回数を増やすことにより、ＳＮ比を向上させることが可能である。但し、この加算回数は一例であって、本発明は、この回数に限定されるものではない。非加算脳波（１個の脳波データ）から注意量を判定してもよい。
　ステップＳ５７では、注意量判定部１３は、ステップＳ５５で蓄積した必要回数分の脳波データの加算平均処理を行う。図７には、加算平均後の波形６４および振幅６５が示されている。
　さらに当該加算平均後の脳波データから事象関連電位の３００ミリ秒から６００ミリ秒の振幅を解析して、その振幅の大小に基づき注意量の判定を行う。その際、本願発明者らが特定した周辺視野領域に特有のＥＲＰ特性に基づいて、周辺視野領域に対する注意量を判定する。判定処理の詳細は図１０～１２に示した実験結果を参照しながら後述する。
　ここで、加算する脳波データの対象範囲と、判定している注意量の対象範囲との関係について説明する。例えば、図３に示す全ての光源２３の点滅に対する脳波データを加算する場合は、周辺視野全体に対する注意量を判定していると解釈することができる。一方、個々の光源位置ごとに必要な回数分点滅させ、それらの点滅に対する脳波データを個々の光源位置ごとに加算する場合は当該光源位置ごとの注意量を判定していると解釈することができる。
　図６のステップＳ５８では、注意量判定部１３は、上記の判定結果を出力部１４へ送信する。
　出力部１４は、注意量判定部１３で判定された結果を画像や音声によって提示する。または、出力部１４は、判定結果に基づいて、注意量が低い場合には装置側から運転者に対して注意を喚起するための信号を出力する。これにより、運転者の注意量を向上させることができる。
　出力部１４が運転者に対して注意を喚起するために出力する信号とは、たとえば、映像信号または音声信号の一方であってもよいし、その両方であってもよい。具体的には、音声信号による運転者への呼びかけ、音声信号による動作音や警告音の提示、または、映像信号については、カーナビやヘッドアップディスプレイ上へのテキストや画像の提示が挙げられる。これにより、運転者の注意量を向上させるために、注意喚起を行うことが可能になる。
　出力部１４が注意を喚起するために出力する信号には、運転者への注意を喚起するための作用を引き起こす制御信号も含まれる。たとえば、注意を向けて欲しい対象物に重ね合わせて画像を表示するＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）技術を使った直接的な情報提示のための制御信号、ハンドルへの振動、においや風量の調節による間接的な働きかけを引き起こすための制御信号等である。注意を喚起するための作用には上述の例のような、様々なものが含まれる。先の例を含むいずれの例も、運転者に対して外的な作用を加えることにより、注意を喚起しているといえる。
　例えば図８は、出力部１４の注意喚起の例を示す。この例は、注意量判定部１３が、個々の光源位置ごとに脳波データの加算および注意量の判定を行った結果、運転者の左側に対する注意量が低下していると判定した場合の表示例である。図８ではヘッドアップディスプレイ（ＨＵＤ）１５１上に、左側に対する注意喚起を運転者に促すために、左矢印の画像信号１５２が出力（提示）されている。この画像信号は、注意を喚起する情報として機能する。
　ここで、上述の注意量判定に関して、本願発明者らが実施した実験結果を説明する。以下に説明する実験により、本願発明者らは、周辺視野領域に発生する刺激に対する事象関連電位の３００ミリ秒から６００ミリ秒の振幅が、注意量の大小に応じて大幅に変化する特性を見出した。
　被験者は男性１名、女性３名の合計４名で、平均年齢は２１±１．５歳である。図９を用いて実験内容を説明する。
　本願発明者らは、被験者に２つの課題を並行して実施してもらう二重課題法による実験を行った。第１の課題は、図９の画面中央に提示される記号（○／△／□／×）の切り替わり回数を頭の中で数える中心課題７１である。第２の課題は、画面周辺のランプがランダムな順番で点滅され、被験者はその点滅に気が付いた時点で手元のボタンを押す周辺課題７２である。なお被験者には視線を常に画面中央に向けているように教示した。このように画面中央と周辺の２つの課題を同時に行わせることで、画面中央に注意を向けさせつつ、その周辺にもどの程度注意が向けられるかを調べることができる。周辺視野を被験者に呈示できるようにするために、２０インチのディスプレイモニター１～３の３台横に並べ、被験者と画面との距離は６０ｃｍとした。本実験は、車両運転環境を模擬したものではないが、注視点を監視しつつ、その周辺の変化に如何に早く気づき得るかを調べるための抽象化した実験として捉えることができる。
　また、被験者は脳波計（ティアック製、ポリメイトＡＰ－１１２４）を装着し、電極の配置は国際１０－２０電極法を用い、導出電極をＰｚ（正中頭頂）、基準電極をＡ１（右耳朶）、接地電極を前額部とした。サンプリング周波数２００Ｈｚ、時定数３秒で計測した脳波データに対して１～６Ｈｚのバンドパスフィルタ処理をかけ、周辺ランプ点滅時を起点に－１００ミリ秒から６００ミリ秒の脳波データを切り出し、－１００ミリ秒から０ミリ秒の平均電位でベースライン補正を行った。
　図１０は、上述した処理を行った後の、第１および第２の条件ごとの脳波データの全被験者の加算平均波形を示す。
　第１の条件とは、視野領域に関して行った分類の条件である。本実験では、図９に示すように、視角（被験者の眼の位置と画面中央の注視点までを結んだ線と、被験者の眼の位置と点滅ランプまでを結んだ線とが交差する角度）が０度以上１０度未満を領域１とし、１０度以上２０度未満を領域２とし、２０度以上を領域３として分類した。
　第２の条件とは被験者のボタン押し反応時間に関する分類の条件である。本実験では注意量の大小を実験条件として分類するために、ボタン押しまでの反応時間を用いた。生理心理の実験においては、反応時間は注意量を反映するとされ、例えば特許文献２でもブレーキ反応時間を用いて運転に対する注意の集中度を算出している。
　本実験ではボタン押し反応時間を注意量の指標とした際の脳波との関係について分析した。本実験における全ての反応時間を俯瞰したところ４００ミリ秒～６００ミリ秒の間に非常に多くのサンプルが存在していた。そのため、６００ミリ秒以内に反応できた場合を反応時間が速い、すなわち当該刺激に対して高い注意状態にあったとし、６００ミリ秒以内に反応できなかった場合を反応時間が遅い、すなわち当該刺激に対して低い注意状態にあったとして分類した。図１０の各々のグラフは横軸がランプ点滅時を０ミリ秒とした時間（潜時）で単位はミリ秒、縦軸は電位で単位はμＶである。また、各グラフ内で表記された数字（Ｎ）は各々の加算回数を表している。
　図１０から、反応時間が速い場合、すなわち注意量が大きい場合（図１０の（ａ）～（ｃ））は、視野領域に関わらず、潜時３００ミリ秒から６００ミリ秒の間の陽性成分であるＰ３００成分の振幅が大きくなっていることが分かる。図１０の（ａ）～（ｃ）におけるＰ３００成分の最大振幅（８１（ａ）～（ｃ））はそれぞれ２０.３μＶ、１９.６μＶ、２０．９μＶである。一方、反応時間が遅い場合、すなわち注意量が小さい場合（図１０の（ｄ）～（ｆ））は、Ｐ３００成分の振幅が相対的に小さくなっている。特に、視覚２０度以上である領域３（一般的に周辺視野とされている領域）で且つ注意量が小さい場合（図１０の（ｆ））に、Ｐ３００成分の振幅が大幅に減少していることが分かる。図１０の（ｄ）～（ｆ）におけるＰ３００成分の最大振幅（８１（ｄ）～（ｆ））はそれぞれ１３.６μＶ、１３.２μＶ、２．５μＶである。
　図１１は、図１０の各々の条件におけるＰ３００成分の最大振幅を示す。横軸は視野領域の領域１／領域２／領域３であり、縦軸は電位で単位はμＶである。実線は注意量が大きい場合、点線は注意量が小さい場合を表している。各視野領域における、注意量が大小のときの振幅差９１（ａ）～（ｃ）はそれぞれ６．７μＶ、６．４μＶ、１８．４μＶである。図１１からも視覚２０度以上である領域３（周辺視野領域）において、注意量の大小に応じて大幅な振幅の差があることが分かる。
　上記の周辺視野領域におけるＥＲＰ特性を利用し、事象関連電位の振幅の大きさを判定することによって、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する注意量を、脳波により確度良く判定することができる。
　さらに本実施形態による構成の利点を、本実験における注意量判別率の試算結果をもとに具体的に説明する。図１２は視野領域ごとの非加算脳波時のＰ３００成分の最大振幅についての確率分布を示す。（ａ）は領域１、（ｂ）は領域２、（ｃ）は領域３（周辺視野領域）の場合の確率分布を表している。各々のグラフの縦軸は電位で単位はμＶ、横軸は注意量ごとの発生確率で単位は％である。また、表１に各々の視野領域において注意量の大小を判別した場合の判別率を示す。
Figure JPOXMLDOC01-appb-T000001
　判別方法は各々の視野領域において判別率が最大となるＥＲＰ最大振幅の閾値を設定し、個々の非加算脳波のＥＲＰ振幅が前記閾値以上か否かによって注意量の大小を判別した。ここで判別率が最大となる閾値は、注意量が大の場合の正解率と注意量が小の場合の正解率の平均が最大となる閾値とした。図１２（ａ）～（ｃ）の場合、上記の閾値はそれぞれ７．５μＶ、２２．５μＶ、３２．５μＶであり、図１２の（ａ）～（ｃ）の一点鎖線にその閾値を示す。
　図１２（ａ）～（ｃ）および表１によれば、図１２（ａ）の領域１の場合と図１２（ｂ）の領域２の場合は、注意量が大きいときの確率分布および注意量が小さいときの確率分布がかなり重複しており、注意量判別率も５５．４％および５９．８％と低い値になっていることが分かる。
　一方、図１２（ｃ）の視覚２０度以上である領域３（周辺視野領域）の場合は、注意量が大きいときの確率分布および注意量が小さいときの確率分布がある程度分離しており、注意量判別率も７３．１％と非加算脳波時の判別としては非常に高い値となっていることが分かる。したがって本実施形態の周辺視野における注意量判定によれば、数１０回～数１００回レベルの加算を行わなくても、非加算脳波で高い判別率を維持することができる。言い換えれば、数分間程度のある時間幅に対する注意状態の判定ではなく、運転者のまさにその瞬間に対する注意量を判定することができる。
　また、周辺視野領域における注意量は、前述の事象関連電位の振幅に対する閾値処理ではなく、予め保持しているテンプレートとの相関係数の値に基づいて判定してもよい。ここでテンプレートとは、図１０において領域３（周辺視野）で注意量が大きい場合の（ｃ）の脳波信号の加算平均波形データと、注意量が小さい場合の（ｆ）の脳波信号の加算平均波形データである。個々の非加算脳波データと、前記２つのテンプレートとの相関係数（例えば、ピアソンの積率相関係数）を求め、（ｃ）の脳波データとの相関係数の値の方が大きい場合は注意量が大きいと判定し、（ｆ）の脳波データとの相関係数の値の方が大きい場合は注意量が小さいと判定する。このテンプレートによる判定方法を用いることで、事象関連電位の最大振幅値だけではなく、波形の形状に関する情報も考慮した、より精緻な分析と判定が可能になる。
　本実施形態にかかる構成および処理の手順によれば、運転者の状態を判定し安全運転支援を行う装置において、運転者の周辺視野領域に視覚刺激を発生させ、当該刺激の発生時点を起点とした脳波信号の事象関連電位から運転者の周辺視野領域における注意量を判定する。これにより、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対して、ブレーキ等の行動指標が得られない場合でも注意量が判定できる。そして、当該判定結果に基づいて、運転者に適切に注意喚起等の状態変化を促す支援を行うことができる。
　（実施形態２）
　本実施形態による運転注意量判定装置では、自車両の前方を撮影する撮影部を設けている。この運転注意量判定装置は、撮影部によって撮影された映像から脳波の事象関連電位を分析する際の起点となる視覚刺激の発生を検出し、撮影映像における視覚刺激発生の位置から中心視野領域および周辺視野領域を区別する。そして、周辺視野領域の注意量を判定する。
　これにより、実施形態１のように運転注意量判定装置が視覚刺激を意図的に与えることなく、前方撮影映像の中からドライビング中に運転者の前方に発生する自然な視覚刺激を利用して周辺視野領域における注意量を判定することが可能になる。
　図１３は、本実施形態による運転注意量判定装置２のブロック構成図を示す。運転注意量判定装置２が実施形態１による運転注意量判定装置１（図２）と相違する点は、運転注意量判定装置１に対し、運転注意量判定装置２では撮影部１５が追加され、また運転注意量判定装置１の周辺刺激発生部１２が周辺刺激検出部１６に置き換えられている点である。以下に相違する構成要素を詳しく説明する。
　撮影部１５は、たとえば動画撮影が可能なカメラである。撮影部１５は、車両前方（ダッシュボードの上やバックミラーの後ろなど）に設置され、例えば縦方向１０５度、横方向１３５度の画角などで車両前方を毎秒３０フレームで撮影する。撮影部１５は、たとえば図４に示す画像を撮影することができる。
　周辺刺激検出部１６は、撮影部１５が撮影した映像から脳波の事象関連電位を分析する際の起点となる視覚刺激の発生時点を検出し、同時に撮影映像における視覚刺激の発生領域を判定（特定）する。ここで視覚刺激とは、映像中の輝度の変化量が所定の閾値を超えたものを指す。なお、変化量は一例である。たとえば輝度の変化率などを採用することもできる。この場合には、輝度の変化率が５０％以上になった場合には、視覚刺激が発生したと判断してもよい。例えば前方車両のブレーキランプや並行車両のウィンカー、対向車両のヘッドライト、信号の切り替わりなどが相当する。その変化があった時刻を視覚刺激の発生時点として検出する。
　周辺刺激検出部１６は、上述のように定義した視覚刺激の発生時点を検出し、その刺激の位置、すなわち輝度変化位置が中心視野領域か周辺視野領域かを判定する。判定方法としては、図４に示すように当該刺激が撮影映像の中で自車両が存在する車線の領域に存在した場合を中心視野領域３１と判定し、当該刺激が前述の領域以外に存在する場合を周辺視野領域３２と判定する。そして、周辺視野領域３２と判定された場合には当該刺激の発生時点を注意量判定部１３へ送信する。
　以下、図１４を参照しながら、周辺刺激検出部１６の処理の手順を説明する。図１４は、本実施形態による周辺刺激検出部１６の処理の手順を示すフローチャートである。以下の説明では、輝度の変化量を例に挙げて説明する。
　ステップＳ１６１では、周辺刺激検出部１６は、撮影部１５で撮影された車両前方映像に対して、各フレームの輝度画像の差分を計算する。
　ステップＳ１６２では、周辺刺激検出部１６は、上記差分から所定の閾値Ｔｈ１以上の輝度変化があったか否かを判定する。輝度変化があった場合は、ステップＳ１６３に進み、ない場合はステップＳ１６１に戻り、次のフレーム間輝度差分を計算する。
　ステップＳ１６３では、周辺刺激検出部１６は、当該輝度変化時点と、その画像における輝度変化のあった位置を記憶する。
　ステップＳ１６４では、周辺刺激検出部１６は、ステップＳ１６１で計算したフレーム間輝度差分から白線を検出する。具体的に説明すると、一定時間ごとに移動している車両からの道路画像では路面のアスファルトや道路の周囲の構造物、草木は移動して見えるが、輝度値が場所的にほぼ一定の白線は画像上で静止しているように見える。したがって、周辺刺激検出部１６は、フレーム間輝度差分から所定の閾値Ｔｈ２以下の領域を移動していない白線の領域であるとして検出する。
　ステップＳ１６５では、周辺刺激検出部１６は、検出した白線を使用し、両方の白線間の距離が一定幅以上の領域を車線領域として抽出する。図４の例では、車線領域は中心視野領域３１として示されている。
　ステップＳ１６６では、周辺刺激検出部１６は、ステップＳ１６３で記憶した輝度変化位置が、ステップＳ１６５で抽出した車線領域の外か否かを判定する。車線領域外と判定した場合は、当該輝度変化が周辺視野領域３２（図４）で発生したと判断してステップＳ１６７に進み、車線領域外ではないと判定した場合は、中心視野領域３１（図４）で発生したと判断して、ステップＳ１６１に戻り、次のフレーム間輝度差分を計算する。
　ステップＳ１６７では、周辺刺激検出部１６は、周辺視野領域３２（図４）での輝度変化と判断された当該輝度変化時点を注意量判定部１３へ送信する。
　上述の説明では、周辺視野領域３１および周辺視野領域３２が大きく変化せず、概ね固定されていることを想定して説明した。
　しかしながら、運転者の中心視野領域および周辺視野領域は固定されているわけではなく、運転状況（自車両の速度又は自車両周辺の明度）によって変化すると考えられる。例えば、高速道路で自車両が時速１００ｋｍ以上で走行している場合、運転者の視野は車両静止時と比べて狭くなっている。また、夜間等のように自車両周辺が暗くなっている場合も、運転者の視野は昼間と比べて狭くなっている。運転者の視野が狭くなると、より中心に近い視野領域でも危険対象物の検出が遅れて、出会い頭事故や飛び出し事故に繋がる可能性が高くなる。
　そこで、運転状況を検出して中心視野領域および周辺視野領域を変更することにより、より実情に沿った注意量の判定が可能になる。図１５を参照しながら、本実施形態による運転注意量判定装置２の変形例を説明する。
　図１５は、状況検出部１７を設けた運転注意量判定装置２ａの構成を示す。たとえば状況検出部１７は、車両の速度計、暗くなると自動的にヘッドランプを点灯させるオートライト機能のために設けられたセンサ、および／または、ヘッドランプの点灯スイッチと接続されて、自車両の運転状況（速度、自車両周辺の明度および／または自車両のヘッドランプ点灯の有無等）を検出する。その検出状況に応じて、高速時や夜間などにおいては、中心視野領域を車両静止時や昼間時よりも縮小して定義し、中心視野以外の領域を周辺視野領域として注意量を判定することができる。
　図１６および図１７はそれぞれ、縮小された中心視野領域１７１および１８２を示す。これにより、外部の状況に変化によって起こる運転者の視野に変化に対応した視野領域の設定が可能となる。したがって、自車両の速度や自車両のヘッドランプ点灯の有無に応じた周辺視野領域に対する注意量を判定でき、出会い頭事故や飛び出し事故の危険を低減することができる。
　周辺刺激検出部１６は、状況検出部１７で検出した自車両の速度や自車両のヘッドランプ点灯の有無に応じて、中心および周辺視野領域の定義を変更する。図１６は、縮小された中心視野領域１７１を示す。
　表２は、自車両の速度と、中心視野領域の車両静止時に対する面積比との関係の例を示す。
Figure JPOXMLDOC01-appb-T000002
　上表では、（ａ）時速５０ｋｍ未満の場合は車両静止時と比較した面積比を１に、（ｂ）時速５０ｋｍ以上１００ｋｍ未満の場合は面積比を０．８に、（ｃ）時速１００ｋｍ以上の場合は面積比を０．６にしている。車両静止時の中心視野領域に対する、図１６に示す中心視野領域１７１の面積比は０．８である。これにより、自車両の速度に応じた周辺視野領域に対する注意量を判定でき、出会い頭事故や飛び出し事故の危険を低減することができる。
　表３は、自車両のヘッドランプ点灯の有無と、中心視野領域の昼間時に対する面積比との関係の例を示す。
Figure JPOXMLDOC01-appb-T000003
　上表では、（ａ）ランプ点灯なしの場合は昼間時と比較した面積比を１に、（ｂ）スモールランプ（車幅灯）点灯の場合は面積比を０．８に、（ｃ）ヘッドランプ（前照灯）点灯の場合は面積比を０．６にしている。これにより、自車両のヘッドランプ点灯の有無に応じた周辺視野領域に対する注意量を判定でき、出会い頭事故や飛び出し事故の危険を低減することができる。
　本実施形態にかかる構成および処理の手順によれば、自車両前方を撮影した映像から視覚刺激の発生を検出し、撮影映像における刺激発生の位置から中心視野領域および周辺視野領域を区別し、周辺視野領域の注意量を判定する。これにより、運転注意量判定装置が視覚刺激を意図的に与えることなく、前方撮影映像の中からドライビング中に運転者の前方に発生する自然な視覚刺激を利用して周辺視野領域における注意量を判定することができる。さらに、自車両やその周辺の状況に応じた周辺視野領域における注意量を判定することができる。
　（実施形態３）
　実施形態２では、運転者は、基本的に運転中は前方中央を見ていることを前提にし、刺激の発生領域を判定していた。しかし、視覚刺激発生時に運転者は常に前方中央に視線を向けているとは限らず、そのため周辺視野領域も常に変動している。
　そこで、本実施形態では、運転注意量判定装置に、運転者の視線を計測する視線計測部を設けている。運転注意量判定装置は、運転者の注視点の位置に応じて、視覚刺激の発生領域を判定する。
　図１８は、本実施形態による運転注意量判定装置３のブロック構成図を示す。運転注意量判定装置３は、運転注意量判定装置２（図１３）に対して視線計測部１８を追加して構成されている。
　図１９は、視線計測部１８の構成例を示す。視線計測部１８は、車両前方の風景を射影した２次元平面１３６（すなわち撮影部１５にて撮影されている車両前方映像）における運転者の注視点１３７を計測する。具体的には、視線計測部１８においては、近赤外線光源１３１が近赤外線の点光源を眼球に照射し、ＣＣＤカメラ１３２で眼球の映像を撮影する。そして、撮影した映像を用いて、反射像位置検出部１３３は瞳孔および角膜表面における光源の角膜反射像の位置を検出する。キャリブレーション情報記憶部１３５は、角膜反射像の位置と撮影部１５で撮影された車両前方映像における注視点座標との関係を予め記憶している。変換部１３４は当該キャリブレーション情報に基づいて、角膜反射像の位置から車両前方映像上での運転者の注視点を計測する。
　図２０（ａ）はキャリブレーション情報の一例を示し、図２０（ｂ）は車両前方映像上での注視位置の座標の一例を示す。キャリブレーション情報は、角膜反射像位置と注視位置座標で構成されている。変換部１３４は、反射像位置検出部１３３にて検出した角膜反射像位置（Ｐｘｎ，Ｐｙｎ）に基づいて、車両前方映像上での運転者の注視位置座標（Ｘｎ，Ｙｎ）へ変換する。
　視線計測部１８は、運転者が予め装着するヘッドマウント型計測器であってもよく、または車両のリアビューミラー付近に設置した車載型計測器であってもよい。
　周辺刺激検出部１６は、視覚刺激の発生時点を検出し、その刺激の位置が中心視野領域か周辺視野領域かを判定する。判定方法としては、視線計測部１８で計測された注視点４１（図５）の位置に基づいて刺激発生領域を判定する。上述のように、周辺視野とは一般に、視線を中心にした約２０度の範囲（中心視野）から外れた上下１３０度、左右１８０度の領域を指している。したがって、図５に示すように、当該刺激が計測した注視点４１から運転者の視角２０度以内の領域に存在した場合を中心視野領域４２と判定し、当該刺激が前述の領域以外に存在する場合を周辺視野領域４３と判定する。そして、周辺視野領域４３と判定された場合に当該刺激の発生時点を注意量判定部１３へ送信する。
　本実施形態にかかる構成および処理の手順により、運転者の視線を計測し、注視点の位置に応じて周辺視野領域を判定することによって、視覚刺激発生時に運転者が前方中央に視線を向けていない場合でも、当該刺激が周辺視野領域か否かを確度良く判定できる。その結果、周辺視野領域における注意量をより確度良く判定することができる。
　なお、本発明による運転注意量判定装置が、ユーザが装着するヘッドマウントディスプレイ型の装置として構成される場合、自動車運転中の安全支援に限らず、自転車運転中や歩行中でも周辺視野に対する注意量を判定することができる。例えば、ユーザが装着型のディスプレイ上の子画面でテレビを視聴しながら歩いている場合に、ユーザの周辺視野領域における注意量を脳波の事象関連電位に基づいて判定することによって、歩行中の障害物に対する注意喚起等を適切に行うことができる。
　上述の視線計測部１８の構成は、実施形態１の運転注意量判定装置１（図２）および実施形態２の運転注意量判定装置２ａ（図１５）に設けることが可能である。
　たとえば図２１は、実施形態１の変形例による運転注意量判定装置１ａのブロック構成図を示す。運転注意量判定装置１ａは、運転注意量判定装置１に対して新たに視線計測部１８が設けられている。視線計測部１８として、上述した図１９に示す構成を採用できる。以下、運転注意量判定装置１ａが運転注意量判定装置１（図２）と異なる機能および動作を説明する。
　運転注意量判定装置１ａに視線計測部１８を設けることにより、運転注意量判定装置１ａは、刻々変化する運転者の中心視野領域および周辺視野領域を動的に特定できる。これにより、周辺刺激発生部１２は、運転者の周辺視野領域に位置する光源を選択的に点滅させることができる。
　図３のメガネ型のヘッドマウントディスプレイを例に挙げると、視線計測部１８によって運転者の視線が左側に向いていることが計測されると、周辺刺激発生部１２は、ヘッドマウントディスプレイの両眼の右側に位置する光源２３を点滅させて視覚刺激を提示することができる。図３では、鼻に近い側の各フレームには光源が設けられていないが、視線計測部１８を設けるとともに、全てのフレームの辺に光源を設けてもよい。ただし、左眼／右眼のフレーム上に配置された光源の光が、反対の右眼／左眼に入らないように配慮する必要がある。
　このように、視線計測部１８を設けて視覚刺激の提示制御を行うことにより、運転者の周辺視野領域に対して確実に視覚刺激を提示することが可能になる。これにより、周辺視野領域に対して注意が向けられているか否かをより高い精度で判定することが可能になる。
　さらに、図２２は、状況検出部１７および視線計測部１８を有する運転注意量判定装置２ｂのブロック構成図を示す。運転注意量判定装置２ｂは、実施形態２における運転注意量判定装置２ａ（図１５）に対して視線計測部１８を設けて構成されている。
　運転注意量判定装置２ｂが状況検出部１７を利用して自車両の速度や自車両のヘッドランプ点灯の有無を検出す際、周辺刺激検出部１６は、状況検出部１７で検出した自車両の速度や自車両のヘッドランプ点灯の有無に応じて、中心および周辺視野領域の定義を変更する。図１７は、状況検出部１７の検出結果に基づいて縮小された中心視野領域１８２の例を示す。このとき、中心視野領域１８２は、従来の視覚２０度よりも縮小され、たとえば注視点１８１の位置を中心にした約１６度の範囲で定められている。実施形態２と同様に、運転注意量判定装置２ｂは、自車両の速度や自車両のヘッドランプ点灯の有無に応じた周辺視野領域に対する注意量を判定する。
　上述した各実施形態に関して、フローチャートを用いて説明した処理はコンピュータに実行されるプログラムとして実現され得る。そのようなコンピュータプログラムは、ＣＤ－ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
　運転注意量判定装置を構成する全部または一部の構成要素は、コンピュータプログラムを実行する汎用のプロセッサ（半導体回路）として実現される。または、そのようなコンピュータプログラムとプロセッサとが一体化された専用プロセッサとして実現される。たとえばコンピュータプログラムを実行するプロセッサは、脳波計測部１１が計測した運転者の脳波信号を受け取る。そして、運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された脳波信号から、運転者の周辺視野領域に対する注意量を判定し、その判定結果に基づいて信号を出力する。これにより、運転者に対して注意を喚起することが可能になる。
　そのほか、プロセッサがコンピュータプログラムを実行することにより、プロセッサが周辺刺激発生部１２、撮影部１５、周辺刺激検出部１６、状況検出部１７、視線計測部１８等の各動作を制御し、または、プロセッサがそれらの構成要素として機能してもよい。
　本発明にかかる運転注意量判定装置は、車両の急な割り込みや歩行者の飛び出しなど運転者の周辺視野領域で起こり得る事象に対する事故防止に有用である。また、ヘッドマウントディスプレイ型の装置として構成される場合は、自転車運転中や歩行中の安全支援にも応用できる。
　１、１ａ、２、２ａ、２ｂ、３、１００　　運転注意量判定装置
　１１　　脳波計測部
　１２　　周辺刺激発生部
　１３　　注意量判定部
　１４　　出力部
　１５　　撮影部
　１６　　周辺刺激検出部
　１７　　状況検出部
　１８　　視線計測部

Claims (15)

  1. 　運転者の脳波信号を計測する脳波計測部と、
    　前記運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された前記脳波信号から、前記運転者の前記周辺視野領域に対する注意量を判定する注意量判定部と、
    　前記判定結果に基づいて信号を出力することにより、前記運転者に対して注意を喚起する出力部と
    　を備えた運転注意量判定装置。
  2. 　前記注意量判定部は、前記視覚刺激の発生時点を起点として計測された前記脳波信号の事象関連電位の振幅の大きさに応じて、前記注意量を判定する、請求項１に記載の運転注意量判定装置。
  3. 　前記注意量判定部は、前記視覚刺激の発生時点を起点にして３００ミリ秒から６００ミリ秒の区間の陽性成分であるＰ３００の事象関連電位の振幅が所定の閾値より小さい場合に、前記注意量が低いと判定する、請求項２に記載の運転注意量判定装置。
  4. 　前記注意量判定部が、前記注意量が低いと判定した場合には、前記出力部は、前記運転者に対して前記信号を出力する、請求項３に記載の運転注意量判定装置。
  5. 　前記注意量判定部は、前記視覚刺激の発生時点を起点にして３００ミリ秒から６００ミリ秒の区間の陽性成分であるＰ３００成分の事象関連電位の振幅が前記所定の閾値より大きい場合に、前記注意量が大きいと判定し、
    　前記注意量が大きいと判定された場合には、前記出力部は、前記運転者に対して前記信号を出力しない、請求項３に運転注意量判定装置。
  6. 　前記注意量判定部は、前記視覚刺激の発生時点を起点として計測された前記脳波信号と、予め保持しているテンプレートとの相関係数に応じて前記注意量を判定する、請求項１に記載の運転注意量判定装置。
  7. 　前記出力部は、情報を提示するための画面に文字または記号を提示するための映像信号、および、音声を出力するためのスピーカから出力するための音声信号の少なくとも一方を出力する、請求項１に記載の運転注意量判定装置。
  8. 　前記運転者の周辺視野領域内で前記視覚刺激を発生させる周辺刺激発生部をさらに備えた、請求項２に記載の運転注意量判定装置。
  9. 　前記運転者が運転する車両の前方の映像を撮影する撮影部と、
    　撮影された前記映像から、前記周辺視野領域内で発生した前記視覚刺激の発生時点を検出する周辺刺激検出部と
    　をさらに備え、
    　前記注意量判定部は、検出された前記視覚刺激の発生時点を特定する情報を前記周辺刺激検出部から受け取る、請求項１に記載の運転注意量判定装置。
  10. 　前記運転者の視線を計測する視線計測部をさらに備え、
    　前記周辺刺激検出部は、前記視線計測部によって計測された、前記視覚刺激の発生時点における前記運転者の視線、および、撮影された前記映像に応じて、前記視覚刺激が周辺視野領域内で発生したか否かを検出する、請求項９に記載の運転注意量計測装置。
  11. 　前記車両の速度またはヘッドランプの点灯の有無を検出する状況検出部を備え、
    　前記周辺刺激検出部は、前記視覚刺激が前記周辺視野領域にあるか否かを、前記状況検出部の検出結果に応じて検出する、請求項９に記載の運転注意量判定装置。
  12. 　前記運転者の周辺視野領域および中心視野領域の各々で検出された視覚刺激の発生タイミングの時間差が所定値以下の場合、
    　前記注意量判定部は、前記周辺視野領域で検出された視覚刺激に対する前記脳波信号の事象関連電位のデータを解析対象から除外する、請求項９に記載の運転注意量判定装置。
  13. 　前記周辺刺激発生部は、前記運転者の中心視野領域で発生させる視覚刺激の発生タイミングとは所定値以上の時間差を有する発生タイミングで、前記運転者の周辺視野領域内で前記視覚刺激を発生させる、請求項８に記載の運転注意量判定装置。
  14. 　運転者の脳波信号を計測するステップと、
    　前記運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された前記脳波信号から、前記運転者の前記周辺視野領域に対する注意量を判定するステップと、
    　前記判定結果に基づいて信号を出力することにより、前記運転者に対して注意を喚起するステップと
    　を包含する、運転注意量を判定する方法。
  15. 　コンピュータによって実行されるコンピュータプログラムであって、
    　前記コンピュータプログラムは、前記コンピュータに対し、
    　運転者の脳波信号を受け取るステップと、
    　前記運転者の周辺視野領域で発生した視覚刺激の発生時点を起点として計測された前記脳波信号から、前記運転者の前記周辺視野領域に対する注意量を判定するステップと、
    　前記判定結果に基づいて信号を出力するステップと
    　を実行させることにより、前記運転者に対して注意を喚起させる、運転注意量を判定するためのコンピュータプログラム。
PCT/JP2009/003724 2008-08-05 2009-08-04 運転注意量判定装置、方法およびプログラム WO2010016244A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP09804731.9A EP2312551A4 (en) 2008-08-05 2009-08-04 DEVICE, METHOD AND PROGRAM FOR EVALUATING A DRIVER'S AWARENESS
CN2009801193390A CN102047304B (zh) 2008-08-05 2009-08-04 驾驶注意力程度判定装置、方法
JP2010510585A JP4625544B2 (ja) 2008-08-05 2009-08-04 運転注意量判定装置、方法およびプログラム
US12/718,326 US20100156617A1 (en) 2008-08-05 2010-03-05 Apparatus, method, and program of driving attention amount determination

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008201520 2008-08-05
JP2008-201520 2008-08-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/718,326 Continuation US20100156617A1 (en) 2008-08-05 2010-03-05 Apparatus, method, and program of driving attention amount determination

Publications (1)

Publication Number Publication Date
WO2010016244A1 true WO2010016244A1 (ja) 2010-02-11

Family

ID=41663472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/003724 WO2010016244A1 (ja) 2008-08-05 2009-08-04 運転注意量判定装置、方法およびプログラム

Country Status (5)

Country Link
US (1) US20100156617A1 (ja)
EP (1) EP2312551A4 (ja)
JP (1) JP4625544B2 (ja)
CN (1) CN102047304B (ja)
WO (1) WO2010016244A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115241A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 車両の運転手の注意を喚起する装置及びその方法
JP2014191474A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 集中度判定プログラム、集中度判定装置、および集中度判定方法
KR101524526B1 (ko) * 2013-11-29 2015-06-01 국립대학법인 울산과학기술대학교 산학협력단 네비게이션 정보 기반 차량 충돌 방지 시스템 및 방법
CN106571030A (zh) * 2016-10-20 2017-04-19 西南交通大学 多源交通信息环境下排队长度预测方法
JP2017134826A (ja) * 2016-01-28 2017-08-03 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両の外部音合成のためのシステム及び方法
JP2018016120A (ja) * 2016-07-26 2018-02-01 マツダ株式会社 視界制御装置
CN111511269A (zh) * 2017-09-08 2020-08-07 国家科学研究中心 从脑电图信号解码个人的视觉注意
JPWO2020138012A1 (ja) * 2018-12-27 2021-10-07 株式会社村田製作所 認知能力検出装置、および、認知能力検出システム
WO2022210038A1 (ja) * 2021-04-02 2022-10-06 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法、及び運転支援プログラム

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011045936A1 (ja) * 2009-10-15 2011-04-21 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
CZ303192B6 (cs) * 2010-07-12 2012-05-23 Univerzita Karlova v Praze, Lékarská fakulta v Hradci Králové Zrakový stimulátor
WO2012063423A1 (ja) * 2010-11-12 2012-05-18 パナソニック株式会社 音圧評価システム、その方法およびそのプログラム
US20120176235A1 (en) 2011-01-11 2012-07-12 International Business Machines Corporation Mobile computing device emergency warning system and method
US20120176232A1 (en) * 2011-01-11 2012-07-12 International Business Machines Corporation Prevention of texting while operating a motor vehicle
US8902054B2 (en) 2011-02-10 2014-12-02 Sitting Man, Llc Methods, systems, and computer program products for managing operation of a portable electronic device
US8666603B2 (en) 2011-02-11 2014-03-04 Sitting Man, Llc Methods, systems, and computer program products for providing steering-control feedback to an operator of an automotive vehicle
US8773251B2 (en) 2011-02-10 2014-07-08 Sitting Man, Llc Methods, systems, and computer program products for managing operation of an automotive vehicle
CN102119857B (zh) * 2011-02-15 2012-09-19 陕西师范大学 基于匹配追踪算法的疲劳驾驶脑电检测系统及检测方法
US11145215B1 (en) 2011-03-11 2021-10-12 Sitting Man, Llc Methods, systems, and computer program products for providing feedback to a user of a portable electronic in motion
TWI474173B (zh) * 2012-02-21 2015-02-21 Hon Hai Prec Ind Co Ltd 行走輔助系統及行走輔助方法
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
DK2844146T3 (en) * 2012-04-24 2016-09-19 Univ Barcelona System and method for measurement of attention
US9251704B2 (en) * 2012-05-29 2016-02-02 GM Global Technology Operations LLC Reducing driver distraction in spoken dialogue
DE102012215397A1 (de) * 2012-08-30 2014-03-06 Robert Bosch Gmbh Interaktive Aufmerksamkeitssteigerung
ITTV20130025A1 (it) * 2013-02-27 2014-08-28 Giorgio Marcon Sistema di sicurezza elettronico per molteplici funzioni.
US9064420B2 (en) 2013-03-14 2015-06-23 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for yield to pedestrian safety cues
CN105072986B (zh) * 2013-03-22 2018-12-04 丰田自动车株式会社 驾驶支援装置及方法、信息提供装置及方法、导航装置及方法
EP2862741B1 (en) * 2013-10-15 2017-06-28 Volvo Car Corporation Vehicle driver assist arrangement
KR102113767B1 (ko) * 2013-11-28 2020-05-21 현대모비스 주식회사 운전자 상태 감지 장치 및 그 방법
US9580081B2 (en) * 2014-01-24 2017-02-28 Tobii Ab Gaze driven interaction for a vehicle
JP6191573B2 (ja) * 2014-09-29 2017-09-06 マツダ株式会社 車両の視界調整装置
ES2632494T3 (es) 2014-10-13 2017-09-13 MY E.G. Services Berhad Procedimiento y sistema para mejorar la seguridad vial
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
CN104757954A (zh) * 2015-05-05 2015-07-08 奇瑞汽车股份有限公司 一种车用健康监测与舒适性调节系统及其监测、调节方法
DE102015219465A1 (de) * 2015-10-08 2017-04-13 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung der adaptiven Reaktionszeit des Fahrers eines Kraftfahrzeugs
US9712736B2 (en) * 2015-12-15 2017-07-18 Intel Coprporation Electroencephalography (EEG) camera control
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
CN105708480A (zh) * 2016-01-26 2016-06-29 北京航空航天大学 基于检测反应任务的驾驶员注意力测试装置
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
KR101816415B1 (ko) 2016-06-21 2018-02-21 현대자동차주식회사 시선 추적을 이용한 운전자 집중도 감시 장치 및 방법
CN109416884B (zh) * 2016-07-05 2021-02-19 三菱电机株式会社 识别区域推定装置、识别区域推定方法及识别区域推定程序
DE102016117440A1 (de) * 2016-09-16 2018-03-22 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Korrektur eines Ladestands einer Ladestandsanzeige
FR3065305B1 (fr) * 2017-04-12 2020-08-28 Valeo Vision Systeme d'aide a la conduite comportemental
US10279793B2 (en) 2017-05-11 2019-05-07 Honda Motor Co., Ltd. Understanding driver awareness through brake behavior analysis
CN107174262B (zh) * 2017-05-27 2021-02-02 西南交通大学 注意力评测方法和系统
CN111278701B (zh) * 2017-07-28 2023-05-02 日产自动车株式会社 显示控制方法以及显示控制装置
CN110785334B (zh) * 2017-08-02 2023-01-10 本田技研工业株式会社 车辆控制装置
DE102017213679A1 (de) * 2017-08-07 2019-02-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Fahrerzustandsbewertung sowie Fahrzeug
CN107458382B (zh) * 2017-08-22 2019-09-10 京东方科技集团股份有限公司 车辆控制装置、控制方法和平视显示装置
CN107944415A (zh) * 2017-12-06 2018-04-20 董伟 一种基于深度学习算法的人眼注意力检测方法
US11643092B2 (en) * 2017-12-27 2023-05-09 Bayerische Motoren Werke Aktiengesellschaft Vehicle lane change prediction
US10952680B2 (en) * 2017-12-27 2021-03-23 X Development Llc Electroencephalogram bioamplifier
US11017249B2 (en) * 2018-01-29 2021-05-25 Futurewei Technologies, Inc. Primary preview region and gaze based driver distraction detection
FR3077900B1 (fr) * 2018-02-12 2020-01-17 Thales Vision peripherique dans une interface homme-machine
CN108498094B (zh) * 2018-03-29 2021-06-01 Oppo广东移动通信有限公司 脑电波信息传输控制方法及相关产品
GB201817061D0 (en) 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
CN110584657B (zh) * 2019-03-15 2022-09-23 华为技术有限公司 一种注意力检测方法及系统
KR20210000876A (ko) * 2019-06-26 2021-01-06 현대자동차주식회사 오류 모니터링을 이용한 모빌리티 제어 방법 및 장치
CN112406727B (zh) * 2019-08-23 2022-06-10 比亚迪股份有限公司 车辆及多屏系统的控制方法、装置
CN110910611A (zh) * 2019-12-13 2020-03-24 上海擎感智能科技有限公司 提醒方法、系统、终端及车辆
CN111319634A (zh) * 2020-03-12 2020-06-23 厦门中云创电子科技有限公司 一种汽车控制方法及系统
US20210315508A1 (en) * 2020-04-14 2021-10-14 Neurotype Inc. Assessing Motivated Attention with Cue Reactivity
JP6990274B1 (ja) * 2020-06-29 2022-01-12 本田技研工業株式会社 注意喚起装置、移動体、注意喚起装置の制御方法
JP7359112B2 (ja) * 2020-09-11 2023-10-11 トヨタ自動車株式会社 注意能力検査装置および注意能力検査方法
US11535253B2 (en) * 2020-09-18 2022-12-27 GM Global Technology Operations LLC Lane change maneuver intention detection systems and methods
CN114043992A (zh) * 2021-11-12 2022-02-15 东风柳州汽车有限公司 车辆控制方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09309358A (ja) * 1996-05-23 1997-12-02 Suzuki Motor Corp 車間距離警報装置
JP2002127780A (ja) 2000-08-15 2002-05-08 Nissan Motor Co Ltd 車両用警報装置
JP2004178367A (ja) 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
JP2007038772A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 速度制御装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5813993A (en) * 1996-04-05 1998-09-29 Consolidated Research Of Richmond, Inc. Alertness and drowsiness detection and tracking system
WO1999034865A1 (en) * 1998-01-08 1999-07-15 Levin Richard B Eeg based consciousness-alert monitoring system
WO2000044580A1 (en) * 1999-01-27 2000-08-03 Compumedics Sleep Pty. Ltd. Vigilance monitoring system
US7546158B2 (en) * 2003-06-05 2009-06-09 The Regents Of The University Of California Communication methods based on brain computer interfaces
US20060258930A1 (en) * 2004-05-18 2006-11-16 Jianping Wu Device for use in sleep stage determination using frontal electrodes
JP4497305B2 (ja) * 2004-12-08 2010-07-07 株式会社デンソー 運転者状態判定装置
JP4887980B2 (ja) * 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
CN101080752B (zh) * 2005-12-09 2010-05-19 松下电器产业株式会社 信息处理系统、信息处理装置及方法
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
US7710248B2 (en) * 2007-06-12 2010-05-04 Palo Alto Research Center Incorporated Human-machine-interface (HMI) customization based on collision assessments
JP4480755B2 (ja) * 2007-12-04 2010-06-16 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
TWI446297B (zh) * 2007-12-28 2014-07-21 私立中原大學 睡意辨識系統
JP5127576B2 (ja) * 2008-06-11 2013-01-23 ヤマハ発動機株式会社 精神作業負荷検出装置及びそれを備えた自動二輪車

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09309358A (ja) * 1996-05-23 1997-12-02 Suzuki Motor Corp 車間距離警報装置
JP2002127780A (ja) 2000-08-15 2002-05-08 Nissan Motor Co Ltd 車両用警報装置
JP2004178367A (ja) 2002-11-28 2004-06-24 Toyota Central Res & Dev Lab Inc 注意配分制御装置
JP2007038772A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 速度制御装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
EBE ET AL.: "Technique for Measuring Driver's Attention Level by Using Event-Related Potentials", AUTOMOTIVE TECHNOLOGIES, vol. 58, no. 7, 2004, pages 91 - 96
See also references of EP2312551A4
YO MIYATA ET AL.: "New Physiopsychology", 1998, KITAOJI SHOBO, pages: 110
YO MIYATA ET AL.: "New Physiopsychology", 1998, KITAOJI SHOBO, pages: 119

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013115241A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 車両の運転手の注意を喚起する装置及びその方法
JP2014191474A (ja) * 2013-03-26 2014-10-06 Fujitsu Ltd 集中度判定プログラム、集中度判定装置、および集中度判定方法
KR101524526B1 (ko) * 2013-11-29 2015-06-01 국립대학법인 울산과학기술대학교 산학협력단 네비게이션 정보 기반 차량 충돌 방지 시스템 및 방법
JP7066318B2 (ja) 2016-01-28 2022-05-13 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両の外部音合成のためのシステム及び方法
JP2017134826A (ja) * 2016-01-28 2017-08-03 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 車両の外部音合成のためのシステム及び方法
JP2018016120A (ja) * 2016-07-26 2018-02-01 マツダ株式会社 視界制御装置
CN106571030A (zh) * 2016-10-20 2017-04-19 西南交通大学 多源交通信息环境下排队长度预测方法
CN106571030B (zh) * 2016-10-20 2020-06-02 西南交通大学 多源交通信息环境下排队长度预测方法
CN111511269A (zh) * 2017-09-08 2020-08-07 国家科学研究中心 从脑电图信号解码个人的视觉注意
CN111511269B (zh) * 2017-09-08 2023-06-06 国家科学研究中心 从脑电图信号解码个人的视觉注意
US11717204B2 (en) 2017-09-08 2023-08-08 Nextmind Sas Decoding the visual attention of an individual from electroencephalographic signals
JPWO2020138012A1 (ja) * 2018-12-27 2021-10-07 株式会社村田製作所 認知能力検出装置、および、認知能力検出システム
JP7276354B2 (ja) 2018-12-27 2023-05-18 株式会社村田製作所 認知能力検出装置、および、認知能力検出システム
WO2022210038A1 (ja) * 2021-04-02 2022-10-06 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法、及び運転支援プログラム

Also Published As

Publication number Publication date
EP2312551A4 (en) 2014-10-15
CN102047304B (zh) 2013-04-03
CN102047304A (zh) 2011-05-04
US20100156617A1 (en) 2010-06-24
EP2312551A1 (en) 2011-04-20
JP4625544B2 (ja) 2011-02-02
JPWO2010016244A1 (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
JP4625544B2 (ja) 運転注意量判定装置、方法およびプログラム
JP4733242B2 (ja) 運転注意量判別装置、方法、および、コンピュータプログラム
JP4353162B2 (ja) 車輌周囲情報表示装置
WO2011055505A1 (ja) 注意状態判定装置、方法およびプログラム
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP4500369B2 (ja) 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
JP2011180873A (ja) 運転支援装置、及び運転支援方法
JP5923180B2 (ja) 生体情報計測装置及びそれを用いた入力装置
EP1723901A1 (en) Vehicle operator monitoring system and method
JP5570386B2 (ja) 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
WO2015019542A1 (ja) 視野算出装置および視野算出方法
JP2012173803A (ja) 安全運転支援装置及び安全運転支援方法
KR101999211B1 (ko) 뇌파를 이용한 운전자 상태 검출 장치 및 그 방법
JP2012085746A (ja) 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
US20210282687A1 (en) Cognitive ability detection apparatus and cognitive ability detection system
WO2008020458A2 (en) A method and system to detect drowsy state of driver
JP2018013811A (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
JP2011086125A (ja) 視認検出装置
JP2011206072A (ja) 有効視野測定システムおよび有効視野測定方法
US20200027235A1 (en) Device for monitoring the viewing direction of a person
KR20190133533A (ko) 졸음 인식 장치를 이용한 졸음 인식 방법
Mohan et al. Eye Gaze Estimation Invisible and IR Spectrum for Driver Monitoring System
JP2023131010A (ja) 注意喚起装置
KR20200006145A (ko) 졸음 인식 장치 및 방법
Mohan et al. EYE GAZE ESTIMATION INVISIBLE AND IR

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980119339.0

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2010510585

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09804731

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009804731

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE