WO2020138012A1 - 認知能力検出装置、および、認知能力検出システム - Google Patents

認知能力検出装置、および、認知能力検出システム Download PDF

Info

Publication number
WO2020138012A1
WO2020138012A1 PCT/JP2019/050450 JP2019050450W WO2020138012A1 WO 2020138012 A1 WO2020138012 A1 WO 2020138012A1 JP 2019050450 W JP2019050450 W JP 2019050450W WO 2020138012 A1 WO2020138012 A1 WO 2020138012A1
Authority
WO
WIPO (PCT)
Prior art keywords
cognitive ability
detection
unit
brain signal
event
Prior art date
Application number
PCT/JP2019/050450
Other languages
English (en)
French (fr)
Inventor
宏 國松
Original Assignee
株式会社村田製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社村田製作所 filed Critical 株式会社村田製作所
Priority to JP2020563272A priority Critical patent/JP7276354B2/ja
Priority to CN201980086440.4A priority patent/CN113228138B/zh
Publication of WO2020138012A1 publication Critical patent/WO2020138012A1/ja
Priority to US17/336,449 priority patent/US20210282687A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • B60K2360/149—
    • B60K35/10—
    • B60K35/22—

Definitions

  • the present invention relates to a cognitive ability detection device and a cognitive ability detection system that detect cognitive ability to a visual stimulus.
  • Patent Document 1 discloses an unconscious learning method using neurofeedback.
  • brain waves are measured while listening to a voice that is a learning task.
  • This unconscious learning method repeats learning based on the electroencephalogram.
  • an object of the present invention is to provide a cognitive ability detection technology capable of detecting the cognitive ability of a subject with respect to a visual stimulus.
  • the cognitive ability detection device of the present invention includes a visual information acquisition unit, a brain signal acquisition unit, and a detection unit.
  • the visual information acquisition unit acquires visual information of the detection target person with respect to the visual stimulus included in the image.
  • the brain signal acquisition unit acquires the brain signal of the detection target person.
  • the detection unit detects the event-related potential from the brain signal starting from the video trigger based on the timing of occurrence of the visual stimulus, detects the presence or absence of the viewpoint for the visual stimulus from the visual information, and recognizes the visual stimulus. To detect.
  • the cognitive reaction of the detection subject to the visual stimulus is obtained from the visual information and the brain signal. Therefore, when only the visual information is used, the cognitive ability to the visual stimulus is improved as compared with the case where only the brain signal is used.
  • FIG. 1 is a functional block diagram of a cognitive ability detecting system including a cognitive ability detecting apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a functional block diagram showing the configuration of the detection unit.
  • FIG. 3 is a functional block diagram showing the configuration of the brain signal acquisition unit.
  • FIG. 4 is a diagram showing an outline of a state in which the detection gear is attached to a person whose cognitive ability is to be detected.
  • FIG. 5 is a functional block diagram showing the configuration of the visual stimulus presentation device.
  • FIG. 6 is a diagram showing the concept of detection of cognitive ability.
  • FIG. 7 is a flowchart of a cognitive ability detection method using P300 according to the first embodiment of the present invention.
  • FIG. 8 is a flowchart of a cognitive ability detection method using P300 and ERN according to the first embodiment of the present invention.
  • FIG. 9 is a flowchart showing an example of a method of detecting cognitive ability by ERN.
  • FIG. 10 is a functional block diagram of a cognitive ability detecting system including the cognitive ability detecting apparatus according to the second embodiment of the present invention.
  • FIG. 11 is a functional block diagram showing the configuration of the detection unit.
  • FIG. 12 is a diagram showing the concept of detection of cognitive ability.
  • FIG. 13 is a flowchart of a cognitive ability detection method using P300, ERN, and FRN according to the second embodiment of the present invention.
  • FIG. 14 is a flowchart showing an example of a method of detecting cognitive ability by FRN.
  • FIG. 15 is a diagram showing the concept of detecting cognitive ability.
  • FIG. 1 is a functional block diagram of a cognitive ability detecting system including a cognitive ability detecting apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a functional block diagram showing the configuration of the detection unit.
  • FIG. 3 is a functional block diagram showing the configuration of the brain signal acquisition unit.
  • FIG. 4 is a diagram showing an outline of a state in which the detection gear is attached to a person whose cognitive ability is to be detected.
  • FIG. 5 is a functional block diagram showing the configuration of the visual stimulus presentation device.
  • the cognitive ability detection system includes a cognitive ability detection device 10 and a visual stimulus presentation device 20.
  • the cognitive ability detection device 10 includes a visual information acquisition unit 12, a brain signal acquisition unit 13, a detection unit 14, and a response input unit 90. Note that the response input unit 90 can be omitted from the cognitive ability detection device 10 if the cognitive ability is detected by P300 described below.
  • the visual information acquisition unit 12 is realized by a known eye tracking sensor.
  • the visual information acquisition unit 12 detects the movement of the eyeball of the detection target person 80 and outputs it as visual information.
  • the brain signal acquisition unit 13 includes a brain signal sensor 131 and a brain signal processing unit 132.
  • the brain signal sensor 131 is realized by, for example, a sensor that can acquire a known brain signal.
  • the brain signal processing unit 132 is realized by, for example, an electronic circuit or an IC.
  • the brain signal sensor 131 acquires the brain signal of the detection target person 80 and outputs it to the brain signal processing unit 132.
  • the brain signal processing unit 132 performs filter processing, amplification processing, and the like on the brain signal acquired by the brain signal sensor 131, and outputs the brain signal.
  • the response input unit 90 is realized by, for example, a simulated steering wheel, a brake pedal, a brake lever, or the like in the case of detecting the danger recognition ability of driving a vehicle as the recognition ability. That is, the response input unit 90 is realized by a member that can detect the action taken by the detection target person 80 when an event to be recognized occurs. The response input unit 90 generates a response trigger in synchronization with the input timing of the response to the event to be recognized by the detection target person 80.
  • the detection unit 14 includes a sampling period determination unit 141, an event-related potential detection unit 142, a viewpoint detection unit 143, and an analysis unit 144.
  • Each unit of the detection unit 14 is realized by, for example, an electronic circuit, an IC, an MPU, or the like.
  • a video trigger from the visual stimulus presentation device 20 or a response trigger from the response input unit 90 is input to the sampling period determination unit 141.
  • the sampling period determination unit 141 determines the first sampling period based on the video trigger.
  • the sampling period determination unit 141 determines the second sampling period based on the response trigger.
  • the sampling period determination unit 141 outputs the first sampling period or the second sampling period to the event-related potential detection unit 142 and the viewpoint detection unit 143.
  • Brain signals are input to the event-related potential detection unit 142.
  • the event-related potential detection unit 142 detects a specific event-related potential from the brain signal in the first sampling period or the second sampling period.
  • the event-related potential detection unit 142 outputs the detected event-related potential to the analysis unit 144.
  • Visual information is input to the viewpoint detection unit 143.
  • the viewpoint detection unit 143 detects the viewpoint position from the visual information during the first sampling period.
  • the viewpoint detection unit 143 outputs the detected viewpoint position to the analysis unit 144.
  • the event-related potential, the viewpoint position, and the recognition target information are input to the analysis unit 144.
  • the recognition target information includes the position of the recognition target on the video when the video trigger is generated.
  • the analysis unit 144 analyzes the cognitive ability of the detection target person 80 using the event-related potential, the viewpoint position, and the recognition target information. Then, the analysis unit 144 detects the presence or absence of the cognitive ability of the detection target person 80 for the cognitive target, the height of the cognitive ability level, and the like based on the analysis result.
  • the detection gear 100 includes a headband 101 and a plate member 102.
  • the headband 101 is made of a strip-shaped base material.
  • the headband 101 has elasticity, for example.
  • the headband 101 is worn on the head 800 of the person 80 whose cognitive ability is to be detected. More specifically, the headband 101 is attached to the detection target person 80 so as to cover the entire circumference of the head 800 including the occipital region 801, the temporal region, and the forehead 802 of the detection target person 80. There is.
  • a brain signal sensor 1311 is provided inside the occipital region 801 of the headband 101. Further, a brain signal sensor 1312 is equipped inside the headband 101 on the frontal region 802 side. The brain signal sensor 1311 and the brain signal sensor 1312 acquire and output the brain signal of the detection target person 80.
  • the brain signal sensor 131 is composed of the brain signal sensor 1311 and the brain signal sensor 1312.
  • the headband 101 has elasticity so that it closely contacts the occipital region 801 and the forehead region 802 of the person 80 to be detected. Thereby, the brain signal sensor 1311 is in close contact with the occipital region 801 of the detection target person 80, and the brain signal sensor 1312 is in close contact with the front head region 802 of the detection target person 80. Therefore, the brain signal sensor 1311 and the brain signal sensor 1312 can easily acquire the brain signal generated by the detection target person 80.
  • the headband 101 may further include another brain signal sensor so as to come into contact (contact) with the crown of the detection target person 80. Further, the headband 101 may have at least one brain signal sensor.
  • the plate member 102 has translucency.
  • the plate member 102 is arranged in a portion of the headband 101 on the brain signal sensor 1312 side.
  • the plate member 102 has a shape protruding from the lower end of the headband 101.
  • the plate member 102 has, for example, a shape similar to that of a lens of glasses, and has a shape that overlaps with an eye 81 of the detection target person 80 when viewed from the front when the detection target person 80 is wearing the headband 101.
  • the plate member 102 is equipped with the above-mentioned eye tracking sensor (not shown).
  • the visual stimulus presentation device 20 includes a control unit 21, a video reproduction unit 22, a video trigger output unit 23, and a recognition target information output unit 24.
  • the visual stimulus presentation device 20 is realized by, for example, an electronic circuit, an IC, an MPU, and the like, and a display device that displays an image.
  • the video playback unit 22 plays back a video including a visual stimulus, which is a target of detection of cognitive ability, and displays it on a display.
  • the video trigger output unit 23 generates and outputs a video trigger at the timing of occurrence of visual stimulation in the video.
  • the recognition target information output unit 24 generates and outputs recognition target information including the position of the visual stimulus (position of the recognition target) in the video.
  • the control unit 21 controls the video reproduction unit 22, the video trigger output unit 23, and the recognition target information output unit 24 in synchronization with each other, and also controls the visual stimulus presentation device 20 as a whole.
  • the cognitive ability detection device 10 and the cognitive ability detection system 1 configured as described above detect the cognitive ability of the detection target person 80 as described below.
  • the cognitive ability with respect to the danger of the detection object person 80 more specifically, the cognitive ability with respect to the danger at the time of driving a vehicle is detected is shown.
  • the configuration and processing of the present embodiment can be applied to other events as long as the detection of the cognitive ability is performed using the video.
  • FIG. 6 is a diagram showing the concept of detection of cognitive ability.
  • an image, a synchronization signal (trigger), a viewpoint position detection state, and a brain signal are schematically illustrated according to changes in time.
  • the visual stimulus presentation device 20 provides the detection target person 80 with a dynamic image 200 including a visual stimulus that is a target of danger recognition.
  • the image 200 has a frame that does not include the risk recognition target 210 and a frame that includes the risk recognition target 210.
  • the danger recognition target 210 is, for example, a person model or the like that may enter the traveling route of the vehicle from the side road.
  • the visual stimulus presentation device 20 reproduces a frame that does not include the dangerous recognition target 210, and then reproduces a frame that includes the dangerous recognition target 210. Further, the visual stimulus presentation device 20 outputs a video trigger in synchronization with the start of the reproduction of the frame including the dangerous recognition target 210. Further, the visual stimulus presentation device 20 outputs the recognition target information when the frame including the dangerous recognition target 210 is reproduced.
  • the visual information acquisition unit 12 of the cognitive ability detection device 10 continuously detects the movement of the eyeball of the detection target person 80 with respect to the video and outputs it as visual information.
  • the viewpoint detection unit 143 detects the viewpoint position with respect to the image using the visual information, and outputs the detected position. For example, it detects and outputs whether or not the person model that may enter the traveling route of the vehicle from the side road and the viewpoint position overlap. At this time, the viewpoint detection unit 143 continuously detects and outputs the viewpoint position.
  • the brain signal acquisition unit 13 of the cognitive ability detection device 10 acquires and outputs the brain signal of the detection target person 80 who is viewing the video. At this time, the brain signal acquisition unit 13 continuously acquires and outputs brain signals.
  • P300 is a kind of event-related potential, and it is about 300 msec. after grasping the stimulus (dangerous state). Will occur later.
  • the P300 is used to detect the cognitive ability of the detection target person 80 for a potential danger (stimulation). It should be noted that here, although the mode in which P300 is used as the event-related potential is shown, P100 can be used, or both P100 and P300 can be used.
  • the sampling period determination unit 141 of the detection unit 14 determines the first sampling period based on the video trigger.
  • the sampling period determination unit 141 individually sets a sampling period T PE1 for detecting the viewpoint position and a sampling period T P300 for detecting P300 as the first sampling period.
  • the sampling period T PE1 is set to a predetermined time length with the video trigger as a start timing (starting point).
  • the sampling period T P300 is set for a predetermined time length with the timing at which the viewpoint detection unit 143 detects that the viewpoint position 120 overlaps the position of the dangerous recognition target 210 as a start timing (starting point).
  • a video trigger may be used as a start timing (starting point).
  • the time length of the sampling period T P300 is, for example, 500 msec. Is.
  • the event-related potential detection unit 142 detects P300 in the sampling period T P300 and outputs it to the analysis unit 144.
  • P300 is a signal having a unique waveform, and the event-related potential detection unit 142 can detect P300 by using this waveform and amplitude.
  • the viewpoint detection unit 143 detects the viewpoint position 120 on the image 200 in the sampling period T PE1 and outputs it to the analysis unit 144.
  • the analysis unit 144 analyzes the cognitive ability based on the detection result of the viewpoint position 120 and the detection result of P300. For example, in the example of FIG. 6, the amplitude (output level) of P300 is larger than the level recognizable as P300. Then, the viewpoint position 120 overlaps with the position of the dangerous recognition target 210. That is, there is an effective viewpoint for the risk recognition target 210. In this case, the analysis unit 144 detects that the detection target person 80 has a high level of potential risk cognitive ability, or the detection target person 80 has a potential risk cognitive level.
  • the analysis unit 144 detects that the detection target person 80 has a low level of potential danger cognitive ability, or that the detection target person 80 does not have the potential risk cognitive ability.
  • the analysis unit 144 causes the detection target person 80 to detect a potential danger. It can also be detected as having a low level of cognitive ability or a problem with cognitive ability of a potential danger.
  • the analysis unit 144 causes the detection target person 80 to recognize the potential danger. Although capable, it can also be detected as having a low potential risk awareness.
  • ERN is a kind of event-related potential, and is generated when the detection target person 80 himself/herself recognizes that the response of the detection target person 80 to a stimulus (dangerous state) is wrong.
  • the ERN is used to detect the cognitive ability of the detection target person 80 for the self-risk (stimulation).
  • the sampling period determination unit 141 of the detection unit 14 determines the second sampling period based on the response trigger.
  • the sampling period determination unit 141 sets a sampling period T ERN for detecting ERN as the second sampling period.
  • the sampling period TERN is set with a predetermined time length with reference to the response trigger.
  • the event-related potential detection unit 142 detects ERN in the sampling period T ERN and outputs it to the analysis unit 144.
  • ERN is a signal having a unique waveform, and the event-related potential detection unit 142 can detect ERN by using this waveform and amplitude.
  • the analysis unit 144 analyzes the cognitive ability based on the detection result of ERN. For example, in the example of FIG. 6, the amplitude (output level) of ERN is larger than the level that can be recognized as ERN.
  • the analysis unit 144 notices that the detection target person 80 has a wrong response, and the detection target person 80 has a high self-perception level of risk recognition, or the detection target person 80 detects It is detected that the subject 80 has the ability to recognize the self-danger.
  • the analysis unit 144 does not detect the ERN, so that the detection target person 80 has a high risk cognitive ability level, or the detection target person 80 has the risk cognitive ability. To detect.
  • the analysis unit 144 does not notice that the detection target person 80 has wrong response, and the detection target person 80 does not notice the error. It is detected that the self-perceived level of self-perceived risk is low, or that the detection target person 80 does not have self-perceived perceived risk.
  • the analysis unit 144 when there is no danger and a response occurs, and the amplitude of the ERN is larger than the recognizable level and is large, the analysis unit 144 has a high self-recognition level of risk of the detection target person 80. Or, it detects that it has the ability to recognize self-risk.
  • the analysis unit 144 when there is no danger and a response occurs and the ERN amplitude is smaller than the recognizable level, the analysis unit 144 has a low self-recognition level of the risk of the detection target person 80. Or, it detects that there is no self-recognition ability of danger.
  • the analysis unit 144 has a high self-recognition level of the self-risk of the detection target person 80, or the It is detected as having the ability to recognize various dangers.
  • the cognitive ability of the detection target person 80 with respect to a visual danger can be detected more accurately and reliably than in the past.
  • FIG. 7 is a flowchart of a cognitive ability detection method using P300 according to the first embodiment of the present invention. Note that the specific content of each process has been described above, and a specific description will be omitted below.
  • the arithmetic processing device reproduces the video toward the detection target person 80 (S11).
  • the arithmetic processing device reproduces an image (danger frame) including a visual stimulus (S111).
  • the arithmetic processing unit acquires visual information (S121) and detects the viewpoint position in the first sampling period (S122).
  • the arithmetic processing device acquires a brain signal (S131) and detects P300 in the first sampling period (S132).
  • the arithmetic processing unit detects the cognitive ability using the recognition target information, the viewpoint position, and P300 (S14).
  • FIG. 8 is a flowchart of a cognitive ability detection method using P300 and ERN according to the first embodiment of the present invention.
  • the process related to P300 in FIG. 8, that is, the process related to the first sampling period is the same as that in FIG. 7, and the description of the same process is omitted.
  • the arithmetic processing unit executes detection by P300 as in FIG.
  • the arithmetic processing unit executes the detection process by ERN (S15).
  • FIG. 9 is a flowchart showing an example of a method of detecting cognitive ability by ERN.
  • the arithmetic processing unit detects that the cognitive ability level is high or that there is cognitive ability.
  • the response here means, for example, when the cognitive ability detection apparatus of the present embodiment is used as a training simulator in a driving school, by performing risk avoidance actions such as braking for deceleration and appropriate handling. is there.
  • the arithmetic processing unit detects ERN. If the ERN can be detected (S53: YES), the arithmetic processing unit detects that the cognitive ability level is high or that the cognitive ability is present. On the other hand, if the ERN cannot be detected (S53: NO), it is detected that the level of cognitive ability is low or that there is no cognitive ability.
  • the processing unit If the processing unit is not a dangerous frame (S51: NO) and there is no response (S54: NO), the processing unit detects that the cognitive ability level is high or the cognitive ability is present. At this point, the arithmetic processing device may suspend the determination of the cognitive ability.
  • the arithmetic processing unit detects the ERN if there is a response (S54: YES) instead of the dangerous frame (S51: NO). If the ERN can be detected (S55: YES), the arithmetic processing unit detects that the cognitive ability level is high or that the cognitive ability is present. On the other hand, if the ERN cannot be detected (S55: NO), it is detected that the level of cognitive ability is low or that there is no cognitive ability.
  • the arithmetic processing unit detects the cognitive ability using the detection result of the cognitive ability by P300 and the detection result of the cognitive ability by ERN.
  • the arithmetic processing device can detect the cognitive ability only by ERN.
  • the cognitive ability of the detection target person of this cognitive ability detection device can be measured.
  • the cognitive ability detection device of the present embodiment is used as a training simulator in a driving school, an instructor can scientifically grasp the danger cognitive ability of a learner, and the instructor can provide accurate feedback to the learner after the training. It becomes possible to do.
  • FIG. 10 is a functional block diagram of a cognitive ability detecting system including the cognitive ability detecting apparatus according to the second embodiment of the present invention.
  • the cognitive ability detection system 1A according to the second embodiment differs from the cognitive ability detection system 1 according to the first embodiment in the configuration of the cognitive ability detection device 10A.
  • the cognitive ability detection device 10A further includes an analysis result notification unit 15 with respect to the cognitive ability detection device 10, and differs in the processing of the detection unit 14A.
  • the other configuration and processing of the cognitive ability detection system 1A are the same as those of the cognitive ability detection system 1, and description of similar portions will be omitted.
  • the cognitive ability detection system 1A includes a cognitive ability detection device 10A.
  • the cognitive ability detection device 10A includes a detection unit 14A and an analysis result notification unit 15.
  • the analysis result notification unit 15 makes a notification according to the cognitive ability detected by the detection unit 14A.
  • the analysis result notification unit 15 includes a sound output unit (not shown), and notifies the detection result of the cognitive ability by the sound 230S.
  • the sound output unit can be realized by, for example, a speaker attached to the headband 101.
  • the analysis result notification unit 15 can also notify the detection result of the cognitive ability by the mark 230V.
  • the analysis result notification unit 15 outputs the mark 230V to the visual stimulus presentation device 20.
  • the visual stimulus presentation device 20 reproduces the image by superimposing the mark 230V on the image.
  • the analysis result notification unit 15 generates a notification trigger at the notification timing and outputs it to the detection unit 14A.
  • FIG. 11 is a functional block diagram showing the configuration of the detection unit 14A.
  • the detection unit 14A includes a sampling period determination unit 141A, an event-related potential detection unit 142A, a viewpoint detection unit 143A, and an analysis unit 144A.
  • the detection unit 14A detects the cognitive ability using P300 and ERN, similarly to the detection unit 14 in the first embodiment. Further, the detection unit 14A detects cognitive ability using FRN, as shown below.
  • FIG. 12 is a diagram showing the concept of detection of cognitive ability. Similar to FIG. 6, in FIG. 12, the image, the synchronization signal, the viewpoint position detection state, and the brain signal are schematically illustrated according to the change of time.
  • FRN is a kind of event-related potential, and is generated when the detection target person 80 recognizes that the response of the detection target person 80 to a stimulus (dangerous state) is wrong, as pointed out by another person.
  • the FRN is used to detect the cognitive ability of the detection target person 80 with respect to another danger (stimulation).
  • the sampling period determination unit 141A of the detection unit 14A determines the third sampling period based on the notification trigger.
  • the sampling period determination unit 141A sets a sampling period T FRN for detecting FRN as the third sampling period.
  • the sampling period TERN is set with a predetermined time length with the notification trigger as the start timing.
  • the event-related potential detection unit 142A detects FRN in the sampling period TFRN and outputs it to the analysis unit 144A.
  • FRN is a signal having a unique waveform, and the event-related potential detection unit 142A can detect FRN by using this waveform and amplitude.
  • the analysis unit 144A analyzes the cognitive ability based on the FRN detection result. For example, in the example of FIG. 12, the amplitude (output level) of FRN is larger than the level recognizable as FRN. In this case, the analysis unit 144 ⁇ /b>A detects that the detection target person 80 has a high level of cognitive ability of the other person's danger, or detects that the detection target person 80 has a cognitive ability of the other person's risk.
  • the analysis unit 144A has a low level of cognitive ability of the other person's 80 risk of detection, or the detection target person 80's. Detects the inability to recognize the danger of others.
  • the analysis unit 144A may detect the cognitive ability in consideration of the viewpoint position in the third sampling period as well as the FRN. For example, if the mark 230V and the viewpoint position overlap, the analysis unit 144A can refer to the detection result indicating that the cognitive ability level is high or the cognitive ability is present.
  • the configuration and processing of the present embodiment it is possible to detect the other person's cognitive ability with respect to the visual danger of the detection target person 80. Then, by using the configuration and processing of this embodiment, the cognitive ability of the detection target person 80 with respect to a visual danger can be detected more accurately and reliably than in the past.
  • the mode of detecting the risk cognitive ability by the P300, ERN, and FRN is shown, but it is also possible to detect the risk cognitive ability using only the FRN. Alternatively, it is possible to detect the risk cognitive ability by not using ERN using P300 and FRN and not using P300 using ERN and FRN.
  • the configuration and processing for notifying the analysis result as shown in the second embodiment it is possible to repeatedly reproduce the video and detect the cognitive ability to train the cognitive ability. That is, the training for improving the cognitive ability of the detection target person 80 can be realized by repeatedly detecting the cognitive ability while feeding back the detection result of the cognitive ability to the detection target person 80. As a result, a neurofeedback system for visual stimulation can be realized.
  • the types of danger are classified according to visually different positions and different phenomena such as a person jumping out and a stimulus to the rearview mirror.
  • the cognitive ability for a specific danger is not or low, the repetitive training is more intensively performed for this specific danger.
  • the detection target person 80 can devise a training method and endeavor to improve the risk awareness. This makes it possible to realize a more effective training system than simply receiving training without feedback.
  • a more effective training effect can be obtained as compared with the feedback shown in the first embodiment (for example, the feedback that the instructor gives to the trainee after the training is completed). be able to.
  • FIG. 13 is a flowchart of a cognitive ability detection method using P300, ERN, and FRN according to the second embodiment of the present invention. Note that the process related to P300 and ERN in FIG. 13, that is, the process related to the first sampling period and the second sampling period is the same as that in FIG. 8, and the description of the same process is omitted.
  • the processing unit notifies the analysis result after detecting the ERN in the second sampling period (S160).
  • the arithmetic processing unit sets the third sampling period starting from the notification trigger.
  • the arithmetic processing unit detects the FRN in the third sampling period (S16).
  • FIG. 14 is a flowchart showing an example of a method of detecting cognitive ability by FRN.
  • the arithmetic processing unit When the arithmetic processing unit notifies the correct answer to the response (S61), it detects the FRN. If the detection target person 80 understands the accuracy and can detect the FRN (S62: YES), the arithmetic processing unit detects that the cognitive ability level is high or that the cognitive ability is present. On the other hand, if the detection target person 80 cannot understand the accuracy and the FRN cannot be detected (S62: NO), the cognitive ability level is low or the cognitive ability is not detected.
  • the arithmetic processing unit detects the FRN. If the detection target person 80 understands the inaccuracy and can detect the FRN (S64: YES), the arithmetic processing unit detects that the cognitive ability level is high or that the cognitive ability is present. On the other hand, if the detection target person 80 cannot understand the incorrect answer and the FRN cannot be detected (S64: NO), the cognitive ability level is low or the cognitive ability is not detected.
  • the arithmetic processing unit detects the cognitive ability using the detection result of P300, the detection result of ERN, and the detection result of FRN.
  • FIG. 15 is a diagram showing the concept of detecting cognitive ability. Similar to FIG. 12, in FIG. 15, the image, the sync signal, the viewpoint position detection state, and the brain signal are schematically illustrated according to the change of time. In addition, in FIG. 15, each event-related potential is represented on a coordinate axis including a positive region and a negative region. Note that these are merely examples, and the waveform of each event-related potential is not limited to this. In the following, the case where the analysis is performed with the configuration of the detection unit 14A shown in FIG. 11 described above is shown. However, when the FRN is not used, the analysis can be performed with the configuration of the detection unit 14.
  • the exercise preparation potential is a kind of event-related potential, and for example, in the case of the above-mentioned drive simulator after the occurrence of P300, during the preparation period until the danger avoidance action is started using the steering wheel, the brake pedal, the brake lever, or the like. Is a signal that occurs in.
  • the exercise preparation potential can be detected from the brain signal as in P300, ERN, FRN, and the like.
  • the analysis unit 144A analyzes and evaluates the cognitive speed of the preparation for the risk avoidance action from the time difference ⁇ t2 between the detection timing of P300 and the detection timing of the exercise preparation potential. For example, if the time difference ⁇ t2 is short, the analysis unit 144A evaluates that the recognition speed of preparation for the risk avoidance action is fast, and if the time difference ⁇ t2 is long, evaluates that the recognition speed of preparation for the risk avoidance action is slow.
  • the analysis unit 144A can also perform other analysis and evaluation.
  • the detection timing of the event-related potential can be defined by, for example, the time of the maximum value or the minimum value in the sampling period of each event-related potential.
  • the ERN detection timing is the timing when the ERN becomes the minimum value
  • the FRN detection timing is the timing when the FRN becomes the minimum value.
  • the analysis unit 144A can analyze and evaluate the initial recognition speed from the time difference ⁇ t1 between the detection timing of the video trigger and the detection timing of P300.
  • the analysis unit 144A can analyze and evaluate the action start speed for the danger avoidance action from the time difference ⁇ t3 between the detection timing of the exercise preparation potential and the detection timing of the response trigger.
  • the analysis unit 144A can detect the cognitive ability based on the high-speed eye movement trigger.
  • the high-speed eye movement is obtained by the above-mentioned eye tracking sensor or electrooculography detection sensor. For example, in the case of an eye tracking sensor, it can be detected by calculating the moving speed of the viewpoint position. Further, the analysis unit 144A can analyze and evaluate the recognition speed and the like from the time difference ⁇ t4 between the detection timing of the high-speed eye movement trigger and the detection timing of each event-related potential.
  • the analysis unit 144A can analyze and evaluate the risk recognition ability of the detection target person 80 in more detail by using the high-speed eye movement trigger. For example, the analysis unit 144A acquires the viewpoint position at the detection timing of the high-speed eye movement trigger. The analysis unit 144A can detect whether the eye movement for danger recognition is accurate, that is, whether the danger can be accurately recognized, by comparing the viewpoint position with the position of the visual stimulus described above. Specifically, for example, the analysis unit 144A detects that the cognitive ability is high if the viewpoint position at the detection timing of the high-speed eye movement trigger and the position of the visual stimulus overlap. In addition, the analysis unit 144A detects that there is no cognitive ability if the viewpoint position at the detection timing of the high-speed eye movement trigger and the position of the visual stimulus are greatly separated.
  • P300 is used as the event-related potential
  • P100 can be used as the event-related potential.
  • both P300 and P100 can be used as the event-related potential.
  • the notification of the above-mentioned response is not used, but a video showing a risk occurrence event is used, and a video trigger c for this video is used.
  • the FRN can be analyzed and evaluated by using a video showing such a risk occurrence event.
  • FIG. 15 illustrates a mode in which both the detection timing of the high-speed eye movement trigger and the detection timing of the exercise preparation potential are illustrated, it is also possible to use either one.

Abstract

認知能力検出装置（１０）は、視覚情報取得部（１２）、脳信号取得部（１３）、および、検出部（１４）を備える。視覚情報取得部（１２）は、映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する。脳信号取得部（１３）は、検出対象者の脳信号を取得する。検出部（１４）は、視覚的刺激の発生タイミングに基づく映像トリガを起点にして、脳信号から事象関連電位を検出し、視覚情報から視覚的刺激に対する視点の有無を検出して、視覚的刺激に対する認知能力を検出する。

Description

認知能力検出装置、および、認知能力検出システム
　この発明は、視覚的な刺激に対する認知能力を検出する認知能力検出装置および認知能力検出システムに関する。
　特許文献１には、ニューロフィードバックを用いた無意識学習法が開示されている。特許文献１に記載の無意識学習法では、学習課題となる音声を聞かせながら脳波を測定する。この無意識学習法は、脳波に基づいて学習を繰り返す。
特許第６３６２３３２号公報
　しかしながら、視覚的な刺激に対する対象者の認知能力を検出することは、特許文献１の技術を含み従来には存在しなかった。
　したがって、本発明の目的は、視覚的な刺激に対する対象者の認知能力を検出できる認知能力の検出技術を提供することにある。
　この発明の認知能力検出装置は、視覚情報取得部、脳信号取得部、および、検出部を備える。視覚情報取得部は、映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する。脳信号取得部は、検出対象者の脳信号を取得する。検出部は、視覚的刺激の発生タイミングに基づく映像トリガを起点にして、脳信号から事象関連電位を検出し、視覚情報から視覚的刺激に対する視点の有無を検出して、視覚的刺激に対する認知能力を検出する。
　この構成では、検出対象者の視覚的刺激に対する認知の反応を、視覚情報と脳信号とによって得られる。したがって、視覚情報のみを用いた場合、脳信号のみを用いた場合よりも、視覚的刺激に対する認知能力が向上する。
　この発明によれば、視覚的な刺激に対する対象者の認知能力を検出できる。
図１は、本発明の第１の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。 図２は、検出部の構成を示す機能ブロック図である。 図３は、脳信号取得部の構成を示す機能ブロック図である。 図４は、認知能力の検出対象者への検出用ギアの装着状態の概要を示す図である。 図５は、視覚的刺激提示装置の構成を示す機能ブロック図である。 図６は、認知能力の検出の概念を示す図である。 図７は、本発明の第１の実施形態に係るＰ３００を用いた認知能力検出方法のフローチャートである。 図８は、本発明の第１の実施形態に係るＰ３００とＥＲＮを用いた認知能力検出方法のフローチャートである。 図９は、ＥＲＮによる認知能力の検出方法の一例を示すフローチャートである。 図１０は、本発明の第２の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。 図１１は、検出部の構成を示す機能ブロック図である。 図１２は、認知能力の検出の概念を示す図である。 図１３は、本発明の第２の実施形態に係るＰ３００、ＥＲＮ、ＦＲＮを用いた認知能力検出方法のフローチャートである。 図１４は、ＦＲＮによる認知能力の検出方法の一例を示すフローチャートである。 図１５は、認知能力の検出の概念を示す図である。
　（第１実施形態）
　本発明の第１の実施形態に係る認知能力検出装置について、図を参照して説明する。図１は、本発明の第１の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。図２は、検出部の構成を示す機能ブロック図である。図３は、脳信号取得部の構成を示す機能ブロック図である。図４は、認知能力の検出対象者への検出用ギアの装着状態の概要を示す図である。図５は、視覚的刺激提示装置の構成を示す機能ブロック図である。
　（概略的な機能ブロックの構成）
　図１に示すように、認知能力検出システムは、認知能力検出装置１０、および、視覚的刺激提示装置２０を備える。認知能力検出装置１０は、視覚情報取得部１２、脳信号取得部１３、検出部１４、および、応答入力部９０を備える。なお、応答入力部９０は、後述のＰ３００による認知能力の検出を行う場合であれば、認知能力検出装置１０から省略することも可能である。
　視覚情報取得部１２は、既知のアイトラッキングセンサによって実現される。視覚情報取得部１２は、検出対象者８０の眼球の動きを検出して、視覚情報として出力する。
　図２に示すように、脳信号取得部１３は、脳信号センサ１３１、および、脳信号処理部１３２を備える。脳信号センサ１３１は、例えば、既知の脳信号を取得できるセンサによって実現される。脳信号処理部１３２は、例えば、電子回路やＩＣ等によって実現される。脳信号センサ１３１は、検出対象者８０の脳信号を取得して、脳信号処理部１３２に出力する。脳信号処理部１３２は、脳信号センサ１３１が取得した脳信号に対して、フィルタ処理、増幅処理等を行って、出力する。
　応答入力部９０は、例えば、認知能力として、自動車運転の危険認知能力を検出する場合であれば、模擬的なハンドル、ブレーキペダル、ブレーキレバー等によって実現される。すなわち、応答入力部９０は、認知対象の事象が発生した時に、検出対象者８０が起こす行動を検出できる部材によって実現される。応答入力部９０は、検出対象者８０による認知対象の事象に対する応答の入力タイミングに同期して、応答トリガを生成する。
　図３に示すように、検出部１４は、サンプリング期間決定部１４１、事象関連電位検出部１４２、視点検出部１４３、および、解析部１４４を備える。検出部１４の各部は、例えば、電子回路、ＩＣ、ＭＰＵ等によって実現される。
　サンプリング期間決定部１４１には、視覚的刺激提示装置２０からの映像トリガ、または、応答入力部９０からの応答トリガが入力される。詳細は後述するが、サンプリング期間決定部１４１は、映像トリガに基づいた第１サンプリング期間を決定する。また、サンプリング期間決定部１４１は、応答トリガに基づいた第２サンプリング期間を決定する。サンプリング期間決定部１４１は、第１サンプリング期間または第２サンプリング期間を、事象関連電位検出部１４２および視点検出部１４３に出力する。
　事象関連電位検出部１４２には、脳信号が入力される。事象関連電位検出部１４２は、第１サンプリング期間または第２サンプリング期間にて、脳信号から特定の事象関連電位を検出する。事象関連電位検出部１４２は、検出した事象関連電位を解析部１４４に出力する。
　視点検出部１４３には、視覚情報が入力される。視点検出部１４３は、第１サンプリング期間にて、視覚情報から視点位置を検出する。視点検出部１４３は、検出した視点位置を、解析部１４４に出力する。
　解析部１４４には、事象関連電位、視点位置、および、認知対象情報が入力される。認知対象情報は、映像トリガの生成時における映像上の認知対象物の位置を含んでいる。解析部１４４は、事象関連電位、視点位置、および、認知対象情報を用いて、検出対象者８０の認知能力を解析する。そして、解析部１４４は、解析結果に基づいて、検出対象者８０の認知対象への認知能力の有無、認知能力レベルの高さ等を検出する。
　（検出用ギア１００の構成）
　認知能力検出装置１０の構成における一部は、図４に示すような検出用ギア１００に装備されている。検出用ギア１００は、ヘッドバンド１０１と板部材１０２とを備える。ヘッドバンド１０１は、帯状の基材からなる。ヘッドバンド１０１は、例えば伸縮性を有する。ヘッドバンド１０１は、認知能力の検出対象者８０の頭部８００に装着される。より具体的には、ヘッドバンド１０１は、検出対象者８０の後頭部８０１、側頭部、および、前頭部８０２を含む頭部８００の全周に亘るように、検出対象者８０に装着されている。
　ヘッドバンド１０１における後頭部８０１側の内側には、脳信号センサ１３１１が装備されている。また、ヘッドバンド１０１における前頭部８０２側の内側には、脳信号センサ１３１２が装備されている。脳信号センサ１３１１および脳信号センサ１３１２は、検出対象者８０の脳信号を取得して出力する。脳信号センサ１３１は、これら脳信号センサ１３１１および脳信号センサ１３１２によって構成される。
　ヘッドバンド１０１は、伸縮性を有することで、検出対象者８０の後頭部８０１および前頭部８０２に密着する。これにより、脳信号センサ１３１１は、検出対象者８０の後頭部８０１に密着し、脳信号センサ１３１２は、検出対象者８０の前頭部８０２に密着する。したがって、脳信号センサ１３１１および脳信号センサ１３１２は、検出対象者８０が発生する脳信号を、取得し易い。なお、ヘッドバンド１０１は、検出対象者８０の頭頂部に接触（密着）するように、さらに別の脳信号センサを有していてもよい。また、ヘッドバンド１０１は、脳信号センサを少なくとも１つ有していればよい。
　板部材１０２は、透光性を有する。板部材１０２は、ヘッドバンド１０１における脳信号センサ１３１２側の部分に配置されている。板部材１０２は、ヘッドバンド１０１の下端から突出する形状である。板部材１０２は、例えば、メガネのレンズと同様の形状からなり、検出対象者８０がヘッドバンド１０１を装着した状態で、正面視して、検出対象者８０の眼８１に重なる形状である。板部材１０２には、上述のアイトラッキングセンサ（図示を省略している。）が装備されている。
　（視覚的刺激提示装置２０の構成）
　図５に示すように、視覚的刺激提示装置２０は、制御部２１、映像再生部２２、映像トリガ出力部２３、および、認知対象情報出力部２４を備える。視覚的刺激提示装置２０は、例えば、電子回路、ＩＣ、ＭＰＵ等と、映像を表示する表示器とによって実現される。
　映像再生部２２は、認知能力の検出対象である視覚的刺激を含む映像を再生し、表示器に表示する。映像トリガ出力部２３は、映像における視覚的刺激の発生タイミングに、映像トリガを生成して出力する。認知対象情報出力部２４は、映像における視覚的刺激の位置（認知対象物の位置）を含む認知対象情報を生成して、出力する。制御部２１は、これら映像再生部２２、映像トリガ出力部２３、および、認知対象情報出力部２４の同期制御を行うとともに、視覚的刺激提示装置２０の全体制御を行う。
　以上の構成からなる認知能力検出装置１０および認知能力検出システム１は、次に示すように、検出対象者８０の認知能力を検出する。なお、以下では、検出対象者８０の危険に対する認知能力、より具体的には、自動車運転時の危険に対する認知能力を検出する場合を示す。ただし、認知能力の検出を映像を用いて行う場合であれば、他の事象であっても、本実施形態の構成および処理は適用できる。
　図６は、認知能力の検出の概念を示す図である。図６では、映像、同期信号（トリガ）、視点位置検出状態、脳信号を、時間の変化に準じて概略的に記載している。
　まず、視覚的刺激提示装置２０は、危険の認知対象である視覚的刺激を含む動的な映像２００を検出対象者８０に提供する。この映像２００は、危険の認知対象２１０が含まれないフレームと、危険の認知対象２１０が含まれるフレームとを有する。危険の認知対象２１０とは、具体的には、例えば、側道から自動車の進行経路に入ってくる恐れのある人物モデル等である。
　視覚的刺激提示装置２０は、危険の認知対象２１０が含まれないフレームを再生した後、危険の認知対象２１０が含まれるフレームを再生する。また、視覚的刺激提示装置２０は、危険の認知対象２１０が含まれるフレームの再生の開始時に同期して、映像トリガを出力する。さらに、視覚的刺激提示装置２０は、危険の認知対象２１０が含まれるフレームの再生時に、認知対象情報を出力する。
　認知能力検出装置１０の視覚情報取得部１２は、映像に対する検出対象者８０の眼球の動きを継続的に検出し、視覚情報として出力する。視点検出部１４３は、視覚情報を用いて、映像に対する視点位置を検出し、出力する。例えば、側道から自動車の進行経路に入ってくる恐れのある人物モデルと視点位置とが重なるか否か等を検出し、出力する。この際、視点検出部１４３は、視点位置を継続的に検出して出力する。
　認知能力検出装置１０の脳信号取得部１３は、映像を視聴している状態の検出対象者８０の脳信号を取得し、出力する。この際、脳信号取得部１３は、脳信号を継続的に取得し、出力する。
　（Ｐ３００を用いた危険の認知能力の検出）
　Ｐ３００は、事象関連電位の一種であり、刺激（危険状態）の把握から約３００ｍｓｅｃ．後に発生する。Ｐ３００は、検出対象者８０の潜在的な危険（刺激）に対する認知能力を検出するのに利用される。なお、ここでは、事象関連電位としてＰ３００を用いる態様を示すが、Ｐ１００を用いることも可能であり、Ｐ１００とＰ３００との両方を用いることも可能である。
　検出部１４のサンプリング期間決定部１４１は、映像トリガを基準に、第１サンプリング期間を決定する。サンプリング期間決定部１４１は、第１サンプリング期間として、視点位置の検出用のサンプリング期間ＴＰＥ１と、Ｐ３００の検出用のサンプリング期間ＴＰ３００とを個別に設定する。サンプリング期間ＴＰＥ１は、映像トリガを開始タイミング（起点）として、所定の時間長で設定されている。サンプリング期間ＴＰ３００は、視点検出部１４３にて視点位置１２０が危険の認知対象２１０の位置に重なったことを検出したタイミングを開始タイミング（起点）として、所定の時間長で設定されている。なお、サンプリング期間ＴＰ３００は、映像トリガを開始タイミング（起点）としてもよい。サンプリング期間ＴＰ３００の時間長は、例えば、５００ｍｓｅｃ．である。
　事象関連電位検出部１４２は、サンプリング期間ＴＰ３００におけるＰ３００を検出して、解析部１４４に出力する。Ｐ３００は、特有の波形を有する信号であり、事象関連電位検出部１４２は、この波形および振幅を用いることで、Ｐ３００を検出できる。
　視点検出部１４３は、サンプリング期間ＴＰＥ１における映像２００上での視点位置１２０を検出して、解析部１４４に出力する。
　解析部１４４は、視点位置１２０の検出結果、Ｐ３００の検出結果に基づいて、認知能力を解析する。例えば、図６の例であれば、Ｐ３００の振幅（出力レベル）は、Ｐ３００として認識可能なレベル以上で大きい。そして、視点位置１２０は、危険の認知対象２１０の位置と重なる。すなわち、危険の認知対象２１０に対する有効な視点は存在する。この場合、解析部１４４は、検出対象者８０の潜在的な危険の認知能力レベルが高い、または、検出対象者８０の潜在的な危険の認知能力が有ることを検出する。
　一方、例えば、Ｐ３００の振幅が認識可能なレベルよりも小さく、視点位置１２０が危険の認知対象２１０の位置から離間している場合（危険の認知対象２１０に対する無効なな視点は存在する場合）、解析部１４４は、検出対象者８０の潜在的な危険の認知能力レベルが低い、または、検出対象者８０の潜在的な危険の認知能力が無いことを検出する。
　さらに、例えば、Ｐ３００の振幅が認識可能なレベル以上で大きいが、視点位置１２０が危険の認知対象２１０の位置から離間している場合、解析部１４４は、検出対象者８０の潜在的な危険の認知能力レベルが低い、もしくは、潜在的な危険の認知能力に問題があると検出することもできる。
　また、例えば、Ｐ３００の振幅が認識可能なレベルよりも小さいが、視点位置１２０が危険の認知対象２１０の位置に重なっている場合、解析部１４４は、検出対象者８０の潜在的な危険の認知能力はあるが、潜在的な危険意識が低いと検出することもできる。
　（ＥＲＮを用いた危険の認知能力の検出）
　ＥＲＮは、事象関連電位の一種であり、刺激（危険状態）に対する検出対象者８０の応答が間違っていることを、検出対象者８０が自己で認知した際に発生する。ＥＲＮは、検出対象者８０の自己的な危険（刺激）に対する認知能力を検出するのに利用される。
　検出部１４のサンプリング期間決定部１４１は、応答トリガを基準に、第２サンプリング期間を決定する。サンプリング期間決定部１４１は、第２サンプリング期間として、ＥＲＮの検出用のサンプリング期間ＴＥＲＮを設定する。サンプリング期間ＴＥＲＮは、応答トリガを参照して、所定の時間長で設定されている。
　事象関連電位検出部１４２は、サンプリング期間ＴＥＲＮにおけるＥＲＮを検出して、解析部１４４に出力する。ＥＲＮは、特有の波形を有する信号であり、事象関連電位検出部１４２は、この波形および振幅を用いることで、ＥＲＮを検出できる。
　解析部１４４は、ＥＲＮの検出結果に基づいて、認知能力を解析する。例えば、図６の例であれば、ＥＲＮの振幅（出力レベル）は、ＥＲＮとして認識可能なレベル以上で大きい。ここで、応答が間違っている場合であれば、解析部１４４は、検出対象者８０が自分の応答の間違いに気付き、検出対象者８０の自己的な危険の認知能力レベルが高い、または、検出対象者８０の自己的な危険の認知能力が有ることを検出する。なお、応答が正解である場合には、ＥＲＮを検出しないことによって、解析部１４４は、検出対象者８０の危険の認知能力レベルが高い、または、検出対象者８０の危険の認知能力が有ることを検出する。
　一方、例えば、応答が間違っている場合であり、ＥＲＮの振幅が認識可能なレベルよりも小さい場合、解析部１４４は、検出対象者８０が自分の応答の間違いに気付かず、検出対象者８０の自己的な危険の認知能力レベルが低い、または、検出対象者８０の自己的な危険の認知能力が無いことを検出する。
　さらに、例えば、危険が無いにもかかわらず、応答してしまい、ＥＲＮの振幅が認識可能なレベル以上で大きい場合、解析部１４４は、検出対象者８０の自己的な危険の認知能力レベルが高い、もしくは、自己的な危険の認知能力があると検出する。
　また、例えば、危険が無いにもかかわらず、応答してしまい、ＥＲＮの振幅が認識可能なレベルよりも小さい場合、解析部１４４は、検出対象者８０の自己的な危険の認知能力レベルが低い、もしくは、自己的な危険の認知能力がないと検出する。
　また、例えば、危険が無く、応答も無く、ＥＲＮの振幅が認識可能なレベルよりも小さい場合、解析部１４４は、検出対象者８０の自己的な危険の認知能力レベルが高い、もしくは、自己的な危険の認知能力があると検出する。
　このように、本実施形態の構成および処理を用いれば、視覚的な危険に対する検出対象者８０の認知能力を、従来よりも正確且つ確実に検出できる。
　なお、上述の説明では、Ｐ３００による潜在的な危険の認知能力と、ＥＲＮによる自己的な危険の認知能力とを個別に検出する態様を示したが、Ｐ３００とＥＲＮとを用いて複合的に危険の認知能力を検出することも可能である。あるいは、Ｐ３００とＥＲＮとのいずれかのみを用いて危険の認知能力を検出することも可能である。
　（認知能力検出方法）
　上述の説明では、認知能力の検出を、複数の機能部で実行する態様を示した。しかしながら、図７に示す処理をプログラム化して記憶しておき、ＣＰＵ等の演算処理装置で実行してもよい。図７は、本発明の第１の実施形態に係るＰ３００を用いた認知能力検出方法のフローチャートである。なお、各処理の具体的な内容は上述しており、以下では具体的な説明は省略する。
　演算処理装置は、検出対象者８０に向けて映像を再生する（Ｓ１１）。演算処理装置は、視覚的刺激を含む映像（危険フレーム）を再生する（Ｓ１１１）。演算処理装置は、視覚情報を取得し（Ｓ１２１）、第１サンプリング期間での視点位置を検出する（Ｓ１２２）。演算処理装置は、脳信号を取得し（Ｓ１３１）、第１サンプリング期間でのＰ３００を検出する（Ｓ１３２）。演算処理装置は、認知対象情報、視点位置、および、Ｐ３００を用いて、認知能力を検出する（Ｓ１４）。
　図８は、本発明の第１の実施形態に係るＰ３００とＥＲＮを用いた認知能力検出方法のフローチャートである。なお、図８におけるＰ３００に関連する処理、すなわち、第１サンプリング期間に関連する処理は、図７と同じであり、同じ処理の説明は省略する。
　演算処理装置は、危険フレームを再生している時（Ｓ１１１：ＹＥＳ）、図７と同様に、Ｐ３００による検出を実行する。一方、演算処理装置は、危険フレームを再生していない時（Ｓ１１１：ＮＯ）、ＥＲＮによる検出処理を実行する（Ｓ１５）。
　図９は、ＥＲＮによる認知能力の検出方法の一例を示すフローチャートである。
　演算処理装置は、危険フレームが有り（Ｓ５１：ＹＥＳ）、且つ、応答が正解であれば（Ｓ５２：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。なお、ここでの応答とは、例えば、本実施形態の認知能力検出装置を自動車教習所における訓練用シミュレータとして用いる場合、減速のためのブレーキングや適切なハンドリング等の危険回避行動を行うこと等である。
　演算処理装置は、危険フレームが有り（Ｓ５１：ＹＥＳ）、且つ、応答が間違いであれば（Ｓ５２：ＮＯ）、ＥＲＮの検出を行う。演算処理装置は、ＥＲＮを検出できれば（Ｓ５３：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、ＥＲＮが検出できなければ（Ｓ５３：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
　演算処理装置は、危険フレームでなく（Ｓ５１：ＮＯ）、且つ、応答が無ければ（Ｓ５４：ＮＯ）、認知能力レベルが高い、もしくは、認知能力があると検出する。なお、この時点では、演算処理装置は、認知能力の判定を保留していてもよい。
　演算処理装置は、危険フレームでなく（Ｓ５１：ＮＯ）、応答があれば（Ｓ５４：ＹＥＳ）、ＥＲＮの検出を行う。演算処理装置は、ＥＲＮを検出できれば（Ｓ５５：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、ＥＲＮが検出できなければ（Ｓ５５：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
　演算処理装置は、Ｐ３００による認知能力の検出結果、および、ＥＲＮによる認知能力の検出結果を用いて、認知能力を検出する。
　なお、図８において、ステップＳ１１１からステップＳ１５に処理を飛ばすことによって、演算処理装置は、ＥＲＮのみによる認知能力の検出を行える。
　第１の実施形態の認知能力検出装置を用いることで、この認知能力検出装置の検出対象者の認知能力を測定できる。例えば、本実施形態の認知能力検出装置を自動車教習所における訓練用シミュレータとして用いる場合、教習者の危険認知能力を、教官が科学的に把握でき、訓練終了後に教官が教習者に対して的確なフィードバックを行うことが可能となる。
　（第２実施形態）
　本発明の第２の実施形態に係る認知能力検出装置について、図を参照して説明する。図１０は、本発明の第２の実施形態に係る認知能力検出装置を含む認知能力検出システムの機能ブロック図である。
　図１０に示すように、第２の実施形態に係る認知能力検出システム１Ａは、第１の実施形態に係る認知能力検出システム１に対して、認知能力検出装置１０Ａの構成において異なる。認知能力検出装置１０Ａは、認知能力検出装置１０に対して、解析結果通知部１５をさらに備え、検出部１４Ａの処理において異なる。認知能力検出システム１Ａの他の構成および処理は、認知能力検出システム１と同様であり、同様の箇所の説明は省略する。
　図１０に示すように、認知能力検出システム１Ａは、認知能力検出装置１０Ａを備える。認知能力検出装置１０Ａは、検出部１４Ａおよび解析結果通知部１５を備える。
　解析結果通知部１５は、検出部１４Ａにおいて検出した認知能力に応じた通知を行う。例えば、解析結果通知部１５は、音出力部（図示を省略している。）を備え、音２３０Ｓによって認知能力の検出結果を通知する。音出力部は、例えば、ヘッドバンド１０１に装着されたスピーカ等によって実現できる。なお、解析結果通知部１５は、マーク２３０Ｖによって認知能力の検出結果を通知することも可能である。この場合、解析結果通知部１５は、マーク２３０Ｖを、視覚的刺激提示装置２０に出力する。視覚的刺激提示装置２０は、映像にマーク２３０Ｖを重畳して再生する。
　また、解析結果通知部１５は、通知のタイミングに通知トリガを生成し、検出部１４Ａに出力する。
　図１１は、検出部１４Ａの構成を示す機能ブロック図である。図１１に示すように、検出部１４Ａは、サンプリング期間決定部１４１Ａ、事象関連電位検出部１４２Ａ、視点検出部１４３Ａ、および、解析部１４４Ａを備える。
　検出部１４Ａは、第１の実施形態における検出部１４と同様に、Ｐ３００およびＥＲＮを用いた認知能力の検出を行う。さらに、検出部１４Ａは、次に示すように、ＦＲＮを用いた認知能力の検出を行う。図１２は、認知能力の検出の概念を示す図である。図１２では、図６と同様に、映像、同期信号、視点位置検出状態、脳信号を、時間の変化に準じて概略的に記載している。
　（ＦＲＮを用いた危険の認知能力の検出）
　ＦＲＮは、事象関連電位の一種であり、刺激（危険状態）に対する検出対象者８０の応答が間違っていることを、検出対象者８０が他者から指摘された認知した際に発生する。ＦＲＮは、検出対象者８０の他者的な危険（刺激）に対する認知能力を検出するのに利用される。
　検出部１４Ａのサンプリング期間決定部１４１Ａは、通知トリガを基準に、第３サンプリング期間を決定する。サンプリング期間決定部１４１Ａは、第３サンプリング期間として、ＦＲＮの検出用のサンプリング期間ＴＦＲＮを設定する。例えば、サンプリング期間ＴＥＲＮは、通知トリガを開始タイミングとして所定の時間長で設定されている。
　事象関連電位検出部１４２Ａは、サンプリング期間ＴＦＲＮにおけるＦＲＮを検出して、解析部１４４Ａに出力する。ＦＲＮは、特有の波形を有する信号であり、事象関連電位検出部１４２Ａは、この波形および振幅を用いることで、ＦＲＮを検出できる。
　解析部１４４Ａは、ＦＲＮの検出結果に基づいて、認知能力を解析する。例えば、図１２の例であれば、ＦＲＮの振幅（出力レベル）は、ＦＲＮとして認識可能なレベル以上で大きい。この場合、解析部１４４Ａは、検出対象者８０の他者的な危険の認知能力レベルが高い、または、検出対象者８０の他者的な危険の認知能力が有ることを検出する。
　一方、例えば、ＦＲＮの振幅（出力レベル）が認識可能なレベルよりも小さい場合、解析部１４４Ａは、検出対象者８０の他者的な危険の認知能力レベルが低い、または、検出対象者８０の他者的な危険の認知能力が無いことを検出する。
　なお、解析部１４４Ａは、通知としてマーク２３０Ｖを用いる場合には、ＦＲＮとともに第３サンプリング期間における視点位置も考慮して、認知能力を検出してもよい。例えば、解析部１４４Ａは、マーク２３０Ｖと視点位置と重なっていれば、認知能力レベルが高い、もしくは、認知能力があるとの検出結果への参考にできる。
　このように、本実施形態の構成および処理を用いれば、視覚的な危険に対する検出対象者８０の他者的な認知能力を検出できる。そして、本実施形態の構成および処理を用いれば、視覚的な危険に対する検出対象者８０の認知能力を、従来よりも正確且つ確実に検出できる。
　なお、上述の説明では、Ｐ３００、ＥＲＮ、ＦＲＮによる危険の認知能力を検出する態様を示したが、ＦＲＮのみを用いて危険の認知能力を検出することも可能である。あるいは、Ｐ３００、ＦＲＮを用いてＥＲＮを用いなかったり、ＥＲＮ、ＦＲＮを用いてＰ３００を用いなかったりすることにより危険の認知能力を検出することも可能である。
　また、第２の実施形態に示すような解析結果を通知する構成および処理を用いることによって、繰り返し映像の再生、認知能力の検出を行って、認知能力を訓練できる。すなわち、認知能力の検出結果を、検出対象者８０にフィードバックしながら、繰り返し認知能力の検出を行うことによって、検出対象者８０の認知能力を向上させる訓練を実現できる。これにより、視覚的刺激に対するニューロフィードバックシステムを実現できる。
　この際、危険の種類によって、認知能力を検出すると、より効果的な訓練を実現できる。具体的には、危険の種類とは、例えば、上述のドライブシミュレータであれば、人の飛び出し、バックミラーへの刺激等、視覚的に異なる位置や異なる現象によって分類される。そして、特定の危険に対する認知能力が無かったり、低かったりした場合には、この特定の危険に対して、より重点的に繰り返しの訓練を行う。具体的に、ニューロフィードバックを行う際には、刺激提示後リアルタイムに、訓練者である検出対象者８０の脳信号に基づく危険認知度を、視覚もしくは聴覚を利用しフィードバックするとよい。検出対象者８０は、そのフィードバックに基づき、トレーニング方法を工夫し、危険認知度が向上するように努めることができる。これにより、単にフィードバックなくトレーニングを受けるよりも、さらに効果的なトレーニングシステムを実現できる。
　この第２の実施形態に基づく訓練によれば、第１の実施形態で示したようなフィードバック（例えば、訓練終了後に教官が教習者に対して行うフィードバック）よりもさらに効果的な訓練効果を得ることができる。
　図１３は、本発明の第２の実施形態に係るＰ３００、ＥＲＮ、ＦＲＮを用いた認知能力検出方法のフローチャートである。なお、図１３におけるＰ３００およびＥＲＮに関連する処理、すなわち、第１サンプリング期間および第２サンプリング期間に関連する処理は、図８と同じであり、同じ処理の説明は省略する。
　演算処理装置は、第２サンプリング期間でのＥＲＮの検出後、解析結果を通知する（Ｓ１６０）。
　演算処理装置は、通知トリガを起点に第３サンプリング期間を設定する。演算処理装置は、第３サンプリング期間でのＦＲＮを検出する（Ｓ１６）。
　図１４は、ＦＲＮによる認知能力の検出方法の一例を示すフローチャートである。
　演算処理装置は、応答に対する正解を通知すると（Ｓ６１）、ＦＲＮの検出を行う。検出対象者８０が正確を理解して、演算処理装置は、ＦＲＮを検出できれば（Ｓ６２：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、検出対象者８０が正確を理解できず、演算処理装置は、ＦＲＮが検出できなければ（Ｓ６２：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
　また、演算処理装置は、応答に対する不正解を通知すると（Ｓ６３）、ＦＲＮの検出を行う。検出対象者８０が不正確を理解して、演算処理装置は、ＦＲＮを検出できれば（Ｓ６４：ＹＥＳ）、認知能力レベルが高い、もしくは、認知能力があると検出する。一方、検出対象者８０が不正解を理解できず、演算処理装置は、ＦＲＮが検出できなければ（Ｓ６４：ＮＯ）、認知能力レベルが低い、もしくは、認知能力がないと検出する。
　演算処理装置は、Ｐ３００による検出結果、ＥＲＮによる検出結果、および、ＦＲＮによる検出結果を用いて、認知能力を検出する。
　なお、認知能力検出装置は、上述のＰ３００、ＥＲＮ、ＦＲＮを用いた認知能力の検出に対して、さらに、次の項目を用いて認知能力の検出を行うことも可能である。図１５は、認知能力の検出の概念を示す図である。図１５では、図１２と同様に、映像、同期信号、視点位置検出状態、脳信号を、時間の変化に準じて概略的に記載している。また、図１５では、各事象関連電位をポジティブ領域とネガティブ領域とからなる座標軸上で表現している。なお、これらは、一例であり、各事象関連電位の波形は、これに限るものではない。また、以下では、上述の図１１に示した検出部１４Ａの構成で解析を行う場合を示すが、ＦＲＮを用いない場合には、検出部１４の構成で解析を行うことができる。
　（運動準備電位を用いた認知能力の検出例）
　運動準備電位は、事象関連電位の一種であり、Ｐ３００の発生後に、例えば、上述のドライブシミュレータであれば、ハンドル、ブレーキペダル、ブレーキレバー等を用いて危険回避行動を開始するまでの準備期間中に生じる信号である。運動準備電位は、Ｐ３００、ＥＲＮ、ＦＲＮ等と同様に、脳信号から検出できる。
　解析部１４４Ａは、Ｐ３００の検出タイミングと運動準備電位の検出タイミングとの時間差Δｔ２から、危険回避行動の準備の認知速度を解析して、評価する。例えば、解析部１４４Ａは、時間差Δｔ２が短ければ、危険回避行動の準備の認知速度が速いと評価し、時間差Δｔ２が長ければ、危険回避行動の準備の認知速度が遅いと評価する。
　また、このような各事象関連電位の検出タイミング、各トリガの検出タイミング（取得タイミング）を用いることで、解析部１４４Ａは、他の解析、評価を行うこともできる。なお、事象関連電位の検出タイミングは、例えば、それぞれの事象関連電位のサンプリング期間内における最大値または最小値の時間によって、定義可能である。例えば、図１５の場合のように、ＥＲＮの検出タイミングは、ＥＲＮが最小値になるタイミングであり、ＦＲＮの検出タイミングは、ＦＲＮが最小値になるタイミングである。
　例えば、解析部１４４Ａは、映像トリガの検出タイミングと、Ｐ３００の検出タイミングとの時間差Δｔ１から、初期認知速度を、解析、評価できる。また、解析部１４４Ａは、運動準備電位の検出タイミングと応答トリガの検出タイミングとの時間差Δｔ３から、危険回避行動への行動開始速度を、解析、評価できる。
　また、視点検出部１４３Ａによって、高速眼球運動トリガを得られる場合、解析部１４４Ａは、高速眼球運動トリガを基準にして、認知能力を検出できる。高速眼球運動は、上述のアイトラッキングセンサや眼電検出センサによって得られ、例えば、アイトラッキングセンサであれば視点位置の移動速度を算出することによって検出可能である。また、解析部１４４Ａは、高速眼球運動トリガの検出タイミングと各事象関連電位の検出タイミングとの時間差Δｔ４から、認知速度等を、解析評価できる。
　また、解析部１４４Ａは、高速眼球運動トリガを用いることによって、検出対象者８０の危険の認知能力を、より詳細に解析、評価できる。例えば、解析部１４４Ａは、高速眼球運動トリガの検出タイミングにおける視点位置を取得する。解析部１４４Ａは、この視点位置と上述の視覚的刺激の位置とを比較することで、危険認知のための眼球運動が正確であるか、すなわち、危険を正確に認知できているかを検出できる。具体的には、例えば、解析部１４４Ａは、高速眼球運動トリガの検出タイミングにおける視点位置と、視覚的刺激の位置とが重なっていれば、認知能力が高いと検出する。また、解析部１４４Ａは、高速眼球運動トリガの検出タイミングにおける視点位置と、視覚的刺激の位置とが大きく離れていれば、認知能力が無いと検出する。
　また、上述のタイミングを用いる方法では、事象関連電位としてＰ３００を用いる態様を示したが、この場合も、事象関連電位としてＰ１００を用いることも可能である。さらには、事象関連電位として、Ｐ３００とＰ１００の両方を用いることも可能である。
　また、図１５では、上述の応答に対する通知を用いず、危険の発生事象を示す映像を用い、この映像に対する映像トリガｃを用いている。このような危険の発生事象を示す映像を用いても、ＦＲＮに対する解析、評価を行うことができる。
　また、図１５では、高速眼球運動トリガの検出タイミングと、運動準備電位の検出タイミングの両方を用いる態様を、図示しているが、いずれか一方を用いる態様であってもよい。
１、１Ａ：認知能力検出システム
１０、１０Ａ：認知能力検出装置
１２：視覚情報取得部
１３：脳信号取得部
１４、１４Ａ：検出部
１５：解析結果通知部
２０：視覚的刺激提示装置
２１：制御部
２２：映像再生部
２３：映像トリガ出力部
２４：認知対象情報出力部
８０：検出対象者
８１：眼
９０：応答入力部
１００：検出用ギア
１０１：ヘッドバンド
１０２：板部材
１２０：視点位置
１３１：脳信号センサ
１３２：脳信号処理部
１４１、１４１Ａ：サンプリング期間決定部
１４２、１４２Ａ：事象関連電位検出部
１４３、１４３Ａ：視点検出部
１４４、１４４Ａ：解析部
２００：映像
２１０：認知対象
２３０Ｓ：音
２３０Ｖ：マーク
８００：頭部
８０１：後頭部
８０２：前頭部
１３１１、１３１２：脳信号センサ

Claims (9)

  1. 　映像に含まれる視覚的刺激に対する検出対象者の視覚情報を取得する視覚情報取得部と、
    　前記検出対象者の脳信号を取得する脳信号取得部と、
    　前記視覚的刺激の発生タイミングに基づく映像トリガを起点として、前記脳信号から事象関連電位を検出し、前記視覚情報から前記視覚的刺激に対する視点の有無を検出して、前記視覚的刺激に対する認知能力レベルを検出する検出部と、
    　を備える認知能力検出装置。
  2. 　前記事象関連電位はＰ３００を含み、
    　前記検出部は、
    　前記映像トリガに基づく第１サンプリング期間内における前記Ｐ３００の出力レベル、および、前記視覚的刺激の位置に前記視点があるか否かに基づいて、前記認知能力レベルを検出する、
    　請求項１に記載の認知能力検出装置。
  3. 　前記事象関連電位は、ＥＲＮを含み、
    　前記検出対象者の前記映像に対する応答が入力される応答入力部を備え、
    　前記検出部は、
    　前記応答の入力タイミングで決定される応答トリガに基づく第２サンプリング期間内における前記ＥＲＮの出力レベルに基づいて、前記認知能力レベルを検出する、
    　請求項１または請求項２に記載の認知能力検出装置。
  4. 　前記事象関連電位は、ＦＲＮを含み、
    　前記検出対象者に対して認知能力の解析結果を通知する解析結果通知部を備え、
    　前記検出部は、
    　前記通知のタイミングで決定される通知トリガに基づく第３サンプリング期間内における前記ＦＲＮの出力レベルに基づいて、前記認知能力レベルを検出する、
    　請求項１乃至請求項３のいずれかに記載の認知能力検出装置。
  5. 　前記事象関連電位は、運動準備電位を含み、
    　前記検出部は、前記運動準備電位を用いて、前記認知能力レベルとして認知速度を検出する、
    　請求項１乃至請求項４のいずれかに記載の認知能力検出装置。
  6. 　前記検出部は、前記視覚情報から、高速眼球運動を検出し、前記高速眼球運動を用いて、認知能力レベルを検出する、
    　請求項１乃至請求項５のいずれかに記載の認知能力検出装置。
  7. 　前記脳信号取得部は、脳信号を取得する脳信号センサを備え、
    　前記脳信号センサは、前記検出対象者の頭に装着されるヘッドバンドに備えられている、
    　請求項１乃至請求項６のいずれかに記載の認知能力検出装置。
  8. 　前記ヘッドバンドには、透光性を有する板部材が装着されており、
    　前記視覚情報取得部は、前記板部材に備えられたアイトラッキングセンサである、
    　請求項７に記載の認知能力検出装置。
  9. 　請求項１乃至請求項８のいずれかに記載の認知能力検出装置と、
    　前記視覚的刺激を含む映像を提示する視覚的刺激提示装置と、
    　を備える、認知能力検出システム。
PCT/JP2019/050450 2018-12-27 2019-12-24 認知能力検出装置、および、認知能力検出システム WO2020138012A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020563272A JP7276354B2 (ja) 2018-12-27 2019-12-24 認知能力検出装置、および、認知能力検出システム
CN201980086440.4A CN113228138B (zh) 2018-12-27 2019-12-24 认知能力检测装置和认知能力检测系统
US17/336,449 US20210282687A1 (en) 2018-12-27 2021-06-02 Cognitive ability detection apparatus and cognitive ability detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-244616 2018-12-27
JP2018244616 2018-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/336,449 Continuation US20210282687A1 (en) 2018-12-27 2021-06-02 Cognitive ability detection apparatus and cognitive ability detection system

Publications (1)

Publication Number Publication Date
WO2020138012A1 true WO2020138012A1 (ja) 2020-07-02

Family

ID=71129329

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050450 WO2020138012A1 (ja) 2018-12-27 2019-12-24 認知能力検出装置、および、認知能力検出システム

Country Status (4)

Country Link
US (1) US20210282687A1 (ja)
JP (1) JP7276354B2 (ja)
CN (1) CN113228138B (ja)
WO (1) WO2020138012A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113440151A (zh) * 2021-08-03 2021-09-28 合肥科飞康视科技有限公司 一种专注力检测系统、检测方法及系统的使用方法
WO2023141460A1 (en) * 2022-01-21 2023-07-27 Dragonfly Optics Llc Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
WO2023238575A1 (ja) * 2022-06-06 2023-12-14 株式会社村田製作所 認知機能評価装置、認知機能評価システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
JP2014525787A (ja) * 2011-07-20 2014-10-02 エルミンダ リミテッド 脳震盪を推定するための方法およびシステム
US20180188807A1 (en) * 2016-12-31 2018-07-05 Daqri, Llc User input validation and verification for augmented and mixed reality experiences
JP2018122694A (ja) * 2017-01-31 2018-08-09 日産自動車株式会社 運転支援方法及び運転支援装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100268125A9 (en) * 2002-07-03 2010-10-21 Epley Research, L.L.C. Head-stabilized medical apparatus, system and methodology
CN102047304B (zh) * 2008-08-05 2013-04-03 松下电器产业株式会社 驾驶注意力程度判定装置、方法
JP4733242B2 (ja) * 2009-10-15 2011-07-27 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム
CN101779960B (zh) * 2010-02-24 2011-12-14 沃建中 刺激信息认知能力值测试系统及其方法
JP5570386B2 (ja) * 2010-10-18 2014-08-13 パナソニック株式会社 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
JP2013042768A (ja) * 2011-08-22 2013-03-04 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US20170291544A1 (en) * 2016-04-12 2017-10-12 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive alert system for autonomous vehicle
CN107981997B (zh) * 2017-11-23 2019-11-29 郑州布恩科技有限公司 一种基于人脑运动意图的智能轮椅控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014525787A (ja) * 2011-07-20 2014-10-02 エルミンダ リミテッド 脳震盪を推定するための方法およびシステム
WO2014138925A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method
US20180188807A1 (en) * 2016-12-31 2018-07-05 Daqri, Llc User input validation and verification for augmented and mixed reality experiences
JP2018122694A (ja) * 2017-01-31 2018-08-09 日産自動車株式会社 運転支援方法及び運転支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113440151A (zh) * 2021-08-03 2021-09-28 合肥科飞康视科技有限公司 一种专注力检测系统、检测方法及系统的使用方法
CN113440151B (zh) * 2021-08-03 2024-04-12 合肥科飞康视科技有限公司 一种专注力检测系统、检测方法及系统的使用方法
WO2023141460A1 (en) * 2022-01-21 2023-07-27 Dragonfly Optics Llc Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
WO2023238575A1 (ja) * 2022-06-06 2023-12-14 株式会社村田製作所 認知機能評価装置、認知機能評価システム

Also Published As

Publication number Publication date
JPWO2020138012A1 (ja) 2021-10-07
CN113228138A (zh) 2021-08-06
CN113228138B (zh) 2023-06-06
JP7276354B2 (ja) 2023-05-18
US20210282687A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
WO2020138012A1 (ja) 認知能力検出装置、および、認知能力検出システム
Braunagel et al. Ready for take-over? A new driver assistance system for an automated classification of driver take-over readiness
JP4733242B2 (ja) 運転注意量判別装置、方法、および、コンピュータプログラム
JP4772935B2 (ja) 注意状態判定装置、方法およびプログラム
JP4500369B2 (ja) 注意散漫検出装置、注意散漫検出方法およびコンピュータプログラム
WO2010016244A1 (ja) 運転注意量判定装置、方法およびプログラム
Jiménez et al. Gaze fixation system for the evaluation of driver distractions induced by IVIS
US20090312665A1 (en) Mental work load detector and motorcycle including the same
CN109875583B (zh) 一种基于ar技术的疲劳驾驶检测系统及方法
CN105011952A (zh) 驾驶员极速测评系统及方法
Fujisaki et al. 16, Multisensory Timing
KR102122021B1 (ko) 가상현실을 이용한 인지 개선 장치 및 방법
US20210295731A1 (en) Information processing apparatus, information processing system, information processing method, and computer program
JP2009279146A (ja) 画像処理装置、及びプログラム
WO2023238575A1 (ja) 認知機能評価装置、認知機能評価システム
US20060154221A1 (en) Symbols-scanning test and symbols-and-tracking dual-task test
WO2022059784A1 (ja) 情報提供装置、情報提供方法及びプログラム
Hirata Development of Driving Simulation System: MOVIC-T4 and its Application to Traffic Safety Analysis in Underground Urban Express Ways
Pilligundla Driving Simulator: Driving Performance Under Distraction
KR20200032352A (ko) 아두이노 센서와 냉각장치에 의한 졸음방지 장치
Bhati et al. Drowsiness Detection for Aviation, Maritime and Land Security Systems
JPH0556510B2 (ja)
JP2021174046A (ja) 学習装置、学習方法、および測定装置
CN117218924A (zh) 一种基于vr驾驶的数字人交互驾驶培训系统
Iordanescu Object-based auditory visual interactions derive from experiential associations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901630

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563272

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901630

Country of ref document: EP

Kind code of ref document: A1