WO2017179486A1 - 意思解読装置及び意思伝達支援装置 - Google Patents

意思解読装置及び意思伝達支援装置 Download PDF

Info

Publication number
WO2017179486A1
WO2017179486A1 PCT/JP2017/014383 JP2017014383W WO2017179486A1 WO 2017179486 A1 WO2017179486 A1 WO 2017179486A1 JP 2017014383 W JP2017014383 W JP 2017014383W WO 2017179486 A1 WO2017179486 A1 WO 2017179486A1
Authority
WO
WIPO (PCT)
Prior art keywords
stimulation
event
intention
events
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/014383
Other languages
English (en)
French (fr)
Inventor
良平 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2018511979A priority Critical patent/JP6628341B2/ja
Priority to US16/094,637 priority patent/US12201434B2/en
Publication of WO2017179486A1 publication Critical patent/WO2017179486A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0808—Clinical applications for diagnosis of the brain
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute

Definitions

  • the present invention relates to a decoding device that analyzes an electroencephalogram to decode a decision, a decision decoding method, a decision transmission support device that uses the decision decision decoding result, a decision transmission support system, and a program.
  • Brain-Machine controls external devices by focusing on biological signals such as brain activity and communicates intentions to others.
  • Interface (BMI) technology has attracted attention.
  • Non-Patent Document 1 a monkey single neuron activity is taken as an example, and an alternative behavior prediction method based on neural activity is shown.
  • Patent Documents 1 and 2 have proposed a communication support apparatus and method capable of transmitting intention by analyzing brain activity (see Patent Documents 1 and 2).
  • Patent Documents 1 and 2 for example, it is possible to support communication for people with motor disabilities who are difficult to speak and write, and people with severe motor disabilities who are difficult to input various devices using their hands and feet.
  • the present inventor has proposed a method for showing information representation in the brain in a map by electroencephalogram analysis for general subjects including healthy subjects (see Patent Document 3). Further, the present inventor has proposed an apparatus and a method for ordering survey objects by electroencephalogram analysis (see Patent Document 4). In addition, the present inventor has proposed an apparatus and method for evaluating the cognitive function of a subject by electroencephalogram analysis (see Patent Document 5).
  • JP 2012-053656 A JP 2012-073329 A JP 2010-274035 A JP 2013-178601 A International Publication 2015/111331
  • Motor dysfunction which is the main symptom of stroke and intractable nerve disease, makes it difficult to communicate not only with daily activities but also with family members and caregivers. For this reason, conventional assistive technologies that focus on residual motor function are often not effective for people with severe motor function disorders whose symptoms affect the entire body.
  • the present inventor aims at communication support for persons with severe motor function disorders, and as a BMI technique for directly connecting a brain and a machine, in particular, a communication device technique based on an electroencephalogram measured on the scalp (also referred to as “neurocommunicator”).
  • a communication device technique based on an electroencephalogram measured on the scalp also referred to as “neurocommunicator”.
  • the neurocommunicator selects one (target) from a plurality of picture cards displayed on the personal computer screen by deciphering in-brain attention focusing on event-related potentials that reflect the user's selective attention, and sends a related message. It is a system that can be expressed.
  • Previous proposals have shown that high-quality EEG data can be easily measured using a compact wireless electroencephalograph and resin headgear, and that the proposed algorithm can decode targets at high speed and with high accuracy.
  • a predictive model is used to decipher the brain wave pattern unique to each user (time-series data of event-related potentials depending on whether it is a target or non-target) using a pattern discrimination method such as linear discriminant analysis.
  • a data collection process (hereinafter also referred to as “calibration”) for optimizing the value of the weighting coefficient of the equation was indispensable.
  • FIG. 6 is a diagram for explaining a conventional electroencephalogram decoding procedure that requires a teacher signal. As shown in FIG. 6, the electroencephalogram is decoded in the following steps (1), (2), and (3). FIG. 6 is a diagram illustrating an example in which there are eight stimulation events.
  • a step of acquiring data having a teacher signal One of the plurality of stimulation events is instructed to the subject as a “target”, the plurality of stimulation events are presented, and an electroencephalogram is measured as a response of the subject's brain to the stimulation event.
  • the electroencephalogram data that the subject responded with ID1 being “target”, otherwise “non-target”, ID2 being “target”, otherwise “non-target” The electroencephalogram data that the subject has reacted as the “target”, and the same electroencephalogram data are acquired.
  • the acquired electroencephalogram data includes electroencephalogram data when the subject selects the designated target as the target, and electroencephalogram data indicated by the subject with respect to other than the designated target. EEG data is acquired by indicating “target” for all stimulation events.
  • the electroencephalogram data is used as electroencephalogram data having a teacher signal.
  • a discriminant model formula (also referred to as “discriminant function”) as shown in (2) in the figure is created from the electroencephalogram data with the teacher signal acquired in (1).
  • the electroencephalogram data differs for each stimulation event between the electroencephalogram data in the case of the target and the electroencephalogram data in the case of the non-target depending on the channel depending on the electrode position and the elapsed time after the stimulation.
  • a weighting coefficient for discriminant analysis can be obtained according to each channel and the elapsed time after stimulation.
  • the discriminant model formula is a discriminant function that divides into a first class (target) when the discriminant score is positive and a second class (non-target) when the discriminant score is negative.
  • y is a discrimination score.
  • the above steps (1) and (2) are calibration steps.
  • the “condition that any picture card designated by the system side is targeted and other picture cards are not targeted” is presented to the user, and event-related potentials for each picture card are acquired under those conditions. That is, one type of discriminant model expression is generated under the condition that there is a “teacher signal” indicating whether each electroencephalogram data is for a target or non-target.
  • the target picture card may be changed during calibration in order to perform tagging independent of the picture card according to instructions from the system. In this case, the content of the teacher signal (in accordance with the system definition ( Whether it is a target or not).
  • a specific example of calibration will be described.
  • a plurality of picture cards for example, eight kinds of picture cards displayed on the screen are used as stimulation targets, similar to the process of performing intention decoding after calibration.
  • the picture cards are sequentially presented.
  • Each picture card is presented pseudo-randomly.
  • a unit that presents one type of picture card at a time in a pseudo-random manner is called a “block”. Repeat the block multiple times.
  • the repetition of stimulus presentation for the same target is called “one game”. Normally, after the start of each game, the user counts the number of times the target is presented in his / her head.
  • the electroencephalogram data in which it is discriminated whether it is the electroencephalogram data immediately after presenting the instructed target or the electroencephalogram data immediately after the presentation of other non-targets is referred to as “encephalogram data with teacher signal”.
  • EEG data with teacher signal When using EEG data with a teacher signal for creating a discriminant model formula, several games are executed for calibration. In each game, an experimenter (system side) defines, for example, one of eight types of picture cards as a target and teaches the subject (user side). This automatically makes the other seven types non-targets.
  • the weighting coefficient of the discriminant model formula is calculated. Optimize. Usually, the output of the discriminant model formula is set so as to be a positive value for the target and a negative value for the non-target.
  • any picture card can be used for a set of EEG data (there is no teacher signal) when the user arbitrarily selects a target in the process of performing decryption after calibration. It can be estimated whether or not was the target.
  • a process for creating a discriminant model based on the electroencephalogram data acquired by the measurement requires an electroencephalogram measurement for creating a discriminant analysis function (discriminant model formula). Since the (calibration step) is required, there is a problem that it takes time to acquire the electroencephalogram data and to create a discrimination model based on it. On the other hand, there is a problem that a discriminant model formula cannot be created unless brain wave data for calibration is prepared. In addition, there is a problem that accurate brain decision-making cannot be deciphered unless a calibration process is assumed.
  • the present invention is intended to solve these problems, and a decoding device, a decoding method, and a decoding system that analyze a brain wave and decode a decision quickly and accurately without the need for a preliminary preparation process. It is an object of the present invention to provide a communication support device, a communication support method, a communication support system, and a program using a result of decoding a decision in a brain.
  • the present invention is an intention decoding device that analyzes an electroencephalogram and decodes an intention, and for electroencephalogram data of an event-related potential corresponding to a plurality of stimulation events, any one of the plurality of stimulation events.
  • the process of classifying an event and other stimulus events and examining the variance is performed for all the stimulus events, the class with the largest variance is specified, and the one stimulus event in the class is determined as the intention It is characterized by specifying.
  • the process determines the one stimulus event by obtaining a discriminant model expression of a discriminant function for discriminating one stimulus event and the other stimulus events among the plurality of stimulus events.
  • the present invention is a communication support device, and includes a presentation unit that presents a decoding result of the intention decoding device according to (1) or (2).
  • the present invention is a communication support system including a stimulation event presentation device that presents a stimulation event, an electroencephalograph, a processing device that processes electroencephalogram data from the electroencephalograph, and a processing result presentation device.
  • the stimulation event presentation device presents a plurality of stimulation events one or more times
  • the electroencephalograph measures an electroencephalogram immediately after the stimulation event presentation by the stimulation event presentation device
  • the processing device For the electroencephalogram data of event-related potentials corresponding to a plurality of stimulation events, the process of classifying an arbitrary one of the plurality of stimulation events and other stimulation events and examining the variance is performed for all the stimulation events.
  • the classifying unit having the largest variance is specified, the one stimulation event in the classing is specified as the intention, and the presentation device presents a processing result.
  • the present invention is an intention decoding method for analyzing an electroencephalogram to decode an intention, and for any electroencephalogram data of event-related potentials corresponding to a plurality of stimulation events, any one of the plurality of stimulation events.
  • the process of classifying an event and other stimulus events and examining the variance is performed for all the stimulus events, the class with the largest variance is specified, and the one stimulus event in the class is determined as the intention It is characterized by specifying.
  • the present invention is a program, wherein the computer is configured to provide a plurality of stimulation event presentation means for presenting a plurality of stimulation events one or more times, and electroencephalogram data of event-related potentials corresponding to the plurality of stimulation events.
  • the process of examining the variance by classifying an arbitrary one of the stimulus events and the other stimulus events is performed for all the stimulus events, and the classification having the largest variance is specified and It is a program for functioning as a processing means for specifying the one stimulus event in the classification as the intention and a presentation means for presenting the specified one stimulus event.
  • the present invention makes it possible to analyze an electroencephalogram without the need for prior preparation for decoding a decision in the brain. According to the present invention, contents determined in the brain can be quickly and accurately decoded. In addition, by presenting the decryption result by the decision-decryption of the present invention by various means, it becomes possible to communicate the intention to a third party such as an assistant.
  • the present invention is effective not only for healthy persons but also for persons with disabilities.
  • the present invention performs electroencephalogram decoding that does not require a teacher signal.
  • the principle of electroencephalogram decoding under the condition that there is no teacher signal according to the present invention will be described.
  • the principle that can be used to decipher which stimulus is the target, even though it is not calibrated, is that the class of EEG data associated with the target stimulus is a feature of the class of EEG data associated with all remaining non-target stimuli. ⁇
  • the hypothesis is that when you classify with this combination and examine the variance of the feature amount, it should be larger than when you classify any other combination and examine the variance of the feature amount. '' based on.
  • the discrimination score for the measured electroencephalogram data should tend to be higher than in other cases.
  • decoding that focuses on the low average value of the discrimination scores of the remaining non-target stimuli, or the target discrimination score height and the non-target discrimination score It is also possible to perform deciphering focusing on both low average values.
  • the electroencephalogram data is subjected to discriminant analysis to examine the variance of the discrimination score.
  • EEG data is analyzed using discriminant scores based on discriminant analysis, such as “stimulations to be determined when decisions are made in the brain” (for example, discrimination scores are large) and “decisions made in the brain.
  • the determination is made into two groups of “stimulations other than the determination target stimulation” (for example, the determination score is small).
  • a discriminant model formula is not created in advance, but for all of a plurality of stimulus events, other than when the stimulus event is assumed to be a stimulus event determined in the brain.
  • a discriminant model formula for discriminating from the stimulus event is created, and among the discriminant scores calculated by the discriminant model formula, the stimulus event showing the maximum discriminant score is a stimulus event determined in the brain It is something to be determined.
  • FIG. 1 is a schematic diagram for explaining electroencephalogram decoding for decoding decision making in the brain of the present invention.
  • in-brain decision making by brain waves is decoded in the following steps (1), (2), (3), and (4).
  • FIG. 1 shows an example in which there are eight stimulation events.
  • a plurality of stimulation events are presented to the subject without indicating the target, and the brain waves of the subject with respect to the presentation of the stimulation event are measured.
  • a step of generating a plurality of discriminant model expressions assuming each stimulus as a target A discriminant model equation is created from the electroencephalogram data without the teacher signal acquired in (1), as indicated by (2) in the figure.
  • the method of creating is the same as the conventional method, but in the present embodiment, since there is no teacher signal, a plurality of model expressions are generated assuming each stimulus as a target as follows.
  • ID1 is assumed to be a target, and other than that, a discriminant model formula (ID1 target assumption) is created.
  • ID2 is assumed to be a target, and other than that, a discriminant model formula (ID2 target assumption) is created.
  • discriminant model formulas ID3 target assumption
  • Discriminant model formulas ID8 target assumption
  • eight types of discriminant model formulas are created.
  • the expression of the discrimination score y is simply described as the same, but the weighting coefficient w i and the constant term c for each electroencephalogram data are different for each discriminant.
  • x is the value of electroencephalogram data (voltage) at a certain point in a certain channel.
  • the type of x is multiplied by the number of channels (the number of channels according to the number of measurement points to obtain EEG data at multiple measurement points on the scalp of the subject's head) and the data point (each time window after each stimulation). There are combined types (n).
  • the discrimination score for each stimulation event is calculated using the discrimination model formula (ID1 target assumption) obtained in (2).
  • the stimulation event indicating the maximum discrimination score (hereinafter referred to as “maximum discrimination score (discriminant model formula (ID1 target assumption))”) is naturally ID1 assumed to be a target.
  • the discrimination score for each stimulation event is calculated using the discrimination model formula (ID2 target assumption) obtained in (2).
  • the stimulation event indicating the maximum discrimination score (hereinafter referred to as “maximum discrimination score (discriminant model formula (ID2 target assumption))”) is naturally ID2 assumed to be a target.
  • the maximum discrimination score (discrimination model formula (ID3 to ID8 target assumption)) is obtained using each discrimination model formula (ID3 to ID8 target assumption).
  • determination score accumulated with respect to the same stimulation event as a discrimination
  • the steps (2) and (3) classify any one of the plurality of stimulation events and other stimulation events into the electroencephalogram data of event-related potentials corresponding to the plurality of stimulation events. In other words, the process of examining the variance of the feature amount is performed for all stimulation events.
  • a step of identifying which stimulation event provides the discriminant model formula that maximizes the discriminant score Among the maximum discriminant scores obtained in (3) (discriminant model formula (ID1 to ID8 target assumption)), it is specified which of the ID1 to ID8 is the stimulus event that provided the discriminant model formula that is the maximum. .
  • the stimulation event ID 3 that is the cumulative discrimination score 38 is specified and used as the decoding result.
  • the decoding result (stimulation event ID3) is presented as the contents determined in the brain.
  • the step (4) is a step of identifying the classification of the stimulation event that maximizes the variance of the feature quantity and identifying the stimulation event in the classification as the intention.
  • an event-related potential which is a type of brain wave recorded on the scalp, and brain response to the presentation of a stimulus event is analyzed.
  • the embodiment of the present invention includes elements of stimulus event presentation, electroencephalogram measurement, electroencephalogram data analysis, and analysis result presentation.
  • the stimulating event include visual stimuli displayed on the screen, auditory stimuli presented by voice, tactile stimuli by vibrations on the skin, and other taste and olfactory stimuli.
  • FIG. 2 is a diagram for explaining an electroencephalogram decoding apparatus according to an embodiment of the present invention.
  • the apparatus used in the embodiment of the present invention includes a sub-monitor for a subject (hereinafter also referred to as “user”), a brain wave measurement headgear worn by the subject, and a processing device (computer or the like) for stimulus presentation control and data analysis. Is provided.
  • the stimulus event for the subject is presented on the display screen of the sub monitor for the subject.
  • the processing device computer or the like
  • FIG. 3 is a diagram schematically showing the presentation of a plurality of stimulation events, which are cognitive tasks for deciphering decision making in the brain, and the response of the user's brain waves over time in the present embodiment.
  • a stimulus event also referred to as an alerting event or a test stimulus event
  • a simple picture is presented to the user one event (one sheet) at a time.
  • the brain wave of the user who saw this is measured, and the brain wave is analyzed by a brain wave analysis processing device such as a computer.
  • the stimulus event is a symbol, an illustration, a picture, a photograph, or the like. This depends on what the user wants to use as a brain decision presentation. For example, as shown in FIG.
  • a picture representing the contents of assistance desired by the user such as “drink (want to drink)” “air conditioner (want to turn on)” “want to turn (want to wear)” “toilet (want to do)” Use the card display screen.
  • the display screen of 8 types of picture cards is used as a stimulus event.
  • picture cards are sequentially presented.
  • the presentation time for each picture card is 250 milliseconds, and another picture card is presented after 375 milliseconds of blanking.
  • a unit that presents one type of picture card at a time in a pseudo-random manner is called a “block”. Repeat the block multiple times.
  • the repetition of stimulus presentation for the same target an event that the user has set in the brain, an event that the user has made a decision in the brain) is called “one game”.
  • the user After the game starts, the user performs a task of counting the number of target presentations in the head.
  • the counting work is for urging attention to the target, the counting is not necessarily required as long as the user's attention is maintained with respect to the picture card in terms of whether or not the target.
  • attention is given one by one using some clue stimulus after all picture cards are continuously presented on the screen. For example, the brightness of the picture card is changed instantaneously, or words or illustrations are superimposed on the picture card and presented.
  • the user counts the number of times the target is presented in the head while performing the cognitive task, but the target / non-target is set only in his / her brain, and which stimulus is It is not necessary to inform the experimenter (system side) whether or not it is a target. Nevertheless, new data can be decoded without calibration.
  • FIG. 4 is a diagram showing a comparison of cumulative discrimination scores for all stimuli when the stimulus assumed as a target is changed.
  • the discrimination score of each ID is calculated using the discrimination model formula when classification is performed with the stimulus of ID5 as a target and the other stimulus as a non-target.
  • a comparison score was made by accumulating multiple data.
  • the thin broken line connecting the black circles is a plot of the discrimination score of each ID calculated by the discrimination model formula created assuming ID5 as a target.
  • the discrimination score for the stimulus of ID5 is higher than for any other stimulus.
  • the discrimination score of ID2 is much higher than for any other stimulus.
  • a thick broken line connecting white circles is a plot of the discrimination score of each ID calculated by the discrimination model formula created assuming ID2 as a target (target).
  • the value of the “maximum discrimination score (discriminant model formula (ID2 target assumption))” calculated by the discriminant model formula (ID2 target assumption) is the “maximum discrimination score (discriminant model) calculated by the discriminant model formula (ID5 target assumption). It can be seen that the value is higher than the value of the formula (ID5 target assumption)).
  • FIG. 5 is a diagram showing a comparison of discrimination scores for target stimuli when each stimulus is assumed to be a target. For all stimuli, the same analysis as ID2 and ID5 shown in FIG. 4 is performed, and the discrimination scores for the stimulus assumed to be the target are compared. Among them, the vertical axis “cumulative discrimination score”) is the maximum. In fact, this electroencephalogram data was set by the user targeting ID-2. It was proved that the decoding was successful.
  • the type of x is the number of channels (because EEG data at a plurality of measurement points on the scalp of the subject's head is obtained, the number of channels corresponding to the number of measurement points ) And data points (each time window after each stimulus) are described as an example in which there is a type (n).
  • the decoding result can be obtained immediately in one game unit (multiple blocks).
  • the number of items in the discriminant model formula is left as in the conventional method, the number of data required for optimization May not be sufficiently obtained.
  • the number of items in the model formula can be greatly increased by performing dimensional compression, such as obtaining the channel average or using the first and second principal components of the principal component analysis.
  • dimensional compression such as obtaining the channel average or using the first and second principal components of the principal component analysis.
  • the stimulation presentation is performed 80 times, and there are 80 sets of data series.
  • each set of data consists of 8 channels for 15 channels, that is, a total of 120 voltage values
  • the number of data for the number of items in the model is less than 1 time. It becomes impossible to create a model. Therefore, since the number of items can be reduced to one-eighth (15) by using the channel average, the ratio becomes 5.3 and the model can be created.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Psychology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)

Abstract

キャリブレーション工程等のための事前の脳波計測を必要としないで、迅速で、かつ正確に、脳波を解析して意思決定を解読する意思解読装置、解読方法、脳内意思決定解読結果を用いた意思伝達支援装置、意思伝達支援システム及びプログラムを提供する。脳波を解析して意思を解読する意思解読装置であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定する。また、意思伝達支援装置は、意思解読装置の解読結果を提示する提示部を備える。

Description

意思解読装置及び意思伝達支援装置
　本発明は、脳波を解析して意思決定を解読する解読装置、意思解読方法、該意思決定解読結果を用いた意思伝達支援装置、意思伝達支援システム、及びプログラムに関する。
　近年、人の思考や行動と脳活動との関係性について様々な研究がなされ、脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするＢｒａｉｎ－Ｍａｃｈｉｎｅ　Ｉｎｔｅｒｆａｃｅ（ＢＭＩ）技術が注目されている。
　本発明者は、仮想意思決定関数を提案し、その計算方法を示した（非特許文献１参照）。非特許文献１では、サルの単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示した。
　また、本発明者は、脳活動の解析により意思を伝達できる意思伝達支援装置及び方法を提案した（特許文献１、２参照）。特許文献１、２の技術により、例えば、発話や書字の困難な運動障がい者、手足等による各種機器の入力操作が困難な重度の運動障がい者のために、意思伝達を支援できる。
　また、本発明者は、健常者を含めた一般の被験者を対象として、脳波解析により脳内情報表現を地図的に示す手法を提案した（特許文献３参照）。また、本発明者は、脳波解析により、調査対象物を序列化する装置及び方法を提案した（特許文献４参照）。また、本発明者は、脳波解析により、被験者の認知機能を評価する装置及び方法を提案した（特許文献５参照）。
特開２０１２－０５３６５６号公報 特開２０１２－０７３３２９号公報 特開２０１０－２７４０３５号公報 特開２０１３－１７８６０１号公報 国際公開２０１５／１１１３３１
長谷川良平他「Single trial-based prediction of a go/no-go decision in monkey superior colliculus」Neural Networks 19(2006)1223－1232
　脳卒中や神経難病の主症状である運動機能障害は、日常生活動作だけでなく、家族や介護者への意思伝達をも困難にする。そのため、残存運動機能に着目する従来の支援技術では、症状が全身に及ぶ重度の運動機能障がい者に対しては、有効でないことが多い。
　また、脳波データを解析することにより、脳内における意思決定を解読するために、高速で高精度で解読できることが望まれている。本発明者は、重度の運動機能障がい者のコミュニケーション支援を目指し、脳と機械を直結するＢＭＩ技術として、特に頭皮上で計測される脳波に基づく意思伝達装置技術（「ニューロコミュニケーター」とも呼ぶ。）の提案をしてきた（特許文献１、２、３等参照）。ニューロコミュニケーターは、ユーザーの選択的注意を反映する事象関連電位に着目した脳内意思解読によって、パソコン画面上に表示された複数の絵カードのうちから１つ（標的）を選び、関連したメッセージを表出可能なシステムである。これまでの提案では、コンパクトな無線脳波計や樹脂製ヘッドギアを用いて高品質な脳波データを簡便に計測できることや、提案したアルゴリズムで高速・高精度で脳波から標的を解読できることを示した。
　上述のニューロコミュニケーターを利用する前提として、各ユーザーに独特の脳波パターン（標的か非標的かによって異なる事象関連電位の時系列データ）を線形判別分析などのパターン識別手法によって解読するために、予測モデル式の重みづけ係数の値を最適化するためのデータ収集（以下「キャリブレーション」とも呼ぶ。）のプロセスが不可欠であった。
　図６は、教師信号を必要とする従来の脳波解読の手順を説明する図である。図６に示すように、次のステップ（１）（２）（３）で脳波解読を行う。図６は刺激事象が８個の場合の例で説明した図である。
（１）　教師信号の有るデータを取得する工程。
　複数の刺激事象のうちの１つを「標的」として被験者に指示しておき、複数の刺激事象を提示し、刺激事象に対する被験者の脳の反応として、脳波を計測する。図中（１）のように、刺激事象ＩＤ１～８に対して、ＩＤ１が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、ＩＤ２が「標的」、それ以外は「非標的」として被験者が反応した脳波データ、以下同様の脳波データを取得する。取得した脳波データは、指示された標的に対して被験者が標的として選択した際の脳波データと、指示された標的以外に対して被験者が示した脳波データとからなる。全ての刺激事象に対して「標的」と指示して、脳波データを取得する。該脳波データを、教師信号の有る脳波データとして使用する。
（２）　１種類のモデル式を作成する工程。
　（１）で取得した教師信号の有る脳波データから、図中（２）で示すような判別モデル式（「判別関数」とも呼ぶ。）を作成する。脳波データは、刺激事象毎に、標的の場合の脳波データと、非標的の場合の脳波データとで、電極位置によるチャンネルや刺激後の経過時間によって異なっている。各チャンネルと刺激後の経過時間に応じて、判別分析の重み係数を求めることができる。図中、判別モデル式は、判別得点が正のとき第１クラス（標的）、負のとき第２クラス（非標的）に分ける判別関数である。ｙは判別得点である。
（３）　教師信号の無い新規データを解読する工程。
　被験者に対して、標的を指示しないで、複数の刺激事象を提示して被験者の脳波を計測する。得られた、教師信号の無い脳波データについて、（２）で求めた判別モデル式を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点を示す刺激事象を、刺激事象が脳内で意思決定された刺激事象であると、決定する。より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。
　上述の工程（１）（２）はキャリブレーション工程である。キャリブレーション工程では、「システム側の指定する任意の絵カードを標的、それ以外の絵カードを非標的とする条件」をユーザーに提示し、その条件で各絵カードに対する事象関連電位を取得する。つまり、各脳波データが、標的に対するものか、非標的に対するものかの「教師信号」が存在する条件で、判別モデル式が１種類、生成されるのである。なお、システムからの指示で、絵カードに依存しないタグ付けを行うためにキャリブレーション途中で標的の絵カードを変更する場合があるが、その場合もシステム側の定義に応じて教師信号の内容（標的かどうか）が決定される。
　キャリブレーションの具体例を説明する。キャリブレーション工程では、キャリブレーション後の意思解読の実施工程と同様の、画面に表示される複数の絵カード（例えば８種類の絵カード）を刺激対象として用いる。従来の手法では、被験者に対して、特定の絵カードを「標的」と指示した後、絵カードを順次提示する。絵カードは１種類ずつ、擬似ランダムで提示する。絵カード１種類ずつを擬似ランダムで１度ずつ提示する単位を「ブロック」と呼ぶ。ブロックを複数回繰り返す。同一の標的に対する刺激提示の繰り返しを「１ゲーム」と呼ぶ。通常、各ゲームの開始後、ユーザーは標的の提示回数を頭の中でカウントする作業を行う。これは標的に対する注意を促すためであるが、標的かどうかという観点からユーザーの注意が絵カードに対する維持される限り、必ずしもカウントは必要ではない。指示した標的を提示した直後の脳波データであるか、それ以外の非標的の提示直後の脳波データであるか、が区別されている脳波データを、「教師信号付き脳波データ」という。判別モデル式作成のために教師信号付き脳波データを用いる場合には、キャリブレーションのために数ゲームを実施する。各ゲームでは、実験者（システム側）が例えば８種類の絵カードのうち、１種類を標的と定義し、被験者（ユーザー側）に教示する。これにより自動的にそれ以外の７種類は非標的となる。数ゲーム分の刺激提示によって、判別モデル式の項目数との関係（項目数の多さに比例して必要なデータ数が増える）で十分なデータを取得後、判別モデル式の重みづけ係数を最適化する。通常、判別モデル式の出力が標的に対して正の値に、非標的に対して負の値になるように設定する。この一連の作業によって生成された判別モデル式を用いることにより、その後の（教師信号の無い）新規データに対する解読が可能となる。
　キャリブレーションを予め行っておくことによって、キャリブレーション後の意思解読の実施工程で、ユーザーが標的を任意に選んだ時の脳波データのセット（教師信号が存在しない）に対しても、どの絵カードが標的であったのかが推定できることになる。
　しかしながら、このようなモデル生成のためのキャリブレーションは、重度患者にとっては体力を消耗する余分なプロセスであり、このプロセスを省略できる手法の可能性を本発明者は検討してきた。
　以上のように、従来の脳波解析による意思解読技術では、判別分析関数（判別モデル式）を作成するための脳波計測を必要とし、該計測により取得した脳波データに基づいて判別モデルを作成する工程（キャリブレーション工程）を必要としたので、脳波データの取得やそれに基づく判別モデル作成処理に、時間を要するという問題がある。一方、キャリブレーションのための脳波データを準備しないと、判別モデル式を作成することができないという問題がある。また、キャリブレーション工程を前提としないと、正確な脳内意思決定を解読できないという問題がある。
　本発明は、これらの問題を解決しようとするものであり、事前の準備工程を必要としないで迅速で、かつ正確に、脳波を解析して意思決定を解読する解読装置、解読方法、解読システム、プログラム、並びに脳内意思決定解読結果を用いた意思伝達支援装置、意思伝達支援方法、意思伝達支援システム及びプログラムを提供することを目的とする。
　本発明は、前記目的を達成するために、以下の特徴を有する。
（１）　本発明は、脳波を解析して意思を解読する意思解読装置であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする。
（２）　前記（１）において、前記処理は、前記複数の刺激事象のうちの１つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記１つの刺激事象の判別得点を算出する処理であり、得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする。
（３）　本発明は、意思伝達支援装置であって、前記（１）又は（２）記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする。
（４）　本発明は、刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、前記刺激事象提示装置は、複数の刺激事象を、それぞれ１回以上提示し、前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定し、前記提示装置は処理結果を提示することを特徴とする。
（５）　本発明は、脳波を解析して意思を解読する意思解読方法であって、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする。
（６）　本発明は、プログラムであって、コンピューターを、複数の刺激事象を、それぞれ１回以上提示する刺激事象提示手段と、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定する処理手段と、特定された前記１刺激事象を提示する提示手段として機能させるためのプログラムである。
　本発明により、脳内意思決定解読のための事前の準備を必要としないで、脳波を解析することが可能になる。本発明により、脳内で意思決定される内容を、迅速にかつ高精度で解読できる。また、本発明の意思決定解読による解読結果を種々の手段により提示することにより、介助者等の第三者に意思伝達をすることが可能となる。
　本発明は、健常者は勿論、運動障がい者等に対して、有効である。
本発明の実施形態の、教師信号が必要ない脳波解読手順を説明する図。 本発明の実施形態の脳波解読装置を説明する図。 本発明の実施形態の、脳波解読方法における認知課題の刺激提示を、時間経過と共に表示し、かつ各刺激提示に対する脳波の反応の相違を説明する図。 本発明の実施形態における、脳波データに対して、標的と想定した刺激がＩＤ２又はＩＤ５の場合の、全刺激に対する累積判別得点を求めた例を説明する図。 本発明の実施形態における、脳波データに対して、標的と想定した刺激がＩＤ１～８の場合の、標的刺激の累積判別得点を求めた例を説明する図。 従来の、教師信号を必要とする脳波解読手順を説明する図。
　本発明の実施形態について以下説明する。
　本発明は、教師信号を必要としない脳波解読を行うものである。本発明の、教師信号が存在しない条件での脳波解読の原理について説明する。キャリブレーションを行わないにも関わらず、どの刺激が標的であるかを解読できる原理は、「標的刺激と関連した脳波データのクラスは、残り全ての非標的刺激と関連した脳波データのクラスの特徴と著しく異なるために、この組み合わせでクラス分けを行い特徴量の分散を調べた時の方が、他のどの組み合わせのクラス分けを行い特徴量の分散を調べたときよりも大きくなるはず」という仮説に基づく。この仮説に基づけば、標的と想定した刺激が本当に標的だった場合に、計測された脳波データに対する判別得点が他の場合に比べて高い傾向にあるはずである。なお、標的に与えられる判別得点の高さ以外にも、非標的となる残りの刺激の判別得点の平均値の低さに着目した解読、もしくは標的の判別得点の高さと非標的の判別得点の平均値の低さの両方に着目した解読を行うことも可能である。本願で用いる多変量解析では、脳波データを解析して、その脳波データの特徴量の分散を調べるために、脳波データに例えば判別分析を行って判別得点の分散を調べた。
　本発明では、複数の刺激に対する脳波データから、複数の刺激のうちいずれの刺激が「脳内で意思決定が行われた場合の決定対象の刺激」であるかどうかを判別する。そのために、脳波データを、判別分析による判別得点により、「脳内で意思決定が行われた場合の決定対象の刺激」（例えば、判別得点が大）と「脳内で意思決定が行われた場合の決定対象の刺激以外の刺激」（例えば、判別得点が小）の２つの群に判別する。ここで、本発明では、例えば、判別モデル式を予め作成しておくのではなく、複数の刺激事象のうちの全てについて、刺激事象が脳内で意思決定された刺激事象と想定したときの他の刺激事象と判別するための判別モデル式を作成し、該判別モデル式により算出される判別得点のうちで、最大の判別得点を示す刺激事象を、脳内で意思決定された刺激事象であると、決定しようとするものである。
　図１は、本発明の脳内意思決定を解読するための、脳波解読を説明する概略図である。本発明の実施形態では、図１に示すように、次のステップ（１）（２）（３）（４）で脳波による脳内意思決定を解読する。図１は、刺激事象が８個の場合の例である。
（１）　標的がどの刺激であるか不明のデータを計測する工程。
　被験者に対して、標的を指示しないで、複数の刺激事象を提示して、刺激事象の提示に対する被験者の脳波を計測する。
（２）　各刺激を標的と想定して複数の判別モデル式を生成する工程。
　（１）で取得した、教師信号の無い脳波データから、図中（２）で示すように、判別モデル式を作成する。作成する方法は、従来と同じであるが、本実施形態では、教師信号が無いので、次のように各刺激を標的と想定して複数のモデル式を生成する。前記教師信号の無い脳波データを用いて、ＩＤ１を標的と想定し、それ以外は非標的として、判別モデル式（ＩＤ１標的想定）を作成する。前記教師信号の無い脳波データを用いて、ＩＤ２を標的と想定し、それ以外は非標的として、判別モデル式（ＩＤ２標的想定）を作成する。同様にして、判別モデル式（ＩＤ３標的想定）、・・・判別モデル式（ＩＤ８標的想定）と、８種類の判別モデル式を作成する。ここで、図中では簡略的に、判別得点ｙの式を同じに記載しているが、各脳波データに対する重みづけ係数ｗｉと定数項ｃは、各判別式で異なるものである。なお、ｙの式において、ｘはあるチャネルのある時点における脳波データ（電圧）の値である。ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイント（各刺激後の各時間窓）を掛け合わせた種類（ｎ）が存在する。
（３）　各モデル式が算出する、標的に対する累積判別得点を、比較する工程。
　（１）で取得した、教師信号の無い脳波データについて、（２）で求めた判別モデル式（ＩＤ１標的想定）を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点（以下「最大判別得点（判別モデル式（ＩＤ１標的想定））」と呼ぶ。）を示す刺激事象は、当然、標的と想定したＩＤ１である。同様に、（１）で取得した、教師信号の無い脳波データについて、（２）で求めた判別モデル式（ＩＤ２標的想定）を用いて、各刺激事象毎の判別得点を算出する。算出される判別得点のうちで、最大の判別得点（以下「最大判別得点（判別モデル式（ＩＤ２標的想定））」と呼ぶ。）を示す刺激事象は、当然、標的と想定したＩＤ２である。以下同様にして、各判別モデル式（ＩＤ３～ＩＤ８標的想定）を用いて、最大判別得点（判別モデル式（ＩＤ３～ＩＤ８標的想定））を求める。なお、より解読の精度をあげるために、判別得点として、同じ刺激事象に対する累積した判別得点で実施する。得られた最大判別得点（判別モデル式（ＩＤ１～ＩＤ８標的想定））は、図中に、累積判別得点として、２５、１２、３８、・・２１と図示されている。累積判別得点を比較する。
　前記（２）と（３）の工程が、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして特徴量の分散を調べる処理を、全ての刺激事象に対して行う工程である。
（４）　判別得点が最大となる判別モデル式を提供した刺激事象がどれかを特定する工程。
　（３）で求めた最大判別得点（判別モデル式（ＩＤ１～ＩＤ８標的想定））のうち、最大となる判別モデル式を提供した刺激事象が、ＩＤ１～ＩＤ８のうちのどれであるかを特定する。図１の例では、累積判別得点３８である刺激事象ＩＤ３を特定し、解読結果とする。解読結果（刺激事象ＩＤ３）を、脳内で意思決定された内容として、提示する。
　前記（４）の工程が、特徴量の分散が最も大きくなる刺激事象のクラス分けを特定して該クラス分けにおける該刺激事象を前記意思と特定する工程である。
　本発明では、脳活動、特に頭皮上で記録される脳波の種類である事象関連電位に着目して、刺激事象の提示に対する脳の反応性を分析する。具体的には、本発明の実施形態は、刺激事象提示、脳波計測、脳波データ解析、解析結果の提示の要素を含む。刺激事象として、画面に表示する視覚刺激、音声で提示する聴覚刺激、皮膚への振動等による触覚刺激、ほか味覚や嗅覚刺激が挙げられる。
　図２は、本発明の実施形態における脳波解読装置を説明する図である。本発明の実施形態で用いる装置は、被験者（以下「ユーザー」ともいう。）用サブモニターと、被験者が装着する脳波計測用ヘッドギアと、刺激提示制御およびデータ解析用の処理装置（コンピューター等）とを備える。被験者用サブモニターの表示画面に被験者用の刺激事象を提示する。なお、刺激提示制御およびデータ解析用の処理装置（コンピューター等）と、被験者用サブモニターと、解読結果を提示する表示画面又は音声等出力装置とを、１つのコンピューターで実現できる。
（第１の実施の形態）
　本実施の形態を図１～５を参照して以下説明する。図２のような脳波解読装置を用いて解読を実施する。
　図３は、本実施の形態における、脳内意思決定解読用認知課題となる複数の刺激事象の提示と、これに対するユーザーの脳波の反応とを、時間経過と共に模式的に示す図である。図３に示すように、刺激事象（注意喚起事象、テスト刺激事象ともいう。）、例えば簡単な絵を１事象（１枚）ずつユーザーに提示する。これを見たユーザーの脳波を計測し、該脳波をコンピューター等の脳波解析処理装置により解析する。刺激事象は、記号、イラスト、絵、写真などである。これはユーザーが脳内意思決定の提示として利用したい内容により異なる。例えば、図３のように、「飲み物（が飲みたい）」「エアコン（をつけたい）」「寝返り（をしたい）」「トイレ（をしたい）」等の、ユーザーが希望する介助内容を表す絵カードの表示画面を用いる。
　教師信号が無い状態での脳波解読が可能な認知課題の詳細を述べる。
　例えば、８種類の絵カードの表示画面を刺激事象として用いる。認知課題が開始されると、絵カードが順次提示される。各絵カードの１回当たりの提示時間は２５０ミリ秒間とし、３７５ミリ秒のブランク後、別の絵カードを提示する。絵カード１種類ずつを擬似ランダムで１度ずつ提示する単位を「ブロック」と呼ぶ。ブロックを複数回繰り返す。同一の標的（ユーザーが脳内で設定している事象、ユーザーが脳内で意思決定している事象）に対する刺激提示の繰り返しを「１ゲーム」と呼ぶ。
　ゲームの開始後、ユーザーは、標的の提示回数を頭の中でカウントする作業を行う。カウント作業は、標的に対する注意を促すためであるが、標的かどうかという観点からユーザーの注意が絵カードに対する維持される限り、必ずしもカウントは必要ではない。絵カードを一枚ずつ提示する方法以外にも、全絵カードを画面上に並べて提示し続けたうえで、何らかの手がかり刺激を用いて一つずつ注意付けを行う場合もある。例えば、瞬間的に絵カードの輝度を変えたり、言葉やイラストを絵カードに重ねて提示したりする。
　本実施形態では、上述のように、ユーザーは、認知課題遂行中に、標的の提示回数を頭の中でカウントするが、標的・非標的の設定は自らの脳内でのみ行い、どの刺激が標的であるかどうかは実験者（システム側）に知らせる必要は一切無い。それにもかかわらず、キャリブレーションを行わずとも新規データの解読が可能となる。
　計測により取得した脳波データを、図１ステップ（２）（３）（４）の工程により解析する。
　実際の実験データを用いて、キャリブレーションを行わずに標的の解読ができることを次に示す。図４は、標的として想定する刺激を変えた時の、全刺激に対する累積判別得点の比較を示す図である。例えば、図４では、ＩＤ５の刺激を標的と想定し、それ以外の刺激を非標的としてクラス分けを行った際の判別モデル式を用いて、各ＩＤの判別得点を算出してみた。実験では複数のデータを累積した判別得点で比較した。黒丸を結ぶ細線の折れ線は、ＩＤ５をターゲット（標的）と想定して作成した判別モデル式で算出した、各ＩＤの判別得点を、プロットしたものである。その結果、当然のことながら、ＩＤ５の刺激に対する判別得点は、他のどの刺激に対してもよりも高くなる。一方、同様の解析を、ＩＤ２が標的と想定して行ってみると、ＩＤ２の判別得点が、他のどの刺激に対してよりもはるかに高くなっている。白丸を結ぶ太線の折れ線は、ＩＤ２をターゲット（標的）と想定して作成した判別モデル式で算出した、各ＩＤの判別得点を、プロットしたものである。さらに、判別モデル式（ＩＤ２標的想定）で算出した「最大判別得点（判別モデル式（ＩＤ２標的想定））」の値は、判別モデル式（ＩＤ５標的想定）で算出した「最大判別得点（判別モデル式（ＩＤ５標的想定））」の値よりも高くなっていることが分かる。
　図５は、各刺激を標的とそれぞれ想定したときの、標的刺激に対する判別得点の比較を示す図である。全刺激に対して、図４に示したＩＤ２やＩＤ５と同様の解析を行い、標的と想定した刺激に対する判別得点どうしを比較してみると、やはりＩＤ２を標的として想定したときに判別得点（図中では縦軸「累積判別得点」）が最大になっている。実際、この脳波データは、ＩＤ－２を標的としてユーザーが設定していたものであった。解読に成功していたことが、実証された。
（第２の実施形態）
　第１の実施の形態では、判別得点ｙの式として、ｘの種類はチャンネル数（被験者の頭部の頭皮上の複数の測定箇所における脳波データを得るので、測定箇所の数に応じたチャンネル数）とデータポイント（各刺激後の各時間窓）を掛け合わせた種類（ｎ）が存在する例で説明した。教師信号を必要としない解読法は、１ゲーム単位（複数ブロック）で即時に解読結果を求めることができる一方、判別モデル式の項目数を従来方式のままにすると、最適化に必要なデータ数が十分得られていない場合もある。そのような場合には、チャンネル平均を求めたり、主成分分析の第１～２主成分を用いたりするなど、次元圧縮を行うことによってモデル式の項目数、すなわち重みづけの係数の種類を大幅に削減する。例えば、８種類の刺激（標的１種類と非標的７種類）を１０ブロック間で提示すると８０回の刺激提示が行われ、８０セット分のデータ系列が存在する。一方、各１セットのデータの構成要素が１チャンネル１５時点ずつの８チャンネル分、つまり計１２０個の電圧値であるとすると、モデルの項目数に対するデータ数が１倍未満の比率しかないために、モデルを作成することが不可能となる。そこで、チャンネル平均を用いることで項目数を８分の１（１５個）に減らすことができるために、比率も５．３となり、モデルの作成が可能となる。
　上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。

Claims (6)

  1. 　脳波を解析して意思を解読する意思解読装置であって、
    　複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする意思解読装置。
  2. 　前記処理は、前記複数の刺激事象のうちの１つの刺激事象とその他の刺激事象とを判別する判別関数の判別モデル式を求めて前記１つの刺激事象の判別得点を算出する処理であり、
    　得られた判別得点の値に基づき、前記分散が最も大きくなる刺激事象のクラス分けを特定することを特徴とする請求項１記載の意思解読装置。
  3. 　請求項１又は２記載の意思解読装置の解読結果を提示する提示部を備えることを特徴とする意思伝達支援装置。
  4. 　刺激事象を提示する刺激事象提示装置と、脳波計と、該脳波計からの脳波データを処理する処理装置と、処理結果の提示装置とを、備える意思伝達支援システムであって、
    　前記刺激事象提示装置は、複数の刺激事象を、それぞれ１回以上提示し、
    　前記脳波計は、該刺激事象提示装置による刺激事象提示直後の脳波を計測し、
    　前記処理装置は、複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定し、
    　前記提示装置は処理結果を提示することを特徴とする意思伝達支援システム。
  5. 　脳波を解析して意思を解読する意思解読方法であって、
    　複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定することを特徴とする意思解読方法。
  6. 　コンピューターを、
    　複数の刺激事象を、それぞれ１回以上提示する刺激事象提示手段と、
    　複数の刺激事象に対応する事象関連電位の脳波データについて、前記複数の刺激事象のうちの任意の１刺激事象とその他の刺激事象とをクラス分けして分散を調べる処理を、全ての刺激事象に対して行い、前記分散が最も大きくなるクラス分けを特定して該クラス分けにおける前記１刺激事象を前記意思と特定する処理手段と、
    　特定された前記１刺激事象を提示する提示手段として機能させるためのプログラム。
PCT/JP2017/014383 2016-04-14 2017-04-06 意思解読装置及び意思伝達支援装置 Ceased WO2017179486A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018511979A JP6628341B2 (ja) 2016-04-14 2017-04-06 意思解読装置及び意思伝達支援装置
US16/094,637 US12201434B2 (en) 2016-04-14 2017-04-06 Intention decoding apparatus and intention conveyance assist apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-081229 2016-04-14
JP2016081229 2016-04-14

Publications (1)

Publication Number Publication Date
WO2017179486A1 true WO2017179486A1 (ja) 2017-10-19

Family

ID=60041499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/014383 Ceased WO2017179486A1 (ja) 2016-04-14 2017-04-06 意思解読装置及び意思伝達支援装置

Country Status (3)

Country Link
US (1) US12201434B2 (ja)
JP (1) JP6628341B2 (ja)
WO (1) WO2017179486A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7069716B2 (ja) * 2017-12-28 2022-05-18 株式会社リコー 生体機能計測解析システム、生体機能計測解析プログラム及び生体機能計測解析方法
CN111752392B (zh) * 2020-07-03 2022-07-08 福州大学 脑机接口中精准视觉刺激控制方法
WO2024121115A1 (en) * 2022-12-06 2024-06-13 Stichting Radboud Universiteit Processing of event-evoked physiological signals

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275619A (ja) * 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
JP2005021569A (ja) * 2003-07-02 2005-01-27 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法
WO2011105000A1 (ja) * 2010-02-25 2011-09-01 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
JP2012053656A (ja) * 2010-09-01 2012-03-15 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法
JP2012073329A (ja) * 2010-09-28 2012-04-12 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083571A (en) * 1988-04-18 1992-01-28 New York University Use of brain electrophysiological quantitative data to classify and subtype an individual into diagnostic categories by discriminant and cluster analysis
US7117108B2 (en) * 2003-05-28 2006-10-03 Paul Ernest Rapp System and method for categorical analysis of time dependent dynamic processes
US20100145215A1 (en) * 2008-12-09 2010-06-10 Neurofocus, Inc. Brain pattern analyzer using neuro-response data
JP5414039B2 (ja) 2009-06-01 2014-02-12 独立行政法人産業技術総合研究所 脳情報の表示方法及び装置
JP6146760B2 (ja) 2012-02-28 2017-06-14 国立研究開発法人産業技術総合研究所 序列化装置、序列化方法及びプログラム
WO2015111331A1 (ja) 2014-01-23 2015-07-30 独立行政法人産業技術総合研究所 認知機能評価装置、方法、システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004275619A (ja) * 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
JP2005021569A (ja) * 2003-07-02 2005-01-27 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法
WO2011105000A1 (ja) * 2010-02-25 2011-09-01 パナソニック株式会社 脳波インタフェースシステム、脳波インタフェース提供装置、脳波インタフェースの実行方法、および、プログラム
JP2012053656A (ja) * 2010-09-01 2012-03-15 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法
JP2012073329A (ja) * 2010-09-28 2012-04-12 National Institute Of Advanced Industrial & Technology 意思伝達支援装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONCHIN, EMANUEL ET AL.: "The Mental Prosthesis: Assessing the Speed of a P300-Based Brain- Computer Interface", IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, vol. 8, no. 2, June 2000 (2000-06-01), pages 174 - 179, XP011053699 *
RYOHEI HASEGAWA: "EEG-based Brain-Machine Interfaces for Practical Communication Aid", THE JOURNAL OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, vol. 95, no. 9, 1 September 2012 (2012-09-01), pages 834 - 839 *

Also Published As

Publication number Publication date
JPWO2017179486A1 (ja) 2019-03-07
JP6628341B2 (ja) 2020-01-08
US20200037911A1 (en) 2020-02-06
US12201434B2 (en) 2025-01-21

Similar Documents

Publication Publication Date Title
JP6404239B2 (ja) 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム
Sabio et al. A scoping review on the use of consumer-grade EEG devices for research
EP2613222B1 (en) Apparatus and method to determine a decision of a user based on brain wave analysis
Hosseini et al. Emotion recognition method using entropy analysis of EEG signals
US20170344706A1 (en) Systems and methods for the diagnosis and treatment of neurological disorders
KR101739058B1 (ko) 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치
JP6472144B2 (ja) 脳波による類似度の評価方法、評価装置、評価システム及びプログラム
Ekman et al. Assessment of facial behavior in affective disorders
Mousavi et al. Improving motor imagery BCI with user response to feedback
Yuvaraj et al. Hemispheric asymmetry non-linear analysis of EEG during emotional responses from idiopathic Parkinson’s disease patients
US20160029965A1 (en) Artifact as a feature in neuro diagnostics
US20050277813A1 (en) Brain state recognition system
Ren et al. Comparison of the use of blink rate and blink rate variability for mental state recognition
Jaswal et al. Empirical analysis of multiple modalities for emotion recognition using convolutional neural network
Babu et al. Emotion recognition in virtual and non-virtual environments using EEG signals: Dataset and evaluation
Ehrlich et al. When to engage in interaction—And how? EEG-based enhancement of robot's ability to sense social signals in HRI
CN112744220A (zh) 利用脑波生成图像的装置和方法
JP6628341B2 (ja) 意思解読装置及び意思伝達支援装置
Zhang EEG signals feature extraction and artificial neural networks classification for the diagnosis of schizophrenia
Sharma et al. Eeg-based cognitive load estimation of acoustic parameters for data sonification
Ivanitsky Individual stable patterns of human brain rhythms as a reflection of mental processes
Liu et al. EEG-based emotion estimation using adaptive tracking of discriminative frequency components
Alsuradi et al. An ensemble deep-learning approach for single-trial EEG classification of vibration intensity
Suwandi et al. Ssvep braincomputer interface performance examination based on the color and shape stimulus configuration
Karthikeyan et al. Mental Stress Assessment in Working Environment for an Individual Using Wearable Sensor of EEG and Pulse Signal Measured with Help of Deep Learning Algorithm

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018511979

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17782302

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17782302

Country of ref document: EP

Kind code of ref document: A1