WO2022107292A1 - プログラム、情報処理方法、及び情報処理装置 - Google Patents

プログラム、情報処理方法、及び情報処理装置 Download PDF

Info

Publication number
WO2022107292A1
WO2022107292A1 PCT/JP2020/043280 JP2020043280W WO2022107292A1 WO 2022107292 A1 WO2022107292 A1 WO 2022107292A1 JP 2020043280 W JP2020043280 W JP 2020043280W WO 2022107292 A1 WO2022107292 A1 WO 2022107292A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
electroencephalogram
measured
brain wave
brain
Prior art date
Application number
PCT/JP2020/043280
Other languages
English (en)
French (fr)
Inventor
泰彦 今村
拓也 茨木
Original Assignee
Ｖｉｅ Ｓｔｙｌｅ株式会社
株式会社エヌ・ティ・ティ・データ経営研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｅ Ｓｔｙｌｅ株式会社, 株式会社エヌ・ティ・ティ・データ経営研究所 filed Critical Ｖｉｅ Ｓｔｙｌｅ株式会社
Priority to US18/037,722 priority Critical patent/US20240019932A1/en
Priority to PCT/JP2020/043280 priority patent/WO2022107292A1/ja
Priority to JP2022563509A priority patent/JPWO2022107292A1/ja
Publication of WO2022107292A1 publication Critical patent/WO2022107292A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A61B5/6817—Ear canal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/65—Housing parts, e.g. shells, tips or moulds, or their manufacture
    • H04R25/652—Ear tips; Ear moulds

Definitions

  • the present invention relates to a program, an information processing method, and an information processing device.
  • the electroencephalogram signal When acquiring an electroencephalogram signal from an earphone, the electroencephalogram signal is acquired from two electrodes in contact with the left and right ear canals. Therefore, the signal source provided in the earphone is limited as compared with the international 10/20 method for measuring the outer shape of the head, which is standardly used as the arrangement of electrodes.
  • the brain function is predicted based on the electroencephalogram (EEG)
  • EEG electroencephalogram
  • the brain function is estimated by predicting the excitement state of each part from the voltage.
  • cognition is related to the prefrontal cortex of the neocortex
  • visual recognition is related to the parietal lobe and occipital lobe.
  • the temporal lobe near the ear canal is known to be associated with hearing and speech / language recognition. Therefore, in the electroencephalogram acquired from the ear canal by the earphone, the signal related to hearing and voice can be acquired with high quality, but the signal associated with another part such as vision and thought cannot be acquired with high quality.
  • one aspect of the present invention is to find a relationship between a brain wave measured from the external auditory canal and a brain wave measured from a brain activity measuring instrument, and by using this relationship, based on the brain wave measured from the external auditory canal.
  • the program according to one aspect of the present invention is to acquire the first electroencephalogram information measured by the first bioelectrode in contact with the external auditory canal of a predetermined user to the processor included in the information processing apparatus, and the same timing as the first electroencephalogram information. Acquiring the second electroencephalogram information measured by the brain activity measuring device for the predetermined user, the relationship between the first feature of the first electroencephalogram information and the second feature of the second electroencephalogram information. To learn sex and to generate a learning model that learned the relationship.
  • the brain activity measuring device it is possible to estimate the brain activity measured from the brain activity measuring device based on the brain activity measured from the ear canal.
  • the user who measures the electroencephalogram wears an earphone set 10 having an electrode provided in the ear canal.
  • the neck-mounted earphone set 10 is used, but any earphone may be used as long as the electroencephalogram signal (first electroencephalogram signal) can be sensed from the ear canal.
  • an earphone set that acquires a reference signal from the earlobe, an earphone that acquires a reference signal or a ground signal from another position (another position of the ear canal), a completely wireless earphone, or the like can be used.
  • occipital region (O1, O2) For the middle temporal region (T3, T4), occipital region (T5, T6), ear canal (A1, A2), median frontal pole (Fz), median center (Cz), median parietal region (Pz), etc.
  • An electrode is provided.
  • the example shown in FIG. 2 is an example, and the number of electrodes may be reduced or increased as needed.
  • the number of electrodes provided on the scalp is larger than the number of electrodes provided on the ear canal.
  • the information processing device 30 connected to the head gear 20 is, for example, a measuring device, which acquires an electroencephalogram signal (second electroencephalogram signal) measured from above the measured scalp (or above the skull) and aggregates it as necessary. Perform analysis, output, etc.
  • the information processing apparatus 30 may transmit the acquired electroencephalogram signals of each portion to the information processing apparatus 40 via the network N.
  • the earphone set 10 acquires the first electroencephalogram signal from the ear canal at the same timing as the measurement of the second electroencephalogram signal in the scalp, and transmits the first electroencephalogram signal to the information processing apparatus 40 via the network N.
  • the information processing device 40 is, for example, a server, and analyzes and extracts the relationship between the second electroencephalogram signal in the scalp and the first electroencephalogram signal in the ear canal, which are measured at the same timing. For example, the information processing apparatus 40 extracts the relationship between the first feature of the first electroencephalogram signal and the second feature of the second electroencephalogram signal. As a specific example, the information processing apparatus 40 uses a predetermined learning model to learn a first electroencephalogram signal and a second electroencephalogram signal, thereby extracting features of each signal and relating each feature. To learn. In this case, the information processing device 40 may transmit the learning model of the learning result to the information processing device 50. Further, the information processing device 30 and the information processing device 40 may be the same device.
  • the information processing device 50 is, for example, a processing terminal such as a mobile terminal held by the user, and accepts a user operation by using an electroencephalogram signal acquired from the earphone set 10.
  • the information processing apparatus 50 acquires a learning model from the information processing apparatus 40, and uses this learning model to estimate an electroencephalogram signal measured by a brain activity measuring device from the electroencephalogram signals in the external auditory canal that are sequentially acquired.
  • the information processing apparatus 50 further estimates the user's brain activity information (what the user thinks, etc.) using the estimated brain wave signal, and executes a process corresponding to the estimated brain activity. That is, the information processing device 50 has an interface for operating the device based on the electroencephalogram signal.
  • the brain wave signal capable of acquiring a wide range of brain information from the brain wave signal measured by the external auditory canal can be obtained. It can be estimated, and the estimated brain wave signal on the scalp can be used to predict brain activity.
  • FIG. 3 is a diagram showing an example of the earphone set 10 according to the embodiment.
  • the earphone set 10 shown in FIG. 3 has a pair of earphones 100R and 100L and a neck hanging portion 110.
  • the earphones 100R and 100L are connected to the neck hanging portion 110 by using a cable capable of signal communication, but may be connected by wireless communication.
  • RL is omitted.
  • the rod-shaped members 112R and 112L on both sides of the neck hanging portion 110 are heavier on the tip side than on the base side (center member side), whereby the electrodes 122 and 124 are appropriately attached to the wearer's neck. It will be crimped. For example, a weight is provided on the tip end side of the rod-shaped members 112R and 112L.
  • the positions of the electrodes 122 and 124 are not limited to this position.
  • the ear tip 106 including the elastic electrode is located at the sound guide port, it is possible to prevent interference due to sound vibration due to the elasticity of the elastic electrode itself. Further, by adopting an elastic member for the housing, it is difficult to transmit sound vibration to the elastic electrode of the ear tip 106 by this elastic member, and it is possible to prevent interference due to sound vibration.
  • the audio / sound processor may cut a predetermined frequency only when the brain wave signal is sensed.
  • the electroencephalogram signal is also measured from above the scalp. This makes it possible to check whether or not the two EEG signals are related from each EEG signal acquired at the same timing.
  • each acquired EEG signal is divided into windows at unit time (for example, 4 seconds) intervals, and Fourier transform is performed for each unit time to convert it into a frequency power spectrum.
  • the window is slid at arbitrary intervals (eg 0.5 seconds) and the transformations described above are repeated.
  • the relationship between the characteristics of the EEG signal in the ear canal at the same time and the characteristics of the EEG signal on the scalp is learned using, for example, machine learning.
  • A be the target electroencephalogram signal (superficial electroencephalogram signal) to be finally acquired.
  • A is prepared as a matrix (vector) of Na electrodes ⁇ Da dimension (number of dimensions of a specific frequency).
  • B be the electroencephalogram signal of the ear canal.
  • B is prepared as a matrix (vector) of Nb electrodes ⁇ Db dimension.
  • the Na ⁇ Da data of A is used as the objective variable
  • the Nb ⁇ Db data of B is used as the predictor.
  • sparse modeling is used as an example of a learning model for learning.
  • a regularization algorithm such as a LASSO algorithm or an Elastic Net that avoids overfitting and selects a predictor with high accuracy may be used.
  • (3) The process of (2) is executed for Da ⁇ Na batches.
  • a model (inference formula) for inferring the signal of A from the signal of B is generated.
  • the model learned by (3) (first learning model) is used, and even if the EEG signal on the scalp is not used (even if there is no signal A), the EEG signal measured by the external auditory canal is used. Based on this, the EEG signal on the scalp is estimated.
  • the electroencephalogram signal A on the scalp is measured using the electrodes (eg, T7, T8, Cz) in the headgear 20.
  • the electroencephalogram signal B of the ear canal is acquired using the left and right electrodes of the earphone 100. After each of the acquired electroencephalogram signals A and B is converted into a power spectrum, the above-mentioned processes (1) to (4) are performed, and learning and estimation are performed.
  • the electroencephalogram signal acquired from the electrode on the scalp, the electroencephalogram signal acquired from the electrode of the external auditory canal, and the electroencephalogram signal acquired from the electrode of the external auditory canal are used to obtain the electroencephalogram signal on the scalp estimated by (4) above.
  • 80% of the data is used for training.
  • a model (second learning model) generated by each of the five commands is applied to 20% of the unlearned data, and the command with the highest estimated likelihood is used as the estimation result. The estimation accuracy of this estimation result is shown below.
  • FIG. 5 is a diagram showing the estimation accuracy when learning the EEG signal on the scalp.
  • three electrodes T7, T8, Cz
  • an electroencephalogram signal is measured.
  • supervised learning is performed using 80% of the measured EEG signals as training data, and the command is estimated using the remaining 20% of the data as input data. In this learning (and so on), the command actually imagined by the user is treated as the correct label.
  • the estimated accuracy of the command is as follows. 73 correct answers, 8 incorrect answers Correct answer rate 90.12%
  • FIG. 6 is a diagram showing the estimation accuracy when learning the EEG signal of the ear canal.
  • the electroencephalogram signal is measured using a total of two electrodes, one for each of the left and right electrodes of the ear canal.
  • supervised learning is performed using 80% of the measured EEG signals as training data, and the command is estimated using the remaining 20% of the data as input data.
  • FIG. 7 is a diagram showing an example of a model of an electroencephalogram signal in the ear canal.
  • the model shown in FIG. 7 (second learning model) is a model trained with supervised learning using 80% of the data as training data, and is generated for each command.
  • FIG. 8 is a diagram showing an example of a model of an electroencephalogram signal on the scalp.
  • the model shown in FIG. 8 (second learning model) is a model trained with supervised learning using 80% of the data as training data, and is generated for each command.
  • the electroencephalogram signal on the scalp is estimated from the electroencephalogram signal in the ear canal actually measured by using the first learning model generated by performing the above-mentioned processes (1) to (4).
  • FIG. 9 is a diagram showing an example of a model of an estimated EEG signal on the scalp.
  • the above-mentioned first learning model is created for each dimension of electrode (number of measurement positions) ⁇ frequency, an estimated brain wave signal on the scalp is generated, and estimated values and actual measurements for all dimensions are obtained.
  • the correlation with the value was calculated, it was 0.6739. Therefore, in this experiment, it was found that the correlation between the EEG signal on the scalp estimated from the EEG signal in the ear canal and the actual EEG signal on the scalp is about 0.7.
  • the inventors since there is some correlation between the measured value and the estimated value of the EEG signal on the scalp, the inventors generate a second learning model using the estimated value of the EEG signal on the scalp. Then, the accuracy of the command estimated using the estimated value of the EEG signal on the scalp was investigated.
  • FIG. 10 is a diagram showing the estimation accuracy when learning the estimated brain wave signal on the scalp.
  • 80% of the estimated values of the EEG signals on the scalp estimated from the measured values of the EEG signals of the external auditory canal are used as training data for supervised learning, and the remaining 20% of the data are used.
  • the command is estimated as input data.
  • the estimated accuracy of the command is as follows. 64 correct answers, 16 incorrect answers Correct answer rate 80.00%
  • the accuracy rate increased from 68.75% to 80% of the EEG signal of the ear canal. That is, the command estimation accuracy was improved by using a learning model in which the estimated value of the EEG signal on the scalp estimated from the EEG signal in the ear canal was learned rather than the measured value of the EEG signal in the ear canal.
  • the command an example of brain activity
  • the command can be predicted with a certain degree of accuracy by estimating the EEG signal on the scalp from the EEG signal in the ear canal and then estimating the command. Will be possible.
  • the user's brain state (intention and emotion) can be more accurately performed.
  • the electroencephalogram signal can be acquired from the external auditory canal, it is not necessary to measure with a brain activity measuring device such as a conventional head gear, and the electroencephalogram signal can be easily acquired, even from a limited electroencephalogram signal. It is possible to improve the estimation accuracy of brain activity.
  • the predetermined brain activity measuring device is a measuring device using the above-mentioned scalp electrode, a measuring device for measuring brain activity using the intracranial electrode, and a magnetic resonance imaging (fMRI).
  • a device that can measure brain activity such as a measuring device that measures brain activity and a measuring device that measures brain activity using Near-Infrared Spectroscopy (NIRS).
  • NIRS Near-Infrared Spectroscopy
  • FIG. 11 is a block diagram showing an example of the information processing apparatus 40 according to the embodiment.
  • the information processing device 40 is, for example, a server, and may be configured by one or a plurality of devices. Further, the information processing apparatus 40 processes the brain wave information and analyzes the brain activity (what the user imagines, etc.) from the brain wave information by using, for example, the learning function of artificial intelligence (AI).
  • the information processing device 40 is also referred to as a server 40.
  • the server 40 is for interconnecting one or more processing units (processor: CPU (Central Processing Unit) 410) 410, one or more network communication interfaces 420, memory 430, user interface 450, and their components. Includes one or more communication buses 470.
  • processing units processor: CPU (Central Processing Unit) 410)
  • network communication interfaces 420 one or more network communication interfaces 420, memory 430, user interface 450, and their components.
  • user interface 450 includes one or more communication buses 470.
  • the server 40 may optionally include a user interface 450, such as a display device (not shown) and an input device such as a keyboard and / or mouse (or some other pointing device, etc.). Can be mentioned.
  • a user interface 450 such as a display device (not shown) and an input device such as a keyboard and / or mouse (or some other pointing device, etc.). Can be mentioned.
  • the memory 430 is a high speed random access memory such as, for example, DRAM, SRAM, DDR RAM or other random access solid-state storage, and is also one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or It may be a non-volatile memory such as another non-volatile solid-state storage device.
  • the generation unit 416 generates a learning model (first learning model) that has learned the relationship. For example, the generation unit 416 learns the learning data including the first and second electroencephalogram information in the learning unit 415, and constructs and generates the first learning model based on the learning result.
  • first learning model a learning model that has learned the relationship. For example, the generation unit 416 learns the learning data including the first and second electroencephalogram information in the learning unit 415, and constructs and generates the first learning model based on the learning result.
  • the first learning model that is appropriately constructed, a wide range of brain information can be acquired from the brain wave information measured when the electrodes provided on the ear tips of earphones come into contact with the ear canal. Can be estimated.
  • brain wave information that can acquire a wide range of brain information is estimated from the brain wave information in the external auditory canal, and by using a learning model that uses this brain wave information as learning data, it is estimated using only the brain wave information in the external auditory canal.
  • the learning unit 415 may include setting the first electroencephalogram information as a predictor and the second electroencephalogram information as objective variables and performing sparse modeling when learning about the first learning model. For example, the learning unit 415 uses sparse modeling that focuses on the relationship between both EEG information during machine learning, so that the first feature of the first EEG information and the second EEG information can be obtained from various factors. Factors that are closely related to the second feature can be selected.
  • the objective variable is represented by information (matrix or vector representation) of Na (number of measurement positions of the brain activity measuring instrument) ⁇ Da (dimension of specific frequency), and the predictor is Nb (measurement of the first bioelectrode). It may be represented by information (matrix or vector representation) of (number of positions) ⁇ Db (dimension of specific frequency).
  • the number of measurement positions of the brain activity measuring device is larger than the number of measurement positions of the first bioelectrode (Na> Nb), and for example, sparse modeling is used to fill the difference in these positions.
  • the processing terminal 50 comprises one or more processing units (CPUs) 510, one or more network communication interfaces 520, memory 530, user interfaces 550, and one or more communications for interconnecting these components. Includes bus 570.
  • CPUs processing units
  • network communication interfaces 520 memory 530
  • user interfaces 550 user interfaces 550
  • communications for interconnecting these components. Includes bus 570.
  • the user interface 550 includes a display device 551 and an input device (such as a keyboard and / or a mouse or some other pointing device) 552. Further, the user interface 550 may be a touch panel.
  • memory 530 may be one or a plurality of storage devices installed remotely from the CPU 510.
  • memory 530 stores the following programs, modules and data structures, or subsets thereof.
  • One or more processing devices (CPUs) 510 read a program from the memory 530 as needed and execute it.
  • one or more processing units (CPUs) 510 may configure application 512 by executing a program stored in memory 530.
  • This application 512 is an application that processes an electroencephalogram, and has, for example, an acquisition unit 513, a first estimation unit 514, a second estimation unit 515, a specific unit 516, and a processing unit 517.
  • the acquisition unit 513 acquires the electroencephalogram information measured by the first bioelectrode in contact with the ear canal of a predetermined user.
  • the electroencephalogram information is measured by pressure-contacting the first bioelectrode provided on the ear tip of the earphone with the ear canal.
  • the acquisition unit 513 receives and acquires the brain wave information measured by the earphones.
  • the first estimation unit 514 corresponds to the brain wave information measured by the brain activity measuring device from the brain wave information acquired by the acquisition unit 513 by using the first learning model generated by the above-mentioned information processing apparatus 40.
  • EEG information is estimated.
  • the first learning model has a first feature of first electroencephalogram information measured by a first bioelectrode in contact with a predetermined user's external auditory canal, and a second feature measured by a predetermined brain activity measuring device for a predetermined user. This is a model that learned the relationship with the second feature of EEG information. That is, the first estimation unit 514 estimates other brain wave information measured by the brain activity measuring device from the brain wave information in the ear canal by using the first learning model acquired from the information processing apparatus 40.
  • the second estimation unit 515 estimates brain activity information based on other brain wave information estimated by the first estimation unit 514. For example, the second estimation unit 515 acquires a second learning model for each brain activity information from the information processing device 40, and the first estimation unit 514 is used as a second learning model learned using other brain wave information. By inputting the brain wave information estimated by, the brain activity information of the user at that time is estimated. The second estimation unit 515 uses the brain activity information with the highest likelihood obtained by each second learning model as the estimation result.
  • the identification unit 516 identifies the command based on the brain activity information estimated by the second estimation unit 515.
  • the specifying unit 516 may associate the brain activity information with the command and specify the command corresponding to the estimated brain activity information.
  • the commands include, for example, operation commands (button pressing, etc.) when operating the processing terminal 50, operation commands (play, stop, pause, fast forward, rewind, etc.) for a predetermined application (music or video playback application), and the like.
  • the brain activity information is, for example, imagining up, down, right, left, or directly imagining the above-mentioned operation command.
  • the processing unit 517 executes the processing corresponding to the specified command. For example, if the command is a command to raise the volume, the processing unit 517 executes a process of raising the volume of the processing terminal 50, and if the command is a command to stop the moving image, the processing unit 50 stops the moving image being played on the processing terminal 50. Execute the process to be performed.
  • the processing terminal 50 can execute the process corresponding to this command by using the command specified based on the brain wave information of the ear canal measured by the earphone.
  • the brain activity can be estimated appropriately, so the processing terminal can be processed as the user thinks to some extent. It becomes possible to operate 50.
  • the acquisition unit 513 may include acquiring myoelectric information (for example, myoelectric signal) based on the signal measured by the first bioelectrode in contact with the ear canal.
  • myoelectric information for example, myoelectric signal
  • the acquisition unit 513 can acquire the myoelectric information of the temporalis muscle and the masseter muscle close to the ear canal from the measured signal.
  • a myoelectric signal is acquired by applying a predetermined filter process to a signal measured from the ear canal.
  • the filter processing may be executed on the earphone side or the processing terminal 50 side.
  • the specific unit 516 may further specify the command based on the myoelectric information acquired by the acquisition unit 513.
  • the specifying unit 516 may specify a command based on the following conditions.
  • the configuration in which the first estimation unit 514 and the second estimation unit 515 are provided on the processing terminal 50 side has been described, but as shown in FIG. 11, the first estimation unit 417 and the second estimation unit 417 are described in the server 40. 2
  • the acquisition unit 513 acquires the estimated brain activity information
  • the specific unit 516 specifies the command based on the brain activity information acquired by the acquisition unit 513. good.
  • the processing may be appropriately distributed between the server 40 and the processing terminal 50, and it may be determined which function is provided in which processing according to the implementation.
  • FIG. 13 is a flowchart showing an example of the model generation process of the server 40 according to the embodiment.
  • the server 40 generates a learning model
  • the first acquisition unit 413 acquires the first electroencephalogram information measured by the first bioelectrode in contact with the ear canal of a predetermined user.
  • the first acquisition unit 413 acquires brain wave information measured by a bioelectrode provided on the ear tip of the earphone.
  • step S104 the second acquisition unit 414 acquires the second brain wave information measured by a predetermined brain activity measuring device for a predetermined user, which is measured at the same timing as the first brain wave information.
  • the second acquisition unit 414 directly or indirectly acquires the electroencephalogram information measured by the electrodes set on the scalp based on the international style 10/20 method.
  • both brain wave information measured at the same time may be acquired at the same time.
  • step S106 the learning unit 415 learns the relationship between the first feature of the first electroencephalogram information and the second feature of the second electroencephalogram information. For example, the learning unit 415 finds the relationship between the two electroencephalogram information by learning the first electroencephalogram information and the second electroencephalogram information using a predetermined learning model.
  • step S108 the generation unit 416 generates a learning model that has learned the relationship.
  • the generation unit 416 is a model of an inference formula (first) that expresses the relationship between the two brain wave information such as estimating the second brain wave information from the first brain wave information. Build and generate a learning model).
  • the electroencephalogram information in the external auditory canal can be learned. From, it is possible to construct and generate a model for estimating brain wave information that can acquire a wide range of brain information.
  • FIG. 14 is a flowchart showing an example of the learning process according to the embodiment.
  • FIG. 14 an example in which sparse modeling is applied when the server 40 generates the first training model will be described, but other classification models may be used to generate the model.
  • the learning unit 415 sets the second electroencephalogram information as the objective variable.
  • the learning unit 415 sets information (may be a matrix or a vector expression) of Na (the number of measurement positions of the brain activity measuring instrument) ⁇ Da (dimension of a specific frequency) as an objective variable.
  • step S206 the learning unit 415 executes machine learning using sparse modeling using the set objective variable and the predictor.
  • the learning unit 415 uses sparse modeling that focuses on the relationship between the two EEG information during machine learning, and from among various factors, the first feature and the second EEG information. Factors closely related to the second feature of EEG information can be selected. By using sparse modeling for machine learning, the learning unit 415 can accurately extract the relationship between the two brain wave information, and based on this relationship, appropriately estimate the brain wave information measured by the brain activity measuring device. Will be possible.
  • FIG. 15 is a flowchart showing an example of the brain activity estimation process according to the embodiment.
  • the process of estimating the brain activity information by the server 40 will be described, but it is basically the same when the server 40 is performed by another device.
  • step S302 the first estimation unit 417 acquires the electroencephalogram information (third electroencephalogram information) in the ear canal measured from the first bioelectrode in the estimation phase.
  • the first estimation unit 417 uses the acquired third brain wave information and the generated first learning model to obtain the fourth brain wave information corresponding to the brain wave information measured by the brain activity measuring device.
  • the first estimation unit 417 inputs the third brain wave information acquired in the estimation phase into the first learning model (inference formula including appropriate parameters) generated by the learning unit 415 and the generation unit 416. , Estimate the fourth electroencephalogram information corresponding to the electroencephalogram information measured by the brain activity measuring instrument.
  • the second estimation unit 418 estimates the user's brain activity information based on the fourth brain wave information estimated by the first estimation unit 417.
  • the second estimation unit 418 is estimated from the third brain wave information sequentially acquired by the second learning model in which supervised learning is performed using the brain activity information as the correct label using the fourth brain wave information.
  • Brain activity information is estimated by inputting EEG information.
  • brain wave information that can acquire a wide range of brain information is estimated from the brain wave information in the external auditory canal, and by using a learning model that uses this brain wave information as learning data, it is estimated using only the brain wave information in the external auditory canal. Rather than doing so, it becomes possible to estimate brain activity information more appropriately.
  • FIG. 16 is a flowchart showing an example of command operation processing according to the embodiment.
  • the processing terminal 50 acquires the electroencephalogram information in the ear canal and estimates a wide range of electroencephalogram information, but the processing terminal 50 acquires the wide range of electroencephalogram information estimated by the server 40. May be good.
  • step S402 the acquisition unit 513 acquires the electroencephalogram information measured by the first bioelectrode in contact with the ear canal of a predetermined user.
  • the acquisition unit 513 receives and acquires the brain wave information measured by the earphones.
  • the first estimation unit 514 corresponds to the brain wave information measured by the brain activity measuring device from the brain wave information acquired by the acquisition unit 513 by using the first learning model generated by the server 40 described above. Estimate other EEG information.
  • the second estimation unit 515 estimates the brain activity information of the predetermined user based on the other brain wave information estimated by the first estimation unit 514. For example, the second estimation unit 515 acquires the second learning model from the server 40, and applies the brain wave information estimated by the first estimation unit 514 to the second learning model learned using other brain wave information. By inputting, the user's brain activity information is estimated.
  • the specific unit 516 specifies a command based on the brain activity information estimated by the second estimation unit 515.
  • the specifying unit 516 may associate the brain activity information with the command and specify the command corresponding to the estimated brain activity information.
  • step S410 the processing unit 517 executes the processing corresponding to the specified command. For example, if the command is a command to raise the volume, the processing unit 517 executes a process of raising the volume of the processing terminal 50, and if the command is a command to stop the moving image, the processing unit 50 stops the moving image being played on the processing terminal 50. Execute the process to be performed.
  • the processing terminal 50 can execute the processing corresponding to this command by using the command specified based on the brain wave information of the ear canal measured by the earphone.
  • the processing terminal 50 can execute the processing corresponding to this command by using the command specified based on the brain wave information of the ear canal measured by the earphone.
  • the myoelectric signals of the temporal and masseter muscles close to the external auditory canal can be acquired from the electrodes of the earphones, and the brain wave information that reminds us of a specific image can be acquired from the electrodes of the earphones. can. Then, by applying the above-described embodiment, it is possible to operate the device by using the electroencephalogram information and the myoelectric information acquired from the electrodes of the ear canal.
  • the above-described embodiment is an example for explaining the technique of the present disclosure, and the present disclosure technique is not limited to the embodiment thereof, and the technique of the present disclosure does not deviate from the gist thereof. Various transformations are possible.
  • the second acquisition unit 414 in the above-mentioned modification acquires the above-mentioned biological information instead of the second brain wave signal, and the learning unit 415 has the first feature of the first brain wave information in the external auditory canal and the third biological signal. Learn the relationship with features.
  • the generation unit 416 generates a learning model (third learning model) that has learned this relationship.
  • the first estimation unit 417 estimates biological information using the third electroencephalogram information and the third learning model.
  • the second estimation unit 418 estimates the activity information of the human body using the estimated biological information.
  • the biological information is an electro-oculography signal
  • if it is a myoelectric potential signal it is possible to estimate the movement of the relevant part
  • if it is a heartbeat signal it is possible to estimate an excited state or tension.
  • the state can be estimated, and the state of the heart can be estimated if it is an electrocardiogram signal.
  • a learning model constructed by performing supervised learning with each biological signal as learning data and each state as a correct answer label may be used.
  • at least one of the processes described in the server 40 and the processing terminal 50 may be load-balanced and processed by another device.
  • the processing unit of the learning phase (first acquisition unit 413, second acquisition unit 414, learning unit 415) is performed on the server side, and the processing unit of the estimation phase (first estimation unit 417, second estimation unit 418) is performed. It may be performed on the terminal on the user side. At this time, necessary data is transmitted and received to each other.
  • the information acquired from the ear canal is not limited to the electroencephalogram information, but also includes biological information such as ocular potential information and myoelectric potential information. Therefore, instead of the electroencephalogram information in the ear canal used for learning and estimation, biological information acquired from the ear canal may be used.
  • Earphone set 20 Headgear 30, 40, 50 Information processing device 100 Earphone 104 Nozzle 106 Ear tip (elastic electrode) 410 CPU 412 EEG control unit 413 1st acquisition unit 414 2nd acquisition unit 415 Learning unit 416 Generation unit 417 1st estimation unit 418 2nd estimation unit 430 Memory 510 CPU 512 Application 513 Acquisition unit 514 First estimation unit 515 Second estimation unit 516 Specific unit 517 Processing unit 530 Memory

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

外耳道から測定される脳波に基づいて、頭皮上から測定される脳波を推定する。 プログラムは、情報処理装置に含まれるプロセッサに、所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報を取得すること、第１脳波情報と同じタイミングで測定され、所定ユーザに対して脳活動測定器により測定される第２脳波情報を取得すること、第１脳波情報の第１特徴と、第２脳波情報の第２特徴との関連性を学習すること、関連性を学習した学習モデルを生成すること、を実行させる。

Description

プログラム、情報処理方法、及び情報処理装置
　本発明は、プログラム、情報処理方法、及び情報処理装置に関する。
　従来、脳波信号を取得するイヤホンが知られている（例えば特許文献１参照）。
特開２０１８－１５９９０８号公報
　イヤホンから脳波信号を取得する場合、左右それぞれの外耳道に接触する２つの電極から脳波信号が取得される。そのため、電極の配置として標準的に用いられる、頭部の外形を計測する国際式１０／２０法と比べると、イヤホンに設けられる信号源は限られてしまう。
　ここで、脳機能を脳波（ＥＥＧ：Electroencephalogram）に基づいて予測する場合、各部位の興奮状態を電圧から予測することにより、脳機能の推測が行なわれる。例えば、認知などは、大脳新皮質の前頭前野が関連していたり、視覚の認識は、頭頂葉や後頭葉に関連していたりすることが知られている。また、外耳道に近い側頭葉は、聴覚や音声・言語認識に関連していることが知られている。よって、イヤホンにより外耳道から取得した脳波では、聴覚や音声に関する信号は、高品質で取得することができるが、視覚や思考など別部位に関連づけられる信号を高品質で取得することができない。
　そこで、本発明の一態様は、外耳道から測定される脳波と、脳活動測定器から測定される脳波との関連性を見出し、この関連性を用いることで、外耳道から測定される脳波に基づいて、脳活動測定器から測定される脳波を推定することを可能にするプログラム、情報処理方法、及び情報処理装置を提供することを目的とする。
　本発明の一態様におけるプログラムは、情報処理装置に含まれるプロセッサに、所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報を取得すること、前記第１脳波情報と同じタイミングで測定され、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報を取得すること、前記第１脳波情報の第１特徴と、前記第２脳波情報の第２特徴との関連性を学習すること、前記関連性を学習した学習モデルを生成すること、を実行させる。
　本発明の一態様によれば、外耳道から測定される脳活動に基づいて、脳活動測定器から測定される脳活動を推定することを可能にすることができる。
実施形態に係るシステムの概要例を説明する図である。 実施形態に係る頭皮電極の位置の一例を示す図である。 実施形態に係るイヤホンセットの一例を示す図である。 実施形態に係るイヤホンの断面の概略の一例を示す図である。 頭皮上の脳波信号を学習する場合の推定精度を示す図である。 外耳道の脳波信号を学習する場合の推定精度を示す図である。 外耳道における脳波信号のモデルの一例を示す図である。 頭皮上における脳波信号のモデルの一例を示す図である。 推定された頭皮上の脳波信号のモデルの一例を示す図である。 推定された頭皮上の脳波信号を学習する場合の推定精度を示す図である。 実施形態に係る情報処理装置の一例を示すブロック図である。 実施形態に係る情報処理装置の一例を示すブロック図である。 実施形態に係るサーバのモデル生成処理の一例を示すフローチャートである。 実施形態に係る学習処理の一例を示すフローチャートである。 実施形態に係る脳活動推定処理の一例を示すフローチャートである。 実施形態に係るコマンド操作処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施形態］
　以下、実施形態におけるシステムの概要を、図面を用いて説明する。
　＜システムの概要＞
　まず、図１を用いて、実施形態に係るシステム１の概要例を説明する。システム１では、脳波を測定するユーザは、外耳道に電極が設けられるイヤホンセット１０を装着する。図１に示す例では、首掛け式のイヤホンセット１０であるが、外耳道から脳波信号（第１脳波信号）がセンシング可能であれば、いずれのイヤホンを用いてもよい。例えば、リファレンス信号を耳たぶから取得するようなイヤホンセットや、その他の位置（外耳道の他の位置）からリファレンス信号やアース信号を取得するようなイヤホンや、完全ワイヤレスのイヤホンなどが利用可能である。
　また、ユーザは、例えば国際式１０／２０法を用いて脳波を測定するヘッドギア２０を装着する。ヘッドギア２０は、脳活動測定器の一例である。ヘッドギア２０には、国際式１０／２０法に基づく頭皮の所定位置に電極が設けられる。図２は、実施形態に係る頭皮電極の位置の一例を示す図である。例えば、前頭極（Ｆｐ１，　Ｆｐ２）、前頭部（Ｆ３，Ｆ４）、前側頭頭（Ｆ７，Ｆ８）、中心部（Ｃ３，Ｃ４）、頭頂部（Ｐ３，Ｐ４）、後頭部（Ｏ１，Ｏ２）、中側頭部（Ｔ３，Ｔ４）、後側頭部（Ｔ５，Ｔ６）、耳朶（Ａ１，Ａ２）、正中前頭部（Ｆｚ）、正中中心部（Ｃｚ）、正中頭頂部（Ｐｚ）などに電極が設けられる。図２に示す例は一例であって、必要に応じて電極数を減らしたり増やしたりしてもよい。なお、頭皮に設けられる電極の数は、外耳道に設けられる電極の数よりも多い。
　ヘッドギア２０に接続される情報処理装置３０は、例えば測定装置であり、測定される頭皮上（又は頭蓋上）から測定される脳波信号（第２脳波信号）を取得し、必要に応じて集計、分析、出力等を行う。例えば、情報処理装置３０は、取得される各部位の脳波信号を、ネットワークＮを介して情報処理装置４０に送信してもよい。
　また、イヤホンセット１０は、頭皮における第２脳波信号の測定と同じタイミングで、外耳道から第１脳波信号を取得し、ネットワークＮを介して情報処理装置４０に送信する。
　情報処理装置４０は、例えばサーバであり、同じタイミングで測定される頭皮における第２脳波信号と、外耳道における第１脳波信号との関連性を分析、抽出する。例えば、情報処理装置４０は、第１脳波信号の第１特徴と、第２脳波信号の第２特徴との関連性を抽出する。具体例としては、情報処理装置４０は、所定の学習モデルを利用し、第１脳波信号と、第２脳波信号とを学習させることで、それぞれの信号の特徴を抽出し、各特徴の関連性を学習する。この場合、情報処理装置４０は、学習結果の学習モデルを情報処理装置５０に送信してもよい。また、情報処理装置３０と情報処理装置４０とは、同じ装置であってもよい。
　情報処理装置５０は、例えば、ユーザが保持する携帯端末などの処理端末であり、イヤホンセット１０から取得した脳波信号を用いて、ユーザ操作を受け付けたりする。例えば、情報処理装置５０は、情報処理装置４０から学習モデルを取得し、この学習モデルを用いて、順次取得される外耳道における脳波信号から脳活動測定器により測定される脳波信号を推定する。情報処理装置５０は、推定される脳波信号を用いて、ユーザの脳活動情報（ユーザが何を考えているか等）をさらに推定し、推定した脳活動に対応する処理を実行する。つまり、情報処理装置５０は、脳波信号に基づき機器の操作を行うインタフェースを有する。
　これにより、外耳道の狭さによる電極数の制限や、取得される位置による脳波信号の特徴の制約があるとしても、外耳道により測定される脳波信号から、広範な脳情報を取得可能な脳波信号を推定することができ、推定された頭皮上の脳波信号を用いて、脳活動を予測することなどができるようになる。
　＜イヤホンセットの構成＞
　図３～４は、実施形態におけるイヤホンセット１０の概要について説明する。なお、イヤホンセット１０は、図３～４に示す例に限られず、外耳道から脳波をセンシングすることが可能であり、外部装置に出力可能であれば、いずれのイヤホンでも本開示の技術に適用することができる。
　図３は、実施形態に係るイヤホンセット１０の一例を示す図である。図３に示すイヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌと、首掛け部１１０とを有する。各イヤホン１００Ｒ、１００Ｌは、首掛け部１１０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。以下、左右を区別する必要がない場合はＲＬを省略する。
　首掛け部１１０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１１２Ｒ、１１２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１２２、１２４が設けられる。電極１２２、１２４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、後述するように、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１１０は、脳波信号を処理する処理部や外部と通信を行う通信装置を有してもよいが、これらの処理部や通信部はイヤホン１００に設けられてもよい。
　また、首掛け部１１０の両サイドの棒状部材１１２Ｒ、１１２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１２２、１２４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１１２Ｒ、１１２Ｌの先端側には重りが設けられる。なお、電極１２２、１２４の位置はこの位置に限られない。
　図４は、実施形態に係るイヤホン１００Ｒの断面の概略の一例を示す図である。図４に示すイヤホン１００Ｒは、例えば、スピーカ１０２とノズル１０４との間に弾性部材（例えばウレタン）１０８を設けてもよい。この弾性部材１０８を設けるにより、スピーカ１０２の振動がイヤーチップ１０６の弾性電極に伝わりにくくなり、イヤーチップ１０６の弾性電極とスピーカ１０２とが音について干渉することを防ぐことができる。
　さらに、弾性電極を含むイヤーチップ１０６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用することで、この弾性部材により、音振動をイヤーチップ１０６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。
　イヤホン１００は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットしてもよい。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅してもよい。
　これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。
　また、イヤーチップ１０６は、外耳道からセンシングする脳波信号を、ノズル１０４に設けられる電極の接点に伝導させる。脳波信号は、イヤーチップ１０６から接点を介してイヤホン１００内部の生体センサ（不図示）に伝えられる。生体センサは、順次取得する脳波信号を、ケーブルを介して首掛け部１１０に設けられる処理装置に出力したり、外部の装置に送信したりする。
　＜実験の概要＞
　次に、発明者らが行った実験について説明する。この実験により、外耳道から測定される脳波信号の特徴と、頭皮から測定される脳波信号の特徴との関連性が調べられた。
　まず、図１に示すように、外耳道から脳波信号が測定されるのと同時に、頭皮上からも脳波信号が測定される。これにより、同じタイミングで取得されたそれぞれの脳波信号から、両脳波信号の関連性の有無等を調べることが可能になる。
　また、取得されたそれぞれの脳波信号は、単位時間（例えば４秒）間隔の窓に区切られ、単位時間ごとにフーリエ変換が行われることで、周波数のパワースペクトルに変換される。この窓は、任意の間隔（例えば０．５秒）ごとにスライドされて、上述した変換が繰り返し行われる。
　各脳波信号が変換されたパワースペクトルを用いて、同時刻の外耳道における脳波信号の特徴と、頭皮上における脳波信号の特徴との関連性が、例えば機械学習を用いて学習される。
　より詳細な学習方法の一例としては、以下のとおりである。
（１）最終的に取得したい目的の脳波信号（頭皮上脳波信号）をＡとする。Ａは、Ｎａ個の電極×Ｄａ次元（特定周波数の次元数）の行列（ベクトル）として用意される。
（２）外耳道の脳波信号をＢとする。Ｂは、Ａと同様に、Ｎｂ個の電極×Ｄｂ次元の行列（ベクトル）として用意される。ＡのＮａ×Ｄａのデータを目的変数とし、ＢのＮｂ×Ｄｂのデータを予測子とする。この目的変数と予測子とを用いて、学習モデルの一例としてスパースモデリングが用いられて学習される。スパースモデリングは、例えば、ＬＡＳＳＯアルゴリズムや、Ｅｌａｓｔｉｃ　Ｎｅｔなど、過学習を避け、高い精度の予測子の選択を行う正則化アルゴリズムが利用されるとよい。
（３）（２）のプロセスは、Ｄａ×Ｎａ回分実行される。これにより、Ａの信号をＢの信号から推測するモデル（推論式）が生成される。
（４）（３）により学習されたモデル（第１学習モデル）が利用され、頭皮上の脳波信号が使用されなくても（Ａの信号がなくても）、外耳道により測定される脳波信号に基づいて、頭皮上の脳波信号を推定する。
　（具体例）
　次に、発明者らは以下の具体的な実験を行った。図１に示すように、イヤホンセット１０とヘッドギア２０とを装着したユーザに、上（↑）、下（↓）、左（←）、右（→）、停止の５つのターゲットコマンドをそれぞれ１２秒間思い浮かべてもらった。
　この際、ヘッドギア２０における電極（例：Ｔ７、Ｔ８、Ｃｚ）を用いて頭皮上の脳波信号Ａが測定される。これと同時に、イヤホン１００の左右の電極を用いて外耳道の脳波信号Ｂが取得される。取得される各脳波信号Ａ，Ｂについて、パワースペクトルに変換された後に、上述した（１）～（４）の処理を行い、学習、推定が行われる。
　次に、頭皮上の電極より取得される脳波信号、外耳道の電極より取得される脳波信号、外耳道の電極により取得される脳波信号から上述した（４）により推定される頭皮上の脳波信号それぞれが、８０％のデータを用いて学習される。さらに、２０％の未学習データに対し、５つのコマンドそれぞれで生成されたモデル（第２学習モデル）が適用され、最も推定された尤度が高いコマンドを推定結果とする。この推定結果の推定精度を以下に示す。
　図５は、頭皮上の脳波信号を学習する場合の推定精度を示す図である。図５に示す例では、頭皮上の電極として３つの電極（Ｔ７、Ｔ８、Ｃｚ）を利用し、脳波信号が測定される。このとき、測定された脳波信号のうち８０％のデータを学習データとして教師あり学習が行われ、残りの２０％のデータを入力データとしてコマンドが推定される。この学習（以下も同じ）では、実際にユーザが想像したコマンドが正解ラベルとして扱われる。
　図５に示す例では、推定されたコマンドの精度は、次の結果となる。
正解数７３、不正解数８
正解率９０．１２％
　図６は、外耳道の脳波信号を学習する場合の推定精度を示す図である。図６に示す例では、外耳道の左右電極それぞれの１つずつの合計２つ電極を利用し、脳波信号が測定される。このとき、測定された脳波信号のうち８０％のデータを学習データとして教師あり学習が行われ、残りの２０％のデータを入力データとしてコマンドが推定される。
　図６に示す例では、推定されたコマンドの精度は、次の結果となる。
正解数５５、不正解数２５
正解率６８．７５％
　図７は、外耳道における脳波信号のモデルの一例を示す図である。図７に示す縦軸は、４秒の移動窓を用いる際の解析対象データ番号を示す、横軸は、外耳道における脳波信号の情報次元（Ｎｂ（電極数＝２）×Ｄｂ（特定周波数の次元））を表す。図７に示すモデル（第２学習モデル）は、８０％のデータを学習データとして教師あり学習されたモデルであり、コマンド毎に生成される。
　図８は、頭皮上における脳波信号のモデルの一例を示す図である。図８に示す縦軸は、４秒の移動窓を用いる際の解析対象データ番号を示す、横軸は、頭皮上における脳波信号の情報次元（Ｎａ（電極数＝３）×Ｄａ（特定周波数の次元））を表す。図８に示すモデル（第２学習モデル）は、８０％のデータを学習データとして教師あり学習されたモデルであり、コマンド毎に生成される。
　ここで、上述した（１）～（４）の処理を行って生成された第１学習モデルを用いて、実際に測定された外耳道における脳波信号から、頭皮上における脳波信号が推定される。
　図９は、推定された頭皮上の脳波信号のモデルの一例を示す図である。図９に示す例では、電極（測定位置の数）×周波数の次元ごとに上述した第１学習モデルを作成し、推定された頭皮上の脳波信号を生成し、全次元分の推定値及び実測値との相関を求めたところ、０．６７３９であった。したがって、この実験では、外耳道における脳波信号から推定された頭皮上の脳波信号と、実際の頭皮上の脳波信号との相関は、０．７程度あることが分かった。
　以上のことから、頭皮上の脳波信号について、実測値と推定値との間において、ある程度相関があるため、発明者らは、頭皮上の脳波信号の推定値を用いて第２学習モデルを生成し、頭皮上の脳波信号の推定値を用いて推定したコマンドの精度を調べた。
　図１０は、推定された頭皮上の脳波信号を学習する場合の推定精度を示す図である。図９に示す例では、外耳道の脳波信号の実測値から推定された頭皮上の脳波信号の推定値のうち８０％のデータを学習データとして教師あり学習が行われ、残りの２０％のデータを入力データとしてコマンドが推定される。
　図１０に示す例では、推定されたコマンドの精度は、次の結果となる。
正解数６４、不正解数１６
正解率８０．００％
　したがって、推定された頭皮上の脳波信号を学習データとして学習させた学習モデルを用いることで、正解率が、外耳道の脳波信号の６８．７５％から８０％に増加した。すなわち、外耳道における脳波信号の実測値よりも、外耳道における脳波信号から推定された頭皮上の脳波信号の推定値を学習させた学習モデルを用いる方が、コマンドの推定精度が向上した。これにより、外耳道における脳波信号を測定する場合でも、外耳道における脳波信号から頭皮上の脳波信号を推定してからコマンドを推定することで、ある程度の精度でコマンド（脳活動の一例）を予測することが可能になる。
　以上のことから、外耳道における脳波信号と、推定された頭皮上における脳波信号とを、ベクトルとして統合し、両者の脳波信号を利用することで、より高精度にユーザの脳の状態（意図や感情）を推定することや、ニューロフィードバックに利用することが可能になる。また、外耳道から脳波信号を取得することができるため、従来技術のヘッドギアのような脳活動測定器により測定する必要がなく、簡便に脳波信号を取得することができ、限られた脳波信号からでも脳活動の推定精度を向上させることができる。
　また、外耳道における脳波信号と、頭皮上における脳波信号とにおいて関連があることが上記のとおり見出せたので、頭皮から取得される脳波に限らず、所定の脳活動測定器を用いて測定される脳活動においても同様の結果を示すといえる。これは、測定位置によって脳波は異なり得るが、発生する脳波自体は同じであるため、どの脳活動測定器を用いても、脳活動測定器により測定される脳波と、外耳道における脳波とが相関を有するからである。ここで、所定の脳活動測定器は、上述した頭皮電極を用いる測定器、頭蓋内電極を用いて脳活動を測定する測定器、磁気共鳴機能画像法（functional magnetic resonance imaging：ｆＭＲＩ）を用いて脳活動を測定する測定器、近赤外光分光法（Near-Infrared Spectroscopy :　ＮＩＲＳ）を用いて脳活動を測定する測定器などの脳活動を測定可能な装置を含む。以下、外耳道において測定される脳波情報と、他の脳活動測定器により測定される脳波情報とを取得して、各学習モデルを生成、利活用する各装置について説明する。
　＜サーバの構成例＞
　図１１は、実施形態に係る情報処理装置４０の一例を示すブロック図である。情報処理装置４０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置４０は、脳波情報を処理し、例えば、人工知能（ＡＩ）の学習機能を用いて脳波情報から脳活動（ユーザが想像すること等）を解析する。情報処理装置４０は、サーバ４０とも表記する。
　サーバ４０は、１つ又は複数の処理装置（プロセッサ：ＣＰＵ（Central Processing Unit））４１０、１つ又は複数のネットワーク通信インタフェース４２０、メモリ４３０、ユーザインタフェース４５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス４７０を含む。
　サーバ４０は、例えば、場合によりユーザインタフェース４５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。
　メモリ４３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。
　また、メモリ４３０の他の例として、ＣＰＵ４１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ４３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数の処理装置（ＣＰＵ）４１０は、メモリ４３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）４１０は、メモリ４３０に格納されているプログラムを実行することで、脳波制御部４１２、第１取得部４１３、第２取得部４１４、学習部４１５、生成部４１６、第１推定部４１７、第２推定部４１８を構成してもよい。　脳波制御部４１２は、順に取得される脳波情報を制御したり、処理したりし、以下の各処理を制御する。
　第１取得部４１３は、所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報（例えば脳波信号）を取得する。例えば、このユーザには、図３～４に示すようなイヤホンセット１０を装着してもらい、イヤホン１００のイヤーチップ（例えば第１生体電極）が外耳道に接触することで、弾性電極であるイヤーチップによりセンシングされる第１脳波情報が取得される。
　第２取得部４１４は、所定ユーザに対して所定の脳活動測定器により測定される第２脳波情報を取得する。所定の脳活動測定器の例としては、頭皮上の第２生体電極を用いて測定する脳活動測定器が利用される。第２取得部４１４は、この脳活動測定器により測定される第２脳波情報（例えば脳波信号）を取得する。例えば、第２取得部４１４は、第１取得部４１３と同じタイミングで、第２脳波情報を取得する。なお、脳波情報は、脳活動測定器に応じて生成される情報であり、例えば、脳活動を示す画像情報でもよい。
　学習部４１５は、第１脳波情報の第１特徴と、第２脳波情報の第２特徴との関連性を学習する。例えば、学習部４１５は、第１脳波情報と第２脳波情報とを学習データとして、両脳波情報の関連性を見出すための機械学習を実施する。また、学習部４１５は、学習をせずに、第１脳波情報と第２脳波情報との関連性を抽出することが可能であれば、その方法を用いてもよい。
　生成部４１６は、関連性を学習した学習モデル（第１学習モデル）を生成する。例えば、生成部４１６は、学習部４１５において、第１及び第２脳波情報を含む学習データに対して学習が行われて、この学習の結果により第１学習モデルを構築、生成する。
　これにより、同じタイミングで測定された外耳道における脳波情報と、所定の脳活動測定器により測定される脳波情報とを用いてそれぞれの特徴の関連性を学習させることで、外耳道における脳波情報から、広範な脳情報を取得可能な脳波情報を推定するモデルを構築、生成することができる。
　第１推定部４１７は、第１学習モデルを構築する学習フェーズと異なるタイミングで（推定フェーズで）、第１生体電極により測定される第３脳波情報と、構築された第１学習モデルとを用いて、所定の脳活動測定器により測定される脳波情報に対応する第４脳波情報を推定する。例えば、第１推定部４１７は、学習部４１５及び生成部４１６により生成される第１学習モデル（適切なパラメータを含む推論式）に、推定フェーズで取得される第３脳波情報を入力することで、所定の脳活動測定器により測定される脳波情報に対応する第４脳波情報を推定する。
　これにより、適切に構築される第１学習モデルを用いることで、イヤホンのイヤーチップなどに設けられる電極が外耳道に接触することで測定される脳波情報から、広範な脳情報を取得可能な脳波情報を推定することが可能になる。
　第２推定部４１８は、推定される第４脳波情報に基づいて、脳活動情報（例えばユーザが想像した所定事象の情報等）を推定する。例えば、学習部４１５は、学習フェーズの段階で、第４脳波情報を含む学習データを用いて、脳活動情報を正解ラベルとする教師あり学習を行うことで、脳活動情報ごとに学習モデル（第２学習モデル）を構築しておいてもよい。脳活動情報は、例えば、上述した実験で用いたコマンド（ユーザが想像したコマンド）でもよいし、所定の感情（喜怒哀楽など）、所定の動作（走る、歩く、泣くなど）、所定のモノ（食べ物、動物、植物など）などの情報でもよい。
　第２推定部４１８は、脳活動情報ごとに第４脳波情報を用いて学習された第２学習モデルに、第１生体電極により順次取得される第３脳波情報から推定される脳波情報を入力することで、脳活動情報を推定する。第２推定部４１８は、それぞれの第２学習モデルにより求められる尤度が最も高い脳活動情報を推定結果とする。
　これにより、外耳道における脳波情報から、広範な脳情報を取得可能な脳波情報を推定し、この脳波情報を学習データに用いた学習モデルを用いることにより、外耳道における脳波情報のみを用いて推定するよりも、適切に脳活動情報を推定することが可能になる。
　また、学習部４１５は、第１学習モデルについて学習する際に、第１脳波情報を予測子、第２脳波情報を目的変数にそれぞれ設定し、スパースモデリングを行うことを含んでもよい。例えば、学習部４１５は、機械学習の際に、両脳波情報の関連性に着目するスパースモデリングを用いることで、多様な要因の中から、第１脳波情報の第１特徴と第２脳波情報の第２特徴とで密接に関連する要因を選別することができる。
　これにより、学習部４１５が機械学習にスパースモデリングを用いることで、両脳波情報の関連性を精度よく抽出することができ、この関連性に基づいて脳活動測定器により測定される脳波情報を適切に推定することが可能になる。
　また、目的変数は、Ｎａ（脳活動測定器の測定位置の数）×Ｄａ（特定周波数の次元）の情報（行列又はベクトル表現）で表され、予測子は、Ｎｂ（第１生体電極の測定位置の数）×Ｄｂ（特定周波数の次元）の情報（行列又はベクトル表現）で表されてもよい。脳活動測定器の測定位置の数は第１生体電極の測定位置の数よりも多く（Ｎａ＞Ｎｂ）、この位置の差を埋めるために、例えばスパースモデリングが用いられる。
　これにより、目的変数、予測子を適切に設定して適切に機械学習することができ、外耳道における脳波情報から、脳活動測定器により測定される脳波情報を適切に推定することが可能になる。
　以上、情報処理装置４０によれば、外耳道における脳波情報から、脳活動測定器により測定される脳波情報を推定するモデル（第１学習モデル）を生成することができる。また、情報処理装置４０は、外耳道における脳波情報から脳活動情報を推定する際に、推定された脳波情報を学習データにすることで、推定精度を向上させることができるモデル（第２学習モデル）を構築することができる。
　＜処理端末の構成例＞
　図１２は、実施形態に係る情報処理装置５０の一例を示すブロック図である。情報処理装置５０は、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ、タブレット端末、ＰＤＡ（Personal Digital Assistant）などである。情報処理装置５０は、処理端末５０とも表記する。
　処理端末５０は、１つ又は複数の処理装置（ＣＰＵ）５１０、１つ又は複数のネットワーク通信インタフェース５２０、メモリ５３０、ユーザインタフェース５５０及びこれらの構成要素を相互接続するための１つ又は複数の通信バス５７０を含む。
　ユーザインタフェース５５０は、ディスプレイ装置５５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）５５２を備える。また、ユーザインタフェース５５０は、タッチパネルでもよい。
　メモリ５３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。
　また、メモリ５３０の他の例は、ＣＰＵ５１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ５３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数の処理装置（ＣＰＵ）５１０は、メモリ５３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）５１０は、メモリ５３０に格納されているプログラムを実行することで、アプリケーション５１２を構成してもよい。このアプリケーション５１２は、脳波を処理するアプリケーションであり、例えば、取得部５１３、第１推定部５１４、第２推定部５１５、特定部５１６、処理部５１７を有する。
　取得部５１３は、所定ユーザの外耳道に接触する第１生体電極により測定される脳波情報を取得する。例えば、イヤホンのイヤーチップに設けられる第１生体電極が外耳道に圧接することで、脳波情報が測定される。取得部５１３は、イヤホンにより測定される脳波情報を受信して取得する。
　第１推定部５１４は、上述した情報処理装置４０により生成される第１学習モデルを用いて、取得部５１３により取得される脳波情報から、脳活動測定器により測定される脳波情報に対応する他の脳波情報を推定する。例えば、第１学習モデルは、所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報の第１特徴と、所定ユーザに対して所定の脳活動測定器により測定される第２脳波情報の第２特徴との関連性を学習したモデルである。すなわち、第１推定部５１４は、情報処理装置４０から取得した第１学習モデルを用いて、外耳道における脳波情報から、脳活動測定器により測定される他の脳波情報を推定する。
　第２推定部５１５は、第１推定部５１４により推定される他の脳波情報に基づいて、脳活動情報を推定する。例えば、第２推定部５１５は、情報処理装置４０から脳活動情報ごとの第２学習モデルを取得しておき、他の脳波情報を用いて学習された第２学習モデルに、第１推定部５１４により推定される脳波情報を入力することで、その時のユーザの脳活動情報を推定する。第２推定部５１５は、それぞれの第２学習モデルにより求められる尤度が最も高い脳活動情報を推定結果とする。
　特定部５１６は、第２推定部５１５により推定される脳活動情報に基づいてコマンドを特定する。例えば、特定部５１６は、脳活動情報とコマンドとを対応付けておき、推定された脳活動情報に対応するコマンドを特定すればよい。コマンドは、例えば、処理端末５０を操作する際の操作コマンド（ボタン押下など）や、所定のアプリケーション（音楽や動画再生アプリ）に対する操作コマンド（再生、停止、一時停止、早送り、巻き戻しなど）などである。脳活動情報は、例えば、上、下、右、左を想像すること、また、上述した操作コマンドを直接想像することなどである。
　処理部５１７は、特定されるコマンドに対応する処理を実行する。例えば、処理部５１７は、コマンドが音量を上げるコマンドであれば、処理端末５０の音量を上げる処理を実行し、コマンドが動画を停止するコマンドであれば、処理端末５０で再生中の動画を停止する処理を実行する。
　これにより、処理端末５０は、イヤホンにより測定される外耳道の脳波情報に基づき特定されるコマンドを用いて、このコマンドに対応する処理を実行することができる。上述したとおり、外耳道における脳波情報を用いて推定される脳波情報を用いて学習データを拡張しておくことで、適切に脳活動を推定することができるため、ある程度、ユーザが思うように処理端末５０を操作することが可能になる。
　また、取得部５１３は、外耳道に接触される第１生体電極により測定される信号に基づく筋電情報（例えば筋電信号）を取得することを含んでもよい。ユーザが咀嚼をすると、取得部５１３は、測定される信号から、外耳道に近接する側頭筋及び咬筋の筋電情報を取得することができる。例えば、外耳道から測定される信号に対して所定のフィルタ処理が施されることで筋電信号が取得される。フィルタ処理は、イヤホン側で実行されてもよいし、処理端末５０側で実行されてもよい。
　この場合、特定部５１６は、取得部５１３により取得される筋電情報にさらに基づいてコマンドを特定してもよい。例えば、特定部５１６は、以下の条件に基づいてコマンドを特定してもよい。
条件：コマンド
・咀嚼１回：再生 
・咀嚼２回：早送り
・咀嚼３回：巻き戻し
・歯軋り：ボリュームアップ
・咀嚼１回・歯軋り：ボリュームダウン
・ハートを思い浮かべる：お気に入りに登録
　これにより、脳波情報だけではなく、筋電情報も活用して、簡易に機器の操作を行うことが可能になる。また、筋電情報と脳波情報とを組み合わせることで、豊富なインタフェースを提供することが可能になる。
　なお、図１２に示す例では、処理端末５０側に第１推定部５１４及び第２推定部５１５を設ける構成について説明したが、図１１に示すように、サーバ４０に第１推定部４１７及び第２推定部４１８が設けられる場合、取得部５１３は、推定された脳活動情報を取得し、特定部５１６は、取得部５１３により取得される脳活動情報に基づいてコマンドを特定するようにしてもよい。このように、サーバ４０と処理端末５０とで、適宜処理を分散し、実装に応じてどの機能をどの処理に設けるかが判断されればよい。
　＜動作＞
　次に、実施形態に係るシステム１の動作について説明する。図１３は、実施形態に係るサーバ４０のモデル生成処理の一例を示すフローチャートである。図１３に示す例では、サーバ４０が、学習モデルを生成する例について説明する。
　ステップＳ１０２で、第１取得部４１３は、所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報を取得する。例えば、第１取得部４１３は、イヤホンのイヤーチップに設けられる生体電極により測定される脳波情報を取得する。
　ステップＳ１０４で、第２取得部４１４は、第１脳波情報と同じタイミングで測定され、所定ユーザに対して所定の脳活動測定器により測定される第２脳波情報を取得する。例えば、第２取得部４１４は、国際式１０／２０法に基づき頭皮に設定される電極により測定される脳波情報を直接的又は間接的に取得する。ステップＳ１０２及びステップＳ１０４の順序は問わず、同時に測定された両脳波情報が同時に取得されてもよい。
　ステップＳ１０６で、学習部４１５は、第１脳波情報の第１特徴と、第２脳波情報の第２特徴との関連性を学習する。例えば、学習部４１５は、所定の学習モデルを用いて、第１脳波情報と第２脳波情報とを学習させることで、両脳波情報の関連性を見出す。
　ステップＳ１０８で、生成部４１６は、関連性を学習した学習モデルを生成する。例えば、学習部４１５により両脳波情報が学習されることで、生成部４１６は、第１脳波情報から第２脳波情報を推定するような両脳波情報の関連性を表す推論式のモデル（第１学習モデル）を構築、生成する。
　以上の処理によれば、例えば同じタイミングで測定された外耳道における脳波情報と、脳活動測定器により測定される脳波情報とを用いてそれぞれの特徴の関連性を学習させることで、外耳道における脳波情報から、広範な脳情報を取得可能な脳波情報を推定するモデルを構築、生成することができる。
　図１４は、実施形態に係る学習処理の一例を示すフローチャートである。図１４に示す例では、サーバ４０が第１学習モデルを生成する際に、スパースモデリングを適用する例について説明するが、他の分類モデルを使用してモデルを生成してもよい。
　ステップＳ２０２で、学習部４１５は、第１脳波情報を予測子に設定する。例えば、学習部４１５は、Ｎｂ（第１生体電極の測定位置の数）×Ｄｂ（特定周波数の次元）の情報（行列又はベクトル表現でもよい）を予測子に設定する。
　ステップＳ２０４で、学習部４１５は、第２脳波情報を目的変数に設定する。例えば、学習部４１５は、Ｎａ（脳活動測定器の測定位置の数）×Ｄａ（特定周波数の次元）の情報（行列又はベクトル表現でもよい）を目的変数に設定する。
　ステップＳ２０６で、学習部４１５は、設定された目的変数と予測子とを用いて、スパースモデリングを利用して機械学習を実行する。
　以上の処理により、学習部４１５は、機械学習の際に、両脳波情報の関連性に着目するスパースモデリングを用いることで、多様な要因の中から、第１脳波情報の第１特徴と第２脳波情報の第２特徴とで密接に関連する要因を選別することができる。学習部４１５が機械学習にスパースモデリングを用いることで、両脳波情報の関連性を精度よく抽出することができ、この関連性に基づいて脳活動測定器により測定される脳波情報を適切に推定することが可能になる。
　図１５は、実施形態に係る脳活動推定処理の一例を示すフローチャートである。図１５に示す例では、サーバ４０が脳活動情報を推定する処理について説明するが、他の装置で行われる場合も基本的には同じである。
　ステップＳ３０２で、第１推定部４１７は、推定フェーズで第１生体電極から測定される外耳道における脳波情報（第３脳波情報）を取得する。
　ステップＳ３０４で、第１推定部４１７は、取得される第３脳波情報と、生成された第１学習モデルとを用いて、脳活動測定器により測定される脳波情報に対応する第４脳波情報を推定する。例えば、第１推定部４１７は、学習部４１５及び生成部４１６により生成される第１学習モデル（適切なパラメータを含む推論式）に、推定フェーズで取得される第３脳波情報を入力することで、脳活動測定器により測定される脳波情報に対応する第４脳波情報を推定する。
　ステップＳ３０６で、第２推定部４１８は、第１推定部４１７により推定される第４脳波情報に基づいて、ユーザの脳活動情報を推定する。例えば、第２推定部４１８は、第４脳波情報を用いて脳活動情報を正解ラベルとする教師あり学習がされた第２学習モデルに、順次取得される第３脳波情報から推定される第４脳波情報を入力することで、脳活動情報を推定する。
　以上の処理により、外耳道における脳波情報から、広範な脳情報を取得可能な脳波情報を推定し、この脳波情報を学習データに用いた学習モデルを用いることにより、外耳道における脳波情報のみを用いて推定するよりも、適切に脳活動情報を推定することが可能になる。
　図１６は、実施形態に係るコマンド操作処理の一例を示すフローチャートである。図１６に示す例では、処理端末５０が、外耳道における脳波情報を取得して広範な脳波情報を推定するが、処理端末５０は、サーバ４０により推定された広範な脳波情報を取得するようにしてもよい。
　ステップＳ４０２で、取得部５１３は、所定ユーザの外耳道に接触する第１生体電極により測定される脳波情報を取得する。例えば、取得部５１３は、イヤホンにより測定される脳波情報を受信して取得する。
　ステップＳ４０４で、第１推定部５１４は、上述したサーバ４０により生成される第１学習モデルを用いて、取得部５１３により取得される脳波情報から、脳活動測定器により測定される脳波情報に対応する他の脳波情報を推定する。
　ステップＳ４０６で、第２推定部５１５は、第１推定部５１４により推定される他の脳波情報に基づいて、所定ユーザの脳活動情報を推定する。例えば、第２推定部５１５は、サーバ４０から第２学習モデルを取得しておき、他の脳波情報を用いて学習された第２学習モデルに、第１推定部５１４により推定される脳波情報を入力することで、ユーザの脳活動情報を推定する。
　ステップＳ４０８で、特定部５１６は、第２推定部５１５により推定される脳活動情報に基づいてコマンドを特定する。例えば、特定部５１６は、脳活動情報とコマンドとを対応付けておき、推定された脳活動情報に対応するコマンドを特定すればよい。
　ステップＳ４１０で、処理部５１７は、特定されるコマンドに対応する処理を実行する。例えば、処理部５１７は、コマンドが音量を上げるコマンドであれば、処理端末５０の音量を上げる処理を実行し、コマンドが動画を停止するコマンドであれば、処理端末５０で再生中の動画を停止する処理を実行する。
　以上の処理により、処理端末５０は、イヤホンにより測定される外耳道の脳波情報に基づき特定されるコマンドを用いて、このコマンドに対応する処理を実行することができる。上述したとおり、外耳道における脳波情報を用いて推定される広範な脳波情報を用いて学習データを拡張しておくことで、適切に脳活動情報を推定することができるため、ある程度、ユーザが思うように処理端末５０を操作することが可能になる。
　＜適用例＞
　上述した脳波情報を用いるインタフェースとして、スマートフォンやＶＲ（Virtual Reality）、ＡＲ（Augmented Reality）デバイスなどを活用する際に、手を用いずにインタフェースをコントロールするハンズフリー操作が求められている。この場合、上述した実施形態を用いることで、脳波情報を取得するイヤホンを利用して、脳波情報（又は取得可能な筋電情報）を用いて簡易に機器の操作を行うことができる。例えば、ユーザが咀嚼をする際に、外耳道に近接する側頭筋および咬筋の筋電信号をイヤホンの電極から取得し、また、特定のイメージを思い浮かべる脳波情報をイヤホンの電極から取得することができる。そして、上述した実施形態を適用することで、外耳道の電極から取得される脳波情報や筋電情報を利用して、機器の操作を行うことが可能である。
　以上、上述した実施形態は、本開示の技術を説明するための例示であり、本開示の技術をその実施形態のみに限定する趣旨ではなく、本開示の技術は、その要旨を逸脱しない限り、さまざまな変形が可能である。
　上述した実施形態では、外耳道から取得される脳波情報から、より広範な脳波情報を推定するが、予測するのは広範な脳波情報に限られない。例えば、人体から取得可能な生体情報を、外耳道から取得可能な脳波情報又は生体情報から推定することも可能である。具体例として、頭部付近から取得可能な生体信号は、脳波以外に、眼電位信号、頸動脈等からの心拍信号、咬筋又は側頭筋からの筋電位信号などがある。また、人体から取得可能な生体信号として、例えば心電図信号などがある。これらの生体情報は、対応する生体情報を測定する生体センサ（生体情報測定器）を用いて測定されればよい。
　上述した変形例における第２取得部４１４は、第２脳波信号の代わりに、上述した生体情報を取得し、学習部４１５は、外耳道における第１脳波情報の第１特徴と、生体信号の第３特徴との関連性を学習する。生成部４１６は、この関連性を学習した学習モデル（第３学習モデル）を生成する。第１推定部４１７は、第３脳波情報と、第３学習モデルを用いて、生体情報を推定する。第２推定部４１８は、推定された生体情報を用いて、人体の活動情報を推定する。例えば、生体情報が、眼電位信号であれば瞬目や視線移動や眠気を推定可能であり、筋電位信号であれば該当部の動作を推定可能であり、心拍信号であれば興奮状態や緊張状態を推定可能であり、心電図信号であれば心臓の状態を推定可能である。第２推定部４１８による推定は、各生体信号を学習データとし、各状態を正解ラベルとした教師あり学習を行って構築された学習モデルを用いてもよい。また、サーバ４０及び処理端末５０において説明した各処理の少なくとも１つの処理は、負荷分散を行って、他の装置で処理するようにしてもよい。例えば、学習フェーズの処理部（第１取得部４１３、第２取得部４１４、学習部４１５）はサーバ側で行われ、推定フェーズの処理部（第１推定部４１７、第２推定部４１８）はユーザ側の端末で行われてもよい。このとき、必要なデータが相互に送受信される。また、外耳道から取得される情報は、脳波情報に限られず、眼電位情報や筋電位情報の生体情報もある。よって、学習や推定に用いられる外耳道における脳波情報の代わりに、外耳道から取得される生体情報が用いられてもよい。
１　システム
１０　イヤホンセット
２０　ヘッドギア
３０、４０、５０　情報処理装置
１００　イヤホン
１０４　ノズル
１０６　イヤーチップ（弾性電極）
４１０　ＣＰＵ
４１２　脳波制御部
４１３　第１取得部
４１４　第２取得部
４１５　学習部
４１６　生成部
４１７　第１推定部
４１８　第２推定部
４３０　メモリ
５１０　ＣＰＵ
５１２　アプリケーション
５１３　取得部
５１４　第１推定部
５１５　第２推定部
５１６　特定部
５１７　処理部
５３０　メモリ

Claims (12)

  1. 　情報処理装置に含まれるプロセッサに、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報を取得すること、
    　前記第１脳波情報と同じタイミングで測定され、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報を取得すること、
    　前記第１脳波情報の第１特徴と、前記第２脳波情報の第２特徴との関連性を学習すること、
    　前記関連性を学習した学習モデルを生成すること、を実行させるプログラム。
  2. 　前記プロセッサに、
    　前記第１生体電極により測定される第３脳波情報と、前記学習モデルとを用いて、前記第２脳波情報に対応する第４脳波情報を推定すること、をさらに実行させる請求項１に記載のプログラム。
  3. 　前記プロセッサに、
    　前記第４脳波情報に基づいて前記所定ユーザの脳活動情報を推定すること、をさらに実行させる請求項２に記載のプログラム。
  4. 　前記学習することは、
    　前記第１脳波情報を予測子、前記第２脳波情報を目的変数にそれぞれ設定し、スパースモデリングを行うことを含む、請求項１乃至３いずれか一項に記載のプログラム。
  5. 　前記目的変数は、Ｎａ（前記脳活動測定器の測定位置の数）×Ｄａ（特定周波数の次元）の情報で表され、前記予測子は、Ｎｂ（前記第１生体電極の測定位置の数）×Ｄｂ（特定周波数の次元）の情報で表される、請求項４に記載のプログラム。
  6. 　情報処理装置に含まれるプロセッサが、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報を取得すること、
    　前記第１脳波情報と同じタイミングで測定され、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報を取得すること、
    　前記第１脳波情報の第１特徴と、前記第２脳波情報の第２特徴との関連性を学習すること、
    　前記関連性を学習した学習モデルを生成すること、を実行する情報処理方法。
  7. 　プロセッサを含む情報処理装置であって、
    　前記プロセッサが、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報を取得すること、
    　前記第１脳波情報と同じタイミングで測定され、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報を取得すること、
    　前記第１脳波情報の第１特徴と、前記第２脳波情報の第２特徴との関連性を学習すること、
    　前記関連性を学習した学習モデルを生成すること、を実行する、情報処理装置。
  8. 　情報処理装置に含まれるプロセッサに、
    　ユーザの外耳道に接触する第１生体電極により測定される脳波情報を取得すること、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報の第１特徴と、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報の第２特徴との関連性を学習した学習モデルを用いて、取得される前記脳波情報から、前記第２脳波情報に対応する他の脳波情報を推定すること、
    　前記他の脳波情報に基づいて前記ユーザの脳活動情報を推定すること、
    　前記脳活動情報に基づいてコマンドを特定すること、
    　前記コマンドに対応する処理を実行すること、を実行させるプログラム。
  9. 　前記取得することは、
    　前記第１生体電極により測定される情報に基づく筋電情報を取得することを含み、
    　前記特定することは、
    　前記筋電情報にさらに基づいてコマンドを特定することを含む、請求項８に記載のプログラム。
  10. 　情報処理装置に含まれるプロセッサが、
    　ユーザの外耳道に接触する第１生体電極により測定される脳波情報を取得すること、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報の第１特徴と、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報の第２特徴との関連性を学習した学習モデルを用いて、取得される前記脳波情報から、前記第２脳波情報に対応する他の脳波情報を推定すること、
    　前記他の脳波情報に基づいて前記ユーザの脳活動情報を推定すること、
    　前記脳活動情報に基づいてコマンドを特定すること、
    　前記コマンドに対応する処理を実行すること、を実行する情報処理方法。
  11. 　プロセッサを含む情報処理装置であって、
    　前記プロセッサは、
    　ユーザの外耳道に接触する第１生体電極により測定される脳波情報を取得すること、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１脳波情報の第１特徴と、前記所定ユーザに対して脳活動測定器により測定される第２脳波情報の第２特徴との関連性を学習した学習モデルを用いて、取得される前記脳波情報から、前記第２脳波情報に対応する他の脳波情報を推定すること、
    　前記他の脳波情報に基づいて前記ユーザの脳活動情報を推定すること、
    　前記脳活動情報に基づいてコマンドを特定すること、
    　前記コマンドに対応する処理を実行すること、を実行する情報処理装置。
  12. 　情報処理装置に含まれるプロセッサに、
    　所定ユーザの外耳道に接触する第１生体電極により測定される第１生体情報を取得すること、
    　前記第１生体情報と同じタイミングで測定され、前記所定ユーザに装着される生体センサにより測定される第２生体情報を取得すること、
    　前記第１生体情報の第１特徴と、前記第２生体情報の第２特徴との関連性を学習すること、
    　前記関連性を学習した学習モデルを生成すること、を実行させるプログラム。
PCT/JP2020/043280 2020-11-19 2020-11-19 プログラム、情報処理方法、及び情報処理装置 WO2022107292A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/037,722 US20240019932A1 (en) 2020-11-19 2020-11-19 Program, information processing method, and information processing apparatus
PCT/JP2020/043280 WO2022107292A1 (ja) 2020-11-19 2020-11-19 プログラム、情報処理方法、及び情報処理装置
JP2022563509A JPWO2022107292A1 (ja) 2020-11-19 2020-11-19

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/043280 WO2022107292A1 (ja) 2020-11-19 2020-11-19 プログラム、情報処理方法、及び情報処理装置

Publications (1)

Publication Number Publication Date
WO2022107292A1 true WO2022107292A1 (ja) 2022-05-27

Family

ID=81708565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043280 WO2022107292A1 (ja) 2020-11-19 2020-11-19 プログラム、情報処理方法、及び情報処理装置

Country Status (3)

Country Link
US (1) US20240019932A1 (ja)
JP (1) JPWO2022107292A1 (ja)
WO (1) WO2022107292A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7389425B1 (ja) * 2022-10-11 2023-11-30 株式会社JiMED プログラム、製造方法、製造装置及び接続方法
WO2024101388A1 (ja) * 2022-11-08 2024-05-16 Ｖｉｅ株式会社 情報処理方法、プログラム、及び情報処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015109964A (ja) * 2013-11-11 2015-06-18 株式会社電通サイエンスジャム 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP6354969B1 (ja) * 2017-12-15 2018-07-11 晶朗 木村 脳波検出用電極
JP2018158089A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 脳波測定装置及び脳波測定システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015109964A (ja) * 2013-11-11 2015-06-18 株式会社電通サイエンスジャム 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
JP2018158089A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 脳波測定装置及び脳波測定システム
JP6354969B1 (ja) * 2017-12-15 2018-07-11 晶朗 木村 脳波検出用電極

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7389425B1 (ja) * 2022-10-11 2023-11-30 株式会社JiMED プログラム、製造方法、製造装置及び接続方法
WO2024079961A1 (ja) * 2022-10-11 2024-04-18 株式会社JiMED プログラム、製造方法、製造装置及び接続方法
WO2024101388A1 (ja) * 2022-11-08 2024-05-16 Ｖｉｅ株式会社 情報処理方法、プログラム、及び情報処理装置

Also Published As

Publication number Publication date
US20240019932A1 (en) 2024-01-18
JPWO2022107292A1 (ja) 2022-05-27

Similar Documents

Publication Publication Date Title
US10291977B2 (en) Method and system for collecting and processing bioelectrical and audio signals
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20230309887A1 (en) System and method for brain modelling
Mumtaz et al. Review of challenges associated with the EEG artifact removal methods
US20200038653A1 (en) Multimodal closed-loop brain-computer interface and peripheral stimulation for neuro-rehabilitation
WO2022107292A1 (ja) プログラム、情報処理方法、及び情報処理装置
US20090099474A1 (en) System and method for combined bioelectric sensing and biosensory feedback based adaptive therapy for medical disorders
US20190246982A1 (en) Method and system for collecting and processing bioelectrical signals
CN111297379A (zh) 一种基于感官传递的脑机结合系统和方法
Simar et al. EEG-based brain-computer interface for alpha speed control of a small robot using the MUSE headband
US20200345287A1 (en) Mental fitness assessment systems and methods using physiologic signal inputs
Reyes et al. LSTM based brain-machine interface tool for text generation through eyes blinking detection
CN116603229A (zh) 基于脑电信号的电子游戏难度动态调整方法
Rashid et al. Five-class SSVEP response detection using common-spatial pattern (CSP)-SVM approach
Nguyen et al. LIBS: a bioelectrical sensing system from human ears for staging whole-night sleep study
US20220160286A1 (en) Adaptive User Interaction Systems For Interfacing With Cognitive Processes
Aspiotis et al. Active touch classification using EEG signals
EP2388680A1 (en) Apparatus and method for controlling at least one device, a corresponding computer program and a corresponding computer-readable storage medium
Zabcikova et al. Examining the Efficiency of Emotiv Insight Headset by Measuring Different Stimuli
US11402907B2 (en) Information processing system and non-transitory computer readable medium
US20210063972A1 (en) Collaborative human edge node devices and related systems and methods
WO2024009944A1 (ja) 情報処理方法、記録媒体、及び情報処理装置
WO2023153418A1 (ja) 対象の脳波の強度を推定するシステム、方法、およびプログラム
US20230380750A1 (en) Systems and methods of estimating hearing thresholds using auditory brainstem responses
WO2023073956A1 (ja) プログラム、情報処理方法、及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20962455

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022563509

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20962455

Country of ref document: EP

Kind code of ref document: A1