WO2021241138A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2021241138A1
WO2021241138A1 PCT/JP2021/017180 JP2021017180W WO2021241138A1 WO 2021241138 A1 WO2021241138 A1 WO 2021241138A1 JP 2021017180 W JP2021017180 W JP 2021017180W WO 2021241138 A1 WO2021241138 A1 WO 2021241138A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
information
subject
signal source
model
Prior art date
Application number
PCT/JP2021/017180
Other languages
English (en)
French (fr)
Inventor
奈津江 吉村
康晴 小池
Original Assignee
国立大学法人東京工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学 filed Critical 国立大学法人東京工業大学
Priority to JP2022527621A priority Critical patent/JPWO2021241138A1/ja
Priority to US17/927,481 priority patent/US20230233132A1/en
Priority to EP21810906.4A priority patent/EP4147636A4/en
Publication of WO2021241138A1 publication Critical patent/WO2021241138A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4806—Functional imaging of brain activation

Definitions

  • This disclosure relates to data processing technology, especially information processing equipment and information processing methods.
  • Patent Document 1 proposes a technique of measuring an electroencephalogram of a subject and determining the language acquisition level of the subject based on the measured electroencephalogram.
  • Patent Document 2 proposes the subject visually recognizes or imagines from the brain activity signal measured while viewing or imagining an object image including an object that was not used in the training of the decoder. Techniques have been proposed to identify the categories of objects that have been created.
  • the content perceived by the subject is discriminated or selected from a plurality of options prepared in advance based on the subject's brain wave or brain activity data. Therefore, in the prior art, how much the subject (for example, not only a healthy person but also a subject who has difficulty in expressing intention such as a vegetative state or a locked-in syndrome) perceived the presented voice (for example, whether it was recognized as a language). Etc.), the present inventor considered that it is difficult to discriminate.
  • the present disclosure is based on the above-mentioned problem recognition of the present inventor, and one object is to provide a technique for assisting the determination of how the presented voice is heard by a person.
  • the information processing apparatus teaches information on a predetermined voice and information on a signal source of a signal indicating a brain activity of a first subject to which the predetermined voice is presented.
  • a model constructed by machine learning as data, and stores a model that outputs voice information estimated to be recognized by the subject based on the information on the signal source of the input signal indicating the brain activity of the subject. It is a device that can access the model storage unit, and shows the brain activity acquisition unit that acquires a signal indicating the brain activity of the second subject to which a predetermined voice is presented, and the brain activity acquired by the brain activity acquisition unit.
  • a signal source estimation unit that estimates the signal source of the signal indicating brain activity from a plurality of regions of the brain of the second subject and information on the signal source estimated by the signal source estimation unit are modeled. It is provided with a recognition voice acquisition unit which acquires information of the recognition voice which is the voice estimated to be recognized by the second subject, which is input to and output from the model.
  • This device is a model constructed by machine learning using predetermined voice information and information on the signal source of a signal indicating the brain activity of the first subject presented with the predetermined voice as teacher data, and is input.
  • a device that can access a model storage unit that stores a model that outputs voice information estimated to be recognized by the subject based on information about the signal source of a signal indicating the brain activity of the subject. Multiple regions of the second subject's brain based on the mode of the brain activity acquisition unit that acquires the signal indicating the brain activity of the second subject that recalls the voice and the mode of the signal that indicates the brain activity acquired by the brain activity acquisition unit.
  • the second subject recalls the information output from the model by inputting information about the signal source estimated by the signal source estimation unit and the signal source estimation unit that estimates the signal source of the signal indicating brain activity from the model. It is provided with a recognition voice acquisition unit for acquiring information on the voice presumed to have been performed.
  • Yet another aspect of the present disclosure is an information processing method.
  • This method is a model constructed by machine learning using predetermined voice information and information on the signal source of a signal indicating the brain activity of the first subject presented with the predetermined voice as teacher data, and is input.
  • the computer that can access the model storage unit that stores the model that outputs the information of the voice estimated to be recognized by the subject, the predetermined voice is Based on the step of acquiring the signal indicating the brain activity of the presented second subject and the mode of the signal indicating the acquired brain activity, the signal indicating the brain activity from among the multiple regions of the brain of the second subject
  • Yet another aspect of the present disclosure is also an information processing method.
  • This method is a model constructed by machine learning using predetermined voice information and information on the signal source of a signal indicating the brain activity of the first subject presented with the predetermined voice as teacher data, and is input.
  • a computer that can access the model storage unit that stores the model that outputs the information of the voice estimated to be recognized by the subject can output arbitrary voice.
  • a signal indicating brain activity from a plurality of regions of the brain of the second subject based on the step of acquiring a signal indicating the brain activity of the second subject recalled and the mode of the signal indicating the acquired brain activity.
  • a mathematical model constructed by machine learning (in the example, a neural network, hereinafter also referred to as a “speech estimation model”) is used to reproduce how the presented speech is heard by a person.
  • a technology to support discrimination in the embodiment, an electroencephalogram (scalp electroencephalogram) is used as a signal indicating the brain activity of the subject.
  • a magnetoencephalogram may be used as a signal indicating the brain activity of the subject, or a measurement result by a near-infrared spectroscopy (NIRS) brain measuring device may be used.
  • NIRS near-infrared spectroscopy
  • FIG. 1 is a diagram showing an outline of the estimation system of the embodiment.
  • the estimation system of the embodiment listens to a predetermined voice such as "a" or "i" (hereinafter, also referred to as "original voice") to the first subject, measures the brain wave of the first subject, and measures the brain wave.
  • Original voice a predetermined voice
  • the estimation system accepts the input of the signal source information based on the signal source information and the original voice information about the first subject, and the voice estimated to be recognized by the person presented with the original voice (hereinafter referred to as "recognized voice"). Also called.) Generate a voice estimation model that outputs the information.
  • the original voice does not have to be a speech sound.
  • the original voice may be, for example, an animal bark, a meaningless mechanical sound, or the like.
  • the estimation system of the embodiment makes the second subject hear the original voice, measures the brain wave of the second subject, and estimates the signal source of the brain wave.
  • the estimation system inputs signal source information about the second subject into the voice estimation model, and acquires information on the voice (recognized voice) estimated to be recognized by the second subject presented with the original voice from the voice estimation model.
  • the estimation system can reveal how the original voice is heard by the second subject by reproducing the recognized voice.
  • the first subject and the second subject in the examples are the same person.
  • the first subject and the second subject may be one healthy person (a person who can understand voice and can express intention).
  • the first subject and the second subject may be persons who have difficulty in expressing their intentions (which can be said to be communication), such as persons with hearing impairment, persons in a vegetative state, and persons with locked-in syndrome.
  • the first subject and the second subject may be different persons.
  • the "subject" in the examples can also be said to be a "participant" in the experiment.
  • the estimation system analyzes the data in the voice estimation model in which the signal source information regarding the second subject is input, and visualizes the information processing in the brain. Specifically, it generates intracerebral information indicating the degree of influence on the recognition speech of each of the plurality of regions of the second subject's brain. This makes it possible to visualize which area of the brain is used at what timing for each individual.
  • FIG. 2 shows the configuration of the estimation system 10 of the embodiment.
  • the estimation system 10 is an information processing system including an electroencephalograph 12, an fMRI (functional Magnetic Resonance Imaging) device 14, a model generation device 16, and an estimation device 18.
  • each device of FIG. 2 is connected via a communication network such as a LAN, and data is transmitted / received online.
  • data may be exchanged offline via a recording medium such as a USB storage.
  • the electroencephalograph 12 detects a signal indicating the electroencephalogram of the subject (hereinafter referred to as "electroencephalogram signal”) via a plurality of electrodes (in other words, sensors) arranged on the scalp of the subject.
  • the number of electrodes can be changed as appropriate, but in the embodiment, the number is 30. That is, the electroencephalograph 12 detects 30 channels of electroencephalogram signals.
  • the electroencephalograph 12 outputs data indicating the detected 30-channel electroencephalogram signals to the model generation device 16 in the learning phase and to the estimation device 18 in the estimation phase.
  • the data indicating the electroencephalogram signal may be, for example, data in which time and amplitude are associated with each other. Further, the data in which the frequency and the power spectral density are associated with each other, that is, the data showing the frequency characteristics may be used.
  • the electroencephalograph 12 may amplify the electroencephalogram signal or remove noise from the electroencephalogram signal by a known method.
  • the fMRI device 14 is a device that visualizes blood flow dynamic reactions related to brain activity by using MRI (Magnetic Resonance Imaging).
  • the fMRI apparatus 14 outputs brain activity data, which is data indicating a brain region active in the subject's brain, to the model generation apparatus 16 in the learning phase and to the estimation apparatus 18 in the estimation phase. It can be said that the brain activity data indicates the signal source of the brain wave based on the actual measurement.
  • the model generation device 16 is an information processing device (in other words, a computer device) that generates a voice estimation model.
  • the estimation device 18 is an information processing device that estimates the recognition voice of the subject by using the voice estimation model generated by the model generation device 16. The detailed configuration of these devices will be described later.
  • each device shown in FIG. 1 may be realized by coordinating a plurality of information processing devices.
  • the functions of the plurality of devices shown in FIG. 1 may be realized by a single information processing device.
  • the function of the model generation device 16 and the function of the estimation device 18 may be implemented in a single information processing device.
  • FIG. 3 is a block diagram showing a functional block of the model generator 16 of FIG.
  • the model generation device 16 includes an fMRI result acquisition unit 20, a signal source estimation function generation unit 22, a signal source estimation function storage unit 24, an electroencephalogram acquisition unit 26, a signal source estimation unit 28, a voice information acquisition unit 30, a learning unit 32, and a model.
  • the output unit 34 is provided.
  • Each block shown in the block diagram of the present specification can be realized by an element or a mechanical device such as a CPU / memory of a computer in terms of hardware, and can be realized by a computer program or the like in terms of software. Now, I'm drawing a functional block realized by their cooperation. It is understood by those skilled in the art that these functional blocks can be realized in various forms by combining hardware and software.
  • a computer program in which the functions of at least a part of the plurality of functional blocks shown in FIG. 3 are implemented is stored in a predetermined recording medium, and is stored in the storage of the model generation device 16 via the recording medium. It may be installed. Alternatively, the computer program may be downloaded from the server via the communication network and installed in the storage of the model generator 16. The CPU of the model generation device 16 may exert the functions of the plurality of functional blocks shown in FIG. 3 by reading the computer program into the main memory and executing the program.
  • the fMRI result acquisition unit 20 acquires the brain activity data of the subject (the above-mentioned first subject) input from the fMRI apparatus 14.
  • "acquiring data” includes receiving data transmitted from the outside, and also includes storing the received data in a memory or storage.
  • a plurality of parts in which the surface of the brain (for example, the cerebral cortex) is divided into predetermined sizes are defined, and in the examples, 100 parts are defined.
  • These plurality of sites may include, for example, known sites such as the amygdala, insular cortex, and anterior cingulate gyrus, and may include sites in which those known sites are further subdivided.
  • the signal source estimation function generation unit 22 generates a signal source estimation function for estimating the signal source of the brain wave from the brain wave data.
  • the signal source estimation function in the embodiment is a function that accepts 30 channels of brain wave data as input and outputs data indicating the presence or absence of activity of each of 100 brain parts. In other words, it is a function that outputs data indicating whether or not each brain region is a signal source.
  • the signal source estimation function may be a 30 ⁇ 100 matrix that weights each of 100 brain regions as a signal source from 30 channels of EEG data.
  • VBMEG Variational Bayesian Multimodal EncephaloGraphy
  • VBMEG is software that estimates the signal source by estimating the cortical current of the brain based on the EEG data.
  • the electroencephalogram data may be data showing the waveform of the electroencephalogram, data showing the transition of the amplitude in time series, or data showing the frequency characteristics of the electroencephalogram.
  • the signal source estimation function generation unit 22 measures by (1) image data showing the structure of the brain imaged by fMRI and (2) fMRI in a predetermined API (Application Programming Interface) provided by VBMEG. By inputting the obtained brain activity data, (3) data indicating the installation position of the electrode on the scalp, and (4) brain wave signal data acquired by the brain wave acquisition unit 26, VBMEG is made to generate a signal source estimation function. ..
  • API Application Programming Interface
  • the signal source estimation function generation unit 22 stores the generated signal source estimation function in the signal source estimation function storage unit 24.
  • the signal source estimation function storage unit 24 is a storage area for storing the signal source estimation function generated by the signal source estimation function generation unit 22.
  • the brain wave acquisition unit 26 can be said to be a brain activity acquisition unit.
  • the electroencephalogram acquisition unit 26 acquires the data of the electroencephalogram signal input from the electroencephalogram meter 12 as a signal indicating the brain activity of the subject.
  • the electroencephalogram acquisition unit 26 outputs the acquired electroencephalogram signal data to the signal source estimation function generation unit 22 and the signal source estimation unit 28.
  • the signal source estimation unit 28 is based on the mode of the brain wave as a signal indicating the brain activity of the subject acquired by the brain wave acquisition unit 26, and the brain wave is selected from a plurality of parts of the brain of the subject (here, the first subject). Estimate one or more signal sources of.
  • the signal source estimation unit 28 uses spatiotemporal information regarding the brain waves of the first subject (for example, the shape of the waveform of the brain waves, the position on the scalp where the brain waves are measured, the positions of a plurality of signal sources, and the unevenness of the cerebral cortex (so-called brain).
  • One or more EEG signal sources may be estimated based on the shape of the wrinkles), the conductivity of the tissue between the scalp and the brain, etc.).
  • the signal source estimation unit 28 inputs one or more output of the signal source estimation function by inputting 30 channels of brain wave data into the signal source estimation function stored in the signal source estimation function storage unit 24. Acquires data related to a signal source (hereinafter, also referred to as "signal source data"). The signal source estimation unit 28 passes the acquired signal source data to the learning unit 32 as an estimation result.
  • the signal source data output by the signal source estimation unit 28 shows the transition of the signal strength (current magnitude) of the brain wave output from each signal source in time series for each of the plurality of signal sources (candidates). It is data. Specifically, the signal source data is data showing the signal strength at 77 time points within 0.3 seconds for the brain waves output from each of the 100 predetermined signal sources. The same applies to the signal source data output by the signal source estimation unit 50 described later.
  • the voice information acquisition unit 30 acquires the data of the original voice presented to the subject whose brain wave is measured by the electroencephalogram 12 and whose brain activity is measured by the fMRI device 14 from an external storage device or the like.
  • the voice information acquisition unit 30 performs a known voice analysis (for example, mel cepstrum analysis) on the original voice data acquired from the outside in a time series of a plurality of feature quantities (acoustic feature quantities) related to the original voice.
  • Generates original voice information which is information indicating the transition of. As shown in FIG. 1, the original voice information of the embodiment is time-series data of five feature quantities.
  • the learning unit 32 can be said to be a model generation unit, and is a known machine learning method (implementation) using the original audio information acquired by the audio information acquisition unit 30 and the signal source data estimated by the signal source estimation unit 28 as teacher data.
  • deep learning is used to generate a speech estimation model.
  • the voice estimation model is a convolutional neural network that accepts the signal source data of the brain wave of the subject to whom the voice is presented as an input and outputs the information of the voice (recognized voice) estimated to be recognized by the subject.
  • the learning unit 32 may generate a speech estimation model using a known library or framework such as Keras.
  • the machine learning process (for example, generation of a voice estimation model) such as deep learning executed by the learning unit 32 may be executed on a computer on the cloud (cloud computer).
  • the model generation device 16 may pass the teacher data to the cloud computer via the communication network, acquire the learning result (for example, a voice estimation model) by the cloud computer, and provide it to the estimation device 18.
  • the estimation device 18 may estimate the recognition voice of the subject by using the learning result by the cloud computer.
  • FIG. 4 shows the network configuration of the voice estimation model.
  • the speech estimation model includes an input layer 100, a plurality of convolution layers 102, a maximum pooling layer 104, a fully coupled layer 106, and an output layer 108.
  • Time-series data (signal strength at the time of 77) of the signal strength for each of the 100 signal sources indicated by the signal source data is input to the input layer 100.
  • the output layer 108 is time-series data of a plurality of feature quantities related to the recognition voice, and in the example of FIG. 4, the recognition voice information indicating the values at 60 time points for the five feature quantities is output.
  • the model output unit 34 transmits the data of the voice estimation model generated by the learning unit 32 to the estimation device 18, and stores the data of the voice estimation model in the model storage unit 40 of the estimation device 18.
  • FIG. 5 is a block diagram showing a functional block of the estimation device 18 of FIG.
  • the estimation device 18 includes a model storage unit 40, an fMRI result acquisition unit 42, a signal source estimation function generation unit 44, a signal source estimation function storage unit 46, a brain wave acquisition unit 48, a signal source estimation unit 50, a recognition voice estimation unit 52, and a recognition unit. It includes a voice storage unit 54, an output unit 56, an intracerebral information generation unit 62, and an intracerebral information storage unit 64.
  • a computer program in which the functions of at least a part of the plurality of functional blocks shown in FIG. 5 are implemented is stored in a predetermined recording medium, and is installed in the storage of the estimation device 18 via the recording medium. May be good.
  • the computer program may be downloaded from the server via the communication network and installed in the storage of the estimation device 18.
  • the CPU of the estimation device 18 may exert the functions of the plurality of functional blocks shown in FIG. 5 by reading the computer program into the main memory and executing the program.
  • the model storage unit 40 stores the data of the voice estimation model transmitted from the model generation device 16.
  • the model generation device 16 may be configured to include a storage unit for storing the voice estimation model.
  • the estimation device 18 uses the voice estimation model stored in the model generation device 16 via the communication network. You may refer to it. That is, the estimator 18 only needs to have access to a local or remote storage unit that stores the voice estimation model, in other words, the estimation device 18 refers to the voice estimation model stored in the local or remote storage unit. If possible.
  • the fMRI result acquisition unit 42, the signal source estimation function generation unit 44, the signal source estimation function storage unit 46, and the brain wave acquisition unit 48 are the fMRI result acquisition unit 20 and the signal source estimation function generation unit 22 of the model generation device 16 described above. It corresponds to the signal source estimation function storage unit 24 and the brain wave acquisition unit 26. Therefore, regarding the fMRI result acquisition unit 42, the signal source estimation function generation unit 44, the signal source estimation function storage unit 46, and the brain wave acquisition unit 48, the description of the contents common to the corresponding functional blocks is omitted as appropriate, and mainly corresponds to them. The difference from the functional block will be explained.
  • the fMRI result acquisition unit 42 acquires the brain activity data of the subject whose recognition voice is to be estimated (that is, the second subject to which the original voice is presented) input from the fMRI device 14.
  • the electroencephalogram acquisition unit 48 can also be said to be an electroencephalogram acquisition unit.
  • the electroencephalogram acquisition unit 48 acquires the data of the electroencephalogram signal of the second subject to which the original voice is presented as a signal indicating the brain activity of the subject.
  • the signal source estimation function generation unit 44 generates a signal source estimation function for estimating the signal source of the brain wave from the data of the brain wave signal of the second subject.
  • the signal source estimation function storage unit 46 stores the signal source estimation function for the second subject. Since the first subject and the second subject are the same person in the embodiment, the estimation device 18 uses the signal source estimation function generated by the model generation device 16 (in other words, generated in the learning phase). Alternatively, the signal source estimation function storage unit 46 may store the signal source estimation function generated by the model generation device 16.
  • the signal source estimation unit 50 is based on the mode of the brain wave as a signal indicating the brain activity of the subject acquired by the brain wave acquisition unit 48, and the brain wave is selected from a plurality of parts of the brain of the subject (here, the second subject). Estimate one or more signal sources of.
  • the signal source estimation unit 50 uses spatiotemporal information regarding the brain waves of the second subject (for example, the shape of the waveform of the brain waves, the position on the scalp where the brain waves are measured, the positions of a plurality of signal sources, and the unevenness of the cerebral cortex (so-called brain).
  • One or more EEG signal sources may be estimated based on the shape of the wrinkles), the conductivity of the tissue between the scalp and the brain, etc.).
  • the signal source estimation unit 50 inputs one or more output of the signal source estimation function by inputting 30 channels of brain wave data into the signal source estimation function stored in the signal source estimation function storage unit 46. Acquire signal source data related to the signal source. The signal source estimation unit 50 passes the acquired signal source data as an estimation result to the recognition voice estimation unit 52.
  • the recognition voice estimation unit 52 can be said to be a recognition voice acquisition unit, reads the data of the voice estimation model stored in the model storage unit 40 into the main memory, and reads the signal source data estimated by the signal source estimation unit 50 into the voice estimation model. Input to the input layer.
  • the recognition voice estimation unit 52 acquires time-series data (the above-mentioned recognition voice information) regarding the feature amount of the recognition voice estimated to be recognized by the second subject, which is output from the output layer of the voice estimation model.
  • the recognition voice storage unit 54 stores the recognition voice information acquired by the recognition voice estimation unit 52.
  • the recognition voice estimation unit 52 may store the recognition voice information in the recognition voice storage unit 54, and the recognition voice storage unit 54 acquires the recognition voice information from the recognition voice estimation unit 52 and stores it from the recognition voice estimation unit 52. You may. Further, the recognition voice storage unit 54 may be a volatile storage area or a non-volatile storage area.
  • the output unit 56 outputs the recognition voice information acquired by the recognition voice estimation unit 52 to the outside, and in the embodiment, outputs the recognition voice information stored in the recognition voice storage unit 54 to the outside.
  • the output unit 56 includes a reproduction unit 58 and an image generation unit 60.
  • the reproduction unit 58 is the recognition voice information acquired by the recognition voice estimation unit 52, and in the embodiment, the recognition voice information stored in the recognition voice storage unit 54 is subjected to a known voice synthesis process. The voice indicated by the recognized voice information is reproduced, and the reproduced voice is output from a speaker (not shown).
  • the image generation unit 60 acquires the voice data (that is, the original voice) presented to the second subject from an external storage device (not shown).
  • the image generation unit 60 performs a known mel cepstrum analysis on the original voice, and generates time-series data (“original voice information”) showing the transition of a plurality of features of the original voice.
  • the image generation unit 60 reads the recognition voice information stored in the recognition voice storage unit 54, that is, time-series data showing the transition of a plurality of feature quantities of the recognition voice.
  • the image generation unit 60 generates an image (hereinafter, also referred to as a “comparative image”) showing both the waveform of the original voice and the waveform of the recognized voice based on the original voice information and the recognized voice information.
  • FIG. 6 shows an example of a comparative image.
  • the waveform of the original voice is shown by a broken line and the waveform of the recognized voice is shown by a solid line for each of "A", "I”, and noise.
  • the image generation unit 60 generates a comparative image in which each of "a”, "i", and noise is superimposed for each feature amount.
  • the image generation unit 60 may store the generated comparison image data in a local or remote storage unit. Alternatively, the image generation unit 60 may output the generated comparison image data to a display device (not shown) and display the comparison image on the display device.
  • the intracerebral information generation unit 62 refers to the information recorded in the voice estimation model in which the signal source data is input by the recognition voice estimation unit 52, and influences the recognition voice of each of the plurality of regions of the second subject's brain. Generates information in the brain, which is information indicating the degree.
  • the intracerebral information generation unit 62 stores the generated intracerebral information in the intracerebral information storage unit 64.
  • the intracerebral information storage unit 64 is a storage area for storing intracerebral information generated by the intracerebral information generation unit 62.
  • the output unit 56 outputs and stores the intracerebral information stored in the intracerebral information storage unit 64 to a local or remote storage device, or outputs and displays it to a local or remote display device.
  • FIG. 7 schematically shows a method of generating information in the brain.
  • the speech estimation model includes an input layer 100, a plurality of convolution layers 102, a maximum pooling layer 104, a fully connected layer 106, and an output layer 108.
  • the plurality of convolutional layers 102 extract a signal source having a large influence on the recognition voice by a plurality of filtering processes that do not sandwich the pooling layer.
  • the convolution layer 110 is the last layer among the plurality of convolution layers 102, and is information (which can be said to be weight) regarding the degree of influence of each of the plurality of regions (that is, the plurality of signal sources) of the brain on the recognized speech. Is most clearly recorded.
  • the information generation unit 62 in the brain refers to the voice estimation model in which the signal source data is input by the recognition voice estimation unit 52 and outputs the recognition voice information, and the information recorded in the convolution layer 110, in other words, the convolution layer 110.
  • the information output from (which can also be said to be weight information) is read out to generate the array 70.
  • the array 70 is illustrated as a one-dimensional array at 100 signal sources ⁇ 32 channels ⁇ 67.
  • the information generation unit 62 in the brain stores in advance the correspondence with one or more signal sources for each of the plurality of regions in the brain (for example, MOG, IOG, FFG, etc. shown in FIG. 7). Even if the area has the same name, the left brain and the right brain are treated as different areas. For example, L of FFG in FIG. 7 is FFG of the left brain, and R of FFG in FIG. 7 is FFG of the right brain.
  • the information generation unit 62 in the brain indicates the magnitude of the influence of each region in the brain on the recognized speech based on the information about one or more corresponding signal sources for each of the plurality of regions in the brain. Generates information in the brain.
  • the information generation unit 62 in the brain has 32 ⁇ 67 numerical values per signal source (effect on the recognized speech) as information on one or more corresponding signal sources for each region in the brain. Calculate the average value (value indicating the size).
  • the in-brain information generation unit 62 records the above-mentioned average value of each region in the brain in the in-brain information as a value indicating the degree of influence on the recognition voice of each region in the brain.
  • the degree of influence of each region in the brain on the recognized voice is shown by the length of the index 72.
  • the degree of influence of each region in the brain on the recognized speech when the original speech is "i" is indicated by the length of the index 74.
  • the degree of influence of each region in the brain on the recognized voice is indicated by the length of the index 76. The longer the index 72, the index 74, and the index 76, the more actively the corresponding voice processing is performed.
  • FIG. 8 and 9 show examples of intracerebral information.
  • FIG. 8 shows the brain information 71 generated when the second subject is listening to the original voice such as “a” and “i”, that is, the voice is processed while listening to the original voice.
  • the intracerebral information 71 indicating the intracerebral region is shown.
  • FIG. 9 is brain information 71 generated when the second subject remembers the original voice heard in the past, that is, the brain processing the voice when remembering the original voice heard in the past.
  • Information 71 in the brain indicating the inner region is shown.
  • the index 72, the index 74, and the index 76 in FIGS. 8 and 9 correspond to the index 72, the index 74, and the index 76 in FIG. 7.
  • the difference in the processing in the brain between listening to the sound and remembering the sound becomes clear.
  • the area 80, the area 82, and the area 84 tend to be used both when listening to and remembering the sound.
  • the region 86, the region 88, the region 90, and the region 92 are considered to have different needs depending on whether the sound is being heard or remembered.
  • the information 71 in the brain it is possible to visualize in real time which area in the brain is active when listening to the sound and when remembering the sound. This makes it possible to visualize changes in brain activity due to differences in consciousness when the subject hears the sound. For example, by visualizing the brain activity of a person who has difficulty hearing sound with the brain information 71, it is possible to grasp which region of the brain the activity is weak. Further, by visualizing the subject's intracerebral activity in real time with the intracerebral information 71 while presenting a sound to the subject, information useful for improving the auditory function can be obtained.
  • the operation of the estimation system 10 based on the above configuration will be described. First, the operation of the learning phase in which the model generator 16 is the main body will be described.
  • the fMRI apparatus 14 measures the brain activity of the first subject and outputs the measured brain activity data to the model generation apparatus 16.
  • the fMRI result acquisition unit 20 of the model generation device 16 acquires brain activity data, and the signal source estimation function generation unit 22 activates VBMEG to generate a signal source estimation function.
  • the signal source estimation function generation unit 22 calls a known function provided by VBMEG with the brain structure data, electrode position, and brain activity data of the first subject as parameters, so that the signal for the first subject is used. Generate a source estimation function.
  • the signal source estimation function generation unit 22 stores the signal source estimation function for the first subject in the signal source estimation function storage unit 24.
  • the electroencephalograph 12 measures the electroencephalogram of the first subject via an electrode placed on the scalp of the first subject presented with the original voice (for example, "a", "i", or noise).
  • the electroencephalograph 12 outputs the electroencephalogram data of the first subject to the model generator 16.
  • the electroencephalogram acquisition unit 26 of the model generator 16 acquires the electroencephalogram data of the first subject
  • the signal source estimation unit 28 acquires the electroencephalogram data of the first subject and the signal source estimation stored in the signal source estimation function storage unit 24. According to the function, the signal source of the brain wave of the first subject is estimated.
  • the learning unit 32 generates teacher data in which the original voice presented to the first subject and the signal source data of the brain waves of the first subject are associated with each other, and executes machine learning based on the teacher data.
  • the learning unit 32 receives the signal source data as an input and generates a voice estimation model that outputs the recognition voice information that is assumed to be recognized by the subject presented with the original voice.
  • the model output unit 34 transmits the data of the voice estimation model to the estimation device 18 and stores it in the model storage unit 40 of the estimation device 18.
  • the fMRI apparatus 14 measures the brain activity of the second subject and outputs the measured brain activity data to the estimation apparatus 18.
  • the fMRI result acquisition unit 42 of the estimation device 18 acquires brain activity data, and the signal source estimation function generation unit 44 activates VBMEG to generate a signal source estimation function.
  • the signal source estimation function generation unit 44 calls a known function provided by VBMEG with the brain structure data, electrode position, and brain activity data of the second subject as parameters, so that the signal for the second subject is used. Generate a source estimation function.
  • the signal source estimation function generation unit 44 stores the signal source estimation function for the second subject in the signal source estimation function storage unit 46.
  • the electroencephalograph 12 measures the electroencephalogram of the second subject via an electrode placed on the scalp of the second subject to which the original voice is presented.
  • the electroencephalograph 12 outputs the electroencephalogram data of the second subject to the estimation device 18.
  • the electroencephalogram acquisition unit 48 of the estimation device 18 acquires the electroencephalogram data of the second subject
  • the signal source estimation unit 50 acquires the electroencephalogram data of the second subject and the signal source estimation function stored in the signal source estimation function storage unit 46. According to the above, the signal source of the brain wave of the second subject is estimated.
  • the recognition voice estimation unit 52 reads the voice estimation model stored in the model storage unit 40.
  • the recognition voice estimation unit 52 inputs the signal source data of the brain wave of the second subject into the voice estimation model, and acquires the recognition voice information about the second subject output from the voice estimation model.
  • the recognition voice estimation unit 52 stores the recognition voice information regarding the second subject in the recognition voice storage unit 54.
  • the reproduction unit 58 reproduces the voice indicated by the recognition voice information stored in the recognition voice storage unit 54.
  • the image generation unit 60 generates a comparative image showing the waveform of the original voice and the waveform of the recognition voice indicated by the recognition voice information stored in the recognition voice storage unit 54 side by side.
  • the image generation unit 60 causes the generated comparison image to be displayed on a local or remote display device.
  • the intracerebral information generation unit 62 refers to the information recorded in the voice estimation model in which the signal source data of the brain wave of the second subject is input, and determines the degree of influence on the recognition voice of each of the plurality of regions of the second subject. Generates information in the brain to show.
  • the intracerebral information generation unit 62 stores the generated intracerebral information in the intracerebral information storage unit 64.
  • the output unit 56 outputs the intracerebral information recorded in the intracerebral information storage unit 64 to an external device (storage device, display device, etc.).
  • the information of the voice itself assumed to be recognized by the subject (second subject) is generated. This makes it possible to check whether the subject can correctly recognize the sound when the subject is a healthy person.
  • the subject when the subject is a person who is unable or difficult to express his / her intention such as vegetative state, locked-in syndrome, infant, etc., the subject can hear the sound, and can not only hear the sound but also recognize it as a language in the brain. You can check if it is done.
  • the presented voice is given to the subject by reproducing the recognition voice of the subject (second subject) or by showing the waveform of the original voice and the waveform of the recognition voice in an easy-to-comparable manner. It can help determine how it sounds and how well it is perceived.
  • the original voice can be presented to the subject (second subject) wearing the hearing aid, and the recognition voice of the subject can be examined. This can support the development of high quality hearing aids based on the user's hearing recognition level. Further, according to the estimation device 18, it is possible to confirm the recognition voice when the subject remembers the original voice, so that it is possible to support the determination of the cognitive function of the subject.
  • the estimation system 10 it is possible to visualize the activity status of each region in the subject's brain (for example, intracerebral information 71 in FIGS. 8 and 9).
  • intracerebral information 71 in FIGS. 8 and 9 By accumulating information 71 in the brain of many individuals, the difference between a person with impaired hearing function (for example, an elderly person or a person who uses earphones excessively) and a person with normal hearing function can be determined in the brain region. It can be visualized at the level and can support the establishment and evaluation of training methods for maintaining healthy hearing function. In addition, after the training method is established, it is possible to diagnose in real time whether the training is effective and whether the brain function is approaching normal.
  • the following effects are also achieved. (1) It is possible to support the judgment as to whether or not a person is listening to the audio of a lesson or the like in a concentrated manner. (2) It can help to find out where in the brain the cause of not being able to hear a non-native language (English for Japanese, etc.). (3) It can help to find out where in the brain the cause of misunderstanding of voice is. (4) The causes of auditory hallucinations, tinnitus, etc. can be investigated from the viewpoint of brain activity, and treatment by neurofeedback can be supported.
  • the comparative image shown in FIG. 6 shows the experimental results of the estimation system 10, and compared the waveform of the original voice presented to the healthy person with the waveform of the recognized voice estimated from the brain wave of the healthy person. It is a thing. As described above, in this comparative image, the waveform of the original voice is shown by a broken line and the waveform of the recognized voice is shown by a solid line for each of “A”, “I”, and noise.
  • FIG. 10A and 10 (b) are graphs showing the experimental results.
  • FIG. 10A shows the result when the recognition voice is synthesized (reproduced) from the brain wave when the subject is listening to the original voice by ear.
  • FIG. 10B shows the result when the recognition voice is synthesized (reproduced) from the brain wave when the subject hears the original voice by ear and then remembers the heard sound.
  • the horizontal axis is the coefficient of determination R 2 showing the shift of the original speech waveform and speech recognition waveform.
  • the line graph shows the rate at which the voice synthesized based on the recognized voice information is recognized as the same as the original voice.
  • R 2 needs to be about 0.8 to 0.85 in order for the recognition rate shown in the line graph to be 80% or more.
  • the data showing R 2 of 0.8 or more occupies 77.2% to 79.3% or more of the whole, and the estimation accuracy of the voice estimation model is overall. was shown to be high.
  • the speech estimation model is realized by a neural network, but as a modification, a mathematical model or a function as a speech estimation model may be generated by another machine learning method.
  • the learning unit 32 of the model generator 16 uses a signal source data input by an SLR (Sparse Logistic Regression) or SVM (Support Vector Machine) method to determine the subject's recognition voice (for example, the recognition voice category). ) May be generated.
  • VBMEG is used to estimate the signal source, but the signal source may be estimated by another method.
  • sLORETA standardized Low-Resolution Brain Electromagnetic Tomography
  • sLORETA is a method of functional neuroimaging analysis, and is an analysis method of superimposing and drawing intracerebral neural activity by electroencephalogram or magnetoencephalography on a brain pictorial book (in other words, a standard brain).
  • the fMRI apparatus 14 is used to identify the signal source of the user's brain wave (in other words, the brain activity), but a configuration in which the fMRI apparatus 14 is not used is also possible.
  • it may be configured to assume or specify the correspondence between the electroencephalogram mode and the signal source based on the anatomical findings and / or the shape of the skull estimated from the three-dimensional position of the electrodes of the electroencephalogram meter 12. In this case, the fMRI apparatus 14 becomes unnecessary.
  • the signal source estimation unit 28 may estimate the signal source based on the above correspondence.
  • the first subject and the second subject are the same person, but as a modified example, the first subject and the second subject may be different people.
  • the first subject is a healthy person (a person who can understand voice and can express intention)
  • the second subject is a person with hearing impairment, a person in a vegetative state, a person with locked-in syndrome, etc. It may be a person who has difficulty in expressing his / her intention (which can be said to be communication).
  • the voice assumed to be recognized by the person who has difficulty expressing intention as the second subject is reproduced. It may be synthesized and reproduced.
  • the fifth modification example will be described.
  • An information processing device (estimation device 18) that estimates the voice recalled by the second subject when the second subject recalls (in other words, thinks or recalls) an arbitrary voice by applying the technique described in the above embodiment. ) Can be realized.
  • the model storage unit 40 of the estimation device 18 of this modified example presents information on a plurality of types of voices (for example, "a" to "n" in Japanese) and brain waves of a first subject in which each of the plurality of types of voices is presented.
  • the data of the speech estimation model constructed by machine learning may be stored using the information about the signal source of the above as the teacher data.
  • the electroencephalogram acquisition unit 48 of the estimation device 18 may acquire the electroencephalogram of the second subject who recalls an arbitrary voice (for example, any of "a” to "n"). It is estimated that the recognition voice estimation unit 52 of the estimation device 18 inputs information about the signal source of the brain wave of the second subject into the voice estimation model, and the second subject recalls the output from the voice estimation model. You may acquire voice (recollection voice) information. According to this aspect, it is possible to generate information on the voice itself that is supposed to be conceived by the subject (second subject).
  • the estimation device 18 of the fifth modification may execute the same processing and output as the recognition voice of the embodiment in relation to the recall voice.
  • the reproduction unit 58 of the estimation device 18 may reproduce the voice indicated by the information of the recall voice.
  • information regarding the degree of influence on the recalled voice of each of the plurality of regions of the second subject's brain may be recorded.
  • the intracerebral information generation unit 62 of the estimation device 18 refers to the information recorded in the speech estimation model to generate intracerebral information indicating the degree of influence on the recalled speech of each of the plurality of regions of the second subject's brain. You may.
  • the recall voice is a voice (including words) that the second subject has in mind, and includes a voice that the second subject does not reveal to the outside.
  • the recall voice includes a voice (including words) that unconsciously appears in the head of the second subject. That is, according to the estimation system 10 of the fifth modification, it is possible to obtain the voice information that comes to the mind of the second subject without the second subject consciously thinking about it. For example, when the second subject mainly thinks about the tatemae that is revealed to the outside and thinks of the real intention in one corner of the head, it is possible to obtain information including both the voice related to the tatemae and the voice related to the real intention.
  • the estimation system 10 may include a magnetoencephalograph that measures a magnetic field generated by an electrical activity of the brain, instead of the electroencephalograph 12 shown in FIG.
  • the brain activity acquisition unit of the model generation device 16 and the estimation device 18 may acquire data of a magnetoencephalogram measured by a magnetoencephalograph.
  • the signal source estimation unit of the model generation device 16 and the estimation device 18 may estimate the signal source of the magnetoencephalogram wave based on the aspect of the magnetoencephalogram wave.
  • the measurement result by the NIRS brain measuring device may be used as a signal indicating the brain activity of the first subject and the second subject.
  • the NIRS brain measuring device may measure signals such as blood flow in the cerebral cortex, increase / decrease in hemoglobin, and oxygen exchange amount.
  • the estimation system 10 may include a NIRS brain measuring device instead of the electroencephalograph 12 shown in FIG.
  • the brain activity acquisition unit of the model generation device 16 and the estimation device 18 may acquire signal data measured by the NIRS brain measurement device.
  • the signal source estimation unit of the model generation device 16 and the estimation device 18 may estimate the signal source of the signal based on the mode of the signal measured by the NIRS brain measuring device.
  • the technique of the present disclosure can be applied to a device or system for estimating a voice recognized or recalled by a person.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

推定装置（１８）は、所定の音声の情報と、その所定の音声が呈示された第１被験者の脳波の信号源とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳波の信号源をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶する記憶部にアクセス可能に構成される。推定装置（１８）は、上記所定の音声が呈示された第２被験者の脳波を取得する。推定装置（１８）は、取得した脳波の態様に基づいて、第２被験者の脳の複数の領域の中から脳波の信号源を推定する。推定装置（１８）は、推定した信号源に関する情報を上記モデルに入力し、上記モデルから出力された、第２被験者が認識すると推定される音声の情報を取得する。

Description

情報処理装置および情報処理方法
　本開示はデータ処理技術に関し、特に情報処理装置および情報処理方法に関する。
　被験者の脳波または脳活動データを利用して、その被験者に関する様々な分析を行う技術が提案されている。例えば、以下の特許文献１では、被験者の脳波を計測し、計測した脳波をもとに被験者の言語の習得レベルを判定する技術が提案されている。また、以下の特許文献２では、被験者が、デコーダのトレーニングの中で使用されなかった物体を含む物体画像を見ている間あるいは想像している間に計測された脳活動信号から、視認または想像された物体のカテゴリを識別する技術が提案されている。
特開２０１９－１２８５３３号公報 特開２０１７－０７６１９３号公報
　従来技術では、被験者の脳波または脳活動データをもとに、予め用意しておいた複数の選択肢の中から、被験者が認知する内容を判別または選択する。そのため、従来技術では、被験者（例えば健常者だけでなく植物状態や閉じ込め症候群等の意思表出が困難な被験者を含む）が、呈示された音声をどの程度認知したか（例えば言語として認識したか等）を判別することは困難であると本発明者は考えた。
　本開示は、本発明者の上記課題認識に基づきなされたものであり、１つの目的は、呈示された音声が人にどのように聞こえているかの判別を支援する技術を提供することである。
　上記課題を解決するために、本開示のある態様の情報処理装置は、所定の音声の情報と、所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能な装置であって、所定の音声が呈示された第２被験者の脳活動を示す信号を取得する脳活動取得部と、脳活動取得部により取得された脳活動を示す信号の態様に基づいて、第２被験者の脳の複数の領域の中から脳活動を示す信号の信号源を推定する信号源推定部と、信号源推定部により推定された信号源に関する情報をモデルに入力して、モデルから出力された、第２被験者が認識すると推定される音声である認識音声の情報を取得する認識音声取得部と、を備える。
　本開示の別の態様もまた、情報処理装置である。この装置は、所定の音声の情報と、所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能な装置であって、任意の音声を想起した第２被験者の脳活動を示す信号を取得する脳活動取得部と、脳活動取得部により取得された脳活動を示す信号の態様に基づいて、第２被験者の脳の複数の領域の中から脳活動を示す信号の信号源を推定する信号源推定部と、信号源推定部により推定された信号源に関する情報をモデルに入力して、モデルから出力された、第２被験者が想起したと推定される音声の情報を取得する認識音声取得部と、を備える。
　本開示のさらに別の態様は、情報処理方法である。この方法は、所定の音声の情報と、所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能なコンピュータが、所定の音声が呈示された第２被験者の脳活動を示す信号を取得するステップと、取得された脳活動を示す信号の態様に基づいて、第２被験者の脳の複数の領域の中から脳活動を示す信号の信号源を推定するステップと、推定された信号源に関する情報をモデルに入力して、モデルから出力された、第２被験者が認識すると推定される音声である認識音声の情報を取得するステップと、を実行する。
　本開示のさらに別の態様もまた、情報処理方法である。この方法は、所定の音声の情報と、所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能なコンピュータが、任意の音声を想起した第２被験者の脳活動を示す信号を取得するステップと、取得された脳活動を示す信号の態様に基づいて、第２被験者の脳の複数の領域の中から脳活動を示す信号の信号源を推定するステップと、推定された信号源に関する情報をモデルに入力して、モデルから出力された、第２被験者が想起したと推定される音声の情報を取得するステップと、を実行する。
　なお、以上の構成要素の任意の組合せ、本開示の表現を、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本開示の態様として有効である。
　本開示によれば、呈示された音声が人にどのように聞こえているかの判別、または、人が思い浮かべた音声の判別を支援することができる。
実施例の推定システムの概要を示す図である。 実施例の推定システムの構成を示す図である。 図２のモデル生成装置の機能ブロックを示すブロック図である。 音声推定モデルのネットワーク構成を示す図である。 図２の推定装置の機能ブロックを示すブロック図である。 比較画像の例を示す図である。 脳内情報の生成方法を模式的に示す図である。 脳内情報の例を示す図である。 脳内情報の例を示す図である。 図１０（ａ）と図１０（ｂ）は、実験結果を示すグラフである。
　実施例の推定システムの構成を説明する前に概要を説明する。
　実施例では、機械学習により構築した数理モデル（実施例ではニューラルネットワーク、以下「音声推定モデル」とも呼ぶ。）を用いて、呈示された音声が人にどのように聞こえているかを再現し、その判別を支援する技術を提案する。実施例では被験者の脳活動を示す信号として、脳波（頭皮脳波）を用いる。詳細は後述するが、被験者の脳活動を示す信号として、脳磁波を用いてもよく、近赤外線分光法（Near-infrared spectroscopy、NIRS）脳計測装置による計測結果を用いてもよい。
　図１は、実施例の推定システムの概要を示す図である。学習フェーズにおいて、実施例の推定システムは、「あ」、「い」等の所定の音声（以下「オリジナル音声」とも呼ぶ。）を第１被験者に聞かせて第１被験者の脳波を計測し、脳波の信号源を推定する。推定システムは、第１被験者に関する信号源情報とオリジナル音声情報とに基づいて、信号源情報の入力を受け付け、かつ、オリジナル音声が呈示された人が認識すると推定される音声（以下「認識音声」とも呼ぶ。）の情報を出力する音声推定モデルを生成する。なお、オリジナル音声は、言語音でなくてもよい。オリジナル音声は、例えば、動物の鳴き声であってもよく、意味をなさない機械音等であってもよい。
　また、推定フェーズにおいて、実施例の推定システムは、第２被験者に上記オリジナル音声を聞かせて第２被験者の脳波を計測し、脳波の信号源を推定する。推定システムは、第２被験者に関する信号源情報を音声推定モデルに入力して、オリジナル音声が呈示された第２被験者が認識すると推定される音声（認識音声）の情報を音声推定モデルから取得する。推定システムは、認識音声を再生することで、オリジナル音声が第２被験者にどのように聞こえているかを明らかにすることができる。
　実施例における第１被験者と第２被験者は同一人物である。例えば、第１被験者と第２被験者は、１人の健常者（音声を理解でき、意思表出も可能な人）であってもよい。また、第１被験者と第２被験者は、聴覚に障害のある人、植物状態の人、閉じ込め症候群の人等、意思表出（意思疎通とも言える）が困難な人であってもよい。なお、後述するが、変形例として、第１被験者と第２被験者は異なる人であってもよい。実施例における「被験者」は、実験への「参加者」とも言える。
　また、推定フェーズにおいて、推定システムは、第２被験者に関する信号源情報が入力された音声推定モデル内のデータを解析して、脳内の情報処理を可視化する。具体的には、第２被験者の脳の複数の領域それぞれの認識音声への影響度を示す脳内情報を生成する。これにより、脳のどの領域が、どのタイミングで使われているかを個人ごとに可視化することができる。
　図２は、実施例の推定システム１０の構成を示す。推定システム１０は、脳波計１２、ｆＭＲＩ（functional Magnetic Resonance Imaging）装置１４、モデル生成装置１６、推定装置１８を備える情報処理システムである。実施例では、図２の各装置は、ＬＡＮ等の通信網を介して接続され、オンラインでデータが送受信される。変形例として、ＵＳＢストレージ等の記録メディアを介して、オフラインでデータが交換されてもよい。
　脳波計１２は、被験者の頭皮上に配置された複数の電極（言い換えればセンサ）を介して、被験者の脳波を示す信号（以下「脳波信号」と呼ぶ。）を検出する。電極の数は適宜変更可能であるが、実施例では３０個である。すなわち、脳波計１２は、３０チャネルの脳波信号を検出する。脳波計１２は、検出した３０チャネルの脳波信号を示すデータを、学習フェーズではモデル生成装置１６へ出力し、推定フェーズでは推定装置１８へ出力する。
　脳波信号を示すデータは、例えば、時間と振幅を対応付けたデータであってもよい。また、周波数とパワースペクトル密度を対応付けたデータ、すなわち周波数特性を示すデータでもよい。脳波計１２は、公知の方法により、脳波信号を増幅してもよく、また、脳波信号からノイズを除去してもよい。
　ｆＭＲＩ装置１４は、ＭＲＩ（Magnetic Resonance Imaging）を利用して、脳の活動に関連した血流動態反応を視覚化する装置である。ｆＭＲＩ装置１４は、被験者の脳において活動する脳部位を示すデータである脳活動データを、学習フェーズではモデル生成装置１６へ出力し、推定フェーズでは推定装置１８へ出力する。脳活動データは、実測に基づく脳波の信号源を示すデータとも言える。
　モデル生成装置１６は、音声推定モデルを生成する情報処理装置（言い換えればコンピュータデバイス）である。推定装置１８は、モデル生成装置１６により生成された音声推定モデルを使用して、被験者の認識音声を推定する情報処理装置である。これらの装置の詳細な構成は後述する。
　なお、図１の各装置の筐体数に制限はない。例えば、図１に示す少なくとも１つの装置は、複数の情報処理装置が連携することにより実現されてもよい。また、図１に示す複数の装置の機能が、単一の情報処理装置により実現されてもよい。例えば、モデル生成装置１６の機能と推定装置１８の機能は、単一の情報処理装置に実装されてもよい。
　図３は、図２のモデル生成装置１６の機能ブロックを示すブロック図である。モデル生成装置１６は、ｆＭＲＩ結果取得部２０、信号源推定関数生成部２２、信号源推定関数記憶部２４、脳波取得部２６、信号源推定部２８、音声情報取得部３０、学習部３２、モデル出力部３４を備える。
　本明細書のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのＣＰＵ・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　また、図３に示す複数の機能ブロックのうち少なくとも一部の機能ブロックの機能が実装されたコンピュータプログラムが、所定の記録媒体に格納され、その記録媒体を介して、モデル生成装置１６のストレージにインストールされてもよい。または、上記コンピュータプログラムが、通信網を介してサーバからダウンロードされ、モデル生成装置１６のストレージにインストールされてもよい。モデル生成装置１６のＣＰＵは、上記コンピュータプログラムをメインメモリに読み出して実行することにより、図３に示す複数の機能ブロックの機能を発揮してもよい。
　ｆＭＲＩ結果取得部２０は、ｆＭＲＩ装置１４から入力された、被験者（上記の第１被験者）の脳活動データを取得する。実施例において「データを取得する」とは、外部から送信されたデータを受信することを含み、また、受信したデータをメモリまたはストレージに記憶させることを含む。
　実施例では、脳の表面（例えば大脳皮質）を所定の大きさに分割した複数の部位（「領域」とも言える。）を定義し、実施例では１００個の部位を定義する。これらの複数の部位は、例えば、扁桃体、島皮質、帯状回前部等の公知の部位を含んでもよく、それらの公知の部位をより細分化した部位を含んでもよい。信号源推定関数生成部２２は、脳波データから当該脳波の信号源を推定するための信号源推定関数を生成する。
　実施例における信号源推定関数は、３０チャネルの脳波データを入力として受け付け、１００個の脳部位それぞれの活動の有無を示すデータを出力する関数である。言い換えれば、それぞれの脳部位が信号源か否かを示すデータを出力する関数である。信号源推定関数は、３０チャネルの脳波データから、１００個の脳部位それぞれに対して信号源としての重み付けを行う３０×１００の行列であってもよい。
　信号源推定関数生成部２２の上記処理は、公知のソフトウェアである株式会社国際電気通信基礎技術研究所が提供するＶＢＭＥＧ（Variational Bayesian Multimodal EncephaloGraphy）により実現される。ＶＢＭＥＧは、脳波データに基づいて脳の皮質電流を推定することにより信号源を推定するソフトウェアである。脳波データは、脳波の波形を示すデータでもよく、時系列での振幅の推移を示すデータでもよく、脳波の周波数特性を示すデータでもよい。
　具体的には、信号源推定関数生成部２２は、ＶＢＭＥＧが提供する所定のＡＰＩ（Application Programming Interface）に、（１）ｆＭＲＩにより撮像された脳の構造を示す画像データ、（２）ｆＭＲＩにより計測された脳活動データ、（３）頭皮上における電極の設置位置を示すデータ、（４）脳波取得部２６により取得された脳波信号のデータを入力することにより、ＶＢＭＥＧに信号源推定関数を生成させる。
　信号源推定関数生成部２２は、生成した信号源推定関数を信号源推定関数記憶部２４に格納する。信号源推定関数記憶部２４は、信号源推定関数生成部２２により生成された信号源推定関数を記憶する記憶領域である。
　脳波取得部２６は、脳活動取得部とも言える。脳波取得部２６は、被験者の脳活動を示す信号として、脳波計１２から入力された脳波信号のデータを取得する。脳波取得部２６は、取得した脳波信号のデータを信号源推定関数生成部２２と信号源推定部２８へ出力する。
　信号源推定部２８は、脳波取得部２６により取得された、被験者の脳活動を示す信号としての脳波の態様に基づいて、被験者（ここでは第１被験者）の脳の複数の部位の中から脳波の信号源を１つ以上推定する。信号源推定部２８は、第１被験者の脳波に関する時空間情報（例えば、脳波の波形の形状や、脳波が計測された頭皮上の位置、複数の信号源の位置、大脳皮質の凹凸（いわゆる脳のシワ）の形状、頭皮と脳の間にある組織の導電率等）に基づいて、脳波の信号源を１つ以上推定してもよい。
　実施例では、信号源推定部２８は、信号源推定関数記憶部２４に記憶された信号源推定関数に３０チャネルの脳波データを入力することにより、信号源推定関数の出力として、１つ以上の信号源に関するデータ（以下「信号源データ」とも呼ぶ。）を取得する。信号源推定部２８は、取得した信号源データを推定結果として学習部３２に渡す。
　信号源推定部２８が出力する信号源データは、複数の信号源（の候補）のそれぞれについて、各信号源から出力された脳波の信号強度（電流の大きさ）の時系列での推移を示すデータである。具体的には、信号源データは、予め定められた１００個の信号源のそれぞれから出力された脳波について、０．３秒間内での７７時点の信号強度を示すデータである。後述の信号源推定部５０が出力する信号源データも同様である。
　音声情報取得部３０は、脳波計１２により脳波が計測され、ｆＭＲＩ装置１４により脳活動が計測された被験者に対して呈示されたオリジナル音声のデータを外部の記憶装置等から取得する。音声情報取得部３０は、外部から取得したオリジナル音声のデータに対して、公知の音声分析（例えばメルケプストラム分析）を行うことにより、オリジナル音声に関する複数の特徴量（音響特徴量）の時系列での推移を示す情報であるオリジナル音声情報を生成する。図１に示したように、実施例のオリジナル音声情報は、５つの特徴量の時系列データである。
　学習部３２は、モデル生成部とも言え、音声情報取得部３０により取得されたオリジナル音声情報と、信号源推定部２８により推定された信号源データとを教師データとして、公知の機械学習手法（実施例では深層学習）により音声推定モデルを生成する。音声推定モデルは、音声が呈示された被験者の脳波の信号源データを入力として受け付け、その被験者が認識すると推定される音声（認識音声）の情報を出力する畳み込みニューラルネットワークである。学習部３２は、Ｋｅｒａｓ等の公知のライブラリまたはフレームワークを使用して音声推定モデルを生成してもよい。
　変形例として、学習部３２が実行する深層学習等の機械学習の処理（例えば音声推定モデルの生成）は、クラウド上のコンピュータ（クラウドコンピュータ）において実行されてもよい。この場合、モデル生成装置１６は、通信網を介して、教師データをクラウドコンピュータに渡し、クラウドコンピュータによる学習結果（例えば音声推定モデル）を取得して推定装置１８に提供してもよい。推定装置１８は、クラウドコンピュータによる学習結果を使用して、被験者の認識音声を推定してもよい。
　図４は、音声推定モデルのネットワーク構成を示す。音声推定モデルは、入力層１００、複数の畳み込み層１０２、最大プーリング層１０４、全結合層１０６、出力層１０８を含む。入力層１００には、信号源データが示す、１００個の信号源のそれぞれについての信号強度の時系列データ（７７時点の信号強度）が入力される。出力層１０８からは、認識音声に関する複数の特徴量の時系列データであり、図４の例では、５つの特徴量について６０時点の値を示す認識音声情報が出力される。
　図３に戻り、モデル出力部３４は、学習部３２により生成された音声推定モデルのデータを推定装置１８へ送信し、推定装置１８のモデル記憶部４０に音声推定モデルのデータを記憶させる。
　図５は、図２の推定装置１８の機能ブロックを示すブロック図である。推定装置１８は、モデル記憶部４０、ｆＭＲＩ結果取得部４２、信号源推定関数生成部４４、信号源推定関数記憶部４６、脳波取得部４８、信号源推定部５０、認識音声推定部５２、認識音声記憶部５４、出力部５６、脳内情報生成部６２、脳内情報記憶部６４を備える。
　図５に示す複数の機能ブロックのうち少なくとも一部の機能ブロックの機能が実装されたコンピュータプログラムが、所定の記録媒体に格納され、その記録媒体を介して、推定装置１８のストレージにインストールされてもよい。または、上記コンピュータプログラムが、通信網を介してサーバからダウンロードされ、推定装置１８のストレージにインストールされてもよい。推定装置１８のＣＰＵは、上記コンピュータプログラムをメインメモリに読み出して実行することにより、図５に示す複数の機能ブロックの機能を発揮してもよい。
　モデル記憶部４０は、モデル生成装置１６から送信された音声推定モデルのデータを記憶する。変形例として、モデル生成装置１６が、音声推定モデルを記憶する記憶部を備える構成でもよく、この場合、推定装置１８は、通信網を介して、モデル生成装置１６に記憶された音声推定モデルを参照してもよい。すなわち、推定装置１８は、音声推定モデルを記憶するローカルまたはリモートの記憶部にアクセス可能であればよく、言い換えれば、推定装置１８は、ローカルまたはリモートの記憶部に記憶された音声推定モデルを参照可能であればよい。
　ｆＭＲＩ結果取得部４２、信号源推定関数生成部４４、信号源推定関数記憶部４６、脳波取得部４８は、既述したモデル生成装置１６のｆＭＲＩ結果取得部２０、信号源推定関数生成部２２、信号源推定関数記憶部２４、脳波取得部２６に対応する。したがって、ｆＭＲＩ結果取得部４２、信号源推定関数生成部４４、信号源推定関数記憶部４６、脳波取得部４８について、対応する機能ブロックと共通する内容の説明は適宜省略し、主に、対応する機能ブロックと異なる点を説明する。
　ｆＭＲＩ結果取得部４２は、ｆＭＲＩ装置１４から入力された、認識音声の推定対象の被験者（すなわちオリジナル音声が呈示された第２被験者）の脳活動データを取得する。脳波取得部４８は、脳活動取得部とも言える。脳波取得部４８は、被験者の脳活動を示す信号として、オリジナル音声が呈示された第２被験者の脳波信号のデータを取得する。
　信号源推定関数生成部４４は、第２被験者の脳波信号のデータから当該脳波の信号源を推定するための信号源推定関数を生成する。信号源推定関数記憶部４６は、第２被験者に関する信号源推定関数を記憶する。なお、実施例では第１被験者と第２被験者が同一人物であるため、推定装置１８は、モデル生成装置１６により生成された（言い換えれば学習フェーズにおいて生成された）信号源推定関数を使用してもよく、信号源推定関数記憶部４６には、モデル生成装置１６により生成された信号源推定関数が格納されてもよい。
　信号源推定部５０は、脳波取得部４８により取得された、被験者の脳活動を示す信号としての脳波の態様に基づいて、被験者（ここでは第２被験者）の脳の複数の部位の中から脳波の信号源を１つ以上推定する。信号源推定部５０は、第２被験者の脳波に関する時空間情報（例えば、脳波の波形の形状や、脳波が計測された頭皮上の位置、複数の信号源の位置、大脳皮質の凹凸（いわゆる脳のシワ）の形状、頭皮と脳の間にある組織の導電率等）に基づいて、脳波の信号源を１つ以上推定してもよい。
　実施例では、信号源推定部５０は、信号源推定関数記憶部４６に記憶された信号源推定関数に３０チャネルの脳波データを入力することにより、信号源推定関数の出力として、１つ以上の信号源に関する信号源データを取得する。信号源推定部５０は、取得した信号源データを推定結果として認識音声推定部５２に渡す。
　認識音声推定部５２は、認識音声取得部とも言え、モデル記憶部４０に記憶された音声推定モデルのデータをメインメモリに読み出し、信号源推定部５０により推定された信号源データを音声推定モデルの入力層に入力する。認識音声推定部５２は、音声推定モデルの出力層から出力された、第２被験者が認識すると推定される認識音声の特徴量に関する時系列データ（上述の認識音声情報）を取得する。
　認識音声記憶部５４は、認識音声推定部５２により取得された認識音声情報を記憶する。認識音声推定部５２が、認識音声情報を認識音声記憶部５４に格納してもよく、認識音声記憶部５４が、認識音声推定部５２から認識音声情報を認識音声推定部５２から取得して記憶してもよい。また、認識音声記憶部５４は、揮発性の記憶領域であってもよく、不揮発性の記憶領域であってもよい。
　出力部５６は、認識音声推定部５２により取得された認識音声情報を外部に出力し、実施例では、認識音声記憶部５４に記憶された認識音声情報を外部に出力する。出力部５６は、再生部５８と画像生成部６０を含む。再生部５８は、認識音声推定部５２により取得された認識音声情報であって、実施例では認識音声記憶部５４に記憶された認識音声情報に対して公知の音声合成処理を実行することにより、認識音声情報が示す音声を再生し、再生音声をスピーカ（不図示）から出力させる。
　画像生成部６０は、第２被験者に呈示された音声（すなわちオリジナル音声）のデータを外部の記憶装置（不図示）から取得する。画像生成部６０は、オリジナル音声に対して公知のメルケプストラム分析を行い、オリジナル音声の複数の特徴量の推移を示す時系列データ（「オリジナル音声情報」）を生成する。また、画像生成部６０は、認識音声記憶部５４に記憶された認識音声情報、すなわち認識音声の複数の特徴量の推移を示す時系列データを読み込む。画像生成部６０は、オリジナル音声情報と認識音声情報とをもとに、オリジナル音声の波形と認識音声の波形の両方を示す画像（以下「比較画像」とも呼ぶ。）を生成する。
　図６は、比較画像の例を示す。同図は、「あ」、「い」、雑音のそれぞれについて、オリジナル音声の波形を破線で示し、認識音声の波形を実線で示している。図６の例では、画像生成部６０は、「あ」、「い」、雑音のそれぞれについて、特徴量ごとに重ねた態様の比較画像を生成する。
　画像生成部６０は、生成した比較画像のデータをローカルまたはリモートの記憶部に格納してもよい。または、画像生成部６０は、生成した比較画像のデータを不図示のディスプレイ装置に出力し、そのディスプレイ装置に比較画像を表示させてもよい。
　脳内情報生成部６２は、認識音声推定部５２により信号源データが入力された音声推定モデルに記録された情報を参照して、第２被験者の脳の複数の領域それぞれの認識音声への影響度を示す情報である脳内情報を生成する。脳内情報生成部６２は、生成した脳内情報を脳内情報記憶部６４に格納する。脳内情報記憶部６４は、脳内情報生成部６２により生成された脳内情報を記憶する記憶領域である。出力部５６は、脳内情報記憶部６４に記憶された脳内情報を、ローカルまたはリモートの記憶装置に出力して記憶させ、または、ローカルまたはリモートの表示装置に出力して表示させる。
　図７は、脳内情報の生成方法を模式的に示す。既述したが、音声推定モデルは、入力層１００、複数の畳み込み層１０２、最大プーリング層１０４、全結合層１０６、出力層１０８を含む。複数の畳み込み層１０２は、プーリング層を挟まない複数回のフィルタリング処理により認識音声への影響度が大きい信号源を抽出していくものである。畳み込み層１１０は、連続する複数の畳み込み層１０２の中で最後に位置する層であり、脳の複数の領域（すなわち複数の信号源）それぞれの認識音声への影響度に関する情報（重みとも言える）が最も明確に記録される。
　脳内情報生成部６２は、認識音声推定部５２により信号源データが入力され、認識音声情報を出力した音声推定モデルを参照して、畳み込み層１１０に記録された情報、言い換えれば、畳み込み層１１０から出力された情報（重み情報とも言える）を読み出して配列７０を生成する。図７では、配列７０を、１００信号源×３２チャネル×６７時点の一次元配列として例示している。
　脳内情報生成部６２は、脳内の複数の領域（例えば図７に記載のＭＯＧ、ＩＯＧ、ＦＦＧ等）のそれぞれについて、１つ以上の信号源との対応関係を予め記憶する。なお、同じ名称の領域であっても左脳と右脳は別領域として扱う。例えば、図７のＦＦＧのＬは、左脳のＦＦＧであり、図７のＦＦＧのＲは、右脳のＦＦＧである。脳内情報生成部６２は、脳内の複数の領域のそれぞれについて、対応する１つ以上の信号源に関する情報をもとに、脳内の各領域が認識音声に及ぼした影響の大きさを示す脳内情報を生成する。
　具体的には、脳内情報生成部６２は、脳内の各領域について、対応する１つ以上の信号源に関する情報として、１つの信号源あたり３２×６７個の数値（認識音声への影響の大きさを示す値）の平均値を計算する。脳内情報生成部６２は、脳内の各領域の上記平均値を、脳内の各領域の認識音声への影響度を示す値として脳内情報に記録する。
　図７の脳内情報７１では、オリジナル音声が「あ」の場合の、認識音声に対する脳内各領域の影響度を指標７２の長さで示している。また、脳内情報７１では、オリジナル音声が「い」の場合の、認識音声に対する脳内各領域の影響度を指標７４の長さで示している。また、脳内情報７１では、オリジナル音声が雑音（ホワイトノイズ）の場合の、認識音声に対する脳内各領域の影響度を指標７６の長さで示している。指標７２、指標７４、指標７６が長いほど、対応する音声の処理を活発に行っていることを示す。
　図８と図９は、脳内情報の例を示す。図８は、第２被験者が「あ」、「い」等のオリジナル音声を聞いているときに生成された脳内情報７１であり、すなわち、オリジナル音声を聞いているときに音声処理している脳内領域を示す脳内情報７１を示している。一方、図９は、第２被験者が過去聞いたオリジナル音声を思い出しているときに生成された脳内情報７１であり、すなわち、過去聞いたオリジナル音声を思い出しているときに音声処理している脳内領域を示す脳内情報７１を示している。図８と図９の指標７２、指標７４、指標７６は、図７の指標７２、指標７４、指標７６に対応する。
　図８の脳内情報７１と図９の脳内情報７１とを比較することで、音を聞いているときと、音を思い出しているときでの脳内の処理の違いが明らかになる。例えば、領域８０、領域８２、領域８４は、音を聞いているときと思いだしているときの両方で使用される傾向がある。一方、領域８６、領域８８、領域９０、領域９２は、音を聞いているときと思いだしているときとで必要性が異なる領域と考えられる。
　脳内情報７１により、音を聞いているとき、および、音を思い出しているときに脳内のどの領域が活動しているかをリアルタイムに可視化できる。これにより、被験者が音を聞くときの意識の違いによる脳活動の変化を可視化できる。例えば、音が聞こえづらい人の脳活動を脳内情報７１により可視化することで、脳内のどの領域の活動が弱いかを把握することができる。また、被験者に音を呈示しつつ、被験者の脳内活動を脳内情報７１でリアルタイムに可視化することで、聴覚機能の改善に役立つ情報を得ることできる。
　以上の構成による推定システム１０の動作を説明する。
　まず、主にモデル生成装置１６が主体となる学習フェーズの動作を説明する。ｆＭＲＩ装置１４は、第１被験者の脳活動を計測し、計測した脳活動データをモデル生成装置１６へ出力する。モデル生成装置１６のｆＭＲＩ結果取得部２０は、脳活動データを取得し、信号源推定関数生成部２２は、ＶＢＭＥＧを起動して信号源推定関数を生成する。具体的には、信号源推定関数生成部２２は、第１被験者の脳構造データ、電極位置、脳活動データをパラメータとして、ＶＢＭＥＧが提供する公知の関数をコールすることにより第１被験者用の信号源推定関数を生成する。信号源推定関数生成部２２は、第１被験者用の信号源推定関数を信号源推定関数記憶部２４に格納する。
　脳波計１２は、オリジナル音声（例えば「あ」、「い」、または雑音）が呈示された第１被験者の頭皮に設置された電極を介して、第１被験者の脳波を計測する。脳波計１２は、第１被験者の脳波データをモデル生成装置１６へ出力する。モデル生成装置１６の脳波取得部２６は、第１被験者の脳波データを取得し、信号源推定部２８は、第１被験者の脳波データと、信号源推定関数記憶部２４に格納された信号源推定関数とにしたがって、第１被験者の脳波の信号源を推定する。
　学習部３２は、第１被験者に呈示されたオリジナル音声と、第１被験者の脳波の信号源データとを対応付けた教師データを生成し、その教師データをもとに機械学習を実行する。学習部３２は、信号源データを入力として受け付け、オリジナル音声を呈示された被験者が認識すると想定される認識音声情報を出力する音声推定モデルを生成する。モデル出力部３４は、音声推定モデルのデータを推定装置１８へ送信し、推定装置１８のモデル記憶部４０に記憶させる。
　次に、主に推定装置１８が主体となる推定フェーズの動作を説明する。ｆＭＲＩ装置１４は、第２被験者の脳活動を計測し、計測した脳活動データを推定装置１８へ出力する。推定装置１８のｆＭＲＩ結果取得部４２は、脳活動データを取得し、信号源推定関数生成部４４は、ＶＢＭＥＧを起動して信号源推定関数を生成する。具体的には、信号源推定関数生成部４４は、第２被験者の脳構造データ、電極位置、脳活動データをパラメータとして、ＶＢＭＥＧが提供する公知の関数をコールすることにより第２被験者用の信号源推定関数を生成する。信号源推定関数生成部４４は、第２被験者用の信号源推定関数を信号源推定関数記憶部４６に格納する。
　脳波計１２は、オリジナル音声が呈示された第２被験者の頭皮に設置された電極を介して、第２被験者の脳波を計測する。脳波計１２は、第２被験者の脳波データを推定装置１８へ出力する。推定装置１８の脳波取得部４８は、第２被験者の脳波データを取得し、信号源推定部５０は、第２被験者の脳波データと、信号源推定関数記憶部４６に格納された信号源推定関数とにしたがって、第２被験者の脳波の信号源を推定する。
　認識音声推定部５２は、モデル記憶部４０に記憶された音声推定モデルを読み込む。認識音声推定部５２は、音声推定モデルに第２被験者の脳波の信号源データを入力し、音声推定モデルから出力された第２被験者に関する認識音声情報を取得する。認識音声推定部５２は、第２被験者に関する認識音声情報を認識音声記憶部５４に格納する。再生部５８は、認識音声記憶部５４に記憶された認識音声情報が示す音声を再生する。画像生成部６０は、オリジナル音声の波形と、認識音声記憶部５４に記憶された認識音声情報が示す認識音声の波形とを並べて示す比較画像を生成する。画像生成部６０は、生成した比較画像をローカルまたはリモートの表示装置に表示させる。
　脳内情報生成部６２は、第２被験者の脳波の信号源データが入力された音声推定モデルに記録された情報を参照して、第２被験者の複数の領域それぞれの認識音声への影響度を示す脳内情報を生成する。脳内情報生成部６２は、生成した脳内情報を脳内情報記憶部６４に格納する。出力部５６は、脳内情報記憶部６４に記録された脳内情報を外部機器（記憶装置、表示装置等）に出力する。
　実施例の推定システム１０によると、被験者（第２被験者）が認識したと想定される音声そのものの情報を生成する。これにより、被験者が健常者である場合に、その被験者が正しく音を認識できているかを調べることができる。また被験者が、植物状態や閉じ込め症候群、乳児等の意思表出ができないまたは困難な人の場合に、その被験者が、音が聞こえているか、また、音が聞こえるだけでなく言語として脳内で認識できているかを調べることができる。また、推定システム１０によると、被験者（第２被験者）の認識音声を再生し、または、オリジナル音声の波形と認識音声の波形とを比較容易な態様で示すことにより、呈示された音声が被験者にどのように聞こえているか、また、どの程度認識されているかの判別を支援することができる。
　また、推定システム１０によると、補聴器を装着した被験者（第２被験者）にオリジナル音声を呈示して、その被験者の認識音声を調べることができる。これにより、使用者の聴覚認識レベルに基づいて、高品質な補聴器の開発を支援することができる。また、推定装置１８によると、被験者がオリジナル音声を思い出しているときの認識音声を確認することもできるため、被験者の認知機能の判定を支援することができる。
　また、推定システム１０によると、被験者の脳内の各領域の活動状況を可視化することができる（例えば図８、図９の脳内情報７１）。多くの個人の脳内情報７１を蓄積することで、聴覚機能が衰えている人（例えば高齢者や、イヤホンを過度に使用する人）と、聴覚機能が正常な人との違いを、脳領域レベルで可視化することができ、また、健常な聴覚機能を維持するためのトレーニング方法の確立や評価を支援することができる。また、そのトレーニング方法が確立された後は、効果的にトレーニングできているか、また、脳機能が正常に近づいているかをリアルタイムに診断することができる。
　また、脳内情報７１を提供することにより以下の効果も奏する。（１）授業等の音声を人が集中して聞いているかの判断を支援できる。（２）非母国語（日本人にとっての英語等）が聞き取れない原因が、脳のどこにあるかを調べることを支援できる。（３）音声を聞き間違う原因が、脳のどこにあるか調べることを支援できる。（４）幻聴、耳鳴り等の原因を脳活動の観点から調べることができ、ニューロフィードバックによる治療を支援することができる。
　実施例の音声推定モデルの推定精度について補足する。図６に示した比較画像は、推定システム１０の実験結果を示すものであり、健常者に呈示されたオリジナル音声の波形と、その健常者の脳波から推定された認識音声の波形とを比較したものである。既述したように、この比較画像では、「あ」、「い」、雑音のそれぞれについて、オリジナル音声の波形を破線で示し、認識音声の波形を実線で示している。
　本発明者は、オリジナル音声の波形と認識音声の波形とのズレを、決定係数Ｒ２を計算することで評価した。波形が完全一致する場合、Ｒ２＝１となる。
　実験の結果、音声「あ」の場合のＲ２は「０．９８３」、音声「い」の場合のＲ２は「０．９５７」、雑音の場合のＲ２は「０．９９７」となった。Ｒ２が０．７程度でも波形は類似するため、音声推定モデルの推定精度、すなわち、脳波を用いた音声再合成の精度はかなり高いと言える。
　ただし、Ｒ２が高くても、認識音声情報をもとに実際に合成した音声（すなわち再生部５８により再生された音声）が、オリジナル音声と同じものとして聞こえないのでは意味がないとも言える。そこで、本発明者は、決定係数Ｒ２がどの程度であれば、認識音声情報をもとに合成した音声が、オリジナル音声と同じものとして聞こえるかを実験により確認した。
　図１０（ａ）と図１０（ｂ）は、実験結果を示すグラフである。図１０（ａ）は、被験者がオリジナル音声を耳で聞いているときの脳波から認識音声を合成（再生）した場合の結果を示している。また、図１０（ｂ）は、被験者がオリジナル音声を耳で聞いた後に、聞いた音を思い出しているときの脳波から認識音声を合成（再生）した場合の結果を示している。横軸は、オリジナル音声の波形と認識音声の波形とのズレを示す決定係数Ｒ２である。折れ線グラフは、認識音声情報をもとに合成した音声がオリジナル音声と同じものとして認識された割合を示している。
　実験結果によると、折れ線グラフで示す認識率が８０％以上になるためには、Ｒ２が０．８～０．８５程度必要であることがわかった。さらに、図１０（ａ）と図１０（ｂ）におけるヒストグラムは、実際のデータのＲ２分布を示している。図１０（ａ）と図１０（ｂ）では、０．８以上のＲ２を示すデータが全体の７７．２％～７９．３％以上を占めており、音声推定モデルの推定精度が全体的に高いことが示された。
　以上、本開示を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。以下、変形例を示す。
　第１変形例を説明する。上記実施例では、音声推定モデルをニューラルネットワークにより実現したが、変形例として、他の機械学習の手法により音声推定モデルとしての数理モデルまたは関数を生成してもよい。例えば、モデル生成装置１６の学習部３２は、ＳＬＲ（Sparse Logistic Regression）またはＳＶＭ（Support Vector Machine）の手法により、入力された信号源データをもとに、被験者の認識音声（例えば認識音声のカテゴリ）を推定する音声推定モデルを生成してもよい。
　第２変形例を説明する。上記実施例では、信号源を推定するためにＶＢＭＥＧを使用したが、他の手法により信号源を推定してもよい。例えば、ｓＬＯＲＥＴＡ（standardized Low-Resolution Brain Electromagnetic Tomography）を使用して信号源を推定してもよい。ｓＬＯＲＥＴＡは、脳機能イメージング解析の手法であり、脳波や脳磁図による脳内神経活動を脳図譜（言い換えれば標準脳）に重畳して描く解析手法である。
　第３変形例を説明する。上記実施例では、ｆＭＲＩ装置１４を使用して、ユーザの脳波の信号源（言い換えれば脳活動）を特定したが、ｆＭＲＩ装置１４を使用しない構成も可能である。例えば、解剖学的な知見、および／または、脳波計１２の電極の三次元位置から推定される頭蓋骨の形状に基づいて、脳波の態様と信号源との対応関係を仮定または特定する構成でもよく、この場合、ｆＭＲＩ装置１４は不要になる。信号源推定部２８は、上記対応関係に基づいて信号源を推定してもよい。
　第４変形例を説明する。上記実施例では、第１被験者と第２被験者が同一人物であるとしたが、変形例として、第１被験者と第２被験者は異なる人であってもよい。例えば、第１被験者は、健常者（音声を理解でき、意思表出も可能な人）である一方、第２被験者は、聴覚に障害のある人、植物状態の人、閉じ込め症候群の人等、意思表出（意思疎通とも言える）が困難な人であってもよい。この場合、第１被験者としての健常者の脳波（及びその信号源）をもとに作成した音声推定モデルを用いて、第２被験者としての意思表出困難者が認識したと想定される音声を合成し、再現してもよい。
　第５変形例を説明する。上記実施例に記載の技術を応用して、第２被験者が任意の音声を想起する（言い換えれば思い浮かべる、思い出す）場合に、第２被験者が想起した音声を推定する情報処理装置（推定装置１８）を実現することができる。本変形例の推定装置１８のモデル記憶部４０は、複数種類の音声の情報（例えば日本語の「あ」～「ん」）と、複数種類の音声のそれぞれが提示された第１被験者の脳波の信号源に関する情報とを教師データとして機械学習により構築された音声推定モデルのデータを記憶してもよい。推定装置１８の脳波取得部４８は、任意の音声（例えば「あ」～「ん」のいずれか）を想起した第２被験者の脳波を取得してもよい。推定装置１８の認識音声推定部５２は、第２被験者の脳波の信号源に関する情報を上記音声推定モデルに入力して、上記音声推定モデルから出力された、第２被験者が想起したと推定される音声（想起音声）の情報を取得してもよい。この態様によると、被験者（第２被験者）が思い浮かべたと想定される音声そのものの情報を生成することができる。
　第５変形例の推定装置１８は、想起音声に関連して、実施例の認識音声と同様の処理、出力を実行してもよい。例えば、（１）推定装置１８の再生部５８は、想起音声の情報が示す音声を再生してもよい。また、（２）音声推定モデルには、第２被験者の脳の複数の領域それぞれの想起音声への影響度に関する情報が記録されてもよい。推定装置１８の脳内情報生成部６２は、音声推定モデルに記録された情報を参照して、第２被験者の脳の複数の領域それぞれの想起音声への影響度を示す脳内情報を生成してもよい。
　想起音声は、第２被験者が頭に思い浮かべた音声（言葉を含む）であり、第２被験者が外部へ顕示しない音声を含む。また、想起音声は、第２被験者の頭に無意識に浮かんだ音声（言葉を含む）を含む。すなわち、第５変形例の推定システム１０によると、第２被験者が意識して考えなくても、第２被験者の頭に浮かんだ音声の情報を得ることができる。例えば、第２被験者が、外部へ顕示する建前を主に考え、頭の片隅で本音を思い浮かべていた場合、建前に関する音声と本音に関する音声の両方を含む情報を得ることができる。
　第６変形例を説明する。上記の実施例および変形例では、第１被験者および第２被験者の脳活動を示す信号として、脳波を用いた。本変形例では、第１被験者および第２被験者の脳活動を示す信号として、脳磁波を用いてもよい。この場合、推定システム１０は、図２に示す脳波計１２に代えて、脳の電気的な活動によって生じる磁場を計測する脳磁計を備えてもよい。モデル生成装置１６および推定装置１８の脳活動取得部は、脳磁計により計測された脳磁波のデータを取得してもよい。モデル生成装置１６および推定装置１８の信号源推定部は、脳磁波の態様に基づいて脳磁波の信号源を推定してもよい。
　第６変形例の別の態様として、第１被験者および第２被験者の脳活動を示す信号として、ＮＩＲＳ脳計測装置（光トポグラフィー（登録商標）とも言える）による計測結果を用いてもよい。ＮＩＲＳ脳計測装置は、大脳皮質における血流量や、ヘモグロビンの増減、酸素交換量等の指標となる信号を計測してもよい。この場合、推定システム１０は、図２に示す脳波計１２に代えて、ＮＩＲＳ脳計測装置を備えてもよい。モデル生成装置１６および推定装置１８の脳活動取得部は、ＮＩＲＳ脳計測装置により計測された信号のデータを取得してもよい。モデル生成装置１６および推定装置１８の信号源推定部は、ＮＩＲＳ脳計測装置により計測された信号の態様に基づいて当該信号の信号源を推定してもよい。
　上述した実施の形態および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。
　本開示の技術は、人が認識または想起する音声を推定する装置またはシステムに適用することができる。
　１０　推定システム、　１８　推定装置、　２６　脳波取得部、　２８　信号源推定部、　４０　モデル記憶部、　４８　脳波取得部、　５０　信号源推定部、　５２　認識音声推定部、　５４　認識音声記憶部、　５８　再生部、　６０　画像生成部、　６２　脳内情報生成部。

Claims (7)

  1. 　所定の音声の情報と、前記所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能な装置であって、
    　前記所定の音声が呈示された第２被験者の脳活動を示す信号を取得する脳活動取得部と、
    　前記脳活動取得部により取得された脳活動を示す信号の態様に基づいて、前記第２被験者の脳の複数の領域の中から前記脳活動を示す信号の信号源を推定する信号源推定部と、
    　前記信号源推定部により推定された信号源に関する情報を前記モデルに入力して、前記モデルから出力された、前記第２被験者が認識すると推定される音声である認識音声の情報を取得する認識音声取得部と、
    　を備えることを特徴とする情報処理装置。
  2. 　前記認識音声取得部により取得された認識音声の情報が示す音声を再生する再生部をさらに備えることを特徴とする請求項１に記載の情報処理装置。
  3. 　脳内情報生成部をさらに備え、
    　前記信号源に関する情報が入力されたモデルには、前記第２被験者の脳の複数の領域それぞれの前記認識音声への影響度に関する情報が記録され、
    　前記脳内情報生成部は、前記モデルに記録された情報を参照して、前記第２被験者の脳の複数の領域それぞれの前記認識音声への影響度を示す脳内情報を生成することを特徴とする請求項１または２に記載の情報処理装置。
  4. 　前記所定の音声の波形と、前記認識音声の波形の両方を示す画像を生成する画像生成部をさらに備えることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
  5. 　所定の音声の情報と、前記所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能な装置であって、
    　任意の音声を想起した第２被験者の脳活動を示す信号を取得する脳活動取得部と、
    　前記脳活動取得部により取得された脳活動を示す信号の態様に基づいて、前記第２被験者の脳の複数の領域の中から前記脳活動を示す信号の信号源を推定する信号源推定部と、
    　前記信号源推定部により推定された信号源に関する情報を前記モデルに入力して、前記モデルから出力された、前記第２被験者が想起したと推定される音声の情報を取得する音声取得部と、
    　を備えることを特徴とする情報処理装置。
  6. 　所定の音声の情報と、前記所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能なコンピュータが、
    　前記所定の音声が呈示された第２被験者の脳活動を示す信号を取得するステップと、
    　取得された脳活動を示す信号の態様に基づいて、前記第２被験者の脳の複数の領域の中から前記脳活動を示す信号の信号源を推定するステップと、
    　推定された信号源に関する情報を前記モデルに入力して、前記モデルから出力された、前記第２被験者が認識すると推定される音声である認識音声の情報を取得するステップと、
    　を実行することを特徴とする情報処理方法。
  7. 　所定の音声の情報と、前記所定の音声が呈示された第１被験者の脳活動を示す信号の信号源に関する情報とを教師データとして機械学習により構築されたモデルであって、入力された被験者の脳活動を示す信号の信号源に関する情報をもとに、当該被験者が認識すると推定される音声の情報を出力するモデルを記憶するモデル記憶部にアクセス可能なコンピュータが、
    　任意の音声を想起した第２被験者の脳活動を示す信号を取得するステップと、
    　取得された脳活動を示す信号の態様に基づいて、前記第２被験者の脳の複数の領域の中から前記脳活動を示す信号の信号源を推定するステップと、
    　推定された信号源に関する情報を前記モデルに入力して、前記モデルから出力された、前記第２被験者が想起したと推定される音声の情報を取得するステップと、
    　を実行することを特徴とする情報処理方法。
PCT/JP2021/017180 2020-05-27 2021-04-30 情報処理装置および情報処理方法 WO2021241138A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022527621A JPWO2021241138A1 (ja) 2020-05-27 2021-04-30
US17/927,481 US20230233132A1 (en) 2020-05-27 2021-04-30 Information processing device and information processing method
EP21810906.4A EP4147636A4 (en) 2020-05-27 2021-04-30 INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-092110 2020-05-27
JP2020092110 2020-05-27

Publications (1)

Publication Number Publication Date
WO2021241138A1 true WO2021241138A1 (ja) 2021-12-02

Family

ID=78744430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017180 WO2021241138A1 (ja) 2020-05-27 2021-04-30 情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US20230233132A1 (ja)
EP (1) EP4147636A4 (ja)
JP (1) JPWO2021241138A1 (ja)
WO (1) WO2021241138A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076193A (ja) 2015-10-13 2017-04-20 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
JP2019128533A (ja) 2018-01-26 2019-08-01 国立研究開発法人情報通信研究機構 脳活動を利用した語学能力評価装置、及び語学能力評価システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8615479B2 (en) * 2007-12-13 2013-12-24 The Invention Science Fund I, Llc Methods and systems for indicating behavior in a population cohort
CA3078404A1 (en) * 2017-10-06 2019-04-11 Holland Bloorview Kids Rehabilitation Hospital Brain-computer interface platform and process for classification of covert speech
US12008987B2 (en) * 2018-04-30 2024-06-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for decoding intended speech from neuronal activity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076193A (ja) 2015-10-13 2017-04-20 株式会社国際電気通信基礎技術研究所 脳活動解析装置、脳活動解析方法および脳活動解析プログラム
JP2019128533A (ja) 2018-01-26 2019-08-01 国立研究開発法人情報通信研究機構 脳活動を利用した語学能力評価装置、及び語学能力評価システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AKASHI WATARU, KAMBARA HIROYUKI, OGATA YOUSUKE, KOIKE YASUHARU, MINATI LUDOVICO, YOSHIMURA NATSUE: "Vowel Sound Synthesis from Electroencephalography during Listening and Recalling", ADVANCED INTELLIGENT SYSTEMS, WILEY-VCH VERLAG GMBH & CO. KGAA, DE, vol. 3, no. 2, 1 February 2021 (2021-02-01), DE , pages 2000164, XP055881025, ISSN: 2640-4567, DOI: 10.1002/aisy.202000164 *
NISHIMOTO, ATSUSHI: "Speech classification using brain activity signals", IEICE TECHNICAL REPORT, vol. 113, no. 111, 17 September 2013 (2013-09-17), pages 41 - 46, XP009541360, ISSN: 0913-5685 *
See also references of EP4147636A4

Also Published As

Publication number Publication date
JPWO2021241138A1 (ja) 2021-12-02
EP4147636A1 (en) 2023-03-15
US20230233132A1 (en) 2023-07-27
EP4147636A4 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
Aziz-Zadeh et al. Common premotor regions for the perception and production of prosody and correlations with empathy and prosodic ability
Etard et al. Decoding of selective attention to continuous speech from the human auditory brainstem response
Schall et al. Voice identity recognition: functional division of the right STS and its behavioral relevance
Sokhi et al. Male and female voices activate distinct regions in the male brain
Zhang et al. Neural coding of formant‐exaggerated speech in the infant brain
McGettigan et al. An application of univariate and multivariate approaches in fMRI to quantifying the hemispheric lateralization of acoustic and linguistic processes
JP6742628B2 (ja) 脳の島皮質活動抽出方法
Chen et al. Early visual word processing is flexible: Evidence from spatiotemporal brain dynamics
Fingelkurts et al. Cortical operational synchrony during audio–visual speech integration
Li et al. Physiological indicators and subjective restorativeness with audio-visual interactions in urban soundscapes
Bestelmeyer et al. Implicitly perceived vocal attractiveness modulates prefrontal cortex activity
WO2006059325A1 (en) Method and system of indicating a condition of an individual
Alain et al. Dissociable memory-and response-related activity in parietal cortex during auditory spatial working memory
Khalighinejad et al. Functional characterization of human Heschl's gyrus in response to natural speech
Thwaites et al. Representation of instantaneous and short-term loudness in the human cortex
Carey et al. Vocal tract images reveal neural representations of sensorimotor transformation during speech imitation
Soroush et al. The nested hierarchy of overt, mouthed, and imagined speech activity evident in intracranial recordings
Schmidt et al. Neural speech tracking shifts from the syllabic to the modulation rate of speech as intelligibility decreases
Wisniewski et al. Familiarity with speech affects cortical processing of auditory distance cues and increases acuity
Bernstein et al. Quantified acoustic–optical speech signal incongruity identifies cortical sites of audiovisual speech processing
Dastolfo-Hromack et al. Articulatory gain predicts motor cortex and subthalamic nucleus activity during speech
Schüller et al. Attentional modulation of the cortical contribution to the frequency-following response evoked by continuous speech
WO2021241138A1 (ja) 情報処理装置および情報処理方法
Bollens et al. SparrKULee: A Speech-evoked Auditory Response Repository of the KU Leuven, containing EEG of 85 participants
Dubois et al. Visemic processing in audiovisual discrimination of natural speech: a simultaneous fMRI–EEG study

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21810906

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527621

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021810906

Country of ref document: EP

Effective date: 20221209

NENP Non-entry into the national phase

Ref country code: DE