WO2024009944A1 - 情報処理方法、記録媒体、及び情報処理装置 - Google Patents

情報処理方法、記録媒体、及び情報処理装置 Download PDF

Info

Publication number
WO2024009944A1
WO2024009944A1 PCT/JP2023/024598 JP2023024598W WO2024009944A1 WO 2024009944 A1 WO2024009944 A1 WO 2024009944A1 JP 2023024598 W JP2023024598 W JP 2023024598W WO 2024009944 A1 WO2024009944 A1 WO 2024009944A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
content
list
information processing
feature data
Prior art date
Application number
PCT/JP2023/024598
Other languages
English (en)
French (fr)
Inventor
泰彦 今村
拓也 茨木
Original Assignee
Ｖｉｅ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｅ株式会社 filed Critical Ｖｉｅ株式会社
Publication of WO2024009944A1 publication Critical patent/WO2024009944A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/251—Means for maintaining electrode contact with the body
    • A61B5/256—Wearable electrodes, e.g. having straps or bands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/30—Input circuits therefor
    • A61B5/307—Input circuits therefor specially adapted for particular uses
    • A61B5/31—Input circuits therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices

Definitions

  • the present invention relates to an information processing method, a recording medium, and an information processing device.
  • Patent Document 1 there is a known technology for estimating a user's emotion from an electroencephalogram signal and reproducing music from a playlist corresponding to the emotion (see, for example, Patent Document 1).
  • the playlist contains only content of one genre, for example, music, and once the user becomes accustomed to that content, there are cases where the user is unable to control their emotions as desired.
  • one aspect of the disclosed technology provides an information processing method, a program, and a program that can classify content based on feature data of a user's brain wave signal and generate an appropriate content list, regardless of the genre of the content.
  • the purpose is to provide an information processing device.
  • An information processing method in one aspect of the disclosed technology includes: an information processing apparatus acquiring an electroencephalogram signal measured in the ear canal of the user from an electroencephalogram measurement device worn by the user; Calculating feature data regarding the feature amount of the brain wave signal using the brain wave signal acquired when the brain is stimulated; calculating similarity data regarding the similarity of the content, using the similarity data to classify the various contents into one or more, and generating a list for each set including the classified one or more contents. Do something.
  • FIG. 1 is a diagram illustrating an example overview of a system according to an embodiment. It is a figure showing an example of the earphone set concerning an embodiment.
  • FIG. 1 is a diagram illustrating an example of a schematic cross section of an earphone according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a server according to an embodiment.
  • FIG. 2 is a block diagram illustrating an example of a processing terminal according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of electroencephalogram feature data according to the embodiment.
  • FIG. 3 is a diagram illustrating an example of an electroencephalogram similarity matrix according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of labeling of a list according to the embodiment.
  • FIG. 12 is a flowchart illustrating an example of list generation processing by the server according to the embodiment. It is a flow chart which shows an example of labeling processing of a server concerning an embodiment. It is a flow chart which shows an example of closed control type neurofeedback processing of a processing terminal concerning an embodiment.
  • FIG. 1 An example overview of a system 1 according to an embodiment will be described using FIG. 1.
  • a user who measures brain waves wears an earphone set 10, in which a bioelectrode is provided in the ear canal, as a brain wave measurement device.
  • a neck-type earphone set 10 is used, but any earphone may be used as long as it is capable of sensing brain wave signals from the ear canal.
  • earphone sets that acquire a reference signal from the earlobe, earphones that acquire a reference signal or ground signal from other locations (other positions in the ear canal), and completely wireless earphones are available.
  • the electroencephalogram measurement device is not limited to the earphone type, but may be of the headphone type, for example, and may have a configuration in which a bioelectrode is provided in the earmuff portion.
  • electroencephalogram measurement devices include measuring devices that use scalp electrodes, devices that measure brain activity using intracranial electrodes, and devices that measure brain activity using functional magnetic resonance imaging (fMRI). This includes devices that can measure brain waves, such as devices that measure brain activity using near-infrared spectroscopy (NIRS).
  • NIRS near-infrared spectroscopy
  • the earphone set 10 acquires an electroencephalogram signal from the ear canal and transmits the electroencephalogram signal to the information processing device 30 or the information processing device 50 via the network N.
  • the network N includes a wired or wireless network, and short-range wireless communication such as Bluetooth (registered trademark) may be used.
  • the earphone set 10 may perform predetermined processing on the brain wave signal and transmit it to the information processing device 30 that plays a role as a server or the information processing device 50 used by the user.
  • the predetermined processing includes amplification processing, sampling, filtering, difference calculation, and the like.
  • the information processing device 30 is, for example, a server, and acquires an electroencephalogram signal measured by an electroencephalogram measurement device and executes each process. For example, the information processing device 30 extracts feature data from the electroencephalogram signal being outputted from the content, and classifies the content using the similarity of the feature data. Next, the information processing device 30 generates a list including contents for each set of classified contents.
  • the information processing device 30 may estimate the user's emotions and states (also collectively referred to as "states") from the electroencephalogram signals measured by the electroencephalogram measurement device. For example, the information processing device 30 may acquire state information indicating the user's state using a prediction model that estimates the user's state from an electroencephalogram signal. Further, the information processing device 30 may improve the accuracy of the prediction model by performing supervised learning using learning data (training data) in which the state of the brain wave signal is annotated by the user.
  • learning data training data
  • the information processing device 30 may transmit the generated prediction model to the information processing device 50. Further, the information processing device 30 may first acquire the brain wave signal by the information processing device 50, and then acquire the brain wave signal via a predetermined application. Further, the information processing device 30 may calculate feature data based on sequentially acquired brain wave signals, input this feature data into a prediction model, and transmit the estimated state information to the information processing device 50.
  • the information processing device 50 is, for example, a processing terminal such as a mobile terminal held by a user, and sequentially acquires brain wave signals from the earphone set 10.
  • the information processing device 50 calculates feature data from the sequentially acquired brain wave signals.
  • the information processing device 50 may input the feature data to a prediction model and obtain state information. Further, the information processing device 50 may output the acquired electroencephalogram signal or feature data to the information processing device 30 and acquire state information from the information processing device 30.
  • the information processing device 50 may select content that adjusts the user's condition and output the selected content to the earphone set 10 when a predetermined condition regarding content output is satisfied.
  • the earphone set 10 is used as an example of an output device, so the content is content that includes sound.
  • an image output device for example, a display
  • the content can be a moving image. It may also include images such as still images, animations, etc.
  • the information processing device 50 also has a brain-machine interface function that operates the device based on the brain wave signal, in order to estimate the user's state from the brain wave signal, execute processing to adjust the state, and operate the device. has.
  • the content includes at least one of music, audio, sound data, video, photos, animation, games, and the like.
  • the content is preferably content including sound, and more preferably music.
  • ⁇ Earphone set configuration> 2 and 3 provide an overview of the earphone set 10 according to the embodiment.
  • the earphone set 10 is not limited to the examples shown in FIGS. 2 and 3, and any earphone can be applied to the technology of the present disclosure as long as it is capable of sensing brain waves from the ear canal and outputting them to an external device. be able to.
  • FIG. 2 is a diagram showing an example of the earphone set 10 according to the embodiment.
  • the earphone set 10 shown in FIG. 2 includes a pair of earphones 100R and 100L and a neck hanging portion 110.
  • Each earphone 100R, 100L is connected to the neck hanging part 110 using a cable capable of signal communication, but may be connected using wireless communication.
  • RL will be omitted if there is no need to distinguish between left and right.
  • the neck hanging part 110 has a central member that extends along the back of the neck, and rod-shaped members (arms) 112R and 112L that are curved along both sides of the neck. Electrodes 122 and 124 for sensing brain wave signals are provided on the back surface of the central member that contacts the neck. Each of the electrodes 122 and 124 is an earth-connected electrode and a reference electrode. As a result, as will be described later, it is possible to increase the distance from the elastic electrode provided on the ear tip of the earphone, making it possible to acquire brain wave signals with high accuracy. Further, the neck hanging unit 110 may include a processing unit that processes brain wave signals and a communication device that communicates with the outside, but these processing units and communication units may be provided in the earphone 100.
  • the rod-like members 112R and 112L on both sides of the neck hanging part 110 are heavier at their tips than at their bases (center member side), so that the electrodes 122 and 124 can be placed properly on the wearer's neck. It will become crimped.
  • weights are provided on the tip sides of the rod-shaped members 112R and 112L. Note that the positions of the electrodes 122 and 124 are not limited to these positions.
  • FIG. 3 is a diagram showing an example of a schematic cross section of the earphone 100R according to the embodiment.
  • an elastic member for example, urethane
  • the vibration of the speaker 102 is less likely to be transmitted to the elastic electrode of the ear tip 106, and it is possible to prevent sound interference between the elastic electrode of the ear tip 106 and the speaker 102.
  • the ear tip 106 including the elastic electrode is located at the sound guide port, the elasticity of the elastic electrode itself makes it possible to prevent interference due to sound vibrations. Further, by employing an elastic member for the housing, this elastic member makes it difficult to transmit sound vibrations to the elastic electrodes of the ear tip 106, and it is possible to prevent interference due to sound vibrations.
  • the earphone 100 includes an audio sound processor, and may use this audio sound processor to cut sound signals below a predetermined frequency (for example, 50 Hz) corresponding to brain wave signals.
  • audio sound processors cut sound signals below 30Hz, which is a frequency band that tends to show characteristics as brain wave signals, but in order to avoid damaging the bass sound, even if sound signals with frequencies around 70Hz are amplified. good.
  • the audio sound processor may cut a predetermined frequency only when sensing an electroencephalogram signal.
  • the ear tip 106 conducts the brain wave signal sensed from the ear canal to the contact point of the electrode provided on the nozzle 104.
  • the brain wave signal is transmitted from the ear tip 106 to a biological sensor (not shown) inside the earphone 100 via a contact point.
  • the biosensor outputs the acquired brain wave signals to a processing device provided in the neck hanging part 110 via a cable, or transmits them to an external device.
  • the ear tip 106 and the housing containing the biosensor and audio sound processor may be insulated.
  • FIG. 4 is a block diagram illustrating an example of the information processing device 30 according to the embodiment.
  • the information processing device 30 is, for example, a server, and may be composed of one or more devices. Further, the information processing device 30 processes the brain wave signal or brain wave information, and classifies the content being output based on the brain wave signal using, for example, a learning function of artificial intelligence.
  • the information processing device 30 is also referred to as a server 30. Note that the information processing device 30 does not necessarily have to be a server, and may be a general-purpose computer.
  • the server 30 includes one or more processors (CPUs: Central Processing Units) 310, one or more network communication interfaces 320, a memory 330, a user interface 350, and one for interconnecting these components. or includes multiple communication buses 370.
  • processors CPUs: Central Processing Units
  • Server 30 may, for example, optionally include a user interface 350, including a display device (not shown) and input devices such as a keyboard and/or mouse (or some other pointing device, not shown). can be mentioned.
  • a user interface 350 including a display device (not shown) and input devices such as a keyboard and/or mouse (or some other pointing device, not shown). can be mentioned.
  • Memory 330 is, for example, a high speed random access memory such as DRAM, SRAM, DDR RAM or other random access solid state storage, and may also include one or more magnetic disk storage, optical disk storage, flash memory devices, or It may also be a nonvolatile memory such as another nonvolatile solid state storage device. Further, the memory 330 may be a computer-readable non-transitory recording medium in which a program is recorded.
  • memory 330 stores the following programs, modules and data structures, or a subset thereof.
  • One or more processors 310 read and execute programs from the memory 330 as necessary. For example, one or more processors 310 execute a program stored in the memory 330, so that the brain wave control unit 312, the acquisition unit 313, the classification unit 314, the generation unit 315, the output unit 316, the learning unit 317, A selection unit 318 may also be configured.
  • the brain wave control unit 312 controls and processes brain wave signals that are sequentially acquired, and controls the following processes.
  • the acquisition unit 313 acquires an electroencephalogram signal measured by an electroencephalogram measurement device, for example, a bioelectrode included in the earphone set 10.
  • the acquisition unit 313 acquires an electroencephalogram signal measured in the user's external auditory canal from an electroencephalogram measurement device worn by the user.
  • the electroencephalogram measurement device is not limited to the earphone set 10, and the acquisition position of the electroencephalogram signal is not limited to the ear canal, but when the content is sound, the earphone set 10 can serve both as an output device and an electroencephalogram measurement device. Therefore, it is a device suitable for the technology of the present disclosure.
  • the classification unit 314 uses an electroencephalogram signal obtained when the user's brain is stimulated using various contents to calculate feature data regarding the feature amount of this electroencephalogram signal. For example, the classification unit 314 calculates feature data (power vector for each frequency per unit time) of an in-ear canal electroencephalogram (EEG) while listening to a target sound stimulus.
  • EEG in-ear canal electroencephalogram
  • the classification unit 314 calculates similarity data regarding the similarity of electroencephalogram signals using feature data corresponding to each content of various genres. For example, the classification unit 314 uses feature data corresponding to each content to calculate a similarity matrix regarding cross-correlation. As a specific example, the classification unit 314 may form a matrix of vector correlation coefficients between feature data. Note that the similarity matrix is an example of similarity data.
  • the classification unit 314 uses the similarity data to classify various contents into one or more types. For example, the classification unit 314 groups contents that have similar electroencephalogram feature data. As a specific example, the classification unit 314 may use one of the known clustering techniques to classify the content so that a set of content with a high correlation coefficient is formed.
  • the generation unit 315 generates a list for each set containing one or more contents classified by the classification unit 314. For example, the generation unit 315 generates a content list by adding identification information to a set of content classified by the classification unit 314.
  • the various contents include two or more data of different genres among contents including at least sound data, image data, and text data.
  • content may be selected depending on the output device.
  • the output device is a mobile terminal such as a smartphone
  • the content may include sound data, image data, and text data because it has a display and a speaker.
  • the content is classified based on brain wave information, so the similarity between the contents is not a concern.
  • the output unit 316 outputs the content list generated by the generation unit 315 to another information processing device via the network communication interface 320.
  • Other information processing devices that have acquired the content list can analyze content of various genres in the content list.
  • the generation unit 315 may add information corresponding to at least one of the one or more contents included in the generated list to this list as a label.
  • the generation unit 315 labels the list including the music data A with ⁇ uplifting the mood.''
  • the generation unit 315 may analyze feature data of at least one content included in the list. For example, if the content is music data and the characteristics of the music data are ballad-type characteristics, the generation unit 315 determines that the music included in the list is music to be listened to in a relaxing state, and adds the label of this list to ⁇ relaxation''. may be given.
  • the generation unit 315 may determine the list label by analyzing content of multiple genres. For example, when music data and image data are included in the same list, the generation unit 315 determines the aforementioned ballad style melody based on the music data, and performs object recognition of natural images, animal images, etc. from the image data. In some cases, the content may be determined to stimulate a relaxed state. That is, when the characteristics of a plurality of contents of different genres are the same or similar, the generation unit 315 may add information corresponding to the characteristics as a label of the list.
  • the generation unit 315 may label the list with the state estimated by inputting it into the user's state estimation model using feature data of the electroencephalogram signal corresponding to the classified list.
  • the state estimation model is a learning model that estimates the user's state from the features of the electroencephalogram signal, and includes a learned model that is trained using training data.
  • the generation unit 315 may have the user confirm the determined label before assigning the list label. For example, the generation unit 315 may control to output some or all of the contents included in each list as well as confirmation screen information including the determined label to the information processing device 30 used by the user. The generation unit 315 adds each label confirmed or modified by the user to each corresponding list.
  • the content includes text and images that instruct the user to enter each state. For example, in the case of text, it may say, "Please feel sad” or "Please feel happy.” In embodiments, this content is referred to as status-indicating content.
  • the generation unit 315 may assign the status corresponding to the status indication content as a label to the list. Furthermore, when there is a plurality of status contents in the list, the generation unit 315 may determine the label by analyzing the characteristics of the contents as described above.
  • the generation unit 315 may associate information corresponding to feature data of content added to a list with feature data of an electroencephalogram signal corresponding to the list. For example, the generation unit 315 associates the label given to the list with feature data of the electroencephalogram signal acquired when outputting each content included in the list.
  • the feature data of the electroencephalogram signal includes an average value of the feature data of each electroencephalogram signal, or a set of the maximum power of each electroencephalogram signal and its frequency.
  • the generation unit 315 considers that the feature data of the electroencephalogram signal corresponding to that list is a "sad" state for the user, and the feature data ⁇ Sad'' state is associated with ⁇ sad'' state.
  • the acquired brain wave signals are not necessarily homologous to the classical brain wave signals on the scalp, and include alpha waves, theta waves, etc.
  • Neurofeedback using scalp electroencephalograms using a specific frequency cannot be applied as is.
  • classical neurofeedback using electroencephalogram signals on the scalp cannot respond to individual differences among users.
  • the earphone set 10 described above, it becomes possible to acquire brain wave signals simply by wearing the earphone set 10 in the ears, and control according to the user's state estimated from the brain wave signals can be performed using sound. Data can be fed back in real time. Additionally, the effect of feedback can be monitored, allowing optimization as closed control.
  • the earphone set 10 when drowsiness is detected from the brain wave signals of a user wearing the earphone set 10, the earphone set 10 outputs content to wake up the user, evaluates the degree of alertness from the brain wave signals, verifies the effectiveness, and returns to the desired state. If the level of arousal is not reached, the content can be changed to control the level of arousal to achieve the desired level of arousal.
  • the processing content of the closed control neurofeedback will be described below using the learning unit 317 and the selection unit 318 of the server 30, but it may also be implemented in the information processing device 30 used by the user.
  • the learning unit 317 inputs the electroencephalogram signal obtained from the earphone set 10 into a learning model that estimates the user's state, and estimates the user's state.
  • a known prediction model may be used as the model for estimating the user's state from the electroencephalogram signal.
  • the output unit 316 outputs the first content selected by the selection unit 318. Thereby, the content can be outputted so that the user will be in the desired state, and the user can be stimulated. This stimulation causes a change in the user's brain state.
  • the learning unit 317 extracts content characteristic data when the brain is stimulated by the content and teacher data regarding changes in the user's state, and determines what kind of content changes the user's brain state and how. machine learning. For example, stimulating the brain with high-frequency music may make the user feel happy. If the content is sound (music, pure tone exhibiting a specific frequency, environmental sound, etc.), the content feature data includes the frequency and tempo of the sound that can be acoustically analyzed.
  • Training data regarding changes in the user's state refers to changes in the state of the brain (changes in feature data) due to feedback of feature data of electroencephalogram signals that change due to stimulation by content.
  • the training data mainly deals with changes in the feature data of the electroencephalogram signals that can be acquired passively, but by acquiring changes in the user's behavior or changes in the user's subjective reports, it is possible to supplement the labels of the training data. Substitutions shall be possible.
  • An example of feature data of an electroencephalogram signal may be a matrix of power values of each frequency band of about 1 to 40 Hz included per unit time.
  • the machine learning by the learning unit 317 may be sparse modeling in which a target state is learned as a target variable for a multidimensional vector such as feature data of an electroencephalogram signal.
  • the learning unit 317 may use a learning model based on subjective evaluation using training data labeled with the user's state in the initial stage of learning. In this case, for example, when an electroencephalogram signal or feature data is input to the learning model, an estimated value of the user's state (eg, arousal level of 0.5, etc.) is output.
  • the learning unit 317 may use a list generated using a similarity matrix of feature data of electroencephalogram signals as described above as a content list corresponding to a specific state. In this case, it is preferable that a label of the user's status is given to the list. Based on the output results, the learning unit 317 performs learning so that a target state (specific state) can be reached using feature data of brain wave signals that are sequentially acquired.
  • the selection unit 318 may maintain or change the output content depending on the learning output value. For example, if the feature data calculated based on the electroencephalogram signal acquired during output of the first content does not satisfy the condition regarding the content change (condition regarding whether the target state is approaching), the selection unit 318 selects the first content.
  • the method may include selecting second content different from the first content from a list corresponding to the second feature data.
  • the output unit 316 may output the selected second content to an output device.
  • the second feature data is data representing features of brain waves corresponding to the target state.
  • the condition for changing the content is that the average value of acquired brain wave feature data for each predetermined period approaches the second feature data corresponding to the target state, or that the user's state based on the brain wave signal is the target state. Includes conditions such as whether the state is approaching the current state.
  • the selection unit 318 maintains the output of the content. If the arousal level of the output value has not increased, the content is changed to another content.
  • the conditions regarding the change may be determined based on the relationship between the first feature data of the brain waves in the current state and the second feature data of the brain waves in the target state.
  • the selection unit 318 may set different conditions for changing the user's current state from a sad state to a desired happy state and conditions for changing the user's state from a sleepy state to an awake state.
  • the selection unit 318 may adaptively change the threshold value with which the output value output by the learning unit 317 is compared, depending on the current state and/or the target state.
  • the earphone set 10 described above, it is possible to obtain brain wave signals just by wearing them in the ears, and feedback in real time as sound data of control tailored to the user's state estimated from the brain wave signals. can do. Additionally, the effect of feedback can be monitored, allowing optimization as closed control.
  • the acquisition unit 313 may acquire electroencephalogram signals for each user. For example, the acquisition unit 313 may acquire an electroencephalogram signal to which user identification information that identifies the user or device identification information of an electroencephalogram measurement device is attached, or may identify the electroencephalogram signal based on the difference in the output destination of the electroencephalogram signal. Information may also be added.
  • the classification unit 314 calculates similarity data regarding the similarity of electroencephalogram signals for each identification information. For example, the classification unit 314 calculates the above-mentioned similarity matrix for each identification information.
  • the classification unit 314 uses similarity data for each user to classify users whose similarity data is similar or highly correlated into one or more.
  • the learning unit 317 inputs the similarity data of each user into a learning model that solves a classification problem, and classifies each user into one or more groups so that users with similar brain activities are in the same group. You may.
  • the classification unit 314 may classify each user such that users whose contents in the list generated by the generation unit 315 have a high correlation are in the same group.
  • the learning unit 317 may estimate the brain wave signal of the second user who is classified into the same group as the first user, using the brain wave signal of the first user measured by the brain wave measurement device. For example, the learning unit 317 uses machine learning to learn the correlation between the first user's brain wave signal and the second user's brain wave signal when stimulated by each content.
  • the second user's brain wave signal may be estimated from the first user's brain wave signal.
  • the brain wave information of another user is estimated from the actually measured brain wave information of one user. For example, if it is determined that the brain activities of user A and user B are similar, the brain wave information of user B, who has not been stimulated by the predetermined content, can be estimated from the brain wave information of user A, who has been stimulated by the predetermined content. becomes possible. As a specific example, it is possible to estimate the emotion that user B would have when listening to music A based on the emotion that user A would have when listening to music A.
  • the selection unit 318 selects content B in the same list as content A for user B, and the output unit 316 selects the selected content B. may be output to user B.
  • the learning unit 317 estimates the state X of the user B when stimulation is given by the content B, and the selection unit 318 You may select content that will lead to.
  • FIG. 5 is a block diagram illustrating an example of the information processing device 50 according to the embodiment.
  • the information processing device 50 is, for example, a user terminal such as a mobile terminal (such as a smartphone), a computer, or a tablet terminal.
  • the information processing device 50 is also referred to as a processing terminal 50.
  • Processing terminal 50 includes one or more processors (e.g., CPUs) 510, one or more network communication interfaces 520, memory 530, user interface 550, camera 570, and one for interconnecting these components. or a plurality of communication buses 590.
  • processors e.g., CPUs
  • the user interface 550 includes a display device 551 and an input device 552 (such as a keyboard and/or mouse or some other pointing device). Further, the user interface 550 may be a touch panel.
  • Memory 530 is, for example, a high speed random access memory such as DRAM, SRAM, DDR RAM or other random access solid state storage, and may also include one or more magnetic disk storage, optical disk storage, flash memory devices, or It may also be a nonvolatile memory such as another nonvolatile solid state storage device. Furthermore, the memory 530 may be a computer-readable non-transitory recording medium that records a program.
  • memory 530 may include one or more storage devices located remotely from processor 510.
  • memory 530 stores the following programs, modules and data structures, or a subset thereof.
  • the camera 570 has an image sensor, receives an optical signal, converts the optical signal into an electrical signal, and generates an image.
  • the image includes at least one of a still image and a moving image.
  • One or more processors 510 read programs from memory 530 and execute them as necessary. For example, one or more processors 510 may configure an application control unit (hereinafter also referred to as “application control unit”) 512 by executing a program stored in memory 530.
  • This application control unit 512 is an application that processes brain wave signals, and includes, for example, an application control unit 512, an acquisition unit 513, and an output unit 514.
  • the acquisition unit 513 may acquire the content list generated by the server 30.
  • Content lists can be either unlabeled or labeled.
  • the acquisition unit 513 may acquire the content selected by the server 30.
  • the acquisition unit 513 may acquire a learned model learned by the server.
  • the application control unit 512 executes predetermined processing on the electroencephalogram signals or feature data sequentially acquired by the acquisition unit 513.
  • the predetermined processing includes, for example, the processing related to content classification described above, the processing related to real-time learning type closed control neurofeedback described above, and the processing related to user classification or state prediction using similarity data between users described above. include.
  • the application control unit 512 controls the electroencephalogram signal or feature data acquired from the electroencephalogram measurement device to be transmitted to the server 30. Further, when acquiring a content list from the server 30, the application control unit 512 generates a screen instructing the user to perform operational control to add, modify, or confirm a list label, and displays the screen on the display 551. It may be controlled as follows.
  • the application control unit 512 may include the classification unit 314 and the generation unit 315 of the server 30. This allows the processing terminal 50 to classify the content based on the electroencephalogram signal.
  • the server 30 may acquire a list for each generated electroencephalogram characteristic data from the processing terminal 50 of each user, and may analyze the content in each list. For example, the server 30 can be used for various analyses, such as differences in content due to differences in state between users, and the presence or absence of common content in a list that corresponds to feature data of brain waves common to each user. Become.
  • the application control unit 512 When the processing of the application control unit 512 is related to real-time learning type closed control neurofeedback, the application control unit 512 includes a learning unit 317 and a selection unit 318. In this case, the application control unit 512 estimates the user's state based on the acquired electroencephalogram signal, and performs control to output content that brings the user's state into the target state.
  • the list corresponding to the target state may be a content list generated by the server 30, or may be a known content list generated for each user state.
  • the application control unit 512 When the processing of the application control unit 512 is related to user classification or state prediction using similarity data between users, the application control unit 512 includes a classification unit 314, a generation unit 315, a learning unit 317, and a selection unit 318. including.
  • the application control unit 512 uses the obtained electroencephalogram signal to identify a set that has a high correlation with similarity data of other users obtained in advance.
  • user A's brain wave signal can be obtained without measuring brain waves. It becomes possible to estimate the situation and the situation.
  • the processing terminal 50 executes the content list generation process or a part of the process, executes the process related to real-time learning type closed control neurofeedback or a part of the process, and It becomes possible to perform processing related to user classification or state prediction using similarity data between users, or a part of the processing.
  • FIG. 6 is a diagram illustrating an example of electroencephalogram feature data according to the embodiment.
  • data (A) represents the power value of each frequency (Hz) per unit time (sec) of the electroencephalogram signal acquired from the left earphone 100L
  • data (B) represents the power value of each frequency (Hz) per unit time (sec) of the electroencephalogram signal acquired from the left earphone 100L
  • the classification unit 314 may use the absolute value of the difference between data (A) and data (B) as feature data (C) of the electroencephalogram signal.
  • FIG. 7 is a diagram illustrating an example of an electroencephalogram similarity matrix according to the embodiment.
  • the similarity matrix is generated based on brain wave information obtained by outputting various contents to stimulate the brain of a predetermined user.
  • each content is represented on both the vertical and horizontal axes, and the correlation of the vectors of power values of each frequency between the contents is matrixed. The lighter the color, the higher the correlation between the contents and the higher the similarity, and the darker the color, the lower the correlation between the contents and the lower the similarity.
  • FIG. 8 is a diagram illustrating an example of list labeling according to the embodiment. Using the similarity matrix shown in FIG. 7, highly correlated content is classified and a list is generated.
  • list 1 includes contents 1, 5, 8, 13, . . . . Note that the contents in each list may include contents of different genres.
  • the generation unit 315 analyzes the content included in list 1. At this time, the generation unit 315 assumes that the user status A is assigned to the content 8. The generation unit 315 adds state A corresponding to content 8 to list 1 as label A.
  • the generation unit 315 may extract feature data of the content 8. If the content is music, the generation unit 315 performs acoustic analysis to check the melody of the music and identify the genre, such as classical, pop, or ballad. The generation unit 315 may estimate the user's state as A according to the genre of music, and may assign it to list 1 as label A. Further, if the content is a still image and a small animal is recognized, the generation unit 315 may estimate the user's state as relaxed, and may add this label (relaxed) to list 1.
  • the generation unit 315 may estimate the user's state as relaxed, and may add this label (relaxed) to list 1.
  • the generation unit 315 may label the list with the state obtained by character recognition of the text. For example, the generation unit 315 may assign the user's state "angry" to list 2, which includes the text "please get angry", as a label.
  • the content that instructs the device to enter a predetermined state may be not only text but also images, audio, and the like.
  • the generation unit 315 acquires characteristic data of other contents in the list, estimates the state of the user corresponding to the contents in the list based on this characteristic data, and estimates the state of the user corresponding to the content in the list based on this characteristic data. Good too.
  • step S102 the acquisition unit 313 acquires an electroencephalogram signal measured by a bioelectrode that contacts the ear canal of a predetermined user.
  • the acquisition unit 313 acquires an electroencephalogram signal measured by a bioelectrode provided on an ear tip of an earphone.
  • the classification unit 314 uses an electroencephalogram signal acquired when the user's brain is stimulated using various contents to calculate feature data regarding the feature amount of this electroencephalogram signal.
  • the feature data is, for example, a vector of power values of each frequency in a unit time.
  • step S106 the classification unit 314 calculates similarity data regarding the similarity of electroencephalogram signals using feature data corresponding to each of the various contents. For example, the classification unit 314 expresses the correlation values of feature data of each content in a matrix to generate a similarity matrix.
  • the classification unit 314 uses the calculated similarity data to classify various contents into one or more types. For example, the classification unit 314 groups contents whose correlation value is equal to or greater than a threshold value.
  • step S110 the generation unit 315 generates a list for each set including one or more contents classified by the classification unit 314. For example, the generation unit 315 generates a list by adding identification information for distinguishing it from other lists to a set including one or more contents.
  • FIG. 10 is a flowchart illustrating an example of labeling processing by the server 30 according to the embodiment. In the example shown in FIG. 10, a process in which the server 30 assigns a list label will be described.
  • the generation unit 315 selects one list.
  • the list may be a content list generated by the generation unit 315, or may be a content list to which no labels are attached, which is obtained from another device.
  • the generation unit 315 obtains information corresponding to at least one content among the contents in the selected list.
  • the information corresponding to the content may be information already attached to the content, or may be information corresponding to feature data obtained by analyzing the content (acoustic analysis, character recognition, object recognition, etc.) by the generation unit 315. .
  • the information corresponding to the content is, for example, information regarding the user's status.
  • step S206 the generation unit 315 adds the acquired information to the list.
  • the generation unit 315 adds the acquired information regarding the user's status as a label to the list.
  • step S208 the generation unit 315 determines whether all the lists have been processed. If all the lists have not been processed (step S208-NO), the process returns to step S202, and another list to which no label has been assigned is selected, and if all the lists have been processed (step S208-YES) , the process ends.
  • the user does not need to annotate, and can automatically add labels to the content list.
  • FIG. 11 is a flowchart illustrating an example of closed control type neurofeedback processing of the processing terminal 50 according to the embodiment.
  • the application control unit 512 of the processing terminal 50 includes a learning unit 317 and a selection unit 318, and executes neurofeedback processing.
  • step S302 shown in FIG. 11 the acquisition unit 513 acquires an electroencephalogram signal measured by a bioelectrode that contacts the ear canal of a predetermined user.
  • the acquisition unit 513 acquires an electroencephalogram signal measured by a bioelectrode provided on an ear tip of an earphone.
  • step S304 the application control unit 512 uses an electroencephalogram signal acquired when the user's brain is stimulated using various contents to calculate feature data regarding the feature amount of this electroencephalogram signal.
  • the feature data is, for example, a vector of power values of each frequency in a unit time.
  • step S306 the application control unit 512 inputs the feature data of the electroencephalogram signal to a learning model that estimates the user's state, and estimates the user's state. Further, the application control unit 512 may input the acquired electroencephalogram signal to the learning model.
  • step S308 the application control unit 512 determines whether the user's current state satisfies the content output condition. For example, if it is determined that the user's state is the first state, the application control unit 512 determines that the content output condition is satisfied so that the second state is the target state corresponding to the first state. Therefore, if the content output condition is satisfied (step S308-YES), the process proceeds to step S310, and if the content output condition is not satisfied (step S308-NO), the process returns to step S302.
  • step S310 the application control unit 512 selects at least one content from the list corresponding to the second target state. For example, the application control unit 512 selects a list given a label corresponding to the second state of the target state, and selects content in this list.
  • step S312 the output unit 514 outputs the content selected by the application control unit 512. For example, if the content is music, the output unit 514 outputs the content to the earphone set 10, and if the content is an image, the output unit 514 outputs the content to the display 551.
  • step S314 the application control unit 512 uses sparse modeling or the like to learn changes in the user's state based on the electroencephalogram signal acquired during brain stimulation with the content.
  • step S316 the application control unit 512 determines whether the user's state has reached the target state based on the learning result. If the current state has not reached the target state (step S316-NO), the process advances to step S318, and if the current state has reached the target state (step S316-YES), the process advances to step S320. move on.
  • step S318 the application control unit 512 determines whether the content change conditions are satisfied. For example, if the estimated value of the user's state is not close to the target state, the application control unit 512 determines that the change condition is satisfied. If the change condition is not satisfied (step S318-NO), the process returns to step S314, and if the change condition is satisfied (step S318-YES), the process returns to step S310. In step S310, the application control unit 512 changes the content.
  • step S320 the application control unit 512 stops outputting the content.
  • the application control unit 512 does not stop outputting the content immediately, but stops it after a predetermined period of time has passed, or if the content has an end time, it stops outputting the content when the end time has elapsed. or end it.
  • the processing it is possible to obtain brain wave signals simply by wearing the device on the ear, and control that is estimated from the brain wave signals and tailored to the user's condition can be fed back in real time as sound data. Furthermore, the effect of feedback can be monitored, allowing optimization as closed control. Note that the content is not limited to sound data.
  • step S108 the classification unit 314 uses the similarity data for each user to classify each user into one or more groups so that users whose similarity data is highly correlated are included in the same set.
  • the list generation process in step S110 is not necessarily a necessary process.
  • closed-control neurofeedback using the above-mentioned similarity data between users becomes possible.
  • electroencephalogram signal may be referred to as electroencephalogram information.
  • the above-mentioned content classification process, list labeling process, neurofeedback process, and similarity data between users can be performed.
  • User classification or state prediction processing, etc. may be implemented in the processing terminal 50.
  • System 10 Earphone set 30, 50 Information processing device 100 Earphone 104 Nozzle 106 Ear tip (elastic electrode) 310 Processor 312 Brain wave control unit 313 Acquisition unit 314 Classification unit 315 Generation unit 316 Output unit 317 Learning unit 318 Selection unit 330 Memory 510 Processor 512 Application control unit 513 Acquisition unit 514 Output unit 530 Memory

Abstract

情報処理装置が実行する情報処理方法であって、ユーザに装着された脳波測定デバイスから、ユーザの外耳道において測定される脳波信号を取得すること、様々なコンテンツを用いてユーザの脳が刺激される際に取得される脳波信号を用いて、脳波信号の特徴量に関する特徴データを算出すること、様々なコンテンツのそれぞれに対応する特徴データを用いて、脳波信号の類似性に関する類似性データを算出すること、類似性データを用いて、様々なコンテンツを１又は複数に分類すること、分類された１又は複数のコンテンツを含む集合ごとにリストを生成することを実行する。

Description

情報処理方法、記録媒体、及び情報処理装置
　本発明は、情報処理方法、記録媒体、及び情報処理装置に関する。
　従来、脳波信号からユーザの感情を推定し、その感情に応じたプレイリストの中から音楽を再生する技術が知られている（例えば特許文献１参照）。
特開２０１８－５０４７１９号公報
　しかしながら、従来技術のように、感情ごとのプレイリストを生成するためには、ユーザにアノテーションをしてもらう必要があり、ユーザに煩雑な処理を行わせていた。また、プレイリスト内には、１つのジャンルのコンテンツ、例えば音楽だけが含まれており、ユーザがそのコンテンツに慣れてしまうと、所望の感情コントロールができないケースがあった。
　そこで、開示技術の一態様は、コンテンツのジャンルを問わず、ユーザの脳波信号の特徴データに基づいてコンテンツを分類し、適切なコンテンツリストを生成することを可能にする情報処理方法、プログラム、及び情報処理装置を提供することを目的とする。
　開示技術の一態様における情報処理方法は、情報処理装置が、ユーザに装着された脳波測定デバイスから、前記ユーザの外耳道において測定される脳波信号を取得すること、様々なコンテンツを用いて前記ユーザの脳が刺激される際に取得される前記脳波信号を用いて、当該脳波信号の特徴量に関する特徴データを算出すること、前記様々なコンテンツのそれぞれに対応する前記特徴データを用いて、前記脳波信号の類似性に関する類似性データを算出すること、前記類似性データを用いて、前記様々なコンテンツを１又は複数に分類すること、分類された１又は複数のコンテンツを含む集合ごとにリストを生成すること、を実行する。
　開示技術の一態様によれば、コンテンツのジャンルを問わず、ユーザの脳波信号の特徴データに基づいてコンテンツを分類し、適切なコンテンツリストを生成することができる。
実施形態に係るシステムの概要例を説明する図である。 実施形態に係るイヤホンセットの一例を示す図である。 実施形態に係るイヤホンの断面の概略の一例を示す図である。 実施形態に係るサーバの一例を示すブロック図である。 実施形態に係る処理端末の一例を示すブロック図である。 実施形態に係る脳波の特徴データの一例を示す図である。 実施形態に係る脳波の類似度行列の一例を示す図である。 実施形態に係るリストのラベル付けの一例を示す図である。 実施形態に係るサーバのリスト生成処理の一例を示すフローチャートである。 実施形態に係るサーバのラベル付与処理の一例を示すフローチャートである。 実施形態に係る処理端末の閉制御型のニューロフィードバック処理の一例を示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［実施形態］
　以下、実施形態におけるシステムの概要を、図面を用いて説明する。
　＜システムの概要＞
　まず、図１を用いて、実施形態に係るシステム１の概要例を説明する。システム１では、脳波を測定するユーザは、脳波測定デバイスとして、外耳道に生体電極が設けられるイヤホンセット１０を装着する。図１に示す例では、首掛け式のイヤホンセット１０であるが、外耳道から脳波信号がセンシング可能であれば、いずれのイヤホンを用いてもよい。例えば、リファレンス信号を耳たぶから取得するようなイヤホンセットや、その他の位置（外耳道の他の位置）からリファレンス信号やアース信号を取得するようなイヤホンや、完全ワイヤレスのイヤホンなどが利用可能である。また、脳波測定デバイスは、イヤホンタイプに限らず、例えばヘッドホンタイプであり、イヤーマフ部分に生体電極を設けるような構成でもよい。
　また、ユーザは、例えば、脳波測定デバイスとして、国際式１０／２０法を用いて脳波を測定するヘッドギアを装着してもよい。また、脳波測定デバイスは、頭皮電極を用いる測定器、頭蓋内電極を用いて脳活動を測定する測定器、磁気共鳴機能画像法（functional magnetic resonance imaging：ｆＭＲＩ）を用いて脳活動を測定する測定器、近赤外光分光法（Near-Infrared Spectroscopy:ＮＩＲＳ）を用いて脳活動を測定する測定器などの脳波を測定可能な装置を含む。
　図１に示す例の場合、イヤホンセット１０は、外耳道から脳波信号を取得し、ネットワークＮを介して脳波信号を情報処理装置３０又は情報処理装置５０に送信する。ネットワークＮは、有線又は無線のネットワークを含み、Bluetooth（登録商標）などの近距離無線通信が用いられてもよい。
　また、イヤホンセット１０は、脳波信号に所定の処理を実行し、サーバとしての役割を担う情報処理装置３０、又は、ユーザが利用する情報処理装置５０に送信してもよい。所定の処理は、増幅処理、サンプリング、フィルタリング、差分演算などを含む。
　情報処理装置３０は、例えばサーバであり、脳波測定デバイスにより測定される脳波信号を取得して各処理を実行する。例えば、情報処理装置３０は、コンテンツの出力中の脳波信号から特徴データを抽出し、特徴データの類似性を用いてコンテンツを分類する。次に、情報処理装置３０は、分類されたコンテンツの集合ごとに、コンテンツを含むリストを生成する。
　これにより、脳波信号に基づいて、各コンテンツをカテゴライズし、リスト化することが可能になる。なお、所定のユーザの脳波への刺激が似ているコンテンツが集められるため、リストのラベルを予め準備しておく必要がない。
　また、情報処理装置３０は、脳波測定デバイスにより測定される脳波信号から、ユーザの感情や状態（まとめて「状態」とも称す。）を推定してもよい。例えば、情報処理装置３０は、脳波信号からユーザの状態を推定する予測モデルを用いて、ユーザの状態を示す状態情報を取得してもよい。また、情報処理装置３０は、脳波信号に対してユーザにより状態がアノテーションされた学習データ（訓練データ）を用いて教師あり学習を行うことで、予測モデルの精度を向上させてもよい。
　また、情報処理装置３０は、生成した予測モデルを情報処理装置５０に送信してもよい。また、情報処理装置３０は、まずは情報処理装置５０が脳波信号を取得して、所定のアプリケーションを介して脳波信号を取得するようにしてもよい。また、情報処理装置３０は、順次取得される脳波信号に基づいて特徴データを算出し、この特徴データを予測モデルに入力し、推定された状態情報を情報処理装置５０に送信してもよい。
　情報処理装置５０は、例えば、ユーザが保持する携帯端末などの処理端末であり、イヤホンセット１０から脳波信号を順に取得する。情報処理装置５０は、順に取得される脳波信号から特徴データを算出する。情報処理装置５０は、特徴データを予測モデルに入力し、状態情報を取得してもよい。また、情報処理装置５０は、取得した脳波信号又は特徴データを情報処理装置３０に出力し、情報処理装置３０から状態情報を取得するようにしてもよい。
　情報処理装置５０は、コンテンツ出力に関する所定条件を満たすときに、ユーザの状態を調整するようなコンテンツを選択し、選択されたコンテンツをイヤホンセット１０に出力してもよい。図１に示す例では、出力装置としてイヤホンセット１０を例に挙げているため、コンテンツは、音を含むコンテンツであるが、出力装置として画像出力装置（例えばディスプレイ）を用いれば、コンテンツは、動画や静止画などの画像、アニメーション等を含んでもよい。また、情報処理装置５０は、脳波信号からユーザの状態を推定し、その状態を調整するような処理を実行し、機器を操作するため、脳波信号に基づき機器の操作を行うブレーンマシンインタフェースの機能を有する。
　これにより、ユーザの状態に応じて、そのユーザの状態を調整するようなコンテンツを適切に選択することができる。例えば、コンテンツは、音楽、音声、音データ、動画、写真、アニメーション及びゲームなどのうちの少なくとも１つを含む。なお、本開示技術において、コンテンツは、音を含むコンテンツが好適であり、音楽がより好適である。
　＜イヤホンセットの構成＞
　図２～３は、実施形態におけるイヤホンセット１０の概要について説明する。なお、イヤホンセット１０は、図２～３に示す例に限られず、外耳道から脳波をセンシングすることが可能であり、外部装置に出力可能であれば、いずれのイヤホンでも本開示の技術に適用することができる。
　図２は、実施形態に係るイヤホンセット１０の一例を示す図である。図２に示すイヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌと、首掛け部１１０とを有する。各イヤホン１００Ｒ、１００Ｌは、首掛け部１１０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。以下、左右を区別する必要がない場合はＲＬを省略する。
　首掛け部１１０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１１２Ｒ、１１２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１２２、１２４が設けられる。電極１２２、１２４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、後述するように、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１１０は、脳波信号を処理する処理部や外部と通信を行う通信装置を有してもよいが、これらの処理部や通信部はイヤホン１００に設けられてもよい。
　また、首掛け部１１０の両サイドの棒状部材１１２Ｒ、１１２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１２２、１２４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１１２Ｒ、１１２Ｌの先端側には重りが設けられる。なお、電極１２２、１２４の位置はこの位置に限られない。
　図３は、実施形態に係るイヤホン１００Ｒの断面の概略の一例を示す図である。図３に示すイヤホン１００Ｒは、例えば、スピーカ１０２とノズル１０４との間に弾性部材（例えばウレタン）１０８を設けてもよい。この弾性部材１０８を設けることにより、スピーカ１０２の振動がイヤーチップ１０６の弾性電極に伝わりにくくなり、イヤーチップ１０６の弾性電極とスピーカ１０２とが音について干渉することを防ぐことができる。
　さらに、弾性電極を含むイヤーチップ１０６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用することで、この弾性部材により、音振動をイヤーチップ１０６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。
　イヤホン１００は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットしてもよい。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅してもよい。
　これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。
　また、イヤーチップ１０６は、外耳道からセンシングする脳波信号を、ノズル１０４に設けられる電極の接点に伝導させる。脳波信号は、イヤーチップ１０６から接点を介してイヤホン１００内部の生体センサ（不図示）に伝えられる。生体センサは、順に取得する脳波信号を、ケーブルを介して首掛け部１１０に設けられる処理装置に出力したり、外部の装置に送信したりする。また、イヤーチップ１０６と、生体センサやオーディオ・サウンド・プロセッサを含むハウジングとは、絶縁されていてもよい。
　＜サーバの構成例＞
　図４は、実施形態に係る情報処理装置３０の一例を示すブロック図である。情報処理装置３０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置３０は、脳波信号又は脳波情報を処理し、例えば、人工知能（Airtificial Intelligence）の学習機能を用いて脳波信号から出力中のコンテンツの分類を行う。情報処理装置３０は、サーバ３０とも表記する。なお、情報処理装置３０は、必ずしもサーバでなくてもよく、汎用コンピュータでもよい。
　サーバ３０は、１つ又は複数のプロセッサ（ＣＰＵ：Central Processing Unit））３１０、１つ又は複数のネットワーク通信インタフェース３２０、メモリ３３０、ユーザインタフェース３５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス３７０を含む。
　サーバ３０は、例えば、場合によりユーザインタフェース３５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。
　メモリ３３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ３３０は、プログラムを記録したコンピュータ読取可能な非一時的な記録媒体でもよい。
　また、メモリ３３０の他の例として、プロセッサ３１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施例において、メモリ３３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数のプロセッサ３１０は、メモリ３３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ３１０は、メモリ３３０に格納されているプログラムを実行することで、脳波制御部３１２、取得部３１３、分類部３１４、生成部３１５、出力部３１６、学習部３１７、選択部３１８を構成してもよい。　脳波制御部３１２は、順に取得される脳波信号を制御したり、処理したりし、以下の各処理を制御する。
　取得部３１３は、脳波測定デバイス、例えばイヤホンセット１０に含まれる生体電極で測定される脳波信号を取得する。例えば、取得部３１３は、ユーザに装着された脳波測定デバイスから、ユーザの外耳道において測定される脳波信号を取得する。なお、脳波測定デバイスは、イヤホンセット１０に限定されず、脳波信号の取得位置も外耳道に限定されないが、コンテンツを音とする場合は、イヤホンセット１０は、出力デバイスと脳波測定デバイスとを兼用できるため、本開示の技術に好適なデバイスである。
　分類部３１４は、様々なコンテンツを用いてユーザの脳が刺激される際に取得される脳波信号を用いて、この脳波信号の特徴量に関する特徴データを算出する。例えば、分類部３１４は、対象となる音刺激を聴取している際の外耳道脳波（In-Ear EEG）の特徴データ（単位時間あたりの周波数ごとのパワーベクトル）を算出する。
　分類部３１４は、様々なジャンルのコンテンツのそれぞれに対応する特徴データを用いて、脳波信号の類似性に関する類似性データを算出する。例えば、分類部３１４は、各コンテンツに対応する特徴データを用いて、相互相関に関する類似度行列を算出する。具体例として、分類部３１４は、特徴データ間のベクトルの相関係数をマトリックス化してもよい。なお、類似度行列は、類似性データの一例である。
　分類部３１４は、類似性データを用いて、様々なコンテンツを１又は複数に分類する。例えば、分類部３１４は、脳波の特徴データが類似するコンテンツをグループ化する。具体例として、分類部３１４は、公知のクラスタリング手法の１つを用いて、相関係数が高いコンテンツの集合が形成されるように、コンテンツを分類してもよい。
　生成部３１５は、分類部３１４により分類された１又は複数のコンテンツを含む集合ごとにリストを生成する。例えば、生成部３１５は、分類部３１４により分類されたコンテンツの集合に識別情報を付与して、コンテンツリストを生成する。
　以上の処理により、ジャンルを問わない様々なコンテンツに対して、脳波信号が示す特徴が類似するものに分類し、グループ化することができる。このとき、分類時にはグループのラベルは不要であるため、アノテーションが必須とはならず、ユーザに負担をかけずに脳波信号に基づいてコンテンツを分類することが可能になる。
　また、様々なコンテンツは、少なくとも音データ、画像データ、及びテキストデータを含むコンテンツのうち、ジャンルが異なる２以上のデータを含む。例えば、出力デバイスに応じてコンテンツが選択されてもよい。具体例として、出力デバイスがスマートフォンなどの携帯端末である場合、ディスプレイやスピーカを有するため、コンテンツは、音データ、画像データ、テキストデータを含んでもよい。このように、本開示の技術では、脳波情報に基づいてコンテンツを分類するため、コンテンツ同士の類似性は問われない。
　出力部３１６は、生成部３１５により生成されたコンテンツリストを他の情報処理装置に、ネットワーク通信インタフェース３２０を介して出力する。コンテンツリストを取得した他の情報処理装置は、コンテンツリスト内の様々なジャンルのコンテンツを分析すること等ができる。
　ここで、生成部３１５は、様々なコンテンツのリストを生成するが、リスト生成時点ではラベルは付与されていない。そこで、生成部３１５は、事後的にラベルを付与してもよい。ラベルは、ユーザの感情又は状態を含んでもよい。
　例えば、生成部３１５は、生成されたリストに含まれる１又は複数のコンテンツのうち、少なくとも１つのコンテンツに対応する情報を、ラベルとしてこのリストに付与してもよい。具体例として、コンテンツリストに含まれるコンテンツの中に、音楽データＡが含まれており、この音楽データＡに、カテゴリとして気分高揚などが関連付けられているとする。この場合、生成部３１５は、音楽データＡを含むリストに、気分高揚をラベルとして付与する。
　また、生成部３１５は、リストに含まれる少なくとも１つのコンテンツの特徴データを解析してもよい。例えば、生成部３１５は、コンテンツが音楽データであり、音楽データの特徴がバラード系の特徴である場合、リストに含まれる音楽はリラックス状態に聴く音楽であると判定し、このリストのラベルにリラックスを付与してもよい。
　また、生成部３１５は、複数のジャンルのコンテンツを解析してリストのラベルを判定してもよい。例えば、同一リストに音楽データと、画像データとが含まれる場合、生成部３１５は、音楽データに基づいて前述のバラード系の曲調を判定し、画像データから自然画像、動物画像などを物体認識した場合に、リラックス状態に刺激されるコンテンツと判定してもよい。すなわち、生成部３１５は、ジャンルの異なる複数のコンテンツの特徴が同一又は類似する場合に、その特徴に対応する情報をリストのラベルとして付与してもよい。
　また、生成部３１５は、分類されたリストに対応する脳波信号の特徴データを用いて、ユーザの状態推定モデルに入力して推定された状態を、リストのラベルとして付与してもよい。状態推定モデルは、脳波信号の特徴からユーザの状態を推定する学習モデルであり、訓練データを用いて学習された学習済みのモデルを含む。
　また、生成部３１５は、リストのラベルを付与する前に、判定されたラベルをユーザに確認してもらうようにしてもよい。例えば、生成部３１５は、各リストに含まれるコンテンツのいくつか又は全部とともに、判定されたラベルを含む確認画面情報を、ユーザが利用する情報処理装置３０に出力するように制御してもよい。生成部３１５は、ユーザにより確定又は修正された各ラベルを、対応する各リストに付与する。
　また、コンテンツの中に、各状態になるよう指示するテキストや画像が含まれるとする。例えば、テキストの場合、「悲しい気持ちになってください」、「楽しい気分になってください」などである。実施形態では、このコンテンツを状態指示コンテンツと称する。生成部３１５は、リスト内に状態指示コンテンツが１つ含まれる場合、状態指示コンテンツに対応する状態をリストのラベルとして付与してもよい。また、生成部３１５は、リスト内に状態コンテンツが複数ある場合、上述したようにコンテンツの特徴を分析してラベルを判定してもよい。
　以上の処理により、リスト内のコンテンツに応じて、そのリストのラベルを自動的又は半自動的に付与することが可能になり、コンテンツごとにユーザにアノテーションをしてもらうなどの負担を軽減することができる。
　また、生成部３１５は、リストに付与されるコンテンツの特徴データに対応する情報と、リストに対応する脳波信号の特徴データとを対応付けてもよい。例えば、生成部３１５は、リストに付与されたラベルを、リストに含まれる各コンテンツの出力時に取得された脳波信号の特徴データに関連付ける。脳波信号の特徴データは、各脳波信号の特徴データの平均値、又は各脳波信号のパワーの最大値及びその周波数のセットなどを含む。
　以上の処理により、リストに付与されるラベルを用いて、そのリストに含まれるコンテンツの出力時に取得された脳波信号の特徴データにラベルを付与することが可能になる。すなわち、リストに分類されたコンテンツの特徴から、脳波信号の特徴データにアノテーションすることが可能になる。例えば、生成部３１５は、あるリストに付与されたラベルが「悲しい」状態である場合、そのリストに対応する脳波信号の特徴データは、そのユーザにとって「悲しい」状態であるとみなし、その特徴データに「悲しい」状態を対応付ける。
　（リアルタイム学習型の閉制御ニューロフィードバック）
　次に、ユーザの各状態のコンテンツリストを用いて、リアルタイム学習型の閉制御ニューロフィードバックについて説明する。従来のニューロフィードバックは、脳計測部分とフィードバック部分とが独立していることが多く、この場合のニューロフィードバックは簡便さと効率性に課題があった。
　また、上述したイヤホンセット１０などでは外耳道から脳波信号を取得することが可能になるが、取得される脳波信号は必ずしも古典的な頭皮上の脳波信号と相同ではなく、アルファ波やシータ波などの特定の周波数を用いた頭皮上脳波のニューロフィードバックをそのまま適用することはできない。さらに、古典的な頭皮上の脳波信号を用いたニューロフィードバックでは、ユーザの個人差に対応することもできなかった。
　そこで、上述した課題を解決するため、上述したイヤホンセット１０を用いることで、耳に装着するだけで脳波信号を取得可能になり、その脳波信号から推定されるユーザの状態に合わせた制御を音データとしてリアルタイムにフィードバックすることができる。また、フィードバックによる効果がモニタリング可能になり、閉制御として最適化することができるようになる。
　ここで、上述の閉制御ニューロフィードバックの一例を挙げる。例えば、イヤホンセット１０を装着するユーザの脳波信号から眠気を検出したら、イヤホンセット１０からユーザを覚醒させるコンテンツを出力し、覚醒度を脳波信号から評価し、有効性を検証、目的とする状態に到達しなければコンテンツを変えて、目的とする覚醒度を達成するように制御することが可能になる。以下、閉制御ニューロフィードバックの処理内容について、サーバ３０の学習部３１７と選択部３１８とを用いて説明するが、ユーザが利用する情報処理装置３０において実装されてもよい。
　学習部３１７は、イヤホンセット１０から取得される脳波信号を、ユーザの状態を推定する学習モデルに入力し、ユーザの状態を推定する。脳波信号からユーザの状態を推定するモデルは公知の予測モデルが用いられてもよい。
　選択部３１８は、推定されたユーザの状態に基づいて、目的とする状態との誤差を評価し、目的とする状態に近づけるコンテンツを選択する。具体的には、選択部３１８は、取得部３１３により順に取得される脳波信号に基づいて算出される特徴データが第１特徴データ（例、眠い時の特徴データ）に対応する場合、この第１特徴データとは異なる第２特徴データ（例、覚醒時の特徴データ）に対応するリストの中から、第１コンテンツを選択する。例えば、選択部３１８は、目的状態（例えば覚醒状態）に対応する生成部３１５により生成されたコンテンツリストの中から、第１コンテンツ（音楽）を選択する。なお、各状態に対応する各コンテンツリストは、生成部３１５により生成されたリスト以外のリストでもよい。
　出力部３１６は、選択部３１８により選択された第１コンテンツを出力する。これにより、ユーザが目的状態になるようにコンテンツを出力し、ユーザに刺激を与えることができる。この刺激により、ユーザの脳状態に変化が生じる。
　学習部３１７は、コンテンツにより脳が刺激される際のコンテンツの特徴データと、ユーザの状態の変化に関する教師データを抽出し、どのようなコンテンツが、そのユーザの脳の状態をどのように変えるかを機械学習する。例えば、高い周波数の音楽により脳に刺激を与えると、このユーザは楽しい気分になる等である。コンテンツが音（音楽、特定の周波数を呈する純音、環境音など）の場合は、コンテンツの特徴データは、音響解析可能な音の周波数やテンポなどを含む。
　「ユーザの状態の変化に関する教師データ」とは、コンテンツによる刺激により変化する脳波信号の特徴データをフィードバックしたことによる脳の状態の変化（特徴データの変化）をいう。教師データは、受動的に取得できる脳波信号の特徴データの変化を主に扱うが、ユーザの行動の変化、又はユーザの主観的な報告の変化を取得することにより、教師データのラベルの補完・代替が可能なものとする。脳波信号の特徴データの一例として、単位時間あたりに含まれる１～４０Ｈｚ程度の各周波数帯域のパワーの値の行列でもよい。
　また、学習部３１７による機械学習は、脳波信号の特徴データのような多次元なベクトルに対して、目的とする状態を目的変数に学習させるスパースモデリングでもよい。学習部３１７は、脳波信号の特徴データの評価については、学習の初期段階ではユーザの状態のラベルが付与された訓練データを用いて、主観評価に基づく学習モデルが利用されてもよい。この場合、例えば、学習モデルに脳波信号又は特徴データが入力されると、ユーザの状態の推定値（例、覚醒度０.５など）が出力される。
　また、学習部３１７は、特定の状態に対応するコンテンツリストとして、上述したように脳波信号の特徴データの類似度行列を利用して生成されたリストを用いてもよい。この場合、ユーザの状態のラベルがリストに付与されているとよい。学習部３１７は、出力結果に基づいて、順に取得される脳波信号の特徴データを用いて、目的の状態（特定の状態）に到達できるように学習を実行する。
　選択部３１８は、学習の出力値に応じて、出力されるコンテンツを維持したり、変更したりしてもよい。例えば、選択部３１８は、第１コンテンツの出力中に取得される脳波信号に基づいて算出される特徴データが、コンテンツの変更に関する条件（目的状態に近づいているかに関する条件）を満たさない場合、第２特徴データに対応するリストの中から、第１コンテンツとは異なる第２コンテンツを選択することを含んでもよい。出力部３１６は、選択された第２コンテンツを出力デバイスに出力してもよい。
　例えば、第２特徴データは、目的状態に対応する脳波の特徴を表すデータである。例えば、コンテンツの変更に関する条件は、取得される脳波の特徴データの所定期間ごとの平均値が、目的状態に対応する第２特徴データに近づいているか、又は、脳波信号に基づくユーザの状態が目的状態に近づいているか等の条件を含む。
　具体例として、選択部３１８は、覚醒度を出力する学習モデルが用いられる場合、取得される脳波信号の特徴データに基づく出力値の覚醒度が上昇していれば、そのコンテンツの出力を維持するよう制御し、出力値の覚醒度が上昇していなければ、そのコンテンツを他のコンテンツに変更する。
　なお、上述した例では、コンテンツの一例として音を用いたが、これに限られず、画像、テキストなどの視覚による刺激や、触ることなどによる触覚刺激でも同様に適用可能である。
　また、変更に関する条件は、現在の状態における脳波の第１特徴データと、目的状態における脳波の第２特徴データとの関係に基づいて決定されてもよい。例えば、選択部３１８は、現在のユーザの状態が悲しい状態から、目的状態の嬉しい状態にする際の条件と、眠い状態から覚醒状態にする条件とを異ならせるようにしてもよい。具体例として、選択部３１８は、学習部３１７により出力される出力値と比較する閾値を、現在の状態及び／又は目的状態に応じて適応的に変更してもよい。
　以上の処理により、上述したイヤホンセット１０を用いることで、耳に装着するだけで脳波信号を取得可能になり、その脳波信号から推定されるユーザの状態に合わせた制御を音データとしてリアルタイムにフィードバックすることができる。また、フィードバックによる効果がモニタリング可能になり、閉制御として最適化することができるようになる。
　（ユーザ間の類似性データを用いたユーザ分類又は状態予測）
　上述したリスト生成の例では、各コンテンツの刺激時におけるユーザの脳波信号の類似性データを用いて、コンテンツの類似性を判断したが、以下に示す例では、ユーザ間の類似性データの類似性や相関を用いてユーザを分類したり、ユーザの状態を推定したりする。
　取得部３１３は、ユーザごとの脳波信号を取得してもよい。例えば、取得部３１３は、ユーザを特定するユーザ識別情報又は脳波測定デバイスのデバイス識別情報が付与されている脳波信号を取得してもよいし、脳波信号の出力先の違いにより、脳波信号に識別情報を付与してもよい。
　分類部３１４は、識別情報ごとに、脳波信号の類似性に関する類似性データを算出する。例えば、分類部３１４は、上述した類似度行列を識別情報ごとに算出する。分類部３１４は、ユーザごとの類似性データを用いて、類似性データが類似する又は相関が高いユーザを１又は複数に分類する。この分類について、学習部３１７は、分類問題を解く学習モデルに、各ユーザの類似性データを入力し、脳活動が類似するユーザが同一の集合になるように、各ユーザを１又は複数に分類してもよい。なお、分類部３１４は、生成部３１５により生成されるリスト内のコンテンツの相関が高いユーザが同一の集合になるように、各ユーザを分類してもよい。
　以上の処理により、様々なコンテンツの刺激による脳活動が類似するユーザ同士を特定することができる。例えば、所定ユーザがコンテンツＡ，Ｂ，Ｃにより刺激を受けたときの脳波信号と類似する又は相関が高い脳波信号を有する他のユーザを特定することが可能になる。
　学習部３１７は、脳波測定デバイスにより測定される第１ユーザの脳波信号を用いて、第１ユーザと同一の集合内に分類される第２ユーザの脳波信号を推定してもよい。例えば、学習部３１７は、各コンテンツにより刺激を受けたときの第１ユーザの脳波信号と第２ユーザの脳波信号の相関を機械学習により学習しておくことで、所定コンテンツにより刺激を受けた第１ユーザの脳波信号から、第２ユーザの脳波信号を推定してもよい。
　以上の処理により、一方のユーザの実測の脳波情報から、他のユーザの脳波情報を推定することができる。例えば、ユーザＡとユーザＢとの脳活動が類似すると判定された場合、所定コンテンツにより刺激を受けたユーザＡの脳波情報から、所定コンテンツの刺激を受けていないユーザＢの脳波情報を推定することが可能になる。具体例としては、ユーザＡが音楽Ａを聴いたときの感情から、ユーザＢが音楽Ａを聴いたと仮定したときの感情を推定することができる。
　次に、生成部３１５により生成されたリストを用いて、選択部３１８は、ユーザＢに対し、コンテンツＡと同一のリスト内にあるコンテンツＢを選択し、出力部３１６は、選択されたコンテンツＢをユーザＢに出力してもよい。これにより、ユーザＢに対し、コンテンツＡと同一のリスト内にあるコンテンツＢにより刺激を与えて、コンテンツＡにより刺激を与えるときの脳活動を再現することが可能になる。例えば、物理的に、又は、ユーザＢの感情的に、ユーザＢにコンテンツＡを提供できない又は困難な場合、ユーザＢにコンテンツＡの代わりにコンテンツＢを提供することで、コンテンツＡにより刺激を与えるときの状態を再現することが可能になる。
　また、上述したリアルタイム学習型の閉制御ニューロフィードバックを用いることで、学習部３１７は、コンテンツＢにより刺激を与えたときのユーザＢの状態Ｘを推定し、選択部３１８は、状態Ｘから状態Ｙに誘導するようなコンテンツを選択してもよい。
　以上の処理により、ユーザＢに対し、あたかもコンテンツＡ（実際はコンテンツＢ）により刺激を与え、状態Ｘから状態Ｙへの感情コントロールを訓練させることが可能になる。
　＜処理端末の構成例＞
　図５は、実施形態に係る情報処理装置５０の一例を示すブロック図である。情報処理装置５０は、例えば、携帯端末（スマートフォンなど）、コンピュータ、タブレット端末などのユーザ端末である。情報処理装置５０は、処理端末５０とも表記する。
　処理端末５０は、１つ又は複数のプロセッサ（例、ＣＰＵ）５１０、１つ又は複数のネットワーク通信インタフェース５２０、メモリ５３０、ユーザインタフェース５５０、カメラ５７０及びこれらの構成要素を相互接続するための１つ又は複数の通信バス５９０を含む。
　ユーザインタフェース５５０は、ディスプレイ装置５５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）５５２を備える。また、ユーザインタフェース５５０は、タッチパネルでもよい。
　メモリ５３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。また、メモリ５３０は、プログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体でもよい。
　また、メモリ５３０の他の例は、プロセッサ５１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施例において、メモリ５３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　カメラ５７０は、イメージセンサを有し、光信号を受け、この光信号を電気信号に変換し画像を生成する。画像は静止画像及び動画像の少なくとも１つを含む。
　１つ又は複数のプロセッサ５１０は、メモリ５３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数のプロセッサ５１０は、メモリ５３０に格納されているプログラムを実行することで、アプリケーションの制御部（以下「アプリ制御部」とも称す。）５１２を構成してもよい。このアプリ制御部５１２は、脳波信号を処理するアプリケーションであり、例えば、アプリ制御部５１２、取得部５１３、及び出力部５１４を有する。
　取得部５１３は、所定ユーザに装着された脳波測定デバイスから測定される脳波信号を取得する。例えば、取得部５１３は、ネットワーク通信インタフェース５２０を介して、脳波信号を取得してもよいし、ネットワーク通信インタフェース５２０を介して、所定の処理が行われた脳波信号を取得してもよい。所定の処理は、例えば、脳波信号に対する、周波数変換やフィルタ処理、差分演算、又は学習された予測モデルへの入力処理などを含む。また、取得部５１３は、脳波信号の特徴データを取得してもよい。
　また、取得部５１３は、サーバ３０により生成されたコンテンツリストを取得してもよい。コンテンツリストは、ラベル無しでもラベル付きでもどちらでもよい。また、取得部５１３は、サーバ３０により選択されたコンテンツを取得してもよい。また、取得部５１３は、サーバにより学習された学習済みのモデルを取得してもよい。
　アプリ制御部５１２は、取得部５１３により順に取得される脳波信号又は特徴データに対して所定の処理を実行する。所定の処理とは、例えば、上述したコンテンツの分類に関する処理や、上述したリアルタイム学習型の閉制御ニューロフィードバックに関する処理や、上述したユーザ間の類似性データを用いたユーザ分類又は状態予測に関する処理を含む。
　アプリ制御部５１２の処理がコンテンツの分類に関する処理の場合、アプリ制御部５１２は、脳波測定デバイスから取得される脳波信号又は特徴データをサーバ３０に送信するように制御する。また、アプリ制御部５１２は、サーバ３０から、コンテンツのリストを取得する場合、リストのラベルを付与、修正、又は確認するようにユーザに操作制御を指示する画面を生成し、ディスプレイ５５１に表示するよう制御してもよい。
　また、アプリ制御部５１２は、サーバ３０の分類部３１４と生成部３１５とを有してもよい。これにより、処理端末５０側で、脳波信号に基づいてコンテンツの分類を行うことが可能になる。サーバ３０は、各ユーザの処理端末５０から、生成された脳波の特徴データごとのリストを取得し、各リスト内のコンテンツを分析してもよい。例えば、サーバ３０は、ユーザ間の状態の違いによるコンテンツの違いや、各ユーザに共通の脳波の特徴データに対応するリスト内の共通のコンテンツの有無など、様々な分析に利用することが可能になる。
　アプリ制御部５１２の処理がリアルタイム学習型の閉制御ニューロフィードバックに関する処理の場合、アプリ制御部５１２は、学習部３１７と選択部３１８とを含む。この場合、アプリ制御部５１２は、取得される脳波信号に基づいて、ユーザの状態を推定し、ユーザの状態が目的状態になるようなコンテンツを出力するよう制御する。目的状態に対応するリストは、サーバ３０により生成されるコンテンツリストでもよいし、ユーザの状態ごとに生成された公知のコンテンツリストでもよい。
　アプリ制御部５１２の処理がユーザ間の類似性データを用いたユーザ分類又は状態予測に関する処理の場合、アプリ制御部５１２は、分類部３１４と、生成部３１５と、学習部３１７と、選択部３１８とを含む。この場合、アプリ制御部５１２は、取得される脳波信号を用いて、予め取得しておいた他のユーザの類似性データと相関が高い集合を特定する。これにより、脳波測定デバイスにより測定中のユーザＡの脳活動と相関が高いユーザＢを特定し、特定されたユーザＢの脳波信号を用いることで、脳波を測定しなくてもユーザＡの脳波信号や状態を推定することが可能になる。
　出力部５１４は、取得部５１３により取得された脳波信号又は特徴データをサーバ３０に出力したり、選択されたコンテンツをイヤホンセット１０、又は自装置に設けられるスピーカやディスプレイ５５１に出力したりする。また、出力部５１４は、コンテンツの内容に応じて出力デバイスを選択し、選択された出力デバイスにコンテンツを出力してもよい。例えば、コンテンツが音であれば、イヤホンセット１０を出力デバイスとし、コンテンツが画像、テキスト等であればディスプレイ５５１を出力デバイスとする。
　以上の処理によれば、処理端末５０は、コンテンツリストの生成処理又はその一部の処理を実行したり、リアルタイム学習型の閉制御ニューロフィードバックに関する処理又はその一部の処理を実行したり、ユーザ間の類似性データを用いたユーザ分類又は状態予測に関する処理又はその一部の処理を実行したりすることが可能になる。
　＜具体例＞
　次に、図６及び７を用いて類似度行列の具体例、及び図８を用いてリストのラベル付けの具体例について説明する。図６は、実施形態に係る脳波の特徴データの一例を示す図である。図６に示す例では、データ（Ａ）は、左イヤホン１００Ｌから取得される脳波信号の単位時間（ｓｅｃ）あたりの各周波数（Ｈｚ）のパワー値を表し、データ（Ｂ）は、右イヤホン１００Ｒから取得される脳波信号の単位時間あたりの各周波数のパワー値を表す。ノイズを除去するため、分類部３１４は、データ（Ａ）とデータ（Ｂ）との差の絶対値を脳波信号の特徴データ（Ｃ）としてもよい。
　図７は、実施形態に係る脳波の類似度行列の一例を示す図である。図７に示す例では、所定のユーザに対して、様々なコンテンツを出力して脳に刺激を与え、その際の脳波情報に基づいて生成された類似度行列である。図７に示す例では、縦軸横軸ともに各コンテンツとし、コンテンツ間の各周波数のパワー値のベクトルの相関がマトリックス化されている。色が薄いほどコンテンツ同士の相関が高く、類似性が高いことを示し、色が濃いほどコンテンツ同士の相関が低く、類似性が低い。
　図８は、実施形態に係るリストのラベル付けの一例を示す図である。図７に示す類似度行列を用いて、相関の高いコンテンツが分類され、リストが生成される。図８に示す例では、リスト１に、コンテンツ１，５，８，１３・・・が含められる。なお、各リスト内のコンテンツは、ジャンルの異なるコンテンツが含められてもよい。
　例えば、生成部３１５は、リスト１に含まれるコンテンツを分析する。このとき、生成部３１５は、コンテンツ８にユーザの状態Ａが付与されているとする。生成部３１５は、コンテンツ８に対応する状態Ａを、ラベルＡとしてリスト１に付与する。
　また、生成部３１５は、コンテンツ８の特徴データを抽出してもよい。コンテンツが音楽の場合、生成部３１５は、音響解析を行って、音楽の曲調を調べ、クラシック、ポップ、バラードなどのジャンルを特定する。生成部３１５は、音楽のジャンルに応じてユーザの状態をＡと推定し、ラベルＡとしてリスト１に付与してもよい。また、コンテンツが静止画像であり、小動物が認識された場合は、生成部３１５は、ユーザの状態をリラックスなどと推定し、このラベル（リラックス）をリスト１に付与してもよい。
　また、コンテンツに、所定の状態になるよう指示したテキストが含まれる場合、生成部３１５は、テキストが文字認識されて取得された状態を、ラベルとしてリストに付与してもよい。例えば、生成部３１５は、「怒ってください」というテキストが含まれるリスト２に対し、ユーザの状態「怒り」をラベルとしてリスト２に付与してもよい。なお、所定の状態になるよう指示するコンテンツ（状態指示コンテンツ）は、テキスト以外にも、画像や音声などでもよい。
　生成部３１５は、状態指示コンテンツが１つのリストに複数ある場合、リスト内のその他のコンテンツの特徴データを取得し、この特徴データに基づいてリスト内のコンテンツに対応するユーザの状態を推定してもよい。
　これにより、アノテーションフリー、モダリティフリーな閉制御ニューロフィードバックを実現することが可能になる。
　＜動作＞
　次に、実施形態に係る動作について説明する。図９は、実施形態に係るサーバ３０のリスト生成処理の一例を示すフローチャートである。図９に示す例では、サーバ３０が、コンテンツのリストを生成する処理について説明する。
　ステップＳ１０２において、取得部３１３は、所定ユーザの外耳道に接触する生体電極により測定される脳波信号を取得する。例えば、取得部３１３は、イヤホンのイヤーチップに設けられる生体電極により測定される脳波信号を取得する。
　ステップＳ１０４において、分類部３１４は、様々なコンテンツを用いてユーザの脳が刺激される際に取得される脳波信号を用いて、この脳波信号の特徴量に関する特徴データを算出する。特徴データは、例えば、単位時間における各周波数のパワー値のベクトルである。
　ステップＳ１０６において、分類部３１４は、様々なコンテンツのそれぞれに対応する特徴データを用いて、脳波信号の類似性に関する類似性データを算出する。例えば、分類部３１４は、各コンテンツの特徴データの相関値を行列で表現し、類似度行列を生成する。
　ステップＳ１０８において、分類部３１４は、算出された類似性データを用いて、様々なコンテンツを１又は複数に分類する。例えば、分類部３１４は、相関値が閾値以上のコンテンツをグループ化する。
　ステップＳ１１０において、生成部３１５は、分類部３１４により分類された１又は複数のコンテンツを含む集合ごとにリストを生成する。例えば、生成部３１５は、１又は複数のコンテンツを含む集合に対して、他のリストと識別するための識別情報を付与して、リストを生成する。
　以上の処理により、コンテンツのジャンルを問わず、ユーザの脳波信号の特徴データに基づいてコンテンツを分類し、適切なコンテンツリストを生成することができる。
　図１０は、実施形態に係るサーバ３０のラベル付与処理の一例を示すフローチャートである。図１０に示す例では、サーバ３０が、リストのラベルを付与する処理について説明する。
　図１０に示すステップＳ２０２において、生成部３１５は、リストを１つ選択する。リストは、生成部３１５により生成されたコンテンツリストでもよいし、他の装置から取得した、ラベルが付与されていないコンテンツリストでもよい。
　ステップＳ２０４において、生成部３１５は、選択されたリスト内のコンテンツのうち、少なくとも１つのコンテンツに対応する情報を取得する。コンテンツに対応する情報は、コンテンツに既に付与されている情報でもよいし、生成部３１５がコンテンツを解析（音響解析、文字認識、物体認識等）し、取得される特徴データに対応する情報でもよい。コンテンツに対応する情報は、例えば、ユーザの状態に関する情報である。
　ステップＳ２０６において、生成部３１５は、取得した情報をリストに付与する。例えば、生成部３１５は、取得したユーザの状態に関する情報を、リストのラベルとして付与する。
　ステップＳ２０８において、生成部３１５は、全部のリストを処理したかを判定する。全てのリストが処理されていなければ（ステップＳ２０８－ＮＯ）、処理はステップＳ２０２に戻り、ラベルが付与されていない別のリストが選択され、全てのリストが処理されれば（ステップＳ２０８－ＹＥＳ）、処理は終了する。
　以上の処理により、ユーザはアノテーションをする必要がなく、自動でコンテンツリストのラベルを付与することができる。
　図１１は、実施形態に係る処理端末５０の閉制御型のニューロフィードバック処理の一例を示すフローチャートである。図１１に示す例では、処理端末５０のアプリ制御部５１２が、学習部３１７及び選択部３１８を有し、ニューロフィードバック処理を実行する。
　図１１に示すステップＳ３０２において、取得部５１３は、所定ユーザの外耳道に接触する生体電極により測定される脳波信号を取得する。例えば、取得部５１３は、イヤホンのイヤーチップに設けられる生体電極により測定される脳波信号を取得する。
　ステップＳ３０４において、アプリ制御部５１２は、様々なコンテンツを用いてユーザの脳が刺激される際に取得される脳波信号を用いて、この脳波信号の特徴量に関する特徴データを算出する。特徴データは、例えば、単位時間における各周波数のパワー値のベクトルである。
　ステップＳ３０６において、アプリ制御部５１２は、脳波信号の特徴データを、ユーザの状態を推定する学習モデルに入力し、ユーザの状態を推定する。また、アプリ制御部５１２は、取得される脳波信号を学習モデルに入力してもよい。
　ステップＳ３０８において、アプリ制御部５１２は、ユーザの現在の状態がコンテンツの出力条件を満たすか否かを判定する。例えば、アプリ制御部５１２は、ユーザの状態が第１状態であると判定された場合、第１状態に対応する目的状態の第２状態になるようなに、コンテンツ出力条件を満たすと判定する。よって、コンテンツの出力条件が満たされれば（ステップＳ３０８－ＹＥＳ）、処理はステップＳ３１０に進み、コンテンツの出力条件が満たされなければ（ステップＳ３０８－ＮＯ）、処理はステップＳ３０２に戻る。
　ステップＳ３１０において、アプリ制御部５１２は、目的状態の第２状態に対応するリストから、少なくとも１つのコンテンツを選択する。例えば、アプリ制御部５１２は、目的状態の第２状態に対応するラベルが付与されたリストを選択し、このリストの内のコンテンツを選択する。
　ステップＳ３１２において、出力部５１４は、アプリ制御部５１２により選択されたコンテンツを出力する。例えば、出力部５１４は、コンテンツが音楽の場合、イヤホンセット１０にコンテンツを出力し、コンテンツが画像などの場合、ディスプレイ５５１に出力する。
　ステップＳ３１４において、アプリ制御部５１２は、上述したように、スパースモデリングなどを用いて、コンテンツによる脳の刺激中に取得される脳波信号に基づいてユーザの状態変化を学習する。
　ステップＳ３１６において、アプリ制御部５１２は、学習結果に基づき、ユーザの状態が目的状態に到達したかを判定する。現在の状態が目的状態に到達していなければ（ステップＳ３１６－ＮＯ）、処理はステップＳ３１８に進み、現在の状態が目的状態に到達していれば（ステップＳ３１６－ＹＥＳ）、処理はステップＳ３２０に進む。
　ステップＳ３１８において、アプリ制御部５１２は、コンテンツの変更条件を満たすか否かを判定する。例えば、ユーザの状態の推定値が、目的状態に近づいていない場合は、アプリ制御部５１２は、変更条件を満たすと判定する。変更条件が満たされなければ（ステップＳ３１８－ＮＯ）、処理はステップＳ３１４に戻り、変更状態が満たされれば（ステップＳ３１８－ＹＥＳ）、処理はステップＳ３１０に戻る。ステップＳ３１０において、アプリ制御部５１２は、コンテンツを変更する。
　ステップＳ３２０において、アプリ制御部５１２は、コンテンツの出力を停止する。例えば、アプリ制御部５１２は、すぐにコンテンツの出力を停止するのではなく、所定時間経過後に停止したり、コンテンツが終了時間を有するものであれば、終了時間が経過した場合にコンテンツの出力を終了したりする。
　以上の処理によれば、耳に装着するだけで脳波信号を取得可能になり、その脳波信号から推定されるユーザの状態に合わせた制御を音データとしてリアルタイムにフィードバックすることができる。また、フィードバックによる効果がモニタリング可能になり、閉制御として最適化することができるようになる。なお、コンテンツは音データに限られない。
　上述したユーザ間の類似性データを用いたユーザ分類又は状態予測におけるフローの一例について、図９を用いて説明する。図９に示すステップＳ１０２～Ｓ１０６における各処理が、ユーザごとに実行される。ステップＳ１０８において、分類部３１４は、ユーザごとの類似性データを用いて、類似性データの相関が高いユーザが同じ集合に含まれるように、各ユーザを１又は複数に分類する。
　ユーザ間の類似性データを用いたユーザ分類又は状態予測において、ステップＳ１１０のリスト生成処理は、必ずしも必要な処理ではない。ただし、リストが用いられることで、上述したユーザ間の類似性データを用いた閉制御型のニューロフィードバックが可能になる。
　＜変形例＞
　以上、上述した実施形態及び実施例は、本開示の技術を説明するための例示であり、本開示の技術をその実施形態及び実施例のみに限定する趣旨ではなく、本開示の技術は、その要旨を逸脱しない限り、さまざまな変形が可能である。また、脳波信号は、脳波情報に換言されてもよい。
　例えば、イヤホンセット１０と処理端末５０とが近距離無線通信などでペアリングされることにより、上述したコンテンツの分類処理、リストへのラベリング処理、ニューロフィードバック処理、ユーザ間の類似性データを用いたユーザ分類又は状態予測処理などが処理端末５０に実装されてもよい。
１　システム
１０　イヤホンセット
３０、５０　情報処理装置
１００　イヤホン
１０４　ノズル
１０６　イヤーチップ（弾性電極）
３１０　プロセッサ
３１２　脳波制御部
３１３　取得部
３１４　分類部
３１５　生成部
３１６　出力部
３１７　学習部
３１８　選択部
３３０　メモリ
５１０　プロセッサ
５１２　アプリ制御部
５１３　取得部
５１４　出力部
５３０　メモリ

Claims (11)

  1. 　情報処理装置が、
    　ユーザに装着された脳波測定デバイスから、前記ユーザの外耳道において測定される脳波信号を取得すること、
    　様々なコンテンツを用いて前記ユーザの脳が刺激される際に取得される前記脳波信号を用いて、当該脳波信号の特徴量に関する特徴データを算出すること、
    　前記様々なコンテンツのそれぞれに対応する前記特徴データを用いて、前記脳波信号の類似性に関する類似性データを算出すること、
    　前記類似性データを用いて、前記様々なコンテンツを１又は複数に分類すること、
    　分類された１又は複数のコンテンツを含む集合ごとにリストを生成すること、
    　を実行する情報処理方法。
  2. 　前記様々なコンテンツは、少なくとも音データ、画像データ、及びテキストデータを含むコンテンツのうち、ジャンルが異なる２以上のデータを含む、請求項１に記載の情報処理方法。
  3. 　前記リストに含まれる１又は複数のコンテンツのうちの少なくとも１つのコンテンツに対応する情報を前記リストに付与すること、
    　をさらに実行する請求項１に記載の情報処理方法。
  4. 　前記リストに付与される前記コンテンツの特徴データに対応する情報と、前記リストに対応する前記脳波信号の特徴データとを対応付けること、
    をさらに実行する請求項３に記載の情報処理方法。
  5. 　取得される脳波信号に基づいて算出される特徴データが第１特徴データに対応する場合、前記第１特徴データとは異なる第２特徴データに対応するリストの中から、第１コンテンツを選択すること、
    　前記第１コンテンツを出力すること、
    　をさらに実行する請求項１に記載の情報処理方法。
  6. 　前記選択することは、
    　前記第１コンテンツの出力中に取得される脳波信号に基づいて算出される特徴データが、コンテンツの変更に関する条件を満たさない場合、前記第２特徴データに対応するリストの中から、前記第１コンテンツとは異なる第２コンテンツを選択することを含み、
    　前記出力することは、
    　前記第２コンテンツを出力することを含む、請求項５に記載の情報処理方法。
  7. 　前記変更に関する条件は、前記第１特徴データと前記第２特徴データとの関係に基づいて決定される、請求項６に記載の情報処理方法。
  8. 　前記分類することは、
    　ユーザごとの脳波信号から算出される各類似性データを用いて、各ユーザを１又は複数に分類することを含む、請求項１に記載の情報処理方法。
  9. 　前記脳波測定デバイスにより測定される第１ユーザの脳波信号を用いて、前記第１ユーザと同一の集合内に分類される第２ユーザの脳波信号を推定することをさらに実行する請求項８に記載の情報処理方法。
  10. 　情報処理装置に、
    　ユーザに装着された脳波測定デバイスから、前記ユーザの外耳道において測定される脳波信号を取得すること、
    　様々なコンテンツを用いて前記ユーザの脳が刺激される際に取得される前記脳波信号を用いて、当該脳波信号の特徴量に関する特徴データを算出すること、
    　前記様々なコンテンツのそれぞれに対応する前記特徴データを用いて、前記脳波信号の類似性に関する類似性データを算出すること、
    　前記類似性データを用いて、前記様々なコンテンツを１又は複数に分類すること、
    　分類された１又は複数のコンテンツを含む集合ごとにリストを生成すること、
    　を実行させる、プログラムを記録したコンピュータ読取可能な非一時的な記録媒体。
  11. 　１又は複数のプロセッサを含む情報処理装置であって、
    　前記１又は複数のプロセッサが、
    　ユーザに装着された脳波測定デバイスから、前記ユーザの外耳道において測定される脳波信号を取得すること、
    　様々なコンテンツを用いて前記ユーザの脳が刺激される際に取得される前記脳波信号を用いて、当該脳波信号の特徴量に関する特徴データを算出すること、
    　前記様々なコンテンツのそれぞれに対応する前記特徴データを用いて、前記脳波信号の類似性に関する類似性データを算出すること、
    　前記類似性データを用いて、前記様々なコンテンツを１又は複数に分類すること、
    　分類された１又は複数のコンテンツを含む集合ごとにリストを生成すること、
    　を実行する情報処理装置。
PCT/JP2023/024598 2022-07-07 2023-07-03 情報処理方法、記録媒体、及び情報処理装置 WO2024009944A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-109474 2022-07-07
JP2022109474 2022-07-07

Publications (1)

Publication Number Publication Date
WO2024009944A1 true WO2024009944A1 (ja) 2024-01-11

Family

ID=89453542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024598 WO2024009944A1 (ja) 2022-07-07 2023-07-03 情報処理方法、記録媒体、及び情報処理装置

Country Status (1)

Country Link
WO (1) WO2024009944A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220151A (ja) * 2009-03-19 2010-09-30 Nomura Research Institute Ltd コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム
JP2018158089A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 脳波測定装置及び脳波測定システム
JP2019082952A (ja) * 2017-10-31 2019-05-30 株式会社ジャパンディスプレイ レコメンドシステム、情報処理装置及びａｉサーバ
US20190342602A1 (en) * 2012-12-04 2019-11-07 Interaxon Inc System and method for enhancing content using brain-state data
JP2022516640A (ja) * 2019-01-28 2022-03-01 ルーシッド ラブス インコーポレイテッド 生体データを利用したハイライト映像生成方法及びその装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220151A (ja) * 2009-03-19 2010-09-30 Nomura Research Institute Ltd コンテンツ配信システム、コンテンツ配信方法及びコンピュータプログラム
US20190342602A1 (en) * 2012-12-04 2019-11-07 Interaxon Inc System and method for enhancing content using brain-state data
JP2018158089A (ja) * 2017-03-23 2018-10-11 富士ゼロックス株式会社 脳波測定装置及び脳波測定システム
JP2019082952A (ja) * 2017-10-31 2019-05-30 株式会社ジャパンディスプレイ レコメンドシステム、情報処理装置及びａｉサーバ
JP2022516640A (ja) * 2019-01-28 2022-03-01 ルーシッド ラブス インコーポレイテッド 生体データを利用したハイライト映像生成方法及びその装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIKI, RYOSUKE: "A Consideration on Music Classification Using Background Activity of Brain", CORRESPONDENCES ON HUMAN INTERFACE, vol. 16, no. 3, 1 January 2014 (2014-01-01), JP , pages 211 - 216, XP009552277, ISSN: 2185-9329 *

Similar Documents

Publication Publication Date Title
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US10291977B2 (en) Method and system for collecting and processing bioelectrical and audio signals
KR20170082571A (ko) 스마트 오디오 헤드폰 시스템
US10345901B2 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US20190310707A1 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
JP7009342B2 (ja) 咀嚼や笑みに係る量に基づき食事を評価可能な装置、プログラム及び方法
KR102265734B1 (ko) 뇌파 분석 기반 학습 콘텐츠 생성 및 재구성 방법, 장치, 및 시스템
JP2021146214A (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
WO2018222589A1 (en) System and method for treating disorders with a virtual reality system
US20210026449A1 (en) Neurofeedback focus and productivity system, process, and method of use
US20220386919A1 (en) Earphone, information processing device, and information processing method
WO2024009944A1 (ja) 情報処理方法、記録媒体、及び情報処理装置
US11531394B2 (en) Systems and methods for emotional-imaging composer
WO2022107292A1 (ja) プログラム、情報処理方法、及び情報処理装置
CN113220122A (zh) 脑波音频处理方法、设备及系统
WO2021242927A1 (en) Brain state optimization with audio stimuli
US11771618B2 (en) Adaptive speech and biofeedback control of sexual stimulation devices
WO2023074656A1 (ja) プログラム、情報処理方法、及び情報処理装置
JP7428337B1 (ja) 情報処理方法、情報処理装置、及びプログラム
US20220331196A1 (en) Biofeedback-based control of sexual stimulation devices
US11540971B2 (en) Voice-based control of sexual stimulation devices
US20230390147A1 (en) Voice-based control of sexual stimulation devices
EP4085835A1 (en) Discreet hands- and eyes-free input by voluntary tensor tympani muscle contraction
Nishimura et al. Sound quality indicating system using EEG and GMDH-type neural network
Cheng et al. An ambient multimedia user experience feedback framework based on user tagging and EEG biosignals

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835476

Country of ref document: EP

Kind code of ref document: A1