WO2021070456A1 - イヤホン、情報処理装置、及び情報処理方法 - Google Patents

イヤホン、情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2021070456A1
WO2021070456A1 PCT/JP2020/029385 JP2020029385W WO2021070456A1 WO 2021070456 A1 WO2021070456 A1 WO 2021070456A1 JP 2020029385 W JP2020029385 W JP 2020029385W WO 2021070456 A1 WO2021070456 A1 WO 2021070456A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
wearer
brain wave
earphone
state
Prior art date
Application number
PCT/JP2020/029385
Other languages
English (en)
French (fr)
Inventor
泰彦 今村
Original Assignee
Ｖｉｅ Ｓｔｙｌｅ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｅ Ｓｔｙｌｅ株式会社 filed Critical Ｖｉｅ Ｓｔｙｌｅ株式会社
Priority to US17/767,359 priority Critical patent/US20220386919A1/en
Priority to JP2021550383A priority patent/JPWO2021070456A1/ja
Publication of WO2021070456A1 publication Critical patent/WO2021070456A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A61B5/6815—Ear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/105—Earpiece supports, e.g. ear hooks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms

Definitions

  • the present invention relates to an earphone, an information processing device, and an information processing method.
  • the electrodes for the electroencephalogram When acquiring an electroencephalogram signal, it is important to bring the electrodes for the electroencephalogram into close contact with the user in order to acquire the electroencephalogram signal with high accuracy.
  • the positions of the electrodes are not determined according to the shape of the ear or ear canal that differs depending on the user. Therefore, the electrodes for brain waves are used for users having various shapes of ears or ear canals. It was not always in close contact with the sensing position.
  • one aspect of the present invention is to provide an earphone that makes it easier for the electroencephalogram electrodes to come into close contact with each other when worn.
  • Another aspect of the present invention is to appropriately estimate the wearer's condition from the electroencephalogram signal using a model customized and generated for the wearer.
  • the information processing device in another embodiment uses an acquisition unit that acquires an electroencephalogram signal, a model that learns a predetermined electroencephalogram signal of the wearer of the earphone, and a state of the wearer at the time of acquiring the predetermined electroencephalogram signal. It includes an estimation unit that estimates the state of the wearer from the acquired electroencephalogram signal, and a processing unit that performs processing based on the estimated state of the wearer.
  • the present invention it is possible to provide an earphone in which the electroencephalogram electrode is more easily adhered when worn. Further, according to another aspect of the present invention, the state of the wearer can be appropriately estimated from the electroencephalogram signal using the model generated for the wearer.
  • FIG. 1 is a diagram showing an overall example of the earphone set 10 according to the first embodiment.
  • FIG. 2 is a diagram showing an enlarged example of the earphone 100 portion in the first embodiment.
  • FIG. 3 is a diagram showing an example of the right portion of the earphone 100 in the first embodiment.
  • the earphone set may be simply called an earphone.
  • the earphone set 10 includes a pair of earphones 100R and 100L, a cable 102 connected to each of the pair of earphones 100R and 100L, a first storage case 104 provided at an arbitrary position of the cable 102, and a second. Includes containment case 106.
  • the first storage case 104 and the second storage case 106 include, for example, a communication circuit (communication interface) for communicating a sound signal with another device, an operation unit having a function of operating the earphone 10, a power supply (battery), and a microphone. Etc. can be included.
  • the cable 102 may include, for example, a plurality of signal lines connecting the first accommodating case 104, the second accommodating case 106, each circuit in the earphone 100R (L), and the like.
  • the first storage case 104 and the second storage case 106 may be combined into one. Further, as will be described later, the earphone 10 is configured as a wireless type in which the first accommodating case 104 and the circuit accommodated inside the second accommodating case 106 are accommodated in the housing 112 portion of the earphone 10, and the cable 102 is unnecessary. May be done. When the right (R) and the left (L) are not particularly distinguished for each configuration, the RL reference numerals are omitted.
  • the earphone 100 has an ear tip 110, a housing 112, a speaker 113 housed inside the housing 112, a joint mechanism 114, a connection portion 116, a cable 118, and a grip portion 120.
  • the ear tip 110 is attached to one end side of the housing 112. At this time, one end side of the housing 112 is formed of a flexible material such as an elastic material or a rubber material. This is to prevent the vibration of the housing 112 from being transmitted to the ear tip 110. Further, the ear tip 110 includes a sound guiding portion 115 through which sound from the speaker 113 housed inside the housing 112 passes, and an elastic electrode that senses the brain wave of the wearer. As the elastic electrode, for example, a rubber electrode composed of all or a part of the ear tip 110 and capable of acquiring a biological signal can be used. As a result, the ear tip 110 including the elastic electrode can acquire the electroencephalogram signal of the wearer by coming into close contact with the inner wall of the ear canal.
  • the ear tip 110 is detachably attached to a nozzle protruding from one end of the housing 112.
  • the sound guide portion 115 functions as a passage through which the sound from the speaker 113 passes.
  • the nozzle has a sound guiding portion inside which the sound output from the speaker 113 is passed, and the sound passes through the sound guiding portion 115 of the ear tip 110 which partially overlaps the sound guiding portion of the nozzle. It reaches the eardrum of the wearer.
  • the elastic electrode included in the ear tip 110 and the copper wire (first signal line described later) in the housing 112 are provided at a portion as far as possible from the sound guiding portion 115.
  • an elastic electrode is provided on the outer edge of the ear tip 110, and a copper wire is provided on the outer edge inside the housing 112.
  • the elastic electrode and the copper wire that transmits the brain wave signal are less likely to be affected by the vibration of sound.
  • the housing 112 has elasticity in at least one end side outer layer. A nozzle protrudes toward the end having elasticity, and the ear tip 110 is attached to this nozzle.
  • the elastic portions of the ear tip 110 and the housing 112 are elastically deformed and mounted according to the shape of the ear canal of the wearer, and the ear tip 110 and the housing are attached to the inner wall of the ear canal.
  • the elastic part of 112 is designed to fit. As a result, the elastic electrode of the ear tip 110 fitted to the inner wall of the ear canal can acquire an electroencephalogram signal with high accuracy.
  • the elastic end of the housing 112 first comes into contact with the outer ear when the earphone 10 is attached, and is deformed so as to be dented by receiving the contact pressure.
  • the ear tip 110 including the elastic electrode is positioned in the ear canal and is in close contact with the entire circumference of the ear canal.
  • the housing 112 has a storage space in the direction opposite to the nozzle, and the housing 112 has a substrate including a sound processing circuit and a speaker 113 in this storage space.
  • the speaker 113 may be arranged in the housing 112 in consideration of the position of the speaker 113 so that the directivity of the output sound is directed directly to the eardrum in the ear canal, for example.
  • the speaker 113 is arranged so that sound is output from the central portion of the housing 112.
  • the peripheral portion of the speaker 113 is covered with a cushioning material such as a foaming material, and the cushioning material prevents the housing 112 and the speaker 113 from coming into direct contact with each other.
  • the vibration when the sound is output from the speaker 113 is less likely to be transmitted to the housing 112, and the vibration is less likely to be transmitted to the sensor (elastic electrode) of the ear tip 110 via the housing 112. That is, when sensing an electroencephalogram signal, it is possible to reduce the influence of vibration caused by sound output.
  • the joint mechanism 114 is a mechanism for connecting the end portion of the housing 112 opposite to the nozzle and the connecting portion 116.
  • the joint mechanism 114 is at least a ball joint mechanism capable of rotating and adjusting the housing 112 in the horizontal direction (direction of the XY plane). Further, the joint mechanism 114 may allow the housing 112 to rotate 360 degrees so that the position of the housing 112 can be adjusted.
  • the grip portion 120 grips the wearer's earlobe and has electrodes in the peripheral region of each end portion.
  • the grip portion 120 has a second electrode 140 at one end and a third electrode 142 at the other end.
  • the second electrode 140 is an electrode connected to the ground
  • the third electrode 142 is an electrode that functions as a reference electrode.
  • the brain wave signal can be accurately acquired by calculating the difference between the signal sensed by the elastic electrode (first electrode) of the ear tip 110 and the signal sensed by the third electrode of the reference electrode. become able to. This is because the signal acquired from the earlobe portion contains almost no brain wave signal.
  • the processing circuit 144R includes a signal processing circuit that converts an electroencephalogram signal sensed by the elastic electrode of the ear tip 110 into a digital signal. Further, the grip portion 120L has the same configuration as the grip portion 120R.
  • the first storage case 104 includes a communication circuit 150 and an operation unit 152.
  • the communication circuit 150 includes an antenna for performing wireless communication.
  • the antenna is compatible with wireless communication standards such as Bluetooth®. Therefore, the earphone 10 is wirelessly connected to devices such as mobile terminals and laptops, and communicates sound data with these devices.
  • the operation unit 152 has an operation function for controlling the volume and reproduction of the sound processing circuit inside the housing 112.
  • FIG. 5 shows a wireless type earphone 10, and shows an example in which the configuration housed in the storage case shown in FIG. 4 is housed in the grip portion 120.
  • the grip portion 120R has a second electrode 140R, a third electrode 142R, a processing circuit 144R, a communication circuit 150, and a power supply 154.
  • the functions of each part are the same as those shown in FIG.
  • each part may be provided inside the housing 112.
  • the communication circuit 150 and the processing circuit 144 may be provided in the housing 112.
  • the configuration inside the housing 112 and the configuration inside the grip portion 120 may be determined in consideration of the load on the ears.
  • the elastic housing 112 can be deformed according to the size and shape of the ear canal, so that the ear tip has an elastic electrode.
  • the 110 enters along the ear canal, and the ear tip 110 comes into close contact with the entire circumference of the ear canal. As a result, it becomes possible to appropriately sense the electroencephalogram signal from the elastic electrode.
  • the earphone 10 may be made of a material having elasticity and flexibility not only for the ear tip 110 but also for all the exterior parts (housing 112) that come into contact with the skin. As a result, even if there are individual differences in the shape of the ear, it is possible to obtain a high wearing feeling, high sound insulation, and difficulty in falling off by fitting the earphone 10 to the ear, and appropriately obtain an electroencephalogram signal. It will be possible to obtain.
  • FIG. 6 is a diagram showing each configuration example of the electroencephalogram signal processing system 1 according to the second embodiment.
  • the earphones 10A, 10B, ... Used by each user, the information processing devices 20A, 20B, ..., And the server 30 that processes the electroencephalogram signal are connected via the network N. ..
  • alphabetic codes such as A and B are omitted.
  • the earphone 10 is the earphone 10 described in the first embodiment, but is not necessarily limited to this.
  • the earphone 10 acquires at least one electroencephalogram signal from each of the left and right earphones 10R and 10L, and acquires a total of two electroencephalogram signals.
  • the electroencephalogram signal does not have to be two points.
  • the earphone 10 is not limited to the earphone, and may be any device capable of sensing brain waves.
  • the information processing device 20 is, for example, a smartphone, a mobile phone (feature phone), a computer, a tablet terminal, a PDA (Personal Digital Assistant), or the like.
  • the information processing device 20 is also referred to as a user terminal 20.
  • the information processing device 30 is, for example, a server, and may be composed of one or a plurality of devices. Further, the information processing device 30 processes the electroencephalogram signal and analyzes the user's state from the electroencephalogram signal by using, for example, the learning function of artificial intelligence (AI).
  • AI artificial intelligence
  • the information processing device 30 is also referred to as a server 30.
  • a user (user A) who uses the user terminal 20A wears the earphone 10A, and the earphone 10A acquires the brain wave signal of the user A.
  • the earphone 10A transmits the brain wave signal of the user A to the user terminal 20, and processes the brain wave signal in the application of the user terminal 20.
  • the application may analyze the electroencephalogram signal using the edge AI, or may acquire the analysis result by the server 30 by transmitting the electroencephalogram signal to the server 30.
  • the application provides the user A with a state of the user A estimated using the electroencephalogram signal, training for transitioning from the current state based on the electroencephalogram signal to a predetermined state, and the like.
  • FIG. 7 is a block diagram showing an example of the user terminal 20 according to the second embodiment.
  • the user terminal 20 is one for interconnecting one or more processing devices (control unit: CPU) 210, one or more network communication interfaces 220, a memory 230, a user interface 250, and their components. Alternatively, it includes a plurality of communication buses 270.
  • the memory 230 is, for example, a high-speed random access memory such as a DRAM, SRAM, DDR RAM or other random access solid-state storage device, and one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or It may be a non-volatile memory such as another non-volatile solid-state storage device.
  • the memory 230 stores the following programs, modules and data structures, or a subset thereof.
  • One or more processing devices (CPUs) 210 read and execute a program from the memory 230 as needed.
  • one or more processing units (CPUs) 210 may configure the acquisition unit 212, the estimation unit 214, and the processing unit 216 by executing a program stored in the memory 230.
  • the acquisition unit 212 acquires the brain wave signal output from the earphone 10 via the network communication interface 220.
  • the processing unit 216 performs processing based on the state of the wearer estimated by the estimation unit 214. This enables processing according to the wearer's condition estimated from the wearer's brain wave signal using the model learned for the wearer, and outputs personally customized processing results. Etc. become possible.
  • the trained model is a predetermined model in which the brain wave signal of another person and the state of another person at the time of acquiring the brain wave signal are learned, and the brain wave signal of the wearer and the state of the wearer at the time of acquisition of the brain wave signal are used. May be a customized model that has been additionally trained. As a result, it is possible to have a certain degree of estimation performance even in the initial stage, and it becomes possible to customize it for personal use as it is used (learned).
  • the processing unit 216 is an induction process for inducing a transition from the wearer's state estimated based on the current electroencephalogram signal to the predetermined state of the wearer indicated by the first electroencephalogram signal, and is based on the current electroencephalogram signal.
  • the guidance process that feeds back to the wearer may be performed.
  • the processing unit 216 shows or listens to various contents to the wearer to instruct the wearer of a better condition.
  • the processing unit 216 asks the wearer to indicate good conditions such as favorable, focused, relaxed, and drowsy.
  • the content is, for example, music, video, games, and the like.
  • the processing unit 216 displays a UI component (icon, button, etc.) indicating a good state on the screen of the user terminal 20, and the user operates the UI component when the user is in a good state.
  • the content is given a label indicating a feature such as a genre. For example, if the content is video, the label includes kids, family, documentary, comedy, suspense, romance, action, etc., and if the content is music, the label includes rock, pop, ballad, classic, etc.
  • the label may also be the type or mood of the work. Types of work include intellectual, violent, entertaining, controversial, dark, happy, family-friendly, and witty.
  • the atmosphere of the work includes gentle works and intense works.
  • the processing unit 216 associates the waveforms and features of the electroencephalogram signal (first electroencephalogram signal) when the wearer is instructed to be in a good state with the features of the content, and uses these as teacher data as the learning unit 311 of the server 30 (FIG. 8) to learn.
  • the processing unit 216 uses the learning unit 311 of the server 30 as teacher data for the brain wave signals before and after transitioning to the first brain wave signal when the wearer is in a good state, the state at the time of each brain wave signal, and the characteristics of the contents. It is possible to learn what kind of video, listen to music, or play a game to make a transition to a good state, and to generate a trained model including an inference algorithm.
  • the processing unit 216 learns the brain wave signals, states, and contents before and after the transition to the good state, so that the current brain wave signal of the wearer can be changed to a good state for the wearer. Can be grasped to show to the wearer.
  • the processing unit 216 informs the wearer of the analysis result using the trained model as a feedback result.
  • FIG. 8 is a block diagram showing an example of the server 30 according to the second embodiment.
  • the server 30 includes one or more processing units (CPUs) 310, one or more network communication interfaces 320, memory 330, and one or more communication buses 370 for interconnecting these components. ..
  • the memory 330 is, for example, a high-speed random access memory such as a DRAM, SRAM, DDR RAM or other random access solid-state storage device, and one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or It may be a non-volatile memory such as another non-volatile solid-state storage device.
  • the memory 330 may be one or a plurality of storage devices installed remotely from the CPU 310.
  • the memory 330 stores the following programs, modules and data structures, or a subset thereof.
  • the learning unit 311 analyzes the wearer's state using the wearer's brain wave signal and generates a model (first model). For example, a model in which an arbitrary extraction method among a plurality of methods for extracting learning data from an electroencephalogram signal and an arbitrary classifier among a plurality of classifiers may be used may be used.
  • the extraction method includes a wavelet transform, a Fourier transform, and the like
  • the classifier includes, for example, a random forest (RandomForest), a support vector machine (SVM), a neural network, a decision tree, and the like.
  • ⁇ Feedback training> It is known that the tendency of the frequency band and potential of brain waves differs from individual to individual. Therefore, an individual user who is measuring an electroencephalogram is asked to annotate his / her own arbitrary state (for example, the first state) using a symbol, an emoticon, or the like displayed on the user terminal 20. As a result, the learning unit 311 learns the electroencephalogram signal and the annotation so that the first electroencephalogram signal corresponding to the first state and the transition from an arbitrary electroencephalogram signal to the first electroencephalogram signal can be predicted and visualized. become. In addition, we aim to enable the user to reproduce an arbitrary state by performing predetermined training so as to transition from an arbitrary electroencephalogram signal to the first electroencephalogram signal.
  • the processing unit 216 calculates a frequency band for performing electroencephalogram training for each individual wearer. For example, the processing unit 216 detects Individual Alpha frequency Peak (IAP) from the electroencephalogram signal. Next, the processing unit 216 is centered on the IAP, and for each individual, delta (delta: 0.5 to 3 Hz), theta (theta: 4 to 7 Hz), alpha (alpha: 8 to 13 Hz), beta (beta: 14). ⁇ 30Hz) and gamma (gamma: 30Hz or more) are set. The processing unit 216 obtains a ratio between the total potential of the electroencephalogram signal (for example, the average value of all frequency bands) and the potential of each frequency band (for example, the average value of each frequency band). Alpha waves are said to appear when resting, awakening, and closing eyes, and theta waves and delta waves are set based on these alpha waves.
  • IAP Individual Alpha frequency Peak
  • the processing unit 216 calculates a predetermined ratio (hereinafter, also referred to as "golden ratio”) for each individual wearer.
  • a brain wave signal in an arbitrary good state of the wearer is calculated based on the analysis result of artificial intelligence (AI) by the server 30, and a predetermined Hz and high frequency are calculated in the low frequency direction with the IAP as the axis. It is divided into each frequency band using a predetermined Hz or the like in the direction, and the ratio of the average value of all frequency bands to the average value or representative value of each frequency band is calculated.
  • the representative value of each frequency band may be, for example, the peak frequency having the highest value in each frequency band.
  • the golden ratio may be the ratio of the average value or the representative value of each frequency band.
  • the processing unit 216 converts the calculated electroencephalogram signal into a ratio of the average value or the representative value in each frequency band in a good state.
  • the processing unit 216 may calculate the standard deviation of the ratio of the electroencephalogram signals categorized by gender, age, and time using the electroencephalogram signals of various wearers, and the calculated standard deviation and the individual's standard deviation may be calculated.
  • the golden ratio it may be converted to the golden ratio of each band suitable for the individual.
  • ⁇ Training method> 1 The learning unit 311 analyzes the frequency characteristics of an individual based on the calculated IAP and records the tendency of the potential.
  • the learning unit 311 learns the feature amount of the individual brain wave signal in an arbitrary state (not only a good state but also various states such as concentrated and relaxed) by the annotation of the wearer. To do. 3: When the AI in the learning unit 311 sufficiently learns the feature amount of the brain wave signal, the individual state can be estimated from the brain wave signal.
  • 4 The processing unit 216 converts the feature amount of the electroencephalogram signal that can be guessed into a frequency or an electric potential. 5: The processing unit 216 trains the learned individual to approach some arbitrary state, for example, to approach the numerical value of the converted frequency or potential.
  • the processing unit 216 selects the content and the stimulus while giving feedback.
  • the processing unit 216 selects the optimum music / moving image that leads to the ideal potential state.
  • the processing unit 216 may generate a recommendation from the viewing history (individual / whole) of the music / moving image.
  • FIG. 11 is a diagram showing an example of a training screen according to the second embodiment. As shown in FIG. 11, the wearer can learn the state of the wearer by pressing the face mark indicating the mood at that time while listening to the music.
  • FIG. 12 is a flowchart showing an example of the guidance process according to the second embodiment.
  • a process of inducing a predetermined state is performed using the acquired electroencephalogram signal.
  • step S102 the acquisition unit 212 acquires an electroencephalogram signal output from a sensor (for example, an elastic electrode of the earphone 10).
  • a sensor for example, an elastic electrode of the earphone 10
  • step S104 the estimation unit 214 uses the acquired brain wave signal from the acquired brain wave signal using a model that learns the predetermined brain wave signal of the wearer wearing the sensor and the state of the wearer at the time of acquiring the predetermined brain wave signal. Estimate the wearer's condition.
  • FIG. 13 is a flowchart showing an example of the training process according to the second embodiment. In the example shown in FIG. 13, a process of training to transition to a predetermined state while sensing an electroencephalogram signal is shown.
  • step S202 the acquisition unit 212 acquires an electroencephalogram signal output from a sensor (for example, an elastic electrode of the earphone 10).
  • a sensor for example, an elastic electrode of the earphone 10
  • step S204 the processing unit 216 calculates IAP (Individual Alpha frequency Peak) from the brain wave signal.
  • step S206 the processing unit 216 provides feedback on whether to move the IAP to a high potential or a low potential based on the calculated IAP.
  • FIG. 14 is a diagram showing an enlarged example of the earphone according to the modified example 1.
  • the installation direction of the grip portion 120 is different from that of the earphone shown in FIG. 2, and other configurations are the same as those of the earphone shown in FIG.
  • the grip portions 120RA and 120LA are provided with their longitudinal directions along the Z direction in the vertical direction. Further, the longitudinal direction of the grip portion 120 is provided along the moving direction by the adjusting mechanism provided in the connecting portion 116.
  • the portion that sandwiches the earlobe faces upward (housing direction) on the Z axis. As a result, most of the grip portion 120 is hidden behind the face side of the connection portion 116, so that the design can be improved.
  • the size of the grip portion 120 can be reduced. This is because the earlobe generally has a width in the horizontal direction, so that by gripping the earlobe from below as shown in FIG. 14, the grip portion is more than gripping the earlobe from the horizontal direction as shown in FIG. This is because the length of the folded portion of 120 in the longitudinal direction can be shortened.
  • the neck hanging portion 160 has a central member along the back of the neck and rod-shaped members (arms) 182R and 182L having a curved shape along both sides of the neck. Electrodes 162 and 164 for sensing electroencephalogram signals are provided on the surface of the central member in contact with the neck on the back side. Each of the electrodes 162 and 164 is a ground-connected electrode and a reference electrode. As a result, the distance from the elastic electrode provided on the ear tip of the earphone can be increased, and the brain wave signal can be acquired with high accuracy.
  • the rod-shaped members 182R and 182L on both sides of the neck hanging portion 160 are heavier on the tip side than on the base side (center member side), whereby the electrodes 162 and 164 are appropriately attached to the wearer's neck. It will be crimped. For example, a weight is provided on the tip end side of the rod-shaped members 182R and 182L.
  • FIG. 16 is a diagram showing a schematic example of the cross section of the earphone 170 in the modified example 2.
  • the earphone 170 shown in FIG. 16 is basically the same as the earphone 100, but an elastic member (for example, urethane) 174 is provided between the speaker 113 and the nozzle 172.
  • an elastic member for example, urethane
  • the vibration of the speaker 113 is less likely to be transmitted to the elastic electrode of the ear tip 176, and it is possible to prevent the elastic electrode of the ear tip 176 and the speaker 113 from interfering with each other with respect to sound.
  • the ear tip 176 including the elastic electrode is located at the sound guide port, it is possible to prevent interference due to sound vibration due to the elasticity of the elastic electrode itself. Further, since an elastic member is used for the housing, it is difficult for the elastic member to transmit sound vibration to the elastic electrode of the ear tip 176, and it is possible to prevent interference due to sound vibration.
  • the earphone 170 includes an audio sound processor, and uses this audio sound processor to cut a sound signal having a predetermined frequency (for example, 50 Hz) or less corresponding to an electroencephalogram signal.
  • the audio sound processor cuts a sound signal of 30 Hz or less in a frequency band in which a feature is likely to appear as an electroencephalogram signal, but amplifies a sound signal having a frequency around 70 Hz in order not to impair the bass sound. This makes it possible to prevent the sound signal and the brain wave signal from interfering with each other.
  • the audio / sound processor may cut a predetermined frequency only when the brain wave signal is sensed.
  • the audio / sound processor described above can also be applied to the earphone 10 in the embodiment.
  • FIG. 17 is a diagram showing an example of the structure around the electrode of the neck hanging portion 160 in the modified example 2.
  • the elastic member 166 is provided on the neck hanging portion 160 side of each of the electrodes 162 and 164.
  • the elastic member 166 is, for example, urethane or the like, and the elasticity of the elastic member 166 allows the electrodes 162 and 164 to change their positions.
  • the shape of the electrode is hemispherical, and the elastic member 166 is adhered so as to cover the central portion of the hemisphere, so that the electrode changes the angle by 360 degrees by using the elasticity of the elastic member 166. Can be done. Further, the elastic member 166 is deformed according to the shape of the wearer's neck, and the electrodes 162 and 164 can be easily crimped to the wearer's neck.
  • FIG. 18 is a diagram showing an example of substantially disassembling the earphone set 50 in the modified example 2.
  • the rod-shaped member 182R has a bellows structure inside, for example, an aluminum plate located on the outside, and the rod-shaped member 182R can be deformed according to the shape, thickness, and the like of the wearer's neck. ..
  • an elastic member 184R such as rubber is provided inside the neck of the rod-shaped member 182R, and the elastic member 184R comes into contact with the neck to reduce the burden of contact with the neck and improve the wearing feeling. it can.
  • the rod-shaped members 182 located on both sides of the neck hanging portion 160 can be folded toward the electrode side.
  • the rod-shaped member 182R can be folded toward the electrode side or the central member side by the folding structure 186R.
  • the rod-shaped member 182L also has a folding structure (for example, a hinge) and can be folded toward the electrode side. As a result, the neck hanging portion 160 can be stored compactly.
  • rod-shaped members 182R and 182L may have a shape in which the rod-shaped members 182R and 182L are slightly curved downward in the vertical direction so as to easily follow the clavicle of the wearer.
  • the processing unit 216 controls a predetermined area of the display screen of the user terminal 20, for example, a background, to display a gradation using colors assigned in advance for each frequency band of the brain wave signal. For example, when the brain wave signal is transitioning to a good state (golden ratio state), the color of a predetermined area is displayed so as to gradually become brighter, and when the brain wave signal is not transitioning to a good state, it is gradually displayed. The color of the processing area is displayed so that it becomes a dark color. Since the good state of the electroencephalogram signal differs depending on the user, the gradation is determined with reference to the frequency band of the electroencephalogram signal in the good state of the user. As a result, it becomes possible to display a predetermined area using a gradation according to the change of the electroencephalogram signal, and it becomes possible to visually express the current state of the electroencephalogram signal to the user.
  • a good state golden ratio state
  • the color of a predetermined area is displayed so as to gradually become bright
  • FIG. 19A is a diagram showing an example of a display screen during intensive training.
  • the screen shown in FIG. 19A is a screen displayed during a task in time management, indicating that the current score value is “42”, and “25:00” indicates a timer for the task time.
  • the processing unit 216 uses a timer to manage the time of each use case.
  • the processing unit 216 may display the waveform of the frequency band of the electroencephalogram signal related to each use case.
  • the processing unit 216 may be controlled to output a sound preset in the frequency band of the electroencephalogram signal from the speaker.
  • the preset sound is, for example, a natural sound, a sound of wind, rain, waves, forest, etc., and may be a sound in which these are appropriately combined.
  • a good state golden ratio state
  • the sound is output from the speaker so that the sound gradually becomes gentle
  • the brain wave signal is not transitioning to a good state, it gradually becomes a gentle sound. Sound is output from the speaker so that it becomes a rough sound.
  • the transition of the brain wave signal to a good state means that the difference between the ratio of the average value or the representative value in each frequency band of the current brain wave signal and the golden ratio becomes small, and each frequency band is required to have a golden ratio. It is the same as the frequency band.
  • the preset sound may be voice.
  • the processing unit 216 may display pictograms on the screen, output sound, or display in the color of the screen. Good.
  • the application in the specific example can score and visualize concentration, relaxation, tension, fatigue, etc. determined from brain wave signals for a predetermined period, for example, monthly, weekly, daily, or session unit. ..
  • the estimation unit 214 sets the golden ratio learned using the brain wave signal of each user according to each use case, and the representative value of each frequency band when the current brain wave signal is divided into each frequency band. The score is created based on the distance from the ratio of the above, and the processing unit 216 displays the scored score value on the screen.
  • FIG. 19B is a diagram showing an example of a screen displaying measurement results related to relaxation (relax), concentration (Focus), and meditation (CALM) on a daily basis.
  • the screen shown in FIG. 19B is a so-called dashboard that aggregates and visualizes data, and the time determined to be relaxed based on the brain wave signal measured on the 15th (Wed) is "33 minutes”. It indicates that the time determined to be able to concentrate is "23 minutes” and the time determined to be calm (can meditate) is "42" minutes.
  • the estimation unit 214 may obtain each score value by the estimation process using the trained model in each use case.
  • the relaxation score value indicates "68" and the concentration score value indicates "72".
  • the processing unit 216 may determine that the user is relaxed, focused, or calm.
  • each time-managed use case will be described.
  • the processing unit 216 performs a meditation guide using audio and video.
  • the acquisition unit 212 acquires the electroencephalogram signal after the meditation guide, and the estimation unit 214 calculates the score value based on the acquired electroencephalogram signal and the golden ratio, and when the electroencephalogram signal calms down and the score value becomes high ( (When the frequency approaches the golden ratio), the processing unit 216 changes the background color and controls the wind in the background image to stop and / or the bird's cry.
  • the processing unit 216 changes the background color, the wind in the background image blows, and / or the background image. Control the landscape to be a storm. Further, the processing unit 216 may change the background (natural environment) and the contents of the guide depending on the time (morning, afternoon, etc.) and purpose of executing this application.
  • FIG. 20 is a diagram showing an example of frequency waveforms during meditation and at times other than meditation.
  • lower frequencies of the delta wave and theta wave appear during meditation (Focus) than during non-meditation (Tired).
  • the golden ratio of the individual user can be obtained by using the characteristics of these individual waveforms.
  • a meditation guide is performed using the audio and video as described above.
  • Tasks (concentration, fatigue) are performed after meditation in the time management technique in this application, and then alternate with breaks.
  • the estimation unit 214 estimates the user's concentration and fatigue level based on the frequency of the acquired electroencephalogram signal. For example, the estimation unit 214 estimates that fatigue is increasing as theta waves increase during the task. This is because it is generally said that delta waves and theta waves do not appear in the awake state.
  • the break (break, concentration) is performed after the task in the time management technique in this application, and is performed alternately with the task thereafter. Since it is said that the alpha wave appears when the eyes are closed, the estimation unit 214 can estimate that the eyes are closed when the value of the alpha wave becomes large. Further, the estimation unit 214 estimates that the values of the low frequencies of the delta wave and theta wave increase when the meditation state is entered, and that the values of these frequency bands become calm as the values increase. In addition, the processing unit 216 provides calming content for the user, which is presented by the trained model if the user is awake even during a break.
  • the application in the specific example can support the optimization of how to use the time by using each time zone divided by the time for each use case.
  • this application can create a playlist that can be concentrated according to individual tastes and characteristics during the concentrated time in time management. For example, by using a trained model that has learned the user's annotation results, it is possible to select songs for transitioning to a good state (golden ratio state), and an order is set for these songs according to a predetermined standard. A playlist is generated.
  • this application uses a trained model to recommend guides such as simple meditation / stretching, games and videos that prepare the brain, etc., according to the characteristics of the user's brain wave signal during breaks in time management. It is possible to do.
  • FIG. 22 is a diagram showing an example of the position of each portion of the neck hanging portion 160 in the modified example 3.
  • a cross-sectional view of the neck hanging portion 160 in the XY plane is shown, and the electrodes 162 and 164 are arranged so as to be located on both sides of the wearer's neck and are composed of elastic electrodes.
  • each electrode may be arranged at both ends of a rod-shaped member or a central member located on both sides of the neck, and a predetermined distance (for example, 3 to 7 cm) from the center of the neck hanging portion 160 to the left and right. )
  • Each electrode 162, 164 may be arranged at a distant position.
  • a battery BA and a substrate ST on which the processing unit is mounted are provided at a central position inside the neck hanging portion 160.
  • an elastic member that can be attached to the inside of the neck hanging portion 160 may be provided, and the electrodes 162 and 164 may be provided on the elastic member. As a result, even when there is movement such as during exercise, the elastic member comes into close contact with the wearer's neck, so that the reference signal can be acquired with high accuracy.
  • FIG. 23 is a diagram showing the positional relationship between the carotid artery and the left electrode 162.
  • the signal sensed by the electrode 162 includes a signal based on the pulse of the carotid artery.
  • FIG. 24 is a diagram showing an example of a reference signal mixed with the beating of the carotid artery.
  • the example shown in FIG. 24 is an example of raw data of data sensed from electrodes 162 or 164.
  • the vertical axis represents the value of the sensed signal
  • the horizontal axis represents time.
  • the electrocardiogram signal (ECG) mixed in the reference signal is measured in the opposite phase.
  • the downwardly convex peak circled in FIG. 24 is a signal indicating an electrocardiogram signal.
  • the signal indicating the normal pulse of the wearer is synonymous with the electrocardiogram signal.
  • the CPU 210 Utilizing the mixing of the pulse of the carotid artery, for example, the CPU 210 outputs the signal output from each electrode 162, 164 provided on the neck hanging portion according to the modification 3 as a reference signal from the elastic electrode of the ear tip 176. Acquires an electroencephalogram signal based on the signal to be performed. Next, the CPU 210 detects the pulse based on the peak that appears in the phase opposite to the peak of the acquired electroencephalogram signal.
  • FIG. 25A is a diagram showing an example of a signal during mouth breathing.
  • FIG. 25B is a diagram showing an example of a signal during nasal breathing.
  • the vertical axis represents the energy difference value after filtering and the horizontal axis represents time.
  • the downward convex portion appears when inhaling (inhalation)
  • the upward convex portion appears when exhaling (exhalation). It is considered that one of the reasons why these peaks and valleys are formed is that the change in the myoelectric potential of the face during respiration is mixed in each electrode of the ear tip 176.
  • the CPU 210 is output from the elastic electrode of the ear tip 176 using the signal output from the electrodes 162 and 164 provided on the neck hanging portion described in the modification 3 as a reference signal. Acquires an electroencephalogram signal based on the signal. Next, the CPU 210 processes the acquired electroencephalogram signal with a low bus filter and a median filter, frequency-converts the filtered signal, and time-differentiates the time-series power spectrum value after frequency conversion. Respiration is detected based on the periodicity of the difference value of this time differentiation.
  • the CPU 210 detects the peak value of the electrocardiogram that appears in the opposite phase to the peak of the brain wave signal, processes the detected signal with a low-pass filter and a median filter, and frequency-converts the filtered signal. Then, the power spectrum value of the time series after frequency conversion is time-differentiated, and the pulse is detected based on the periodicity of the time-differentiated difference value. This makes it possible to detect the heartbeat using the noise-free pulse.
  • the CPU 210 detects the heartbeat / respiration by obtaining the periodicity from the data values shown in FIGS. 24 or 25 using an autocorrelation function. Further, the above-described processing for detecting heartbeat and respiration may be implemented as a program including instructions for each processing and executed by being installed in an information processing apparatus.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Multimedia (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

装着時に脳波用電極がより密着しやすくなるイヤホンを提供する。　イヤホンであって、少なくとも一方の端部側外層に弾性を有するハウジングと、ハウジング内部に収容されるスピーカと、前記ハウジングの前記弾性を有する端部側に固定されるイヤーチップであって、前記スピーカからの音が通る音導部と、装着者の脳波をセンシングする弾性電極とを有するイヤーチップと、を備える。

Description

イヤホン、情報処理装置、及び情報処理方法
　本発明は、イヤホン、情報処理装置、及び情報処理方法に関する。
　従来、脳波信号を取得するイヤホンが知られている（例えば特許文献１参照）。
特開２０１８－１５９９０８号公報
　脳波信号を取得する際、精度よく脳波信号を取得するために、脳波用の電極をユーザに密着させることが重要である。しかしながら、従来のイヤホンでは、ユーザによって異なる耳や外耳道の形状に合わせて電極の位置が決められているわけではないため、様々な形状の耳や外耳道を有するユーザに対して、脳波用の電極がセンシング位置に密着するとは限られなかった。また、脳波信号から状態を評価する際に、予め不特定多数のユーザの脳波信号と状態とが学習され一般化されたモデルを用いて評価するのが通常であり、各ユーザによって異なる脳波信号がその状態を適切に推定されているとは言えなかった。
　そこで、本発明の一態様は、装着時に脳波用電極がより密着しやすくなるイヤホンを提供することを目的とする。また、本発明の他の態様は、装着者用にカスタマイズされて生成されたモデルを用いて脳波信号から装着者の状態を適切に推定することを目的とする。
　本発明の一態様におけるイヤホンは、イヤホンであって、少なくとも一方の端部側外層に弾性を有するハウジングと、前記ハウジング内部に収容されるスピーカと、前記ハウジングの前記弾性を有する端部側に固定されるイヤーチップであって、前記スピーカからの音が通る音導部と、装着者の脳波をセンシングする弾性電極とを有するイヤーチップと、を備える。
　他の態様における情報処理装置は、脳波信号を取得する取得部と、前記イヤホンの装着者の所定の脳波信号と、当該所定の脳波信号の取得時の前記装着者の状態とを学習したモデルを用いて、取得される脳波信号から前記装着者の状態を推定する推定部と、推定された前記装着者の状態に基づいて処理を行う処理部と、を備える。
　本発明の一態様によれば、装着時に脳波用電極がより密着しやすくなるイヤホンを提供することができる。また、本発明の他の態様によれば、装着者用に生成されたモデルを用いて脳波信号から装着者の状態を適切に推定することが可能になる。
第１実施形態におけるイヤホンセットの全体の一例を示す図である。 第１実施形態におけるイヤホン部分の拡大例を示す図である。 第１実施形態におけるイヤホンの右部分の一例を示す図である。 実施形態１における把持部の構成の一例を示す図である。 実施形態１における把持部の構成の一例を示す図である。 第２実施形態における脳波信号処理システムの各構成例を示す図である。 第２実施形態に係るユーザ端末の一例を示すブロック図である。 第２実施形態に係るサーバの一例を示すブロック図である。 第２実施形態に係る良い状態の一例を示す図である。 第２実施形態におけるＩＡＰを基準とするトレーニング帯の一例を示す図である。 第２実施形態に係るトレーニング画面の一例を示す図である。 第２実施形態に係る誘導処理の一例を示すフローチャートである。 第２実施形態に係るトレーニング処理の一例を示すフローチャートである。 変形例に係るイヤホンの拡大例を示す図である。 変形例２におけるイヤホンセットの一例を示す図である。 変形例２におけるイヤホンの断面の概略の一例を示す図である。 変形例２における首掛け部の電極周辺の構造の一例を示す図である。 変形例２におけるイヤホンセットの略分解の一例を示す図である。 集中のトレーニング中の表示画面の一例を示す図である。 、一日単位でリラックス、集中、瞑想に関する測定結果を表示する画面の一例を示す図である。 瞑想時と、瞑想時以外の時との周波数波形の一例を示す図である。 午前中、昼食後の脳波信号の周波数波形の一例を示す図である。 変形例３においける首掛け部の各電極の位置の一例を示す図である。 頸動脈と左の電極１６２との位置関係を示す図である。 頸動脈の鼓動が混入したリファレンス信号の一例を示す図である。 口呼吸時の信号の一例を示す図である。 鼻呼吸時の信号の一例を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［第１実施形態］
　以下、第１実施形態におけるイヤホンの一例を、図面を用いて説明する。
　＜イヤホンの概要＞
　まず、図１～３を用いて、第１実施形態におけるイヤホンの概要について説明する。図１は、第１実施形態におけるイヤホンセット１０の全体の一例を示す図である。図２は、第１実施形態におけるイヤホン１００部分の拡大例を示す図である。図３は、第１実施形態におけるイヤホン１００の右部分の一例を示す図である。イヤホンセットを、単にイヤホンと呼んでもよい。
　図１～３において、イヤホンセット１０は、一対のイヤホン１００Ｒ、１００Ｌ、一対のイヤホン１００Ｒ、１００Ｌそれぞれに接続されるケーブル１０２、ケーブル１０２の任意の位置に設けられる第１収容ケース１０４、及び第２収容ケース１０６を含む。第１収容ケース１０４、第２収容ケース１０６には、例えば、音信号を他の装置と通信する通信回路（通信インタフェース）や、イヤホン１０を操作する機能を有する操作部、電源（バッテリー）、マイクなどが含まれうる。ケーブル１０２には、例えば、第１収容ケース１０４、第２収容ケース１０６、イヤホン１００Ｒ（Ｌ）内の各回路等を接続する複数の信号線が含まれうる。
　なお、第１収容ケース１０４、第２収容ケース１０６は一つにまとめられてもよい。また、イヤホン１０は、後述するように、第１収容ケース１０４、及び第２収容ケース１０６内部に収容される回路等をイヤホン１０のハウジング１１２部分に収容し、ケーブル１０２が不要なワイヤレスタイプとして構成されてもよい。なお、各構成について右（Ｒ）、左（Ｌ）を特に区別しないときは、ＲＬの符号は省略する。
　図２～３に示すように、イヤホン１００は、イヤーチップ１１０、ハウジング１１２、ハウジング１１２内部に収容されるスピーカ１１３、ジョイント機構１１４、接続部１１６、ケーブル１１８、把持部１２０を有する。
　イヤーチップ１１０は、ハウジング１１２の一方の端部側に装着される。このとき、ハウジング１１２の一方の端部側は、柔軟性を有する素材、例えば弾性素材、ゴム素材等により形成される。これは、ハウジング１１２の振動が、イヤーチップ１１０に伝わらないようにするためである。また、イヤーチップ１１０は、ハウジング１１２内部に収容されるスピーカ１１３からの音が通る音導部１１５と、装着者の脳波をセンシングする弾性電極とを含む。弾性電極は、例えばイヤーチップ１１０全体又は一部により構成され、生体信号を取得可能なゴム電極などを用いることが可能である。これにより、弾性電極を含むイヤーチップ１１０は、外耳道の内壁に密着することで、装着者の脳波信号を取得することができる。
　また、イヤーチップ１１０は、ハウジング１１２の一方の端部から突出したノズルに対して着脱可能に取り付けられる。音導部１１５は、スピーカ１１３からの音が通る通路として機能する。また、ノズルは、その内部に、スピーカ１１３から出力される音を通す音導部を有し、このノズルの音導部に一部オーバーラップするイヤーチップ１１０の音導部１１５を音が通り、装着者の鼓膜に届く。また、イヤーチップ１１０に含まれる弾性電極及びハウジング１１２内の銅線（後述の第１信号線）は、音導部１１５からなるべく遠い部分に設けられるようにする。例えば、イヤーチップ１１０の外縁に弾性電極が設けられ、ハウジング１１２内の外縁に銅線が設けられる。これにより、弾性電極や脳波信号を伝える銅線が、音の振動による影響を受けにくくなる。
　ハウジング１１２は、少なくとも一方の端部側外層に弾性を有する。弾性を有する端部側にノズルが突出し、このノズルにイヤーチップ１１０が装着される。これにより、外耳道にイヤホン１０が挿入されるときに、イヤーチップ１１０及びハウジング１１２の弾性部分が、装着者の外耳道の形状に合わせて弾性変形して装着され、外耳道の内壁にイヤーチップ１１０及びハウジング１１２の弾性部分がフィットするようになっている。その結果、外耳道の内壁にフィットしたイヤーチップ１１０の弾性電極は、精度よく脳波信号を取得することができるようになる。
　ハウジング１１２の少なくとも一方の端部は、上述したとおり、弾性及び柔軟性を有している。このような特性を有する限り、ハウジング１１２を形成する材料は限定されるものではないが、一例としては、柔らかくて低反発で丈夫なもの、例えばシリコンゴムを挙げることができる。ハウジング１１２は、人の力によって弾性変形することができる。このハウジング１１２の弾性変形によって、ノズルは、その延在する方向の向きを外耳道に沿って調整可能に構成されている。
　例えば、ハウジング１１２の弾性を有する端部が、イヤホン１０の装着時にまず外耳と接触し、その接触圧を受けてへこむように変形する。イヤホン１０の装着時には、弾性電極を含むイヤーチップ１１０が外耳道に位置付けられ、外耳道の全周にわたって密着する。
　また、ハウジング１１２は、ノズルとは反対方向に収納空間を有し、この収納空間に音処理回路を含む基板やスピーカ１１３を有する。スピーカ１１３は、例えば、出力音の指向性が外耳道内の鼓膜に直接向かうように、スピーカ１１３の位置が考慮されてハウジング１１２内に配置されればよい。一例として、スピーカ１１３は、ハウジング１１２の中央部から音が出力されるように配置される。また、スピーカ１１３は、周縁部を発砲素材等の緩衝材で覆い、この緩衝材によりハウジング１１２とスピーカ１１３とが直接接触しないようにする。これにより、スピーカ１１３から音を出力するときの振動がハウジング１１２に伝わりにくくなり、ハウジング１１２経由でイヤーチップ１１０のセンサ（弾性電極）に振動が伝わりにくくなる。すなわち、脳波信号のセンシングの際に、音の出力に伴う振動による影響を小さくすることが可能になる。
　ジョイント機構１１４は、ハウジング１１２のノズルとは反対側の端部と、接続部１１６とを接続する機構である。例えば、ジョイント機構１１４は、少なくとも、ハウジング１１２を水平方向（ＸＹ平面の方向）に回転して調整することが可能なボールジョイント機構である。また、ジョイント機構１１４は、ハウジング１１２を３６０度回転可能にし、ハウジング１１２の位置を調整可能にしてもよい。
　これにより、各ユーザの異なる耳の形状に合わせて、ジョイント機構１１４によりハウジング１１２の位置を調整し、弾性電極を有するイヤーチップ１１０を外耳道の内壁に密着させ、脳波信号を適切に取得することができるようになる。
　接続部１１６は、ハウジング１１２と把持部１２０とを接続する機構である。例えば、接続部１１６は、剛性を有し、樹脂などで構成される。また、接続部１１６は、ハウジング１１２に固定された位置から所定方向、例えば鉛直下方向に沿って延伸する。延伸した部分は、イヤーチップ１１０側に近づくように湾曲した形状をしてもよい。
　ケーブル１１８は、イヤーチップ１１０の弾性電極からセンシングした信号を、把持部１２０内部の処理回路１４４（図４，５参照）に伝達する第１信号線と、ハウジング１１２内部の基板と、通信回路１５０（図４，５参照）とを接続し、音を伝達するための第２信号線とを内部に含む。なお、第２信号線は、複数の信号線であってもよい。
　把持部１２０は、装着者の耳たぶを把持し、各端部の周辺領域に電極を有する。例えば、把持部１２０は、一方の端部に第２電極１４０を有し、他方の端部に第３電極１４２を有する。第２電極１４０は、アース接続する電極であり、第３電極１４２は、リファレンス電極として機能する電極である。この場合、イヤーチップ１１０の弾性電極（第１電極）によりセンシングされた信号と、リファレンス電極の第３電極によりセンシングされた信号との差分を算出することで、脳波信号を精度よく取得することができるようになる。これは、耳たぶ部分から取得される信号には脳波信号がほとんど含まれていないからである。
　また、把持部１２０は、耳たぶを挟み込む構成を有し、例えばクリップのような構成を有する。また、耳たぶにやさしくフィットさせるために、把持部１２０は、ゴムのような弾性を有する素材で構成されるとよい。なお、把持部１２０は、必ずしも耳たぶを挟み込む構成である必要はなく、耳たぶ部分に適度に接触できる板状の構成を有していればよい。
　また、把持部１２０は、弾性電極（第１電極）に基づき取得される脳波信号をデジタル信号に変換する変換器を含んでもよい。変換器は、例えば、所定のサンプリングレートでセンシングされた脳波信号を処理し、デジタル信号に変換する。これにより、アナログの脳波信号を伝達させる信号線を短くすることで、ノイズが含まれにくくし、迅速に脳波信号をデジタル化することができ、ノイズ耐性を高めることができる。
　また、把持部１２０の各端部は、磁石を有してもよい。例えば、一方の端部にプラス極の磁石を設け、他方の端部にマイナス極の磁石を設ける。これにより、耳たぶに第２電極及び第３電極を接触させる際に、適度に耳たぶに圧接することができ、耳への負担を軽減することができる。
　また、接続部１１６は、把持部１２０の位置を調節可能にする調節機構を有してもよい。例えば、調節機構は、スライド機構であり、把持部１２０の位置をＺ方向（鉛直方向、又は顔の顎と頭頂部とを結ぶ方向）に上下するような機構を有する。また、調節機構は、接続部１１６の延伸する所定方向に沿って、把持部１２０を固定可能な機構を有してもよい。
　これにより、各ユーザで異なる耳たぶの形状やサイズに合わせて、把持部１２０の位置を調節することが可能になり、適切な位置でリファレンス電極を接触させることで、より適切にリファレンス電極からの信号を取得することが可能になる。
　なお、調節機構は、スライド機構に限らず、把持部１２０の位置を調節可能なものであればいずれの機構を採用してもよい。例えば、接続部１１６は、所定方向に複数の穴を有し、把持部１２０の突起部をその穴に嵌め込むことで、把持部１２０を固定するような構成でもよい。また、接続部１１６は、把持部１２０を移動させた後、接続部１１６に固定するための固定部材１２２を有してもよい。例えば、固定部材１２２は、回転させることで把持部１２０を接続部１１６に圧接し、把持部１２０を固定する。具体例としては、固定部材１２２は、把持部１２０方向に延伸するねじ部（ボルト）を有し、把持部１２０は、固定部材１２２のねじ部を受けるナットを有する。
　＜把持部の構成＞
　図４及び５は、実施形態１における把持部１２０の構成の一例を示す図である。図４は、ワイヤレスタイプのイヤホン１０の場合の把持部１２０の構成を示し、図５は、ワイヤレスタイプのイヤホン１０の把持部１２０の構成を示す。
　図４に示すように、把持部１２０Ｒは、第２電極１４０Ｒ、第３電極１４２Ｒ、処理回路１４４Ｒと有する。上述したとおり、第２電極１４０Ｒは、アース接続用の電極であり、第３電極１４２Ｒは、リファレンス電極として機能する電極である。第２電極１４０Ｒ、第３電極１４２Ｒは、弾性電極でもよい。例えば、把持部１２０Ｒは、板状部材であり、板状部材の長手方向の中央付近で折れ曲がる構成を有し、少なくとも耳たぶ等の耳に接触する部分は弾性を有するとよい。把持部１２０は、中央付近で折れ曲がることで、耳たぶを挟み込むようにして耳たぶに接触する。
　処理回路１４４Ｒは、イヤーチップ１１０の弾性電極によりセンシングされた脳波信号をデジタル信号に変換する信号処理回路を含む。また、把持部１２０Ｌは、把持部１２０Ｒと同様の構成を有する。
　第１収容ケース１０４は、通信回路１５０と、操作部１５２とを含む。通信回路１５０は、無線通信を行うためのアンテナを含む。アンテナは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信の規格に対応している。したがって、イヤホン１０は、モバイル端末、ラップトップなどの機器と無線で接続され、これら機器と音のデータを通信する。操作部１５２は、ハウジング１１２内部の音処理回路に対し、音量や再生を制御するための操作機能を有する。
　第２収容ケース１０６は、電源１５４を有し、電源１５４は、各回路等に電力を供給する。また、第２収容ケース１０６は、例えば、充電用の開口を通して電源１５４への充電がなされる。ケーブル１０２は、信号線を有し、各回路に信号を伝達する。なお、図４に示す構成は一例であって、各部は、任意の収容ケースに収容するように構成されてもよい。
　図５は、ワイヤレスタイプのイヤホン１０を示し、図４に示す収容ケースに収容されていた構成が把持部１２０に収容される例を示す。図５に示すように、把持部１２０Ｒは、第２電極１４０Ｒ、第３電極１４２Ｒ、処理回路１４４Ｒ、通信回路１５０、電源１５４を有する。各部の機能は図４に示した内容と同様である。
　これにより、ワイヤレスタイプを実現することができ、ケーブル１０２、各収容ケースが不要になり、イヤホン１０を製造する際の部品点数を減らすことで製造コストを下げることができる。
　また、図５に示す例は一例であって、各部をハウジング１１２内部に設けてもよい。例えば、通信回路１５０や処理回路１４４は、ハウジング１１２に設けてもよい。また、耳への荷重を考慮して、ハウジング１１２内部の構成、把持部１２０内部の構成が決定されればよい。
　以上説明した第１実施形態に係るイヤホン１０によれば、装着者の装着時に、弾性を有するハウジング１１２が耳甲介の大きさや形状に合わせて変形することができるので、弾性電極を有するイヤーチップ１１０が外耳道に沿って入り込み、イヤーチップ１１０が外耳道の全周にわたって密着するようになる。その結果、弾性電極から適切に脳波信号をセンシングすることが可能になる。
　また、イヤホン１０は、イヤーチップ１１０だけでなく、肌に触れるすべての外装部分（ハウジング１１２）が弾性及び柔軟性を有する材料で形成してもよい。これにより、耳の形状等に個人差があっても、イヤホン１０を耳にフィットさせることが、高い装着感、高い遮音性、脱落のし難さを得ることができるとともに、脳波信号を適切に取得することが可能になる。
　［第２実施形態］
　以下、第２実施形態における脳波信号処理システムの一例を、図面を用いて説明する。
　＜システムの適用例＞
　図６は、第２実施形態における脳波信号処理システム１の各構成例を示す図である。図６に示す例では、各ユーザが利用する各イヤホン１０Ａ、１０Ｂ、・・・、及び情報処理装置２０Ａ、２０Ｂ、・・・、脳波信号を処理するサーバ３０がネットワークＮを介して接続される。なお、個々の構成を区別しない場合は、Ａ及びＢなど英字符号を省略する。
　イヤホン１０は、第１実施形態により説明されたイヤホン１０であるが、必ずしもこれに限られない。イヤホン１０は、左右のイヤホン１０Ｒ、１０Ｌからそれぞれ少なくとも１点の脳波信号を取得し、合計２点の脳波信号を取得する。なお、脳波信号は２点である必要はない。また、イヤホン１０は、イヤホンに限られず、脳波をセンシングできるデバイスであればよい。
　情報処理装置２０は、例えば、スマートフォン、携帯電話（フィーチャーフォン）、コンピュータ、タブレット端末、ＰＤＡ（Personal Digital Assistant）などである。情報処理装置２０は、ユーザ端末２０とも表記する。
　情報処理装置３０は、例えばサーバであり、１又は複数の装置により構成されてもよい。また、情報処理装置３０は、脳波信号を処理し、例えば、人工知能（ＡＩ）の学習機能を用いて脳波信号からユーザの状態を解析する。情報処理装置３０は、サーバ３０とも表記する。
　図６に示す例では、ユーザ端末２０Ａを利用するユーザ（ユーザＡ）が、イヤホン１０Ａを装着し、イヤホン１０Ａは、ユーザＡの脳波信号を取得する。イヤホン１０Ａは、ユーザＡの脳波信号をユーザ端末２０に送信し、ユーザ端末２０のアプリケーションにおいて、脳波信号を処理する。このとき、アプリケーションは、エッジＡＩを用いて脳波信号を解析したり、サーバ３０に脳波信号を送信することで、サーバ３０による解析結果を取得したりしてもよい。アプリケーションは、脳波信号を用いて推定されたユーザＡの状態や、脳波信号に基づく現在の状態から所定の状態へ遷移するためのトレーニングなどをユーザＡに提供する。
　＜構成の一例＞
　図７は、第２実施形態に係るユーザ端末２０の一例を示すブロック図である。ユーザ端末２０は、１つ又は複数の処理装置（制御部：ＣＰＵ）２１０、１つ又は複数のネットワーク通信インタフェース２２０、メモリ２３０、ユーザインタフェース２５０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス２７０を含む。
　ユーザインタフェース２５０は、例えば、ディスプレイ装置２５１及び入力装置（キーボード及び／又はマウス又は他の何らかのポインティングデバイス等）２５２を備える。また、ユーザインタフェース２５０は、タッチパネルでもよい。
　メモリ２３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。
　また、メモリ２３０の他の例として、ＣＰＵ２１０から遠隔に設置される１つ又は複数の記憶装置でもよい。ある実施形態において、メモリ２３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）２１０は、メモリ２３０に格納されているプログラムを実行することで、取得部２１２、推定部２１４、処理部２１６を構成してもよい。
　取得部２１２は、イヤホン１０から出力された脳波信号を、ネットワーク通信インタフェース２２０を介して取得する。
　推定部２１４は、イヤホン１０の装着者の所定の脳波信号と、この所定の脳波信号の取得時の装着者の状態とを学習したモデルを用いて、取得される脳波信号から装着者の状態を推定する。ここで用いられるモデルは、装着者自身の脳波信号を用いて装着者個人の脳の特性にカスタマイズされた学習済みモデルである。例えば、この学習済みモデルは、脳波信号取得時に、装着者自身が状態（例えば、感情価（Postivie/Negative）と興奮度（Arousal Level）とにより規定される状態など）を指示したものを正解ラベルとする教師データを用いて脳波信号を学習させ、脳波信号から装着者の状態を推論する推論プログラムを含むモデルである。また、学習済みモデルは、サーバ３０により学習されたモデルでもよい。
　処理部２１６は、推定部２１４により推定された装着者の状態に基づいて処理を行う。これにより、装着者用に学習されたモデルを使用して、装着者の脳波信号から推定された装着者の状態に応じた処理が可能になり、個人用にカスタマイズされた処理結果を出力すること等が可能になる。
　学習済みモデルは、他人の脳波信号と、この脳波信号の取得時の他人の状態とが学習された所定モデルに対して、装着者の脳波信号と、脳波信号の取得時の装着者の状態とが追加して学習され、カスタマイズされたモデルであってもよい。これにより、初期段階でもある程度の推定性能を有することができ、使用（学習）するにつれて個人用にカスタマイズすることが可能になる。
　処理部２１６は、現在の脳波信号に基づき推定された装着者の状態から、第１脳波信号により示される装着者の所定状態への遷移を誘導する誘導処理であって、現在の脳波信号に基づき、装着者にフィードバックする誘導処理を行ってもよい。例えば、処理部２１６は、イヤホン１０の使用時に、様々なコンテンツを装着者に見せたり、聞かせたりして、装着者により良い状態を指示してもらう。例えば、処理部２１６は、好ましい、集中できる、リラックスする、眠気を誘う、などの良い状態を装着者に指示してもらう。コンテンツは、例えば音楽、動画、ゲームなどである。指示の仕方として例えば、処理部２１６は、良い状態を示すＵＩ部品（アイコンやボタン等）をユーザ端末２０の画面に表示し、ユーザが、良い状態のときにそのＵＩ部品を操作する。なお、コンテンツには、ジャンルなどの特徴を表すラベルが付与されている。例えば、コンテンツが動画の場合、ラベルは、キッズ、ファミリー、ドキュメンタリー、コメディ、サスペンス、ロマンス、アクション等を含み、コンテンツが音楽の場合、ラベルとして、ロック、ポップ、バラード、クラシック等を含む。また、ラベルは、作品のタイプや雰囲気でもよい。作品のタイプは、知性に訴える作品、バイオレントな作品、誰もが楽しめる作品、議論を呼んだ作品、ダークな作品、幸せになる作品、ファミリー向けの作品、ウィットに富んだ作品などを含む。作品の雰囲気は、優しい作品、激しい作品などを含む。
　処理部２１６は、その装着者の良い状態を指示したときの脳波信号（第１脳波信号）の波形や特徴を、コンテンツの特徴に関連付け、これらを教師データとして、サーバ３０の学習部３１１（図８参照）に学習させる。処理部２１６は、装着者の良い状態のときの第１脳波信号に遷移する前後の脳波信号と、それぞれの脳波信号時の状態、及びコンテンツの特徴とを教師データとして、サーバ３０の学習部３１１に学習させることで、どういう動画を見たり、音楽を聴いたり、ゲームを行ったりすれば、良い状態に遷移するのかを学習させ、推論アルゴリズムを含む学習済みモデルを生成しておくことができる。
　処理部２１６は、この良い状態に遷移する前後の脳波信号や状態、コンテンツを学習しておくことで、装着者の現在の脳波信号から、その装着者にとって良い状態に遷移させるために、どんなコンテンツを装着者に見せればよいかを把握することができる。処理部２１６は、学習済みモデルを用いての解析結果を、フィードバック結果として装着者に知らせる。
　図８は、第２実施形態に係るサーバ３０の一例を示すブロック図である。サーバ３０は、１つ又は複数の処理装置（ＣＰＵ）３１０、１つ又は複数のネットワーク通信インタフェース３２０、メモリ３３０、及びこれらの構成要素を相互接続するための１つ又は複数の通信バス３７０を含む。
　サーバ３０は、場合によりユーザインタフェース３５０を含んでもよく、これとしては、ディスプレイ装置（図示せず）、及びキーボード及び／又はマウス（又は他の何らかのポインティングデバイス等の入力装置。図示せず）を挙げることができる。
　メモリ３３０は、例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセス固体記憶装置などの高速ランダムアクセスメモリであり、また、１つ又は複数の磁気ディスク記憶装置、光ディスク記憶装置、フラッシュメモリデバイス、又は他の不揮発性固体記憶装置などの不揮発性メモリでもよい。
　また、メモリ３３０の他の例は、ＣＰＵ３１０から遠隔に設置される１つ又は複数の記憶装置を挙げることができる。ある実施形態において、メモリ３３０は次のプログラム、モジュール及びデータ構造、又はそれらのサブセットを格納する。
　１つ又は複数の処理装置（ＣＰＵ）３１０は、メモリ３３０から、必要に応じてプログラムを読み出して実行する。例えば、１つ又は複数の処理装置（ＣＰＵ）３１０は、メモリ３３０に格納されているプログラムを実行することで、学習部３１１を構成してもよい。
　学習部３１１は、装着者の脳波信号を用いて、装着者の状態を解析し、モデル（第１モデル）を生成する。例えば、脳波信号から学習データを抽出する複数の手法のうちの任意の抽出方法と、複数の分類器のうちの任意の分類器とを組み合わせたモデルなどが用いられてもよい。抽出方法は、ウェーブレット変換、フーリエ変換等を含み、分類器は、例えば、ランダムフォレスト（Random Forest）、サポートベクタマシン（SVM：Support Vector Machine）、ニューラルネットワーク、決定木等を含む。
　＜フィードバックトレーニング＞
　個人ごとの脳波の周波数帯および電位の傾向が異なることが分かっている。そこで、脳波を計測中のユーザ個人に、自身の任意の状態（例えば、第１状態）を、ユーザ端末２０に表示された記号や顔文字等を用いてアノテーションしてもらう。これにより、脳波信号とアノテーションとを学習部３１１が学習することで、第１状態に対応する第１脳波信号、任意の脳波信号から第１脳波信号への遷移を予測、可視化することができるようになる。また、任意の脳波信号から第１脳波信号に遷移するように、所定のトレーニングを行うことで、ユーザが任意の状態を再現できることを目指す。
　処理部２１６は、装着者個人ごとに、脳波トレーニングを行う周波数帯を算出する。例えば、処理部２１６は、脳波信号からＩｎｄｉｖｉｄｕａｌ　Ａｌｐｈａ　ｆｒｅｑｕｅｎｃｙ　Ｐｅａｋ　（ＩＡＰ）を検出する。次に、処理部２１６は、ＩＡＰを軸にし、個人ごとにｄｅｌｔａ（デルタ：０．５～３Ｈｚ）、ｔｈｅｔａ（シータ：４～７Ｈｚ）、ａｌｐｈａ（アルファ：８～１３Ｈｚ）、ｂｅｔａ（ベータ：１４～３０Ｈｚ）、及びｇａｍｍａ（ガンマ：３０Ｈｚ以上）の各周波数帯域を設定する。処理部２１６は、脳波信号の総合電位（例えば全周波数帯域の平均値）と、各周波数帯域の電位（例えば各周波数帯域の平均値）との比率を求める。アルファ波は、安静・覚醒・閉眼時に出現すると言われており、このアルファ波を基準として、シータ波やデルタ波などを設定する。
　また、処理部２１６は、装着者個人ごとに、所定比率（以下、「黄金比率」とも称す）を算出する。黄金比率の算出方法は、サーバ３０による人工知能（ＡＩ）の解析結果に基づき、装着者個人の任意の良い状態の脳波信号が算出され、ＩＡＰを軸にして、低周波方向に所定Ｈｚ、高周波方向に所定Ｈｚなどを用いて各周波数帯域に分割され、全周波数帯域の平均値と、各周波数帯域の平均値又は代表値との比率が算出される。各周波数帯域の代表値は、例えば各周波数帯域で最も値が高いピーク時の周波数などでもよい。また、黄金比率は、各周波数帯域の平均値又は代表値の比率でもよい。
　図９は、第２実施形態に係る良い状態の一例を示す図である。図９に示す例では、一装着者の良い状態を示すものであって、他のユーザの場合は、別の位置になる可能性がある。良い状態は、装着者からの指示により特定してもよい。装着者からの指示とは、例えば、脳波信号をセンシング中に、ユーザ端末２０の画面上で良い状態であることを示すＵＩ部品を押下することなどである。
　処理部２１６は、算出した良い状態における脳波信号の各周波数帯域での平均値又は代表値の比率に変換する。例えば、処理部２１６は、様々な装着者の脳波信号を用いて、性別、年齢、時間によりカテゴリ分類された脳波信号の比率の標準偏差を算出してもよく、算出した標準偏差と、個人の黄金比率とを考慮して、その個人に適した各帯域の黄金比率に変換してもよい。
　＜トレーニング方法＞
１：学習部３１１は、算出されたＩＡＰを基準として、個人の周波数特性を解析、電位の傾向を記録する。
２：学習部３１１は、装着者のアノテーションにより、任意の状態（良い状態だけでなく、集中している、リラックスしているなど様々な状態があり得る）における個人の脳波信号の特徴量を学習する。
３：学習部３１１におけるＡＩが十分に脳波信号の特徴量の学習を行うことで、脳波信号より個人の状態が推測可能になる。
４：処理部２１６は、推測可能になった脳波信号の特徴量を用いて、周波数又は電位に変換する。
５：処理部２１６は、学習された個人のある任意の状態に近づくように、例えば、変換された周波数又は電位の数値に近づくように、トレーニングを行う。
６：この場合、希望状態の選択は装着者の任意で行われることもあるが、システムが自動で選択してもよい。
７：その際トレーニングに使用する楽曲、オーディオ・ビジュアルは過去のトレーニング履歴よりシステムが自動選択もしくは推薦する。
８：処理部２１６は、トレーニング後、再度その効果については装着者に、アノテーションしてもらい検証する。
　図１０は、第２実施形態におけるＩＡＰを基準とするトレーニング帯の一例を示す図である。図１０に示す例は、一装着者のＩＡＰを示すものであって、他の装着者の場合、他の周波数にＩＡＰが位置しうる。したがって、個人ことに脳波信号を用いたトレーニングでは、個人ごとに図１０に示すようにトレーニング帯が設定されるとよい。
　＜フィードバック＞
　処理部２１６は、フィードバックを与えながら、コンテンツと刺激を選定する。処理部２１６は、理想電位状態に導く最適な音楽・動画などを選定する。例えば、処理部２１６は、楽曲・動画の視聴履歴（個人・全体）からレコメンドを生成してもよい。
　また、処理部２１６は、最適な電位状態に導くオーディオ・ビデオの刺激を選定する。例えば、処理部２１６は、トレーニング履歴（個人・全体）からレコメンドを生成してもよい。図１１は、第２実施形態に係るトレーニング画面の一例を示す図である。図１１に示すように、装着者は音楽を聴きながら、その時の気分を示す顔マークを押下することで、装着者の状態を学習させることができる。
　＜動作＞
　次に、脳波信号処理システム１の動作について説明する。図１２は、第２実施形態に係る誘導処理の一例を示すフローチャートである。図１２に示す例では、取得された脳波信号を用いて所定の状態に誘導する処理が行われる。
　ステップＳ１０２で、取得部２１２は、センサ（例えばイヤホン１０の弾性電極など）から出力される脳波信号を取得する。
　ステップＳ１０４で、推定部２１４は、センサを装着した装着者の所定の脳波信号と、この所定の脳波信号の取得時の装着者の状態とを学習したモデルを用いて、取得される脳波信号から装着者の状態を推定する。
　ステップＳ１０６で、処理部２１６は、推定された装着者の状態に基づいて、所定の処理を実行する。所定の処理は、例えば装着者に状態を報知する処理などである。
　図１３は、第２実施形態に係るトレーニング処理の一例を示すフローチャートである。図１３に示す例では、脳波信号をセンシングしながら所定の状態に遷移するようトレーニングを行う処理を示す。
　ステップＳ２０２で、取得部２１２は、センサ（例えばイヤホン１０の弾性電極など）から出力される脳波信号を取得する。
　ステップＳ２０４で、処理部２１６は、脳波信号からＩＡＰ（Individual Alpha frequency Peak ）を算出する。
　ステップＳ２０６で、処理部２１６は、算出したＩＡＰに基づいて、ＩＡＰを高電位に移動させるか低電位に移動させるかのフィードバックを行う。
　ステップＳ２０８で、処理部２１６は、装着者の操作に基づき、処理が終了するか否かを判定する。ユーザにより終了が操作されれば（ステップＳ２１６－ＹＥＳ）、処理は終了し、ユーザにより終了が操作されなければ（ステップＳ２１６－ＮＯ）、処理はステップＳ２０２に戻る。
　［変形例］
　以上、本願の開示する技術の複数の実施形態について説明したが、本願の開示する技術は、上記に限定されるものではない。また、本発明の情報処理装置２０、３０のプログラムは、ＣＤ－ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の非一時的な記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。
　図１４は、変形例１に係るイヤホンの拡大例を示す図である。図１４に示すイヤホンの例は、把持部１２０の設置向きが図２に示すイヤホンと異なり、その他の構成は、図２に示すイヤホンと同様である。図１４に示すように、把持部１２０ＲＡ、１２０ＬＡは、その長手方向が鉛直方向のＺ方向に沿って設けられる。また、接続部１１６に設けられた調節機構による移動方向に沿って、把持部１２０の長手方向が設けられる。耳たぶを挟み込む部分がＺ軸の上方向（ハウジング方向）を向いている。これにより、接続部１１６の顔側に把持部１２０の大部分が隠れることで、デザイン性を高めることができる。また、図１４に示す把持部１２０の構成を採用することにより、把持部１２０のサイズを小さくすることが可能になる。これは、一般的に耳たぶは水平方向に幅を持つため、図１４に示すように、耳たぶを下から把持することで、図１に示すように、水平方向から耳たぶを把持するよりも把持部１２０の折り畳み部分の長手方向の長さを短くすることができるからである。
　図１５は、変形例２におけるイヤホンセット５０の一例を示す図である。図１５に示すイヤホンセット５０は、図１や図１４に示すイヤホンの把持部１２０がなく、代わりに首掛け部１６０と、一対のイヤホン１７０Ｒ、１７０Ｌとを有する。各イヤホン１７０Ｒ、１７０Ｌは、首掛け部１６０と信号通信可能なケーブルを用いて接続されるが、無線通信を用いて接続されてもよい。
　首掛け部１６０は、首の後方に沿う中央部材と、首の両サイドに沿って湾曲した形状を有する棒状部材（アーム）１８２Ｒ、１８２Ｌとを有する。中央部材の背中側の首に接触する表面には、脳波信号をセンシングする電極１６２、１６４が設けられる。電極１６２、１６４それぞれは、アース接続される電極と、リファレンス電極とである。これにより、イヤホンのイヤーチップに設けられる弾性電極と距離を離すことができ、精度よく脳波信号を取得することが可能になる。また、首掛け部１６０の両サイドの棒状部材１８２Ｒ、１８２Ｌは、その先端側が、付け根側（中央部材側）よりも重くなっており、これにより電極１６２、１６４は、装着者の首に適切に圧着するようになる。例えば、棒状部材１８２Ｒ、１８２Ｌの先端側には重りが設けられる。
　図１６は、変形例２におけるイヤホン１７０の断面の概略の一例を示す図である。図１６に示すイヤホン１７０は、基本的にはイヤホン１００と同様であるが、スピーカ１１３とノズル１７２との間に弾性部材（例えばウレタン）１７４を設ける。この弾性部材１７４を設けるにより、スピーカ１１３の振動がイヤーチップ１７６の弾性電極に伝わりにくくなり、イヤーチップ１７６の弾性電極とスピーカ１１３とが音について干渉することを防ぐことができる。
　さらに、弾性電極を含むイヤーチップ１７６は、音導口に位置しているが、弾性電極自身の弾性により、音振動による干渉を防ぐことが可能である。また、ハウジングには弾性部材を採用しているため、この弾性部材により、音振動をイヤーチップ１７６の弾性電極に伝えにくく、音振動による干渉を防ぐことが可能である。
　イヤホン１７０は、オーディオ・サウンド・プロセッサを含み、このオーディオ・サウンド・プロセッサを使用して、脳波信号に相当する所定の周波数（例えば５０Ｈｚ）以下の音信号をカットする。特にオーディオ・サウンド・プロセッサは、脳波信号として特徴が出やすい周波数帯域の３０Ｈｚ以下の音信号をカットするが、ベース音を損なわないようにするため、７０Ｈｚ周辺の周波数の音信号を増幅する。これにより、音信号と脳波信号とが干渉することを防ぐことができる。また、オーディオ・サウンド・プロセッサは、脳波信号のセンシングがなされている場合にのみ、所定の周波数をカットするようにすればよい。なお、上述したオーディオ・サウンド・プロセッサは、実施形態におけるイヤホン１０にも適用可能である。
　図１７は、変形例２における首掛け部１６０の電極周辺の構造の一例を示す図である。図１７に示す例では、電極１６２、１６４それぞれの首掛け部１６０側に弾性部材１６６が設けられる。この弾性部材１６６は、例えばウレタン等であり、この弾性部材１６６の弾性により、電極１６２、１６４は位置変動が可能になる。
　具体例として、電極の形状は半球状のものを使用し、半球状の中心部分を覆うように弾性部材１６６を接着することで、弾性部材１６６の弾性を用いて電極が３６０度角度を変えることができる。また、装着者の首の形状に合わせて弾性部材１６６が変形し、装着者の首に各電極１６２、１６４が圧着しやすくなる。
　上述したとおり、首掛け部１６０の両サイドの棒状部材１８２Ｒ、１８２Ｌの先端側は重くなっているので、首掛け部１６０が首にかけられた場合、棒状部材１８２Ｒ、１８２Ｌの先端側の重みにより、各電極１６２、１６４は、装着者の首により圧着しやすくなる。
　図１８は、変形例２におけるイヤホンセット５０の略分解の一例を示す図である。図１８に示す例では、棒状部材１８２Ｒは、例えば外側に位置するアルミプレートの内側に蛇腹構造を有し、棒状部材１８２Ｒは、装着者の首の形状、太さ等に応じて変形可能である。また、棒状部材１８２Ｒの首の内側には、ゴムなどの弾性部材１８４Ｒが設けられ、弾性部材１８４Ｒが首に接触することで、首への接触の負担を軽減し、装着感を向上させることができる。
　また、首掛け部１６０の両側に位置する棒状部材１８２は、電極側に折り畳むことが可能である。例えば、棒状部材１８２Ｒは、折畳構造１８６Ｒにより電極側又は中央部材側に折り畳むことが可能である。なお、棒状部材１８２Ｌについても同様に折り畳み構造（例えばヒンジ）を有し、電極側に折り畳むことが可能である。これにより、首掛け部１６０をコンパクトに収納することができる。
　また、棒状部材１８２Ｒ、１８２Ｌは、装着者の鎖骨に沿いやすいように、棒状部材１８２Ｒ、１８２Ｌが鉛直方向の下方向に少し湾曲した形状であるとよい。
　＜脳波フィードバックトレーニングにおける具体例＞
　次に、上述した個人ごとの脳波フィードバックトレーニングにおける具体例について説明する。この具体例では、脳波信号を学習しながら、集中時間、休憩時間を管理し、生産性を向上させることが可能なアプリケーションである。このアプリケーションでは、例えば、時間を区切り、各時間帯でユースケースを変更してトレーニングが行われる。例えば、最初の１０分間は、メディテーション（瞑想のユースケース）、次の２５分間は、タスク（集中のユースケース）、次の５分は、休憩（リラックスのユースケース）、このタスクと休憩とを４セット行う。なお、最後の休憩は２５分にしてもよい。この時間管理術は、生産性が向上すると言われているポモドーロ・テクニックの時間管理術を参考にする。
　具体例における時間管理中に、取得部２１２は、上述したイヤホン等を用いて脳波信号を取得し、推定部２１４は、学習部３１１により個人用にカスタマイズされた学習済みモデルを用いて、各ユースケースにおけるユーザの脳波信号による現在の状態を推定し、処理部２１６は、現在の状態から、このユーザの良い状態に遷移するよう誘導処理を行う。
　処理部２１６は、フィードバックの一例として、ユーザ端末２０の表示画面の所定領域、例えば背景に、脳波信号の各周波数帯域に予め割り当てられた色を用いてグラデーション表示するよう制御する。例えば、脳波信号が良い状態（黄金比率の状態）に遷移しているときは徐々に明るい色になるように所定領域の色が表示され、脳波信号が良い状態に遷移していないときは徐々に暗い色になるように処理領域の色が表示される。なお、脳波信号の良い状態は、ユーザに応じて異なるため、そのユーザの良い状態の脳波信号の周波数帯域を基準にしてグラデーションが決定される。これにより、脳波信号の変化に合わせて、所定領域に対してグラデーションを用いて表示することが可能になり、ユーザに対して現在の脳波信号の状態を視覚的に表現することが可能になる。
　図１９Ａは、集中のトレーニング中の表示画面の一例を示す図である。図１９Ａに示す画面は、時間管理におけるタスク中に表示される画面であり、現在のスコア値が「４２」であることを示し、「２５：００」はタスク時間のタイマーを示す。このように、処理部２１６は、各ユースケースの時間管理についてタイマーを使用して行う。また、処理部２１６は、各ユースケースに関連する脳波信号の周波数帯域の波形を表示してもよい。
　また、処理部２１６は、脳波信号の周波数帯域に予め設定された音をスピーカから出力するよう制御してもよい。予め設定された音は、例えば自然音であり、風、雨、波、森などの音であり、これらを適宜組み合わせた音でもよい。例えば、脳波信号が良い状態（黄金比率の状態）に遷移しているときは徐々に穏やかな音になるようにスピーカから音が出力され、脳波信号が良い状態に遷移していないときは徐々に荒れた音になるようにスピーカから音が出力される。脳波信号が良い状態に遷移するとは、現在の脳波信号の各周波数帯域における平均値又は代表値の比率と黄金比率との差分が小さくなることをいい、各周波数帯域は、黄金比率が求められる各周波数帯域と同じである。また、予め設定された音は、音声でもよい。なお、処理部２１６は、取得部２１２により取得された脳波信号が、上述した黄金比率に近づく場合、画面に絵文字を表示したり、音を出力したり、画面の色で表示したりしてもよい。
　また、具体例におけるアプリケーションは、所定期間、例えば月単位、週単位、日単位、セッション単位で、脳波信号から判定される集中、リラックス、緊張、疲労などをスコア化して可視化することが可能である。スコアについて、推定部２１４は、各ユースケースに合わせて、個々のユーザの脳波信号を用いて学習された黄金比率と、現在の脳波信号を各周波数帯域に分割した際の各周波数帯域の代表値の比率との距離に基づきスコア化し、処理部２１６は、スコア化されたスコア値を画面に表示する。
　図１９Ｂは、一日単位でリラックス（Ｒｅｌａｘ）、集中（Ｆｏｃｕｓ）、瞑想（ＣＡＬＭ）に関する測定結果を表示する画面の一例を示す図である。図１９Ｂに示す画面は、データの集計、可視化を行ういわゆるダッシュボードであり、１５日（Ｗｅｄ）に測定された脳波信号に基づいて、リラックスできていると判定された時間が「３３分」、集中できていると判定された時間が「２３分」、落ち着いている（瞑想できている）と判定された時間が「４２」分であることを示す。
　推定部２１４は、それぞれのユースケースにおいて、学習済みモデルを用いた推定処理でそれぞれのスコア値を求めてもよい。図１９Ｂに示す例では、リラックスのスコア値が「６８」を示し、集中のスコア値が「７２」を示す。なお、それぞれのユースケースのスコア値が、対応する所定値以上である場合に、処理部２１６は、リラックスできている、集中できている、又は落ち着いていると判定してもよい。以下、時間管理される各ユースケースにについて説明する。
　（瞑想）
　瞑想（落ち着き）は、本アプリケーションにおける時間管理術の中で、例えば最初の時間帯に行われる。まず、処理部２１６は、音声と映像とを用いて瞑想ガイドを行う。取得部２１２は、瞑想ガイド後の脳波信号を取得し、推定部２１４は、取得される脳波信号と黄金比率とに基づいてスコア値を算出し、脳波信号が鎮まり、スコア値が高くなると（周波数が黄金比率に近づくと）、処理部２１６は、背景の色を変化させ、背景画像の中の風がやみ、及び／又は鳥の泣き声などが鳴るように制御する。
　他方、脳波信号が荒れて、スコア値が低くなると（周波数が黄金比率より遠のくと）、処理部２１６は、背景の色を変化させ、背景画像の中の風が吹き、及び／又は背景画像の風景が嵐になるように制御する。また、処理部２１６は、背景（自然な環境）やガイドの内容は、このアプリケーションが実行される時間（午前、午後など）や目的により変化させてもよい。
　図２０は、瞑想時と、瞑想時以外の時との周波数波形の一例を示す図である。図２０に示す例では、瞑想時（Focus）は、瞑想時以外の時（Tired）と比べて、デルタ波とシータ波との低周波が出現している。これらの個人の波形の特徴を用いてユーザ個人の黄金比率等が求められる。また、現在の周波数の値からデルタ波及びシータ波を出現させるために、上述したような音声と映像とが用いられて瞑想ガイドが行われる。
　（タスク）
　タスク（集中、疲労）は、本アプリケーションにおける時間管理術の中で、瞑想の後に行われ、以後、休憩と交互に行われる。推定部２１４は、取得された脳波信号の周波数に基づき、ユーザの集中、疲労度を推定する。例えば、推定部２１４は、タスク中に、シータ波が増えてくると、疲労が増してきていると推定する。これは、覚醒状態において一般的にデルタ波やシータ波は出現しないと言われているからである。
　図２１は、午前中、昼食後の脳波信号の周波数波形の一例を示す図である。図２１に示す例では、午前中（Focus）は、シータ波の値は大きくないが、昼食後（Tired2）、ユーザが疲労や眠気を感じているときにシータ波の値が大きくなっている。処理部２１６は、シータ波の値が大きくなると、シータ波の値を下げるために、このユーザに対して集中を促す音等を流す。なお、集中状態では、各周波数帯での振幅が一定で揺れが少なくなり、黄金比率が適切に出現する。
　（休憩）
　休憩（休憩、集中）は、本アプリケーションにおける時間管理術の中で、タスクの後に行われ、以後、タスクと交互に行われる。推定部２１４は、閉眼時にアルファ波が出現するといわれているため、アルファ波の値が大きくなると、閉眼していると推定することが可能である。また、推定部２１４は、瞑想状態に入るとデルタ波及びシータ波の低い周波数の値が高くなるため、これらの周波数帯の値が大きくなると、落ち着いてきていると推定する。また、処理部２１６は、休憩時にも、ユーザが覚醒していれば、学習済みモデルによって提示される、このユーザにとって落ち着くようなコンテンツを提供する。
　なお、各ユースケースにおける脳波信号の周波数は、時分割されて脳波信号が変換された周波数信号に対し、所定時間内の周波数信号の加算平均を取ることで求められる。また、所定時間は、ユースケースごとに異なってもよい。
　これにより、具体例におけるアプリケーションは、ユースケースごとに時分割された各時間帯を用いて、時間の使用の仕方の最適化を支援することができる。また、このアプリケーションは、時間管理の中の集中時間において、個人の趣向や特性に合わせた集中できるプレイリストを作成することができる。例えば、ユーザのアノテーション結果を学習した学習済みモデルを使用することで、良い状態（黄金比率の状態）に遷移するための楽曲を選択することができ、この楽曲に対して所定基準で順番を設けたプレイリストが生成される。また、このアプリケーションは、時間管理の中の休憩時間において、ユーザの脳波信号の特性に応じて、簡単な瞑想・ストレッチなどのガイドや脳を整えるゲームや動画などを、学習済みモデルを用いて推薦することが可能である。
　＜心拍又は呼吸の解析＞
　変形例３では、変形例２における首掛け部１６０におけるリファレンス用の各電極の位置を変更することにより、頸動脈の脈拍に基づく心電図信号（ECG：Electrocardiogram）を計測する。図２２は、変形例３においける首掛け部１６０の各部の位置の一例を示す図である。図２２に示す例では、首掛け部１６０のＸＹ平面での断面図を表しており、各電極１６２、１６４は、装着者の首の両サイドに位置するように配置され、弾性電極により構成される。例えば、首掛け部１６０のうち、首の両サイドに位置する棒状部材や中央部材の両端部に各電極が配置されてもよく、首掛け部１６０の中央から左右に所定距離（例えば３～７ｃｍ）離れた位置に各電極１６２、１６４が配置されてもよい。また、首掛け部１６０内部の中央の位置にバッテリーＢＡ、処理部を搭載する基板ＳＴが設けられる。基板ＳＴを首に近い側に配置し、基板ＳＴよりＸ方向に短いバッテリーＢＡを、基板ＳＴから外側に配置することで、首掛け部１６０を、より首に沿うような曲線形状にすることができる。また、首掛け部１６０の内側に取り付け可能な弾性部材が設けられ、この弾性部材に各電極１６２、１６４が設けられてもよい。これにより運動時などの動きがある場合でも、装着者の首に弾性部材が密着することで、精度よくリファレンス信号を取得することが可能になる。
　図２３は、頸動脈と左の電極１６２との位置関係を示す図である。図２３に示す例では、電極１６２が頸動脈Ｂ１０周辺に位置することにより、電極１６２によりセンシングする信号に、頸動脈の脈拍に基づく信号が含まれるようになる。
　図２４は、頸動脈の鼓動が混入したリファレンス信号の一例を示す図である。図２４に示す例では、電極１６２又は１６４からセンシングされるデータの生データの一例である。図２４に示すグラフは、縦軸がセンシングされた信号の値を表し、横軸が時間を表す。図２４に示すように、リファレンス信号は、イヤーチップ１７６の弾性電極によりセンシングされる信号から減算される信号であるため、リファレンス信号に混入する心電図信号（ECG）は逆位相で計測される。例えば、図２４に示す丸で囲った下に凸のピークは、心電図信号を示す信号である。装着者の正常時の脈拍を示す信号は心電図信号と同義である。
　頸動脈の脈拍の混入を利用し、例えば、ＣＰＵ２１０は、変形例３に記載の首掛け部に設けられる各電極１６２、１６４から出力される信号をリファレンス信号として、イヤーチップ１７６の弾性電極から出力される信号に基づく脳波信号を取得する。次に、ＣＰＵ２１０は、取得された脳波信号のピークとは逆位相に現れるピークに基づいて脈拍を検出する。
　これにより、リファレンス信号を計測する電極の位置を装着者の首の両サイドに位置するように配置することで、脳波信号と心電図信号とを共通の信号を用いて計測することが可能になる。つまり、ＣＰＵ２１０は、脳波信号を解析しつつ、脈拍に基づく心電図信号を計測して心拍についても解析することが可能になる。
　次に、変形例３における首掛け部１６０を用いて呼吸を計測する例について説明する。呼吸を計測するために、脳波信号から所定のフィルタ処理を行う。所定のフィルタ処理は、以下の手順で行われる。
1: ローパスフィルタ
2: メディアンフィルタ
3: その後ＦＦＴ（高速フーリエ変換）からパワースペクトルの値を算出
4: 時系列パワースペクトルから時間微分（Ｐｔ－Ｐｔ－１）を示すエネルギー差分値を算出（Ｐｔは時刻ｔでのパワースペクトル値）
　図２５Ａは、口呼吸時の信号の一例を示す図である。図２５Ｂは、鼻呼吸時の信号の一例を示す図である。図２５Ａ及びＢに示すグラフは、縦軸がフィルタ?処理後のエネルギー差分値を表し、横軸が時間を表す。図２５Ａ及びＢに示す信号において、下に凸部分は息を吸い込む（吸気）時に現れ、上に凸部分は息を吐く（呼気）時に現れる。これらの山谷ができる理由としては、呼吸時における顔の筋電位の変化がイヤーチップ１７６の各電極に混入することが一因であると考えられる。
　上述した筋電位の変化を利用し、例えば、ＣＰＵ２１０は、変形例３に記載の首掛け部に設けられる電極１６２、１６４から出力される信号をリファレンス信号として、イヤーチップ１７６の弾性電極から出力される信号に基づく脳波信号を取得する。次に、ＣＰＵ２１０は、取得された脳波信号に対してローバスフィルタ及びメディアンフィルタの処理を行い、フィルタ処理後の信号を周波数変換し、周波数変換後の時系列のパワースペクトル値を時間微分し、この時間微分の差分値の周期性に基づいて、呼吸を検出する。
　これにより、脳波信号に所定のフィルタ処理を実行することで、呼吸を表す信号を計測することが可能になる。つまり、ＣＰＵ２１０は、脳波信号を解析しつつ、呼吸を表す信号を計測して呼吸のペース、大きさ等についても解析することが可能になる。
　また、呼吸検出に用いる所定のフィルタ処理は、心拍を検出する際にも適用することで、ノイズを除去することができ、より適切に心拍を検出することが可能になる。つまり、ＣＰＵ２１０は、脳波信号のピークとは逆位相に現れる心電のピーク値を検出し、検出された信号に対して、ローパスフィルタ及びメディアンフィルタの処理を行い、フィルタ処理後の信号を周波数変換し、周波数変換後の時系列のパワースペクトル値を時間微分し、時間微分された差分値の周期性に基づいて、脈拍を検知すること、を実行する。これにより、ノイズが除去された脈拍を用いて心拍を検出することが可能になる。
　なお、上述した心拍、呼吸の解析は、ＣＰＵ２１０が、自己相関関数を用いて図２４又は図２５に示すデータ値から周期性を求めることで、心拍・呼吸を検出する。また、上述した心拍、呼吸を検出する処理は、各処理の命令を含むプログラムとして実装され、情報処理装置にインストールされることで、実行されてもよい。
１０　イヤホン
２０、３０　情報処理装置
１１０　イヤーチップ（弾性電極）
１１２　ハウジング
１１３　スピーカ
１１４　ジョイント機構
１１６　接続部
１１８　ケーブル
１２０　把持部
２１２　取得部
２１４　推定部
２１６　処理部
３１１　学習部
 
 

Claims (15)

  1. 　イヤホンであって、
    　少なくとも一方の端部側外層に弾性を有するハウジングと、
    　前記ハウジング内部に収容されるスピーカと、
    　前記ハウジングの前記弾性を有する端部側に装着されるイヤーチップであって、前記スピーカからの音が通る音導部と、装着者の脳波をセンシングする弾性電極とを有するイヤーチップと、
    　を備えるイヤホン。
  2. 　耳たぶを把持する把持部であって、各端部の周辺領域に電極を有する把持部を備える、請求項１に記載のイヤホン。
  3. 　前記把持部は、前記弾性電極に基づき取得される脳波信号をデジタル信号に変換する変換器を含む、請求項１又は２に記載のイヤホン。
  4. 　前記把持部の各端部は、磁石を有する、請求項１から３のいずれか一項に記載のイヤホン。
  5. 　前記把持部は、電源と通信部とを含む、請求項４に記載のイヤホン。
  6. 　前記把持部と前記ハウジングとを接続する接続部を備え、
    　前記接続部は、前記把持部の位置を調節可能にする調節機構を有する、請求項１から５のいずれか一項に記載のイヤホン。
  7. 　前記接続部は、前記ハウジングに固定された位置から所定方向に延伸し、
    　前記調節機構は、前記把持部を前記所定方向に沿って移動可能にする機構を有する、請求項６に記載のイヤホン。
  8. 　前記イヤホンと信号通信可能に接続される首掛け部を備え、
    　前記首掛け部は、中央部材と、前記中央部材の両側に設けられる棒状部材とを有し、
    　前記中央部材又は棒状部材は、前記装着者の首側の表面に電極を有する、請求項１に記載のイヤホン。
  9. 　前記スピーカにより出力される音信号を制御するプロセッサであって、前記音信号に対し、前記脳波の信号に対応する所定周波数以下をカットする前記プロセッサを含む、請求項１から８のいずれか一項に記載のイヤホン。
  10. 　請求項１から９のいずれか一項に記載のイヤホンから出力される脳波信号を取得する取得部と、
    　前記イヤホンの装着者の所定の脳波信号と、当該所定の脳波信号の取得時の前記装着者の状態とを学習したモデルを用いて、取得される脳波信号から前記装着者の状態を推定する推定部と、
    　推定された前記装着者の状態に基づいて処理を行う処理部と、
    　を備える情報処理装置。
  11. 　前記モデルは、他人の脳波信号と、当該脳波信号の取得時の前記他人の状態とが学習された所定モデルに対して、前記装着者の脳波信号と、当該脳波信号の取得時の前記装着者の状態とを追加して学習され、カスタマイズされたモデルである、請求項１０に記載の情報処理装置。
  12. 　前記処理部は、
    　現在の脳波信号に基づき推定された前記装着者の状態から、第１脳波信号により示される前記装着者の所定状態への遷移を誘導する誘導処理であって、前記現在の脳波信号に基づき前記装着者にフィードバックする誘導処理を行う、請求項１０又は１１に記載の情報処理装置。
  13. 　情報処理装置に含まれる１又は複数のプロセッサが、
    　請求項１から９のいずれか一項に記載のイヤホンから出力される脳波信号を取得すること、
    　前記イヤホンの装着者の所定の脳波信号と、当該所定の脳波信号の取得時の前記装着者の状態とを学習したモデルを用いて、取得される脳波信号から前記装着者の状態を推定すること、
    　推定された前記装着者の状態に基づいて処理を行うこと、
    　を実行する情報処理方法。
  14. 　情報処理装置に含まれる１又は複数のプロセッサが、
    　請求項８に記載の首掛け部に設けられる前記電極から出力される信号をリファレンス信号とし、前記イヤーチップの前記弾性電極から出力される信号に基づく脳波信号を取得すること、
    　前記脳波信号のピークとは逆位相に現れるピークに基づいて脈拍を検出すること、
    　を実行する情報処理方法。
  15. 　情報処理装置に含まれる１又は複数のプロセッサが、
    　請求項８に記載の首掛け部に設けられる前記電極から出力される信号をリファレンス信号とし、前記イヤーチップの前記弾性電極から出力される信号に基づく脳波信号を取得すること、
    　前記脳波信号に対してローパスフィルタ及びメディアンフィルタの処理を行い、フィルタ処理後の信号を周波数変換し、周波数変換後の時系列のパワースペクトル値を時間微分し、時間微分された差分値の周期性に基づいて、呼吸を検出すること、
    　を実行する情報処理方法。
     
PCT/JP2020/029385 2019-10-08 2020-07-31 イヤホン、情報処理装置、及び情報処理方法 WO2021070456A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/767,359 US20220386919A1 (en) 2019-10-08 2020-07-31 Earphone, information processing device, and information processing method
JP2021550383A JPWO2021070456A1 (ja) 2019-10-08 2020-07-31

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-185473 2019-10-08
JP2019185473 2019-10-08

Publications (1)

Publication Number Publication Date
WO2021070456A1 true WO2021070456A1 (ja) 2021-04-15

Family

ID=75437857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029385 WO2021070456A1 (ja) 2019-10-08 2020-07-31 イヤホン、情報処理装置、及び情報処理方法

Country Status (3)

Country Link
US (1) US20220386919A1 (ja)
JP (1) JPWO2021070456A1 (ja)
WO (1) WO2021070456A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286216A1 (ja) * 2021-07-14 2023-01-19 日本電信電話株式会社 教示装置、教示方法、及びプログラム
WO2023062669A1 (ja) * 2021-10-11 2023-04-20 Ｖｉｅ Ｓｔｙｌｅ株式会社 イヤホン及び生体情報測定装置
WO2024095886A1 (ja) * 2022-10-31 2024-05-10 慶應義塾 脳波解析装置及び脳波解析プログラム、並びに、運動支援システム及び運動支援方法
WO2024101388A1 (ja) * 2022-11-08 2024-05-16 Ｖｉｅ株式会社 情報処理方法、プログラム、及び情報処理装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008161429A (ja) * 2006-12-28 2008-07-17 Yamaha Corp 脈拍検出機能を備えたヘッドフォン
JP2011023974A (ja) * 2009-07-15 2011-02-03 Seishiro Munehira 磁力による耳殻装着法および装具
WO2011135789A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
JP2012074805A (ja) * 2010-09-28 2012-04-12 D & M Holdings Inc ヘッドホン装置
JP2014147023A (ja) * 2013-01-30 2014-08-14 Susumu Shoji 集音マイク付き開放型イヤフォンおよび難聴用補助器
CN204072066U (zh) * 2014-05-13 2015-01-07 北京泰乐华科技有限公司 一种智能健康检测耳机
JP3209356U (ja) * 2016-12-28 2017-03-09 群騰整合科技股▲ふん▼有限公司 多機能イヤホンケーブル
JP2018078398A (ja) * 2016-11-07 2018-05-17 株式会社ネイン 多機能イヤホンによる自律型アシスタントシステム
JP2019024758A (ja) * 2017-07-27 2019-02-21 富士ゼロックス株式会社 電極及び脳波測定装置
JP2019037547A (ja) * 2017-08-25 2019-03-14 京セラ株式会社 測定装置及び測定方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008161429A (ja) * 2006-12-28 2008-07-17 Yamaha Corp 脈拍検出機能を備えたヘッドフォン
JP2011023974A (ja) * 2009-07-15 2011-02-03 Seishiro Munehira 磁力による耳殻装着法および装具
WO2011135789A1 (ja) * 2010-04-28 2011-11-03 パナソニック株式会社 脳波計測装置、電気的ノイズの推定方法、および、電気的ノイズの推定方法を実行するコンピュータプログラム
JP2012074805A (ja) * 2010-09-28 2012-04-12 D & M Holdings Inc ヘッドホン装置
JP2014147023A (ja) * 2013-01-30 2014-08-14 Susumu Shoji 集音マイク付き開放型イヤフォンおよび難聴用補助器
CN204072066U (zh) * 2014-05-13 2015-01-07 北京泰乐华科技有限公司 一种智能健康检测耳机
JP2018078398A (ja) * 2016-11-07 2018-05-17 株式会社ネイン 多機能イヤホンによる自律型アシスタントシステム
JP3209356U (ja) * 2016-12-28 2017-03-09 群騰整合科技股▲ふん▼有限公司 多機能イヤホンケーブル
JP2019024758A (ja) * 2017-07-27 2019-02-21 富士ゼロックス株式会社 電極及び脳波測定装置
JP2019037547A (ja) * 2017-08-25 2019-03-14 京セラ株式会社 測定装置及び測定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023286216A1 (ja) * 2021-07-14 2023-01-19 日本電信電話株式会社 教示装置、教示方法、及びプログラム
WO2023062669A1 (ja) * 2021-10-11 2023-04-20 Ｖｉｅ Ｓｔｙｌｅ株式会社 イヤホン及び生体情報測定装置
WO2024095886A1 (ja) * 2022-10-31 2024-05-10 慶應義塾 脳波解析装置及び脳波解析プログラム、並びに、運動支援システム及び運動支援方法
WO2024101388A1 (ja) * 2022-11-08 2024-05-16 Ｖｉｅ株式会社 情報処理方法、プログラム、及び情報処理装置

Also Published As

Publication number Publication date
JPWO2021070456A1 (ja) 2021-04-15
US20220386919A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
WO2021070456A1 (ja) イヤホン、情報処理装置、及び情報処理方法
US10885800B2 (en) Human performance optimization and training methods and systems
CN205612470U (zh) 穿戴式生理检测装置
JP3217017U (ja) ウェアラブル生理検査機器
CN111867475B (zh) 次声生物传感器系统和方法
CN101467875B (zh) 耳戴式生理反馈装置
US10685577B2 (en) Systems and methods for delivering sensory input during a dream state
US11185281B2 (en) System and method for delivering sensory stimulation to a user based on a sleep architecture model
US20080214903A1 (en) Methods and Systems for Physiological and Psycho-Physiological Monitoring and Uses Thereof
CN104257381A (zh) 一种基于脑电波信号的音频助眠装置
EP3181041A1 (en) System and method for in ear eeg sensing and audio delivery for sleep enhancement
WO2016119665A1 (zh) 穿戴式生理检测装置
WO2017069644A2 (en) Wireless eeg headphones for cognitive tracking and neurofeedback
KR20160110807A (ko) 다중 생체신호 검출용 헤드셋 장치
WO2016119664A1 (zh) 穿戴式心电检测装置及穿戴式生理检测装置
CN110367934A (zh) 一种基于非语音身体声音的健康监测方法及监测系统
TWI373323B (ja)
TWM530132U (zh) 穿戴式生理檢測裝置
KR20150137453A (ko) 뇌파를 이용한 제어 방법 및 휴대 장치
CN107823775B (zh) 一种助眠方法及助眠枕
US20230178206A1 (en) Method and apparatus for concussion recovery
KR20220124410A (ko) 뉴로피드백을 기반으로 하는 원격제어 및 자동화 두뇌훈련 시스템
WO2023187660A1 (en) Meditation systems and methods
JP2023152840A (ja) 情報処理装置及び情報処理方法
CN112914512A (zh) 基于脑电波信号分析技术的延缓阿尔茨海默病的监测系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20874946

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2021550383

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20874946

Country of ref document: EP

Kind code of ref document: A1