WO2024038788A1 - 情報処理装置、情報処理システム、および情報処理プログラム - Google Patents

情報処理装置、情報処理システム、および情報処理プログラム Download PDF

Info

Publication number
WO2024038788A1
WO2024038788A1 PCT/JP2023/028705 JP2023028705W WO2024038788A1 WO 2024038788 A1 WO2024038788 A1 WO 2024038788A1 JP 2023028705 W JP2023028705 W JP 2023028705W WO 2024038788 A1 WO2024038788 A1 WO 2024038788A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
content
user
signal
unit
Prior art date
Application number
PCT/JP2023/028705
Other languages
English (en)
French (fr)
Inventor
真央 勝原
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024038788A1 publication Critical patent/WO2024038788A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present disclosure relates to an information processing device, an information processing system, and an information processing program.
  • a device has been proposed that uses the subject's brain wave signals to determine the condition of the subject and applies a current to the surface of the subject's head depending on the determination result to provide stimulation (Patent Document 1).
  • An information processing device includes an acquisition unit that can acquire a first signal related to a user's brain waves, an analysis unit that can detect a specific frequency of the user's brain waves based on the first signal, and a specific frequency and a control unit that can control the content based on the content.
  • An information processing system includes an electronic device and an information processing device.
  • the electronic device includes a sensor capable of generating a first signal related to a user's brain waves.
  • the information processing device includes an analysis section that can detect a specific frequency of a user's brain waves based on the first signal, and a control section that can control content based on the specific frequency.
  • An information processing program includes acquiring a first signal regarding a user's brain waves, detecting a specific frequency of the user's brain waves based on the first signal, and providing content based on the specific frequency. to control and to make a computer perform.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an information processing system according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for explaining a configuration example of an information processing system according to an embodiment of the present disclosure.
  • FIG. 3 is a flowchart illustrating an example of the operation of the information processing system according to the embodiment of the present disclosure.
  • FIG. 4 is a flowchart illustrating another example of the operation of the information processing system according to the embodiment of the present disclosure.
  • FIG. 5 is a diagram for explaining a configuration example of an information processing system according to modification example 1 of the present disclosure.
  • FIG. 6 is a diagram for explaining a configuration example of an information processing system according to Modification 2 of the present disclosure.
  • FIG. 7 is a diagram for explaining a configuration example of an information processing system according to modification example 3 of the present disclosure.
  • FIG. 8 is a diagram for explaining a configuration example of an information processing system according to modification example 4 of the present disclosure.
  • FIG. 1 is a diagram illustrating an example of the overall configuration of an information processing system according to an embodiment of the present disclosure.
  • the information processing system 1 includes an electronic device 100, an information processing device 200, and a server 300 (for example, a cloud server).
  • the electronic device 100 is a wearable device, and is an electronic device that is worn and used by a user.
  • the electronic device 100 is a wearable device such as headphones, earphones, and eyewear.
  • the electronic device 100 may be, for example, headphones or VR goggles.
  • the information processing device 200 is a terminal device (terminal) used by a user.
  • the information processing device 200 is, for example, an electronic device such as a smartphone, a tablet terminal, or a computer.
  • the information processing device 200 is connectable to a network and configured to be able to communicate with external devices (server 300, etc.).
  • the electronic device 100 and the information processing device 200 can transmit and receive information through wireless communication or wired communication.
  • the electronic device 100 can also be called an edge device.
  • the electronic device 100 has a sensor capable of acquiring brain waves, which will be described later.
  • the user's brain waves are acquired by the electronic device 100 and used to control content (video content, audio content, etc.) presented to the user.
  • the information processing system 1 can encourage a change in the user's emotions by providing stimulation (visual stimulation, auditory stimulation, etc.) to the user using content. By providing stimulation to the user using content, it is possible to bring about changes in emotions and control emotions.
  • the information processing device 200 and the electronic device 100 can also be collectively referred to as an information processing device. Further, the information processing device 200 and external devices connected via a network can also be collectively referred to as an information processing device.
  • FIG. 2 is a diagram for explaining a configuration example of an information processing system according to an embodiment.
  • the electronic device 100 includes an electroencephalogram side section 10 and a presentation section 20.
  • the electronic device 100 has a communication section (not shown) configured by a communication module or the like, and is configured to be able to communicate with external devices (such as the information processing device 200).
  • the electroencephalogram side part 10 has a sensor 11 and an AD converter 12, and is configured to measure brain waves.
  • the electroencephalograph side section 10 is configured to be able to generate a signal related to brain waves (hereinafter referred to as an electroencephalogram signal).
  • the electroencephalogram signal is an electroencephalogram or a signal containing an electroencephalogram, and may be an electroencephalogram converted into a digital signal, for example.
  • the electroencephalogram signal is an electrical signal that corresponds to the brain activity state of the user as a living body.
  • the electroencephalograph side section 10 can measure the user's brain waves and generate brain wave signals.
  • an electronic device 100 having an electroencephalograph side section 10 is worn by a user, and brain waves (electroencephalogram signals) are detected.
  • the sensor 11 and the AD converter 12 may be configured integrally.
  • the sensor 11 is installed in an electronic device 100 such as headphones, and is configured to be able to measure brain waves.
  • Sensor 11 is an electroencephalogram sensor and is configured to generate an electroencephalogram signal.
  • the electroencephalogram signal is, for example, a signal that indicates a potential (voltage) generated due to brain activity.
  • the sensor 11 acquires a brain wave signal of a living body and outputs the brain wave signal to the AD converter 12. In the information processing system 1, brain wave signals are acquired, and the state of the living body can be estimated.
  • the senor 11 has a plurality of electrodes (bioelectrodes) for detecting potential and an AFE (Analog Front End) section, and is configured to be able to measure biopotential.
  • the sensor 11 uses a plurality of bioelectrodes and an AFE unit to acquire an electroencephalogram signal, which is a signal based on the electric potential of the user's head.
  • the plurality of bioelectrodes of the sensor 11 are made of a conductive material and contact mutually different positions on the user's head.
  • the bioelectrode of the sensor 11 contacts the measurement site, and the potential of the contacted site is applied to the bioelectrode.
  • the biological electrode is connected to the AFE section and supplies the AFE section with a signal corresponding to the potential of the part of the living body that it is in contact with.
  • the AFE section is configured using an amplifier circuit that can amplify signals.
  • the AFE section can amplify the signal obtained by the bioelectrode and output it to the AD conversion section 12 as an electroencephalogram signal.
  • the AD converter 12 is configured to convert an input analog signal into a digital signal.
  • the AD converter 12 is an ADC (Analog to Digital Converter).
  • the AD conversion unit 12 performs AD conversion processing on the brain wave signal, which is an analog signal input from the sensor 11 .
  • the AD converter 12 converts, for example, an input brain wave signal into a digital signal with a predetermined number of bits.
  • the electronic device 100 can transmit the brain wave signal converted into a digital signal by the AD converter 12 to the information processing device 200 shown in FIG. 2 .
  • the presentation unit 20 of the electronic device 100 is configured to be able to present content to the user.
  • the presenting unit 20 can also be said to be a providing unit that can provide content.
  • the presentation unit 20 can present (provide) video content, music content, etc. to the user.
  • the presentation section 20 includes a display section 21 that can display images, a sound output section 22 that can output sounds, and a driver 23.
  • the driver 23 is a driving section and is configured to drive the display section 21 and the sound output section 22.
  • the driver 23 controls driving of the display section 21 based on image data. Further, the driver 23 controls driving of the sound output section 22 based on the audio data.
  • the driver 23 can also be said to be a control section configured to be able to control the display section 21 and the sound output section 22.
  • the display unit 21 is configured to display images based on image data.
  • the display section 21 is a liquid crystal display, an organic EL display, or the like. Note that the display section 21 may include a touch panel.
  • the sound output unit 22 is configured to output sound based on audio data.
  • the sound output section 22 is a speaker or the like, and can also be called a conversion section that converts audio data, which is an electrical signal, into sound (sound wave).
  • the sound output unit 22 can output music (BGM), sound effects, etc. based on the audio data.
  • the driver 23 can perform a process of displaying an image on the display unit 21 according to the image data of the video content. For example, the driver 23 controls the display unit 21 according to image data transmitted from the information processing device 200, and causes the display unit 21 to display an image corresponding to the image data. Further, the driver 23 can perform a process of causing the sound output section 22 to output a sound according to the audio data (audio signal) of the audio content. For example, the driver 23 controls the sound output unit 22 according to audio data transmitted from the information processing device 200, and causes the sound output unit 22 to output a sound corresponding to the audio data.
  • the presentation unit 20 receives image data to be displayed and audio data to be played back from the information processing device 200 or the like.
  • the presentation unit 20 displays an image corresponding to the image data.
  • the presentation unit 20 generates a sound corresponding to the audio data.
  • the user can view the video content and audio content presented by the presentation unit 20.
  • part or all of the driver 23, the display section 21, and the sound output section 22 may be integrally configured.
  • the information processing device 200 has a processor and memory (ROM, RAM, etc.), and is configured to perform various information processing.
  • the information processing device 200 reads and executes an internally incorporated program to perform information processing (signal processing).
  • the information processing device 200 is also a control unit, and can control the electronic device 100 by communicating with the electronic device 100 to send and receive information based on a program.
  • the information processing device 200 includes an acquisition section 30, a storage section 40, an operation section 50, an analysis section 60, and a control section 70.
  • the information processing device 200 has a communication unit (not shown) configured by a communication module or the like, and is configured to be able to communicate with external devices (electronic device 100, server 300, etc.).
  • the acquisition unit 30 is configured to acquire brain wave signals related to brain waves.
  • the acquisition unit 30 acquires an electroencephalogram signal from the electronic device 100 through communication with the electronic device 100.
  • the electroencephalogram signal is generated regularly or irregularly by the electronic device 100 having the sensor 11 and output to the acquisition unit 30.
  • the acquisition unit 30 can also be said to be an input unit into which an electroencephalogram signal is input.
  • the storage unit 40 includes a nonvolatile memory, and stores (records) programs and data.
  • the storage unit 40 stores various information such as programs and data used to control each unit of the information processing device 200, programs and data for various applications, and the like.
  • the storage unit 40 is a recording medium such as a semiconductor memory or a hard disk.
  • the operation unit 50 includes, for example, a touch panel, a keyboard, etc., and is configured to be able to accept operations on the information processing device 200.
  • the operation unit 50 is configured to output a signal based on the operation (operation signal) according to the operation by the user.
  • the operation unit 50 can output operation signals regarding various functions that the information processing device 200 has. Further, the user can perform various controls on the information processing apparatus 200 and the electronic device 100 by using, for example, an application on the information processing apparatus 200 as a user interface.
  • the analysis unit 60 is configured to be able to analyze brain waves (brain wave signals).
  • the analysis unit 60 performs various types of signal processing on the electroencephalogram signal acquired by the acquisition unit 30, such as noise reduction processing, frequency analysis processing, and phase analysis processing.
  • the analysis unit 60 can also be said to be a signal processing unit configured to be able to perform signal processing.
  • the analysis unit 60 includes a noise removal unit 61 and is configured to be able to perform processes such as removing signal components in unnecessary bands of the brain wave signal and noise removal.
  • the analysis unit 60 can perform filter processing such as band-pass filter processing and notch filter processing, and noise removal processing such as processing to remove noise caused by body movement or blinks.
  • the analysis unit 60 performs filter processing, noise removal processing, etc. on the brain wave signal to remove (reduce) unnecessary signal components mixed in the brain wave signal.
  • the analysis unit 60 is configured to be able to perform frequency analysis processing on the electroencephalogram signal.
  • the analysis section 60 performs frequency analysis processing on the brain wave signal after noise removal by the noise removal section 61 .
  • the analysis unit 60 calculates the signal strength for each frequency and calculates the power spectrum (distribution) by, for example, performing FFT (Fast Fourier Transform) on the brain wave signal.
  • FFT Fast Fourier Transform
  • Brain waves are classified by frequency band, for example, ⁇ waves: 8 to 13 Hz, ⁇ waves: 13 to 30 Hz, and ⁇ waves: 4 to 8 Hz.
  • the brain wave signal includes an ⁇ wave component, a ⁇ wave component, a ⁇ wave component, and the like.
  • the analysis unit 60 performs signal processing on the brain wave signal to obtain a power spectrum representing the signal level at each frequency of the user's brain waves. In the power spectrum, the signal strength (power) of each frequency range has a value depending on the state of brain activity.
  • the analysis unit 60 is configured to detect a specific frequency of brain waves based on the brain wave signal. For example, the analysis unit 60 performs a process of detecting a specific frequency fp of brain waves using the calculated power spectrum. It can also be said that the analysis unit 60 analyzes the power spectrum and extracts the specific frequency fp.
  • the specific frequency fp is, for example, a frequency in the alpha wave band.
  • the analysis unit 60 detects a specific frequency fp based on a peak value (maximum value) between 8 Hz and 13 Hz in the power spectrum of the electroencephalogram signal.
  • the analysis unit 60 detects, for example, a frequency (peak frequency) indicating a peak value of signal strength between 8 and 13 Hz in the power spectrum as the specific frequency fp.
  • the analysis section 60 can generate a signal indicating the specific frequency fp as an analysis result, and output it to the control section 70.
  • the specific frequency fp is a frequency in the user's individual ⁇ band, and can also be called a peak power frequency.
  • the analysis unit 60 identifies, for example, the peak frequency for each individual in the alpha wave band (8 to 13 Hz) as the specific frequency fp, and outputs a signal indicating the specific frequency fp to the control unit 70.
  • the control unit 70 is configured to be able to control content based on a specific frequency of brain waves.
  • the control unit 70 is capable of controlling content to provide stimulation to the user.
  • the control unit 70 controls the content (video content, audio content, etc.) presented to the user based on the specific frequency fp of the user's brain waves detected by the analysis unit 60, and provides stimulation to the user. Can be controlled.
  • content provided to the user is modulated (modulation of amplitude, frequency, phase, etc.) using a specific frequency fp of the user's brain waves.
  • the control unit 70 can transmit content data modulated by the specific frequency fp to the electronic device 100, and cause the presentation unit 20 to present the modulated content.
  • the modulation frequency of the content is set to match the peak frequency of the brain waves of each user, and stimulation is provided to the user using the content. becomes possible.
  • control unit 70 is configured to control content using different frequencies depending on the purpose.
  • the control unit 70 controls the content using the brain wave frequency indicated by the above-described specific frequency fp or the brain wave frequency estimated based on the specific frequency fp as a modulation frequency.
  • the control unit 70 transmits content data modulated by the ⁇ -wave frequency indicated by the specific frequency fp to the electronic device 100, and causes the presentation unit 20 to present the modulated content.
  • the control unit 70 may transmit the image data of the video content modulated by the frequency of ⁇ waves indicated by the specific frequency fp to the electronic device 100, and display the modulated video content on the display unit 21.
  • the control unit 70 may transmit audio data of audio content modulated by the frequency of ⁇ waves indicated by the specific frequency fp to the electronic device 100, and cause the sound output unit 22 to reproduce the modulated audio content.
  • content modulated by the user's personal alpha wave frequency indicated by the specific frequency fp is presented to the user, and can provide stimulation to the user.
  • the content By controlling the content using the peak frequency of the ⁇ -wave band indicated by the specific frequency fp, it is possible to effectively give the user a stimulus that increases the signal strength of the ⁇ -wave. It becomes possible to present content to the user that promotes an increase in alpha waves in the user's brain, thereby inducing the user into a relaxed state.
  • the control unit 70 estimates the frequency of ⁇ waves using the frequency of ⁇ waves indicated by the specific frequency fp, and transmits content data modulated by the estimated frequency of ⁇ waves to the electronic device 100. Send to.
  • the control unit 70 may calculate a frequency twice the peak frequency of the ⁇ wave as the frequency of the ⁇ wave, and output content modulated by the frequency of the ⁇ wave to the electronic device 100.
  • the control unit 70 may transmit image data of video content modulated by the frequency of the ⁇ wave to the electronic device 100, and display the modulated video content on the display unit 21. Further, the control unit 70 may transmit audio data of audio content modulated by the frequency of the ⁇ wave to the electronic device 100, and cause the sound output unit 22 to reproduce the modulated audio content.
  • content modulated by the frequency of ⁇ waves is presented to the user, and can provide stimulation to the user.
  • the content By controlling the content using the estimated frequency of the ⁇ wave band, it is possible to effectively give the user a stimulus that increases the signal strength of the ⁇ wave. It becomes possible to present content to the user that promotes an increase in ⁇ waves in the user's brain, thereby inducing the user into a state of concentration.
  • the control unit 70 estimates the frequency of the theta wave using the frequency of the alpha wave indicated by the specific frequency fp, and transmits content data modulated by the estimated frequency of the theta wave. It is transmitted to the electronic device 100.
  • the control unit 70 may calculate a frequency that is one half of the peak frequency of the ⁇ wave as the frequency of the ⁇ wave, and output content modulated by the frequency of the ⁇ wave to the electronic device 100.
  • the control unit 70 may transmit image data of video content modulated by the frequency of the ⁇ wave to the electronic device 100, and display the modulated video content on the display unit 21. Further, the control unit 70 may transmit audio data of audio content modulated by the frequency of the ⁇ wave to the electronic device 100, and cause the sound output unit 22 to reproduce the modulated audio content.
  • content modulated by the frequency of the ⁇ waves is presented to the user, and can provide stimulation to the user.
  • the content By controlling the content using the estimated peak frequency of the theta wave band, it is possible to effectively give the user a stimulus that increases the signal strength of the theta wave. It becomes possible to present content that promotes an increase in ⁇ waves in the user's brain to induce the user into a sleep state.
  • the information processing system 1 can provide appropriate stimulation to the user by detecting the specific frequency of the user's brain waves and controlling the content.
  • the information processing system 1 it is possible to provide stimulation using content in consideration of the peak frequency of the brain waves of each user, and it is possible to effectively induce the user to a desired state.
  • the information processing system 1 can control content using different frequencies depending on the purpose, such as a relaxed state, a concentrated state, or a sleeping state.
  • a relaxed state such as a relaxed state, a concentrated state, or a sleeping state.
  • By providing stimulation to the user using content it is possible to achieve a state in which the user can easily relax, a state in which the user can easily concentrate, a state in which the user can easily sleep, and the like. It is possible to change the user's emotions and effectively encourage the user to relax, concentrate, etc.
  • content such as video and music is used to provide stimulation to the user. Therefore, compared to the case where stimulation is provided by applying an electric current, the user's brain can be stimulated safely, and the state can be controlled to the state desired by the user.
  • By measuring the user's brain waves it is possible to present content tailored to the individual's characteristics, making it possible to provide more effective stimulation.
  • the control unit 70 estimates frequencies other than ⁇ waves ( ⁇ waves, ⁇ waves, etc.) using the peak frequency of ⁇ waves indicated by the specific frequency fp, and estimates frequencies other than the estimated ⁇ waves. It is possible to output the content data modulated by the electronic device 100 to the electronic device 100. It is possible to present content that is modulated by the frequency of alpha waves that can be detected with high accuracy, the frequency of beta waves or theta waves that are estimated using the alpha frequency, and it is possible to effectively bring the user into a desired state. It becomes possible to encourage
  • the control section 70 includes a content generation section 71 and a determination section 72.
  • the content generation unit 71 is configured to be able to generate content (video content, audio content, etc.) used for providing stimuli such as visual stimulation and auditory stimulation.
  • the content generation unit 71 is configured to generate content data to be presented to the user based on the specific frequency fp of the user's brain waves detected by the analysis unit 60.
  • the content generation unit 71 generates content modulated based on a specific frequency fp as stimulation content.
  • the content generation unit 71 modulates the frequency of brain waves indicated by the specific frequency fp (for example, the frequency of ⁇ waves) or the frequency of brain waves estimated based on the specific frequency fp (for example, the frequency of ⁇ waves, the frequency of ⁇ waves, etc.) frequency to generate content modulated by the modulation frequency.
  • the content generation unit 71 can generate content data modulated with different modulation frequencies depending on the purpose, such as a relaxed state or a concentrated state.
  • the content generation unit 71 generates image data of video content including video modulated by the modulation frequency, audio data of audio content including audio modulated by the modulation frequency, and the like.
  • the control unit 70 transmits content data generated by the content generation unit 71 to the electronic device 100.
  • the content generation unit 71 may newly generate content that includes a stimulus (visual stimulus, auditory stimulus, etc.), or may generate content that includes a stimulus by processing existing content. .
  • the content modulated by the content generation unit 71 is presented to the user via the presentation unit 20, and can provide stimulation to the user.
  • By providing stimulation to the user using content it is possible to cause a change in the user's emotions and encourage the user to be in a relaxed state, a state of concentration, etc.
  • the content generation unit 71 may newly generate content that includes the stimulus as described above, or the stimulus may be created by processing existing content. You may generate content that includes. Further, the information processing system 1 may select content suitable for the user from a library of content including stimuli and present the selected content to the user.
  • the information processing system 1 stores in advance a plurality of contents having different modulation frequencies in the storage unit 40 or the server 300 of the information processing device 200, and selects a modulation frequency close to the peak frequency of the user's brain waves among the plurality of contents.
  • the content modulated by the above may be presented to the user.
  • the control unit 70 of the information processing device 200 may provide the electronic device 100 with content selected from a plurality of contents stored in the storage unit 40. Further, the control unit 70 may provide content to the electronic device 100 through data communication (downloading, streaming, etc.) with the server 300.
  • the information processing system 1 may control the stimulation of the content by controlling the hardware of the presentation unit 20 to provide stimulation to the user.
  • the control unit 70 may control the brightness of the video output by the display unit 21 of the presentation unit 20 based on the specific frequency fp, or control the brightness of the video output by the sound output unit 22 (for example, 4Hz to 20000Hz). Sound may also be controlled.
  • the audible band may be in the range of 20 Hz to 20,000 Hz.
  • control unit 70 supplies a signal to the presentation unit 20 to control the display unit 21 of the presentation unit 20 based on the specific frequency fp, and modulates the brightness of the display unit 21 using the specific frequency fp.
  • the content may be presented to the user.
  • control unit 70 supplies the presentation unit 20 with a signal that controls the sound output unit 22 of the presentation unit 20 based on the specific frequency fp, and modulates the sound in the audible band using the specific frequency fp.
  • the content may be presented to the user. It is possible to provide stimulation to the user by using content whose brightness, volume, etc. change over time.
  • the determination unit 72 of the control unit 70 is configured to be able to determine whether or not to control content based on the specific frequency fp.
  • the determination unit 72 can determine whether or not to control the content, for example, based on an electroencephalogram signal measured after presentation of the content including stimulation.
  • the determination unit 72 checks the effect of stimulation based on the amount of change in signal strength (power) at a specific frequency fp obtained by processing the electroencephalogram signal, and determines whether or not to control the content again. to decide.
  • the determination unit 72 compares the signal strength at the specific frequency fp before and after content presentation to determine the amount of change in signal strength caused by stimulation, and determines whether or not to control the content again.
  • the sensor 11 measures brain waves and generates a brain wave signal.
  • the sensor 11 may acquire an electroencephalogram signal.
  • the sensor 11 may acquire an electroencephalogram signal.
  • the sensor 11 may acquire an electroencephalogram signal.
  • the analysis unit 60 uses the electroencephalogram signal obtained by the sensor 11 to calculate the signal strength at each specific frequency fp before and after content presentation.
  • the determination unit 72 compares the signal strength at the specific frequency fp before and after content presentation obtained by the analysis unit 60, and confirms whether the amount of increase in the signal strength at the specific frequency fp is equal to or greater than a predetermined threshold.
  • the determination unit 72 determines (determines) that content including stimulation should be presented again when the amount of increase in signal strength at the specific frequency fp is less than a predetermined threshold. For example, if the amount of increase in the alpha wave component indicated by the specific frequency fp is smaller than the threshold value and it is estimated that the effect of stimulation was insufficient, the determination unit 72 determines to present the content again.
  • the control unit 70 causes the presentation unit 20 to present the content modulated by the frequency of ⁇ waves indicated by the specific frequency fp in accordance with the determination result by the determination unit 72, and provides stimulation to the user again.
  • stimulation can be applied again according to the electroencephalogram signal measured after content is presented, and it is possible to effectively urge the user to a desired state.
  • the determination unit 72 checks the effect of stimulation based on the amount of change in signal strength at the brain wave frequency (for example, ⁇ wave, ⁇ wave frequency, etc.) estimated with the specific frequency fp as a reference, and determines the content. It may be determined whether or not to perform the control again.
  • the information processing system 1 may estimate the user's emotion based on the electroencephalogram signal measured after the content is presented, and determine whether to control the content again according to the estimation result.
  • the analysis unit 60 estimates the user's degree of relaxation, concentration, etc. using information such as alpha wave and beta wave components included in the brain wave signal. For example, if the analysis unit 60 estimates that the degree of relaxation is low after presenting content that encourages an increase in alpha wave components, the determining unit 72 determines to re-present content that encourages an increase in alpha wave components. do.
  • the determination unit 72 re-presents the content that encourages an increase in the ⁇ wave component. It is determined that The control unit 70 can control the content based on the specific frequency fp according to the determination result by the determination unit 72, and provide stimulation using the content.
  • the information processing system 1 may include sensors other than the brain wave sensor, and estimates the user's emotion using signals related to the living body obtained by the other sensors, and adjusts the content according to the estimation result. It may be determined whether or not to perform the control again.
  • Other sensors include, for example, a sweat sensor, a blood flow sensor, a myoelectric sensor, a temperature sensor, and the like.
  • the analysis unit 60 estimates emotions based on biological signals indicating brain waves, sweat volume, blood volume, myoelectric potential, skin temperature, etc., and the determination unit 72 determines whether to re-present content including stimulation based on the estimation results. Determine whether The control unit 70 can provide stimulation using content according to the determination result by the determination unit 72.
  • the information processing system 1 may detect the phase of the brain wave based on the brain wave signal, and control the content based on the specific frequency and phase of the brain wave.
  • the analysis unit 60 is configured to be able to detect a specific frequency and phase of the brain wave based on the brain wave signal.
  • the control unit 70 is configured to modulate the content based on the specific frequency and phase of the user's brain waves.
  • the control unit 70 can present modulated content to the user in accordance with the phase of the user's brain waves.
  • control unit 70 supplies a signal to the presentation unit 20 to control the presentation unit 20 based on the detected phase of the user's brain waves, and controls the timing of presenting the content.
  • content including stimulation is presented in synchronization with the user's brain waves. Stimulation can be provided using content in consideration of the phase of the user's brain waves, and it is possible to prevent the frequency components of the user's brain waves and the modulation frequency components of the content from canceling each other out. It is possible to effectively give the user a stimulus that increases the signal strength of alpha waves, etc., and it is possible to effectively urge the user to a desired state.
  • FIG. 3 is a flowchart illustrating an example of the operation of the information processing system according to the embodiment. An example of the operation of the information processing system 1 will be described with reference to the flowchart of FIG. 3. For example, after the application of the information processing device 200 is started, the flowchart of FIG. 3 is started.
  • step S11 the presentation unit 20 of the electronic device 100 displays a black image on the display unit 21 for a certain period of time (for example, about 30 seconds to 1 minute).
  • An electroencephalogram side part 10 having a sensor 11 incorporated in an electronic device 100 (for example, a VR device) measures brain waves using an electrode that contacts the frontal region and an electrode that contacts the occipital region while a black image is displayed. and generate an electroencephalogram signal.
  • the electroencephalogram side unit 10 performs AD conversion processing on the electroencephalogram signal and outputs the electroencephalogram signal converted into a digital signal to the information processing device 200 .
  • step S12 the analysis unit 60 of the information processing device 200 performs signal processing on the measured brain wave signal, such as band-pass filter processing at 1 Hz to 40 Hz and notch filter processing for commercial power supply noise at 50/60 Hz. Furthermore, the analysis unit 60 performs fast Fourier transform processing on the electroencephalogram signal to obtain signal strength for each frequency and calculate a power spectrum.
  • step S13 the analysis unit 60 detects a peak frequency in the range of 8 Hz to 13 Hz in the power spectrum as a specific frequency fp.
  • the analysis unit 60 outputs a signal indicating the identified specific frequency fp to the control unit 70.
  • step S14 the content generation unit 71 of the control unit 70 generates video content (for example, CG pattern content) that is modulated based on the specific frequency fp that is the frequency of the user's individual ⁇ band.
  • the analysis unit 60 also performs phase analysis processing to detect the phase of the modulation frequency component of the brain waves.
  • the content generation unit 71 When the content generation unit 71 wants to promote relaxation, the content generation unit 71 generates video content modulated by a specific frequency fp that is a frequency of the user's personal ⁇ band. Moreover, when the content generation unit 71 wants to increase concentration, it generates video content modulated with a frequency twice the specific frequency fp.
  • step S15 the control unit 70 causes the presentation unit 20 to present video content modulated in accordance with the phase of the brain waves detected by the analysis unit 60.
  • the display unit 21 of the presentation unit 20 presents modulated video content, such as a CG pattern, for a certain period of time (for example, 5 minutes).
  • the presentation section 20 may present the CG pattern on the display section 21 and also present modulated music content on the sound output section 22.
  • step S16 the control unit 70 causes the display unit 21 to present a black screen after presenting the content, and causes the electroencephalograph side unit 10 to measure brain waves.
  • the control unit 70 uses the determination unit 72 to compare the signal strength at the specific frequency fp before and after content presentation.
  • step S17 the control unit 70 determines whether the increase in signal strength at the specific frequency fp is greater than or equal to a predetermined threshold. If the determination result in step S17 is negative (“No” in step S17), the process returns to step S15. In step S15 returning from step S17, the control unit 70 again performs the process of presenting the modulated content.
  • step S17 If the determination result in step S17 is affirmative (“Yes” in step S17), that is, if the increase in signal strength at the specific frequency fp is greater than or equal to the predetermined threshold, the information processing system performs the process shown in the flowchart of FIG. end.
  • FIG. 4 is a flowchart showing another example of the operation of the information processing system according to the embodiment. An example of the operation of the information processing system 1 will be described with reference to the flowchart in FIG. 4. For example, after the application of the information processing device 200 is started, the flowchart of FIG. 4 is started.
  • step S21 the information processing device 200 sets various control conditions by the user's input operation on the operation unit 50 or by selection by the information processing device 200. Purposes such as a relaxed state, a concentrated state, and a sleeping state are set in the information processing device 200.
  • step S22 the presentation unit 20 of the electronic device 100 causes the sound output unit 22 to reproduce a 440 Hz tone for a certain period of time.
  • the electroencephalogram side part 10 having a sensor 11 incorporated in an electronic device 100 (for example, an earphone) measures brain waves using a conductive ear piece that contacts the ear as an electrode while a tone is being played. Generate brainwave signals.
  • the electroencephalogram side unit 10 performs AD conversion processing on the electroencephalogram signal and outputs the electroencephalogram signal converted into a digital signal to the information processing device 200 .
  • step S23 the analysis unit 60 of the information processing device 200 performs signal processing on the measured electroencephalogram signal, such as bandpass filter processing at 1 Hz to 40 Hz and notch filter processing for commercial power supply noise at 50/60 Hz. Furthermore, the analysis unit 60 performs fast Fourier transform processing on the electroencephalogram signal to obtain signal strength for each frequency and calculate a power spectrum.
  • step S24 the analysis unit 60 detects a peak frequency in the range of 8 Hz to 13 Hz in the power spectrum as a specific frequency fp.
  • the analysis unit 60 outputs a signal indicating the detected specific frequency fp to the control unit 70.
  • step S25 the content generation unit 71 of the control unit 70 generates audio content (for example, music content) modulated based on the specific frequency fp that is the frequency of the user's personal ⁇ band.
  • audio content for example, music content
  • the content generation unit 71 may modulate existing music content, or may automatically generate modulated audio content using AI.
  • the content generation unit 71 generates modulated music content according to the purpose set by operating the operation unit 50 or the like. For example, if the content generation unit 71 wants to improve concentration, it generates music content that is modulated (for example, amplitude modulated) with a frequency of a specific frequency fp ⁇ 2 corresponding to the ⁇ wave band. Furthermore, when falling asleep, the content generation unit 71 generates music content modulated by a specific frequency fp/2 corresponding to the ⁇ wave band.
  • step S26 the control unit 70 causes the presentation unit 20 to present the modulated music content.
  • the presentation unit 20 presents music content using the sound output unit 22 for a certain period of time, for example.
  • the presentation unit 20 may present the modulated music content using the sound output unit 22 and also present the modulated video content using the display unit 21.
  • step S27 the control unit 70 causes the sound output unit 22 to reproduce a single tone of 440 Hz after presenting the content, and causes the electroencephalograph side unit 10 to measure brain waves.
  • the analysis unit 60 estimates the user's emotion based on the electroencephalogram signal and confirms the user's state.
  • step S28 the control unit 70 determines whether or not to present the content again based on the estimation result by the analysis unit 60. If the determination result in step S28 is negative (“No” in step S28), that is, if it is estimated that the desired change in the user's emotion has not occurred, the process returns to step S26. In step S26 returning from step S28, the control unit 70 again performs the process of presenting the modulated content.
  • step S28 If the determination result in step S28 is affirmative (“Yes” in step S28), that is, if it is estimated that a desired change has occurred in the user's emotion, the information processing system executes the process shown in the flowchart of FIG. finish.
  • the information processing device (information processing device 200) includes an acquisition unit (acquisition unit 30) capable of acquiring a first signal (brain wave signal) related to the user's brain waves, and an acquisition unit (acquisition unit 30) that can acquire the first signal (brain wave signal) related to the user's brain waves, and It includes an analysis unit (analysis unit 60) that can detect a specific frequency, and a control unit (control unit 70) that can control content based on the specific frequency.
  • Information processing device 200 detects a specific frequency of brain waves based on an electroencephalogram signal, and controls content based on the specific frequency. By controlling the content by detecting the specific frequency of the user's brain waves, it is possible to provide appropriate stimulation to the user, and it is possible to effectively induce the user to enter a desired state. It becomes possible to realize an information processing device that can perform suitable stimulation.
  • FIG. 5 is a diagram for explaining a configuration example of an information processing system according to modification example 1 of the present disclosure.
  • the server 300 is configured to include a content storage section 81.
  • the content storage unit 81 stores a plurality of types of content including stimulation, for example, a plurality of content with different modulation frequencies.
  • the information processing system 1 may select content suitable for the user from a library of content including stimuli in the content storage unit 81 and present the selected content to the user.
  • the control unit 70 of the information processing device 200 receives content from the content storage unit 81 via a communication unit (not shown) through data communication (downloading, streaming, etc.) with the server 300, and provides the content to the electronic device 100. You may also do so. In this case, the control unit 70 may receive content including stimulation from the server 300 and transmit it to the electronic device 100. Further, the control unit 70 may generate content including stimulation by processing the content received from the server 300 and transmit the content to the electronic device 100.
  • FIG. 6 is a diagram for explaining a configuration example of an information processing system according to Modification 2 of the present disclosure.
  • the analysis section 60 and the control section 70 are provided in the information processing device 200, but a part or all of the analysis section 60 and the control section 70 may be provided in the server 300.
  • the information processing device 200 may also be a relay unit, and may transmit content generated in an external device (for example, the server 300) to the electronic device 100 based on the specific frequency fp of the user's brain waves.
  • FIG. 7 is a diagram for explaining a configuration example of an information processing system according to modification example 3 of the present disclosure.
  • the analysis unit 60, control unit 70, etc. of the information processing device 200 may be provided within the electronic device 100.
  • the electronic device 100 includes, in addition to the electroencephalogram side section 10 and the presentation section 20, an acquisition section 30, a storage section 40, an operation section 50, an analysis section 60, a control section 70, etc. It may have.
  • FIG. 8 is a diagram for explaining a configuration example of an information processing system according to modification example 4 of the present disclosure.
  • the control unit 70 may be provided separately for the information processing device 200 and the server 300.
  • the analysis unit 60 may be provided separately for the information processing device 200 and the server 300.
  • the analysis unit 60 may detect a frequency (peak frequency) indicating a peak value of signal strength between 13 and 30 Hz in the power spectrum as the specific frequency fp. Furthermore, the analysis unit 60 may detect a peak frequency indicating a peak value of signal strength between 4 and 8 Hz in the power spectrum as the specific frequency fp.
  • the control unit 70 controls the content by using the frequency of the brain waves indicated by the specific frequency fp (for example, the peak frequency of ⁇ waves, the peak frequency of the ⁇ waves) or the frequency of the brain waves estimated based on the specific frequency fp as a modulation frequency. can be done.
  • the program can be recorded in advance on a recording medium.
  • a network such as a LAN (Local Area Network) or the Internet and install it on a recording medium such as a built-in hard disk.
  • the present disclosure has been described above with reference to the embodiments and modifications, the present technology is not limited to the above embodiments, etc., and various modifications are possible.
  • the above-mentioned modifications have been described as modifications of the above embodiment, the configurations of each modification can be combined as appropriate.
  • the human body is illustrated as a living body, the present disclosure may also be applied to living bodies other than the human body, for example, animals such as pets and livestock.
  • An information processing device includes: an acquisition unit capable of acquiring a first signal related to a user's brain waves; an analysis unit capable of detecting a specific frequency of the user's brain waves based on the first signal; and a control unit that can control the content based on the content. Therefore, appropriate stimulation can be provided to the user. It becomes possible to realize an information processing device that can perform suitable stimulation.
  • the present disclosure can also have the following configuration.
  • an acquisition unit capable of acquiring a first signal related to the user's brain waves; an analysis unit capable of detecting a specific frequency of the user's brain waves based on the first signal;
  • An information processing device comprising: a control unit capable of controlling content based on the specific frequency.
  • the information processing device according to (1) or (2), wherein the control unit can control the content using different frequencies depending on the purpose.
  • the content is video content, The information processing device according to any one of (1) to (3), wherein the control unit is capable of controlling the brightness of the video based on the specific frequency.
  • the content is audio content, The information processing device according to any one of (1) to (3), wherein the control unit is capable of controlling amplitude modulation in an audible band based on the specific frequency.
  • the analysis unit is capable of detecting the specific frequency based on a peak value between 8 Hz and 13 Hz in the power spectrum of the first signal. information processing equipment.
  • the analysis unit is capable of detecting the phase of the user's brain waves based on the first signal, The information processing device according to any one of (1) to (7), wherein the control unit can modulate the content based on a specific frequency and phase of the user's brain waves.
  • the analysis unit is capable of analyzing the first signal acquired by the acquisition unit when the content is presented, The information processing device according to any one of (1) to (8), wherein the control unit is capable of controlling content based on the specific frequency according to an analysis result by the analysis unit.
  • the information processing device (10) wherein the control unit is capable of controlling content based on the specific frequency according to the estimation result by the analysis unit. (12) a sensor capable of generating the first signal; The information processing device according to any one of (1) to (11), wherein the acquisition unit is capable of acquiring the first signal from the sensor. (13) an electronic device having a sensor capable of generating a first signal related to a user's brain waves; An information processing system comprising: an analysis unit capable of detecting a specific frequency of the user's brain waves based on the first signal; and a control unit capable of controlling content based on the specific frequency. (14) The information processing system according to (13), wherein the electronic device is a wearable device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本開示の一実施形態の情報処理装置は、ユーザの脳波に関する第１信号を取得可能な取得部と、前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出可能な解析部と、前記特定周波数に基づいてコンテンツを制御可能な制御部とを備える。

Description

情報処理装置、情報処理システム、および情報処理プログラム
　本開示は、情報処理装置、情報処理システム、および情報処理プログラムに関する。
　被検者の脳波信号を用いて被検者の状態を判定し、判定結果に応じて被検者の頭部表面に電流を印加することで刺激を付与する装置が提案されている（特許文献１）。
特開２０１８－６８５１１号公報
　刺激付与を行う装置では、ユーザに対して適切な刺激付与が可能であることが望ましい。
　好適な刺激付与を可能にする情報処理装置を提供することが望まれる。
　本開示の一実施形態に係る情報処理装置は、ユーザの脳波に関する第１信号を取得可能な取得部と、第１信号に基づいてユーザの脳波の特定周波数を検出可能な解析部と、特定周波数に基づいてコンテンツを制御可能な制御部とを備える。
　本開示の一実施形態に係る情報処理システムは、電子機器と、情報処理装置とを備える。電子機器は、ユーザの脳波に関する第１信号を生成可能なセンサを有する。情報処理装置は、第１信号に基づいてユーザの脳波の特定周波数を検出可能な解析部と、特定周波数に基づいてコンテンツを制御可能な制御部とを有する。
　本開示の一実施形態に係る情報処理プログラムは、ユーザの脳波に関する第１信号を取得することと、第１信号に基づいてユーザの脳波の特定周波数を検出することと、特定周波数に基づいてコンテンツを制御することと、をコンピュータに実行させる。
図１は、本開示の実施の形態に係る情報処理システムの全体構成の一例を示す図である。 図２は、本開示の実施の形態に係る情報処理システムの構成例を説明するための図である。 図３は、本開示の実施の形態に係る情報処理システムの動作例を示すフローチャートである。 図４は、本開示の実施の形態に係る情報処理システムの別の動作例を示すフローチャートである。 図５は、本開示の変形例１に係る情報処理システムの構成例を説明するための図である。 図６は、本開示の変形例２に係る情報処理システムの構成例を説明するための図である。 図７は、本開示の変形例３に係る情報処理システムの構成例を説明するための図である。 図８は、本開示の変形例４に係る情報処理システムの構成例を説明するための図である。
　以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　　２－１．変形例１
　　２－２．変形例２
　　２－３．変形例３
　　２－４．変形例４
　　２－５．変形例５
　　２－６．変形例６
＜１．実施の形態＞
　図１は、本開示の実施の形態に係る情報処理システムの全体構成の一例を示す図である。情報処理システム１は、電子機器１００と、情報処理装置２００と、サーバ３００（例えばクラウドサーバ）とを含む。電子機器１００は、ウェアラブル機器であり、ユーザに装着して使用される電子機器である。電子機器１００は、ヘッドフォン、イヤフォン、アイウェアなどのウェアラブルデバイスである。電子機器１００は、例えば、ヘッドフォンであってもよいし、ＶＲゴーグルであってもよい。
　情報処理装置２００は、ユーザにより利用される端末装置（端末）である。情報処理装置２００は、例えば、スマートフォン、タブレット端末、コンピュータ等の電子機器である。情報処理装置２００は、ネットワークに接続可能であり、外部の機器（サーバ３００等）と通信可能に構成される。電子機器１００と情報処理装置２００は、無線通信又は有線通信によって情報を送受信し得る。電子機器１００は、エッジデバイス（エッジ装置）ともいえる。電子機器１００は、後述するが、脳波を取得可能なセンサを有する。
　情報処理システム１では、電子機器１００によってユーザの脳波が取得され、ユーザに提示するコンテンツ（映像コンテンツ、音声コンテンツ等）の制御に用いられる。情報処理システム１は、コンテンツを利用してユーザに対する刺激（視覚刺激、聴覚刺激等）の付与を行うことで、ユーザの情動の変化を促し得る。コンテンツを用いたユーザへの刺激付与によって情動の変化をもたらし、情動の制御を行うことが可能となる。
　なお、情報処理装置２００と電子機器１００とを併せて、情報処理装置ということもできる。また、ネットワークを介して接続された情報処理装置２００と外部機器を併せて、情報処理装置ということもできる。
　図２は、実施の形態に係る情報処理システムの構成例を説明するための図である。図２に示す例では、電子機器１００は、脳波計側部１０及び提示部２０を含んで構成される。なお、電子機器１００は、通信モジュール等により構成される通信部（不図示）を有し、外部の機器（情報処理装置２００等）と通信可能に構成される。
　脳波計側部１０は、図２に示すように、センサ１１及びＡＤ変換部１２を有し、脳波を計測するように構成される。脳波計側部１０は、脳波に関する信号（以下、脳波信号と称する）を生成可能に構成される。脳波信号は、脳波または脳波を含む信号であり、例えばデジタル信号に変換された脳波であってもよい。脳波信号は、生体としてのユーザの脳の活動状態に応じた電気信号である。
　脳波計側部１０は、ユーザの脳波の計測を行い、脳波信号を生成し得る。情報処理システム１では、脳波計側部１０を有する電子機器１００がユーザに装着され、脳波（脳波信号）の検出が行われる。なお、センサ１１及びＡＤ変換部１２は、一体的に構成されていてもよい。
　センサ１１は、ヘッドフォン等である電子機器１００に搭載され、脳波を計測可能に構成される。センサ１１は、脳波センサであり、脳波信号を生成するように構成される。脳波信号は、例えば、脳の活動に伴い生じる電位（電圧）を示す信号である。センサ１１は、生体の脳波信号を取得し、脳波信号をＡＤ変換部１２に出力する。情報処理システム１では、脳波信号が取得され、生体の状態を推定することが可能となる。
　センサ１１は、一例として、電位を検出するための複数の電極（生体電極）とＡＦＥ(Analog Front End)部を有し、生体電位を測定可能に構成される。センサ１１は、複数の生体電極及びＡＦＥ部によって、ユーザの頭部の電位に基づく信号である脳波信号を取得する。
　例えば、センサ１１の複数の生体電極は、導電性材料により構成され、ユーザの頭部における互いに異なる位置に接触する。センサ１１の生体電極が計測部位に接触し、生体電極には接触した部位の電位が与えられる。生体電極は、ＡＦＥ部に接続され、接触している生体の部位の電位に応じた信号をＡＦＥ部に供給する。ＡＦＥ部は、信号を増幅可能なアンプ回路を用いて構成される。ＡＦＥ部は、生体電極により得られる信号を増幅し、脳波信号としてＡＤ変換部１２に出力し得る。
　ＡＤ変換部１２は、入力されるアナログ信号をデジタル信号に変換するように構成される。ＡＤ変換部１２は、ＡＤＣ（Analog to Digital Converter）である。ＡＤ変換部１２は、センサ１１から入力されるアナログ信号である脳波信号に対して、ＡＤ変換処理を行う。ＡＤ変換部１２は、例えば、入力される脳波信号を、所定のビット数のデジタル信号に変換する。電子機器１００は、ＡＤ変換部１２によってデジタル信号に変換された脳波信号を、図２に示す情報処理装置２００へ送信し得る。
　電子機器１００の提示部２０は、ユーザにコンテンツを提示可能に構成される。提示部２０は、コンテンツを提供可能な提供部ともいえる。提示部２０は、ユーザに対して、映像コンテンツ、音楽コンテンツ等を提示（提供）し得る。提示部２０は、図２に示すように、画像を表示可能な表示部２１と、音を出力可能な音出力部２２と、ドライバ２３とを有する。
　ドライバ２３は、駆動部であり、表示部２１及び音出力部２２を駆動するように構成される。ドライバ２３は、画像データに基づいて表示部２１の駆動を制御する。また、ドライバ２３は、音声データに基づいて音出力部２２の駆動を制御する。ドライバ２３は、表示部２１及び音出力部２２を制御可能に構成された制御部ともいえる。
　表示部２１は、画像データに基づいて画像を表示するように構成される。表示部２１は、液晶ディスプレイ、有機ＥＬディスプレイ等である。なお、表示部２１は、タッチパネルを含んでもよい。音出力部２２は、音声データに基づく音を出力するように構成される。音出力部２２は、スピーカー等であり、電気信号である音声データを音（音波）に変換する変換部ともいえる。音出力部２２は、音声データに基づき、音楽（ＢＧＭ）、効果音などを出力し得る。
　ドライバ２３は、映像コンテンツの画像データに応じた画像を、表示部２１に表示させる処理を行い得る。例えば、ドライバ２３は、情報処理装置２００から送信される画像データに応じて表示部２１を制御し、画像データに対応する画像を表示部２１に表示させる。また、ドライバ２３は、音声コンテンツの音声データ（音声信号）に応じた音を、音出力部２２から出力させる処理を行い得る。例えば、ドライバ２３は、情報処理装置２００から送信される音声データに応じて音出力部２２を制御し、音声データに対応する音を音出力部２２から出力させる。
　このように、提示部２０には、情報処理装置２００等から表示対象の画像データ、再生対象の音声データが入力される。提示部２０は、画像データに対応する画像の表示を行う。また、提示部２０は、音声データに対応する音を発生させる。提示部２０により提示される映像コンテンツ、音声コンテンツを、ユーザが視聴することが可能となる。なお、ドライバ２３、表示部２１、音出力部２２の一部又は全部は、一体的に構成されていてもよい。
　情報処理装置２００は、プロセッサ及びメモリ（ＲＯＭ、ＲＡＭ等）を有し、各種の情報処理を行うように構成される。情報処理装置２００は、内部に組み込まれたプログラムを読み込んで実行し、情報処理（信号処理）を行う。情報処理装置２００は、制御部でもあり、プログラムに基づいて電子機器１００と情報を送受信する通信を行い、電子機器１００を制御し得る。
　図２に示す例では、情報処理装置２００は、取得部３０と、記憶部４０と、操作部５０と、解析部６０と、制御部７０とを含んで構成される。なお、情報処理装置２００は、通信モジュール等により構成される通信部（不図示）を有し、外部の機器（電子機器１００、サーバ３００等）と通信可能に構成される。
　取得部３０は、脳波に関する脳波信号を取得するように構成される。図２に示す例では、取得部３０は、電子機器１００との通信によって、電子機器１００から脳波信号を取得する。脳波信号は、センサ１１を有する電子機器１００によって定期的又は不定期に生成され、取得部３０へ出力される。取得部３０は、脳波信号が入力される入力部ともいえる。
　記憶部４０は、不揮発性メモリを含んで構成され、プログラム及びデータが記憶（記録）される。記憶部４０には、情報処理装置２００の各部の制御に用いるプログラム及びデータ、各種のアプリケーション用のプログラム及びデータなど、種々の情報が格納される。記憶部４０は、半導体メモリ、ハードディスク等の記録媒体である。
　操作部５０は、例えば、タッチパネル、キーボード等を含み、情報処理装置２００に対する操作を受け付け可能に構成される。操作部５０は、ユーザによる操作に従い、操作に基づく信号（操作信号）を出力するように構成される。操作部５０は、情報処理装置２００が有する各種の機能についての操作信号を出力し得る。また、ユーザは、例えば、情報処理装置２００上のアプリケーションをユーザーインターフェイスとして用い、情報処理装置２００及び電子機器１００の各種の制御を行うことができる。
　解析部６０は、脳波（脳波信号）を解析可能に構成される。解析部６０は、取得部３０により取得される脳波信号に対して、例えば、ノイズを低減する処理、周波数解析処理、位相解析処理等の各種の信号処理を行う。解析部６０は、信号処理を実行可能に構成された信号処理部ともいえる。
　解析部６０は、ノイズ除去部６１を有し、脳波信号のうちの不要な帯域の信号成分を除去する処理、ノイズを除去する処理等を実行可能に構成される。解析部６０は、例えば、バンドパスフィルタ処理、ノッチフィルタ処理等のフィルタ処理、体動又は瞬目に起因するノイズを除去する処理等のノイズ除去処理を行い得る。解析部６０は、脳波信号に対して、フィルタ処理、ノイズ除去処理等を施し、脳波信号に混入する不要な信号成分を除去（低減）する。
　解析部６０は、上述のように、脳波信号に対して周波数解析処理を実行可能に構成される。解析部６０は、ノイズ除去部６１によるノイズ除去後の脳波信号に対して周波数解析処理を行う。解析部６０は、例えば、脳波信号に対してＦＦＴ（Fast Fourier Transform；高速フーリエ変換）を行うことにより、周波数毎の信号強度を演算し、パワースペクトル（分布）を算出する。
　脳波は、周波数帯域によって、例えば、α波：８～１３Ｈｚ、β波：１３～３０Ｈｚ、θ波：４～８Ｈｚのように分類される。脳波信号には、α波の成分、β波の成分、θ波の成分等が含まれる。解析部６０は、脳波信号の信号処理を行って、ユーザの脳波の各周波数における信号レベルを表すパワースペクトルを取得する。パワースペクトルでは、各周波数域の信号強度（パワー）は、脳の活動状態に応じた値となる。
　解析部６０は、脳波信号に基づき、脳波の特定周波数を検出するように構成される。解析部６０は、例えば、算出したパワースペクトルを用いて、脳波の特定周波数ｆｐを検出する処理を行う。解析部６０は、パワースペクトルを解析して特定周波数ｆｐを抽出するともいえる。特定周波数ｆｐは、例えば、α波帯域の周波数である。解析部６０は、脳波信号のパワースペクトルのうち、８Ｈｚから１３Ｈｚの間におけるピーク値（極大値）に基づいて、特定周波数ｆｐを検出する。
　解析部６０は、例えば、パワースペクトルのうちの８～１３Ｈｚの間における信号強度のピーク値を示す周波数（ピーク周波数）を、特定周波数ｆｐとして検出する。解析部６０は、解析結果として特定周波数ｆｐを示す信号を生成し、制御部７０へ出力し得る。特定周波数ｆｐは、ユーザ個人のα帯域の周波数となり、ピークパワー周波数ともいえる。解析部６０は、上述のように、例えば、特定周波数ｆｐとしてα波帯域（８～１３Ｈｚ）における個人毎のピーク周波数を同定し、特定周波数ｆｐを示す信号を制御部７０に出力する。
　制御部７０は、脳波の特定周波数に基づいてコンテンツを制御可能に構成される。制御部７０は、コンテンツを制御してユーザに刺激を付与する処理を実行可能である。本実施の形態では、制御部７０は、解析部６０により検出されるユーザの脳波の特定周波数ｆｐに基づいて、ユーザに提示するコンテンツ（映像コンテンツ、音声コンテンツ等）を制御し、ユーザに対する刺激を制御し得る。
　情報処理システム１では、例えば、ユーザの脳波の特定周波数ｆｐによって、ユーザに提供するコンテンツの変調（振幅、周波数、位相等の変調）が行われる。制御部７０は、特定周波数ｆｐによって変調したコンテンツのデータを電子機器１００へ送信し、提示部２０に変調されたコンテンツを提示させ得る。情報処理システム１では、ユーザ個人の脳波の特定周波数ｆｐを取得することで、ユーザ毎の脳波のピーク周波数に合うようにコンテンツの変調周波数を設定し、コンテンツを用いたユーザへの刺激付与を行うことが可能となる。
　本実施の形態では、制御部７０は、目的に応じて異なる周波数によってコンテンツを制御するように構成される。制御部７０は、上述した特定周波数ｆｐが示す脳波の周波数、又は特定周波数ｆｐを基準として推定される脳波の周波数を変調周波数として用いて、コンテンツの制御を行う。
　ユーザにリラックスを促す場合、制御部７０は、例えば、特定周波数ｆｐが示すα波の周波数によって変調されたコンテンツのデータを電子機器１００へ送信し、提示部２０に変調されたコンテンツを提示させる。この場合、制御部７０は、特定周波数ｆｐが示すα波の周波数によって変調した映像コンテンツの画像データを電子機器１００へ送信し、変調された映像コンテンツを表示部２１に表示させてもよい。また、制御部７０は、特定周波数ｆｐが示すα波の周波数によって変調した音声コンテンツの音声データを電子機器１００へ送信し、変調された音声コンテンツを音出力部２２に再生させてもよい。
　情報処理システム１では、特定周波数ｆｐが示すユーザ個人のα波の周波数によって変調されたコンテンツがユーザに提示され、ユーザに刺激を付与することができる。特定周波数ｆｐが示すα波帯域のピーク周波数を用いてコンテンツの制御を行うことで、α波の信号強度を増加させる刺激をユーザに効果的に与えることができる。ユーザの脳におけるα波の増加を促すコンテンツをユーザに提示し、ユーザをリラックス状態に誘導することが可能となる。
　ユーザに集中を促す場合、制御部７０は、例えば、特定周波数ｆｐが示すα波の周波数を用いてβ波の周波数を推定し、推定したβ波の周波数によって変調したコンテンツのデータを電子機器１００へ送信する。この場合、制御部７０は、α波のピーク周波数の２倍の周波数をβ波の周波数として算出し、β波の周波数により変調されたコンテンツを電子機器１００へ出力してもよい。
　制御部７０は、β波の周波数によって変調した映像コンテンツの画像データを電子機器１００へ送信し、変調された映像コンテンツを表示部２１に表示させてもよい。また、制御部７０は、β波の周波数によって変調した音声コンテンツの音声データを電子機器１００へ送信し、変調された音声コンテンツを音出力部２２に再生させてもよい。
　情報処理システム１では、β波の周波数によって変調されたコンテンツがユーザに提示され、ユーザに刺激を付与することができる。推定したβ波帯域の周波数を用いてコンテンツの制御を行うことで、β波の信号強度を増加させる刺激をユーザに効果的に与えることができる。ユーザの脳におけるβ波の増加を促すコンテンツをユーザに提示し、ユーザを集中している状態に誘導することが可能となる。
　また、ユーザに睡眠を促す場合は、制御部７０は、例えば、特定周波数ｆｐが示すα波の周波数を用いてθ波の周波数を推定し、推定したθ波の周波数によって変調したコンテンツのデータを電子機器１００へ送信する。この場合、制御部７０は、α波のピーク周波数の２分の１の周波数をθ波の周波数として算出し、θ波の周波数により変調されたコンテンツを電子機器１００へ出力してもよい。
　制御部７０は、θ波の周波数によって変調した映像コンテンツの画像データを電子機器１００へ送信し、変調された映像コンテンツを表示部２１に表示させてもよい。また、制御部７０は、θ波の周波数によって変調した音声コンテンツの音声データを電子機器１００へ送信し、変調された音声コンテンツを音出力部２２に再生させるようにしてもよい。
　情報処理システム１では、θ波の周波数によって変調されたコンテンツがユーザに提示され、ユーザに刺激を付与することができる。推定したθ波帯域のピーク周波数を用いてコンテンツの制御を行うことで、θ波の信号強度を増加させる刺激をユーザに効果的に与えることができる。ユーザの脳におけるθ波の増加を促すコンテンツをユーザに提示し、ユーザを睡眠状態に誘導することが可能となる。
　このように、本実施の形態に係る情報処理システム１では、ユーザの脳波の特定周波数を検知してコンテンツの制御を行うことで、ユーザに対して適切な刺激の付与を行うことができる。情報処理システム１では、ユーザ毎の脳波のピーク周波数を考慮してコンテンツを用いた刺激付与を行うことが可能となり、ユーザを所望の状態に効果的に促すことが可能となる。
　情報処理システム１は、上述のように、リラックス状態、集中状態、睡眠状態などの目的に応じて異なる周波数によってコンテンツを制御し得る。コンテンツを用いたユーザへの刺激付与によって、ユーザがリラックスし易い状態、ユーザが集中し易い状態、ユーザが睡眠し易い状態等を実現することができる。ユーザの情動を変化させ、ユーザをリラックス状態、集中状態等に効果的に促すことが可能となる。
　本実施の形態では、映像、音楽等のコンテンツを利用してユーザへの刺激付与を行う。このため、電流印加によって刺激付与を行う場合と比較して、ユーザの脳を安全に刺激することができ、ユーザの望む状態に状態を制御することが可能となる。ユーザの脳波を計測して、個人の特性に合わせてコンテンツを提示することができ、より効果的な刺激を付与することが可能となる。情報処理システム１では、自然な視聴体験を通じて、ユーザが望む情動を効果的に惹起することが可能となる。
　また、本実施の形態では、制御部７０は、特定周波数ｆｐが示すα波のピーク周波数を用いてα波以外（β波、θ波など）の周波数を推定し、推定したα波以外の周波数によって変調したコンテンツのデータを電子機器１００へ出力し得る。精度よく検出可能なα波の周波数、α波の周波数を用いて推定されるβ波又はθ波の周波数等によって変調されたコンテンツの提示を行うことができ、ユーザを所望の状態に効果的に促すことが可能となる。
　図２に示す例では、制御部７０は、コンテンツ生成部７１と判定部７２を有する。コンテンツ生成部７１は、視覚刺激、聴覚刺激等の刺激の付与に用いるコンテンツ（映像コンテンツ、音声コンテンツ等）を生成可能に構成される。コンテンツ生成部７１は、解析部６０により検出されるユーザの脳波の特定周波数ｆｐに基づき、ユーザに提示するコンテンツのデータを生成するように構成される。
　コンテンツ生成部７１は、刺激用のコンテンツとして、特定周波数ｆｐに基づいて変調されたコンテンツを生成する。コンテンツ生成部７１は、特定周波数ｆｐが示す脳波の周波数（例えばα波の周波数）、又は特定周波数ｆｐを基準として推定される脳波の周波数（例えばβ波の周波数、θ波の周波数等）を変調周波数として用い、変調周波数によって変調されたコンテンツを生成する。コンテンツ生成部７１は、リラックス状態、集中状態等の目的に応じて、異なる変調周波数によって変調されたコンテンツのデータを生成し得る。
　コンテンツ生成部７１は、変調周波数によって変調した映像を含む映像コンテンツの画像データ、変調周波数によって変調した音声を含む音声コンテンツの音声データ等を生成する。制御部７０は、コンテンツ生成部７１により生成されたコンテンツのデータを電子機器１００へ送信する。なお、コンテンツ生成部７１は、刺激（視覚刺激、聴覚刺激等）を含むコンテンツを新たに生成してもよいし、既存のコンテンツを加工することによって刺激を含むコンテンツを生成するようにしてもよい。
　コンテンツ生成部７１によって変調されたコンテンツが提示部２０を介してユーザへ提示され、ユーザに刺激を付与することができる。コンテンツを用いたユーザへの刺激付与によってユーザに情動の変化を生じさせ、ユーザをリラックス状態、集中状態等に促すことが可能となる。
　なお、情報処理システム１では、刺激を含むコンテンツの提示を行う場合、上述したようにコンテンツ生成部７１によって刺激を含むコンテンツを新たに生成してもよいし、既存のコンテンツを加工することによって刺激を含むコンテンツを生成してもよい。また、情報処理システム１は、刺激を含むコンテンツのライブラリのうちから、ユーザに適したコンテンツを選択してユーザに提示するようにしてもよい。
　例えば、情報処理システム１は、変調周波数が異なる複数のコンテンツを予め情報処理装置２００の記憶部４０又はサーバ３００に記憶しておき、複数のコンテンツのうち、ユーザの脳波のピーク周波数に近い変調周波数によって変調されたコンテンツをユーザに提示するようにしてもよい。情報処理装置２００の制御部７０は、記憶部４０に記憶された複数のコンテンツから選択したコンテンツを電子機器１００に提供するようにしてもよい。また、制御部７０は、サーバ３００とのデータ通信（ダウンロード、ストリーミング等）によってコンテンツを電子機器１００に提供するようにしてもよい。
　なお、情報処理システム１は、提示部２０のハードウェアを制御することによってコンテンツの刺激を制御し、ユーザへの刺激付与を行うようにしてもよい。制御部７０は、特定周波数ｆｐに基づき、提示部２０の表示部２１により出力される映像の輝度を制御してもよいし、音出力部２２により出力される可聴帯域（例えば４Ｈｚ～２００００Ｈｚ）の音を制御してもよい。なお、可聴帯域は、２０Ｈｚ～２００００Ｈｚの範囲であってもよい。
　制御部７０は、例えば、特定周波数ｆｐに基づいて提示部２０の表示部２１を制御する信号を提示部２０に供給して、特定周波数ｆｐによって表示部２１の輝度を変調することにより、変調されたコンテンツをユーザに提示してもよい。また、制御部７０は、特定周波数ｆｐに基づいて提示部２０の音出力部２２を制御する信号を提示部２０に供給して、特定周波数ｆｐによって可聴帯域の音を変調することにより、変調されたコンテンツをユーザに提示してもよい。輝度、音量等が時間的に変化するコンテンツによって、ユーザに刺激付与を行うことが可能となる。
　制御部７０の判定部７２は、特定周波数ｆｐに基づくコンテンツの制御を行うか否かを判定可能に構成される。判定部７２は、例えば、刺激を含むコンテンツの提示後に計測された脳波信号に基づき、コンテンツの制御を行うか否かを判定し得る。判定部７２は、一例として、脳波信号を処理して得られる特定周波数ｆｐにおける信号強度（パワー）の変化量に基づいて、刺激付与の効果を確認し、コンテンツの制御を再度行うか否かを判断する。
　判定部７２は、コンテンツ提示前後の特定周波数ｆｐにおける信号強度の比較によって、刺激付与に起因する信号強度の変化量を把握し、コンテンツの制御を再度行うか否かを判定する。刺激を含むコンテンツがユーザに提示された後、センサ１１は、脳波の計測を行い、脳波信号を生成する。刺激を含むコンテンツの提示後に表示部２１によってユーザに対して黒画像が表示される場合に、センサ１１によって脳波信号を取得するようにしてもよい。
　また、刺激を含むコンテンツの提示後に音出力部２２によって出力される音が無音または単一トーンである場合に、センサ１１によって脳波信号を取得するようにしてもよい。ユーザに黒画像、トーン音等が提供された状態で脳波の計測を行うことにより、脳波に混入するノイズを低減し、脳波（脳波信号）を精度よく計測することが可能となる。
　解析部６０は、センサ１１によって得られる脳波信号を用いて、コンテンツ提示前およびコンテンツ提示後の各々の特定周波数ｆｐにおける信号強度を算出する。判定部７２は、解析部６０によって得られるコンテンツ提示前後の特定周波数ｆｐにおける信号強度を比較し、特定周波数ｆｐにおける信号強度の増加量が所定の閾値以上であるか否かを確認する。
　判定部７２は、特定周波数ｆｐにおける信号強度の増加量が所定の閾値未満である場合に、刺激を含むコンテンツの提示を再び行うと判定（決定）する。例えば、判定部７２は、特定周波数ｆｐが示すα波の成分の増加量が閾値よりも小さく、刺激付与の効果が不十分だったと推定される場合、コンテンツの提示を再度行うと判定する。制御部７０は、判定部７２による判定結果に応じて、特定周波数ｆｐが示すα波の周波数によって変調されたコンテンツを提示部２０によって提示させ、ユーザに再度刺激を付与する。
　このように、本実施の形態では、コンテンツの提示後に計測された脳波信号に応じて刺激付与を再度行うことができ、ユーザを所望の状態に効果的に促すことが可能となる。なお、判定部７２は、特定周波数ｆｐを基準として推定される脳波の周波数（例えばβ波、θ波の周波数等）における信号強度の変化量に基づいて、刺激付与の効果を確認し、コンテンツの制御を再度行うか否かを判断してもよい。
　また、情報処理システム１では、コンテンツの提示後に計測された脳波信号に基づいてユーザの情動を推定し、推定結果に応じてコンテンツの制御を再度行うか否かを判断してもよい。例えば、解析部６０は、脳波信号に含まれるα波、β波の成分等の情報を用いて、ユーザのリラックス度、集中度等を推定する。例えば、判定部７２は、α波の成分の増加を促すコンテンツの提示後に、解析部６０によってリラックス度が低いと推定された場合、α波の成分の増加を促すコンテンツの提示を再度行うと判定する。
　また、例えば、判定部７２は、β波の成分の増加を促すコンテンツの提示後に、解析部６０によって集中度が低いと推定された場合、β波の成分の増加を促すコンテンツの提示を再度行うと判定する。制御部７０は、判定部７２による判定結果に応じて、特定周波数ｆｐに基づくコンテンツの制御を実行し、コンテンツを用いた刺激付与を行い得る。
　なお、情報処理システム１は、脳波センサ以外の他のセンサを有していてもよく、他のセンサにより得られる生体に関する信号を用いて、ユーザの情動を推定し、推定結果に応じてコンテンツの制御を再度行うか否かを判断してもよい。他のセンサとしては、例えば、発汗センサ、血流センサ、筋電センサ、温度センサ等が挙げられる。
　解析部６０は、脳波、発汗量、血液量、筋電位、皮膚温度を示す生体信号等によって情動を推定し、判定部７２は、推定結果に応じて刺激を含むコンテンツの提示を再度行うか否かを判定する。制御部７０は、判定部７２による判定結果に応じて、コンテンツを用いた刺激付与を行い得る。
　また、本実施の形態に係る情報処理システム１は、脳波信号に基づいて脳波の位相を検出し、脳波の特定周波数及び位相に基づいてコンテンツを制御してもよい。例えば、解析部６０は、脳波信号に基づき、脳波の特定周波数および位相を検出可能に構成される。制御部７０は、ユーザの脳波の特定周波数及び位相に基づき、コンテンツを変調するように構成される。制御部７０は、ユーザの脳波の位相に合わせて、変調されたコンテンツをユーザに提示し得る。
　制御部７０は、例えば、検出されたユーザの脳波の位相に基づいて提示部２０を制御する信号を提示部２０に供給し、コンテンツを提示するタイミングを制御する。情報処理システム１では、ユーザの脳波に同期させて、刺激を含むコンテンツの提示が行われる。ユーザの脳波の位相を考慮してコンテンツを用いた刺激付与を行うことができ、ユーザの脳波の周波数の成分とコンテンツの変調周波数の成分とが打ち消し合うことを防ぐことが可能となる。α波等の信号強度を増加させる刺激をユーザに効果的に与えることができ、ユーザを所望の状態に効果的に促すことが可能となる。
　図３は、実施の形態に係る情報処理システムの動作例を示すフローチャートである。この図３のフローチャートを参照して、情報処理システム１の動作例について説明する。例えば、情報処理装置２００のアプリケーションが起動された後、図３のフローチャートが開始される。
　ステップＳ１１において、電子機器１００の提示部２０は、一定時間の間（例えば３０秒～１分程度）、黒画像を表示部２１に表示させる。電子機器１００（例えばＶＲデバイス）に組み込まれたセンサ１１を有する脳波計側部１０は、黒画像が表示されている間に、前頭部に接触する電極および後頭部に接触する電極によって脳波の計測を行い、脳波信号を生成する。脳波計側部１０は、脳波信号に対してＡＤ変換処理を行い、デジタル信号に変換された脳波信号を情報処理装置２００へ出力する。
　ステップＳ１２において、情報処理装置２００の解析部６０は、計測された脳波信号に対して、１Ｈｚ～４０Ｈｚのバンドパスフィルタ処理、５０／６０Ｈｚの商用電源ノイズのノッチフィルタ処理等の信号処理を行う。また、解析部６０は、脳波信号に対して高速フーリエ変換処理を行うことにより、周波数毎の信号強度を求め、パワースペクトルを算出する。
　ステップＳ１３において、解析部６０は、パワースペクトルのうち８Ｈｚ～１３Ｈｚの範囲におけるピーク周波数を、特定周波数ｆｐとして検出する。解析部６０は、同定した特定周波数ｆｐを示す信号を制御部７０に出力する。
　ステップＳ１４において、制御部７０のコンテンツ生成部７１は、ユーザ個人のα帯域の周波数となる特定周波数ｆｐに基づいて変調された映像コンテンツ（例えばＣＧパターンのコンテンツ）を生成する。また、解析部６０は、位相解析処理を行って、脳波のうちの変調周波数の成分の位相を検出する。
　コンテンツ生成部７１は、リラックスを促進したい場合、ユーザ個人のα帯域の周波数となる特定周波数ｆｐによって変調された映像コンテンツを生成する。また、コンテンツ生成部７１は、集中力を増したい場合、特定周波数ｆｐの２倍の周波数によって変調された映像コンテンツを生成する。
　ステップＳ１５において、制御部７０は、解析部６０により検出される脳波の位相に合わせて変調された映像コンテンツを、提示部２０によって提示させる。この場合、提示部２０の表示部２１は、一定時間の間（例えば５分間）、変調された映像コンテンツ、例えばＣＧパターンを提示する。なお、提示部２０は、表示部２１によってＣＧパターンを提示すると共に、音出力部２２によって変調された音楽コンテンツを提示してもよい。
　ステップＳ１６において、制御部７０は、コンテンツの提示後に表示部２１によって黒画面を提示させると共に、脳波計側部１０によって脳波を計測させる。制御部７０は、判定部７２によってコンテンツ提示前後の特定周波数ｆｐにおける信号強度を比較する。
　ステップＳ１７において、制御部７０は、特定周波数ｆｐにおける信号強度の増加分が所定の閾値以上であるか否かを判定する。ステップＳ１７における判定結果が否定（ステップＳ１７の「Ｎｏ」）の場合、処理はステップＳ１５へ戻る。ステップＳ１７から戻るステップＳ１５において、制御部７０は、変調されたコンテンツを提示する処理を再び行う。
　ステップＳ１７における判定結果が肯定（ステップＳ１７の「Ｙｅｓ」）の場合、即ち特定周波数ｆｐにおける信号強度の増加分が所定の閾値以上である場合は、情報処理システムは、図３のフローチャートに示す処理を終了する。
　図４は、実施の形態に係る情報処理システムの別の動作例を示すフローチャートである。図４のフローチャートを参照して、情報処理システム１の動作例について説明する。例えば、情報処理装置２００のアプリケーションが起動された後、図４のフローチャートが開始される。
　ステップＳ２１において、情報処理装置２００は、ユーザによる操作部５０の入力操作によって、又は情報処理装置２００による選択によって、各種の制御条件を設定する。リラックス状態、集中状態、睡眠状態などの目的が、情報処理装置２００において設定される。
　ステップＳ２２において、電子機器１００の提示部２０は、一定時間の間、音出力部２２によって４４０Ｈｚのトーンを再生させる。電子機器１００（例えばイヤフォン）に組み込まれたセンサ１１を有する脳波計側部１０は、トーンが再生されている間に、耳に接触する導電性のイヤーピースを電極として用いて脳波の計測を行い、脳波信号を生成する。脳波計側部１０は、脳波信号に対してＡＤ変換処理を行い、デジタル信号に変換された脳波信号を情報処理装置２００へ出力する。
　ステップＳ２３において、情報処理装置２００の解析部６０は、計測された脳波信号に対して、１Ｈｚ～４０Ｈｚのバンドパスフィルタ処理、５０／６０Ｈｚの商用電源ノイズのノッチフィルタ処理等の信号処理を行う。また、解析部６０は、脳波信号に対して高速フーリエ変換処理を行うことにより、周波数毎の信号強度を求め、パワースペクトルを算出する。
　ステップＳ２４において、解析部６０は、パワースペクトルのうち８Ｈｚ～１３Ｈｚの範囲におけるピーク周波数を、特定周波数ｆｐとして検出する。解析部６０は、検出した特定周波数ｆｐを示す信号を制御部７０に出力する。
　ステップＳ２５において、制御部７０のコンテンツ生成部７１は、ユーザ個人のα帯域の周波数となる特定周波数ｆｐに基づいて変調された音声コンテンツ（例えば楽曲コンテンツ）を生成する。なお、コンテンツ生成部７１は、既存の楽曲コンテンツを変調してもよいし、変調された音声コンテンツをＡＩによって自動生成してもよい。
　コンテンツ生成部７１は、操作部５０の操作等によって設定された目的に応じて、変調された楽曲コンテンツを生成する。例えば、コンテンツ生成部７１は、集中力を増したい場合、β波帯域に相当する特定周波数ｆｐ×２の周波数によって変調（例えば振幅変調）された楽曲コンテンツを生成する。また、コンテンツ生成部７１は、入眠時の場合、θ波帯域に相当する特定周波数ｆｐ／２の周波数によって変調された楽曲コンテンツを生成する。
　ステップＳ２６において、制御部７０は、変調された楽曲コンテンツを、提示部２０によって提示させる。提示部２０は、例えば、一定時間の間、音出力部２２によって楽曲コンテンツを提示する。なお、提示部２０は、変調された楽曲コンテンツを音出力部２２によって提示すると共に、変調された映像コンテンツを表示部２１によって提示してもよい。
　ステップＳ２７において、制御部７０は、コンテンツの提示後に音出力部２２によって４４０Ｈｚの単一トーンを再生させると共に、脳波計側部１０によって脳波を計測させる。解析部６０は、脳波信号に基づいてユーザの情動を推定し、ユーザの状態を確認する。
　ステップＳ２８において、制御部７０は、解析部６０による推定結果に基づき、コンテンツの提示を再度行うか否かを判定する。ステップＳ２８における判定結果が否定（ステップＳ２８の「Ｎｏ」）の場合、即ちユーザの情動に所望の変化が起きていないと推定される場合、処理はステップＳ２６へ戻る。ステップＳ２８から戻るステップＳ２６において、制御部７０は、変調されたコンテンツを提示する処理を再び行う。
　ステップＳ２８における判定結果が肯定（ステップＳ２８の「Ｙｅｓ」）の場合、即ちユーザの情動に所望の変化が起きていると推定される場合は、情報処理システムは、図４のフローチャートに示す処理を終了する。
［作用・効果］
　本実施の形態に係る情報処理装置（情報処理装置２００）は、ユーザの脳波に関する第１信号（脳波信号）を取得可能な取得部（取得部３０）と、第１信号に基づいてユーザの脳波の特定周波数を検出可能な解析部（解析部６０）と、特定周波数に基づいてコンテンツを制御可能な制御部（制御部７０）とを備える。
　本実施の形態に係る情報処理装置２００は、脳波信号に基づいて脳波の特定周波数を検出し、特定周波数に基づいてコンテンツを制御する。ユーザの脳波の特定周波数を検出してコンテンツの制御を行うことで、ユーザに対して適切な刺激の付与を行うことができ、ユーザを所望の状態に効果的に促すことが可能となる。好適な刺激付与を実行することが可能な情報処理装置を実現することが可能となる。
　次に、本開示の変形例について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。
＜２．変形例＞
（２－１．変形例１）
　図５は、本開示の変形例１に係る情報処理システムの構成例を説明するための図である。図５に示す例では、サーバ３００は、コンテンツ記憶部８１を含んで構成される。コンテンツ記憶部８１には、刺激を含む複数種のコンテンツ、例えば変調周波数が異なる複数のコンテンツが記憶される。情報処理システム１は、コンテンツ記憶部８１における刺激を含むコンテンツのライブラリから、ユーザに適したコンテンツを選択してユーザに提示するようにしてもよい。
　情報処理装置２００の制御部７０は、サーバ３００とのデータ通信（ダウンロード、ストリーミング等）によって、コンテンツ記憶部８１から通信部（不図示）を介してコンテンツを受信し、コンテンツを電子機器１００に提供するようにしてもよい。この場合、制御部７０は、刺激を含むコンテンツをサーバ３００から受信して電子機器１００に送信してもよい。また、制御部７０は、サーバ３００から受信したコンテンツを加工することによって刺激を含むコンテンツを生成し、電子機器１００へ送信するようにしてもよい。
（２－２．変形例２）
　図６は、本開示の変形例２に係る情報処理システムの構成例を説明するための図である。上述した実施の形態では、解析部６０及び制御部７０を情報処理装置２００に設ける例について示したが、解析部６０及び制御部７０の一部又は全部をサーバ３００に設けるようにしてもよい。情報処理装置２００は、中継部でもあり、ユーザの脳波の特定周波数ｆｐに基づいて外部機器（例えばサーバ３００）において生成されるコンテンツを、電子機器１００に送信するようにしてもよい。
（２－３．変形例３）
　図７は、本開示の変形例３に係る情報処理システムの構成例を説明するための図である。情報処理装置２００の解析部６０及び制御部７０等は、電子機器１００内に設けられてもよい。例えば、電子機器１００は、図７に示す例のように、脳波計側部１０及び提示部２０に加えて、取得部３０、記憶部４０、操作部５０、解析部６０、及び制御部７０等を有していてもよい。
（２－４．変形例４）
　図８は、本開示の変形例４に係る情報処理システムの構成例を説明するための図である。図８に示す例のように、制御部７０を、情報処理装置２００とサーバ３００に分けて設けるようにしてもよい。また、解析部６０を、情報処理装置２００とサーバ３００に分けて設けるようにしてもよい。
（２－５．変形例５）
　上述した実施の形態では、特定周波数ｆｐとしてα波帯域の周波数を検出してコンテンツの制御を行う例について説明したが、特定周波数ｆｐとしてα波帯域以外の周波数（例えばβ波の周波数、θ波の周波数）を検出してコンテンツの制御を行うようにしてもよい。
　例えば、解析部６０は、パワースペクトルのうちの１３～３０Ｈｚの間における信号強度のピーク値を示す周波数（ピーク周波数）を、特定周波数ｆｐとして検出してもよい。また、解析部６０は、パワースペクトルのうちの４～８Ｈｚの間における信号強度のピーク値を示すピーク周波数を、特定周波数ｆｐとして検出してもよい。制御部７０は、特定周波数ｆｐが示す脳波の周波数（例えばβ波のピーク周波数、θ波のピーク周波数）、又は特定周波数ｆｐを基準として推定される脳波の周波数を変調周波数として用い、コンテンツの制御を行い得る。
（２－６．変形例６）
　上述した実施の形態および変形例で説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者が複合したものにおいて実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させることが可能である。
　また、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。例えば、プログラムは、記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることもできる。
　このように、本開示に係る処理を行うプログラムを、コンピュータ（プロセッサ）に実行させることが可能である。本開示に係る技術は、コンピュータプログラム製品として実現することも可能である。
　以上、実施の形態および変形例を挙げて本開示を説明したが、本技術は上記実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上述した変形例は、上記実施の形態の変形例として説明したが、各変形例の構成を適宜組み合わせることができる。また、生体として人体を例示したが、本開示は人体以外の生体、例えばペットや家畜などの動物にも適用可能性を有する。
　本開示の一実施形態の情報処理装置は、ユーザの脳波に関する第１信号を取得可能な取得部と、第１信号に基づいてユーザの脳波の特定周波数を検出可能な解析部と、特定周波数に基づいてコンテンツを制御可能な制御部とを備える。このため、ユーザに対して適切な刺激の付与を行うことができる。好適な刺激付与を実行することが可能な情報処理装置を実現することが可能となる。

　なお、本明細書中に記載された効果はあくまで例示であってその記載に限定されるものではなく、他の効果があってもよい。また、本開示は以下のような構成をとることも可能である。
（１）
　ユーザの脳波に関する第１信号を取得可能な取得部と、
　前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出可能な解析部と、
　前記特定周波数に基づいてコンテンツを制御可能な制御部と
　を備える情報処理装置。
（２）
　前記制御部は、前記コンテンツを制御して前記ユーザに刺激を付与する処理を実行可能である
　前記（１）に記載の情報処理装置。
（３）
　前記制御部は、目的に応じて異なる周波数によって前記コンテンツを制御可能である
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記コンテンツは、映像コンテンツであり、
　前記制御部は、前記特定周波数に基づいて映像の輝度を制御可能である
　前記（１）から（３）のいずれか１つに記載の情報処理装置。
（５）
　前記コンテンツは、音声コンテンツであり、
　前記制御部は、前記特定周波数に基づいて可聴帯域における振幅変調を制御可能である
　前記（１）から（３）のいずれか１つに記載の情報処理装置。
（６）
　前記特定周波数は、α波の周波数である
　前記（１）から（５）のいずれか１つに記載の情報処理装置。
（７）
　前記解析部は、前記第１信号のパワースペクトルのうちの８Ｈｚから１３Ｈｚの間におけるピーク値に基づいて、前記特定周波数を検出可能である
　前記（１）から（６）のいずれか１つに記載の情報処理装置。
（８）
　前記解析部は、前記第１信号に基づいて前記ユーザの脳波の位相を検出可能であり、
　前記制御部は、前記ユーザの脳波の特定周波数及び位相に基づき、コンテンツを変調可能である
　前記（１）から（７）のいずれか１つに記載の情報処理装置。
（９）
　前記解析部は、前記コンテンツが提示された場合に前記取得部により取得される前記第１信号を解析可能であり、
　前記制御部は、前記解析部による解析結果に応じて、前記特定周波数に基づくコンテンツの制御を実行可能である
　前記（１）から（８）のいずれか１つに記載の情報処理装置。
（１０）
　前記解析部は、前記第１信号に基づいて前記ユーザの情動を推定可能である
　前記（１）から（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記制御部は、前記解析部による推定結果に応じて、前記特定周波数に基づくコンテンツの制御を実行可能である
　前記（１０）に記載の情報処理装置。
（１２）
　前記第１信号を生成可能なセンサを有し、
　前記取得部は、前記センサから前記第１信号を取得可能である
　前記（１）から（１１）のいずれか１つに記載の情報処理装置。
（１３）
　ユーザの脳波に関する第１信号を生成可能なセンサを有する電子機器と、
　前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出可能な解析部と、前記特定周波数に基づいてコンテンツを制御可能な制御部と、を有する情報処理装置と
　を備える情報処理システム。
（１４）
　前記電子機器は、ウェアラブルデバイスである
　前記（１３）に記載の情報処理システム。
（１５）
　画像を表示可能な表示部を有し、
　前記センサは、前記表示部に黒画像が表示される場合に前記第１信号を生成可能である
　前記（１３）または（１４）に記載の情報処理システム。
（１６）
　音を出力可能な音出力部を有し、
　前記センサは、前記音出力部により出力される音が無音または単一トーンである場合に前記第１信号を生成可能である
　前記（１３）から（１５）のいずれか１つに記載の情報処理システム。
（１７）
　ユーザの脳波に関する第１信号を取得することと、
　前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出することと、
　前記特定周波数に基づいてコンテンツを制御することと
　をコンピュータに実行させる
　情報処理プログラム。
　本出願は、日本国特許庁において２０２２年８月１８日に出願された日本特許出願番号２０２２－１３０７９４号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (17)

  1. 　ユーザの脳波に関する第１信号を取得可能な取得部と、
    　前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出可能な解析部と、
    　前記特定周波数に基づいてコンテンツを制御可能な制御部と
    　を備える情報処理装置。
  2. 　前記制御部は、前記コンテンツを制御して前記ユーザに刺激を付与する処理を実行可能である
    　請求項１に記載の情報処理装置。
  3. 　前記制御部は、目的に応じて異なる周波数によって前記コンテンツを制御可能である
    　請求項１に記載の情報処理装置。
  4. 　前記コンテンツは、映像コンテンツであり、
    　前記制御部は、前記特定周波数に基づいて映像の輝度を制御可能である
    　請求項１に記載の情報処理装置。
  5. 　前記コンテンツは、音声コンテンツであり、
    　前記制御部は、前記特定周波数に基づいて可聴帯域における振幅変調を制御可能である
    　請求項１に記載の情報処理装置。
  6. 　前記特定周波数は、α波の周波数である
    　請求項１に記載の情報処理装置。
  7. 　前記解析部は、前記第１信号のパワースペクトルのうちの８Ｈｚから１３Ｈｚの間におけるピーク値に基づいて、前記特定周波数を検出可能である
    　請求項１に記載の情報処理装置。
  8. 　前記解析部は、前記第１信号に基づいて前記ユーザの脳波の位相を検出可能であり、
    　前記制御部は、前記ユーザの脳波の特定周波数及び位相に基づき、コンテンツを変調可能である
    　請求項１に記載の情報処理装置。
  9. 　前記解析部は、前記コンテンツが提示された場合に前記取得部により取得される前記第１信号を解析可能であり、
    　前記制御部は、前記解析部による解析結果に応じて、前記特定周波数に基づくコンテンツの制御を実行可能である
    　請求項１に記載の情報処理装置。
  10. 　前記解析部は、前記第１信号に基づいて前記ユーザの情動を推定可能である
    　請求項１に記載の情報処理装置。
  11. 　前記制御部は、前記解析部による推定結果に応じて、前記特定周波数に基づくコンテンツの制御を実行可能である
    　請求項１０に記載の情報処理装置。
  12. 　前記第１信号を生成可能なセンサを有し、
    　前記取得部は、前記センサから前記第１信号を取得可能である
    　請求項１に記載の情報処理装置。
  13. 　ユーザの脳波に関する第１信号を生成可能なセンサを有する電子機器と、
    　前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出可能な解析部と、前記特定周波数に基づいてコンテンツを制御可能な制御部と、を有する情報処理装置と
    　を備える情報処理システム。
  14. 　前記電子機器は、ウェアラブルデバイスである
    　請求項１３に記載の情報処理システム。
  15. 　画像を表示可能な表示部を有し、
    　前記センサは、前記表示部に黒画像が表示される場合に前記第１信号を生成可能である
    　請求項１３に記載の情報処理システム。
  16. 　音を出力可能な音出力部を有し、
    　前記センサは、前記音出力部により出力される音が無音または単一トーンである場合に前記第１信号を生成可能である
    　請求項１３に記載の情報処理システム。
  17. 　ユーザの脳波に関する第１信号を取得することと、
    　前記第１信号に基づいて前記ユーザの脳波の特定周波数を検出することと、
    　前記特定周波数に基づいてコンテンツを制御することと
    　をコンピュータに実行させる
    　情報処理プログラム。
PCT/JP2023/028705 2022-08-18 2023-08-07 情報処理装置、情報処理システム、および情報処理プログラム WO2024038788A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022130794 2022-08-18
JP2022-130794 2022-08-18

Publications (1)

Publication Number Publication Date
WO2024038788A1 true WO2024038788A1 (ja) 2024-02-22

Family

ID=89941543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028705 WO2024038788A1 (ja) 2022-08-18 2023-08-07 情報処理装置、情報処理システム、および情報処理プログラム

Country Status (1)

Country Link
WO (1) WO2024038788A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001252265A (ja) * 2000-03-08 2001-09-18 Sharp Corp バイオフィードバック装置
JP2016047239A (ja) * 2014-08-26 2016-04-07 国立研究開発法人理化学研究所 脳波信号処理装置、脳波信号処理方法、プログラム、及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001252265A (ja) * 2000-03-08 2001-09-18 Sharp Corp バイオフィードバック装置
JP2016047239A (ja) * 2014-08-26 2016-04-07 国立研究開発法人理化学研究所 脳波信号処理装置、脳波信号処理方法、プログラム、及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SUNAHARA, KAZUKI ET AL. : "Influence on Visual Evoked Potentials and Event-Related Potentials caused by Image Degradation", IEICE TECHNICAL REPORT, IMQ, IEICE, JP, vol. 112, no. 234 (IMQ2012-16), 12 October 2012 (2012-10-12), JP, pages 11 - 15, XP009552974 *

Similar Documents

Publication Publication Date Title
Baier et al. Event-based sonification of EEG rhythms in real time
US10685577B2 (en) Systems and methods for delivering sensory input during a dream state
JP4707920B2 (ja) 聴覚上の定常状態応答を使用した聴力を客観的に評価するためのシステム及び方法
Bidelman et al. Response properties of the human frequency-following response (FFR) to speech and non-speech sounds: level dependence, adaptation and phase-locking limits
CN110947076B (zh) 一种可进行精神状态调节的智能脑波音乐可穿戴设备
CN110947075A (zh) 基于脑波音乐的个性化精神状态调节系统及调节方法
TW200405804A (en) EEG system for time-scaling presentations
US20230029255A1 (en) Human-computer interactive device and method
JP2022526343A (ja) 誘発応答の定量化に基づいて感覚刺激を与える方法及びシステム
CN110742603A (zh) 一种脑电波可听化精神状态检测方法及实现该方法的系统
WO2018154289A2 (en) System, method, computer program and computer program product for detecting a change in hearing response
Baltus et al. Transcranial alternating current stimulation modulates auditory temporal resolution in elderly people
KR20200074797A (ko) 졸음 방지 및 숙면 유도 헤어밴드
Jedrzejczak et al. Heightened visual attention does not affect inner ear function as measured by otoacoustic emissions
WO2013057931A1 (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測方法およびそのコンピュータプログラム
WO2024038788A1 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
CN113302681B (zh) 噪声掩蔽设备以及用于掩蔽噪声的方法
CN110418598A (zh) 用于确定对象是否可能受到在睡眠时段期间的治疗水平的刺激的干扰的系统和方法
KR20180119280A (ko) 뉴로피드백을 기반으로 하는 원격제어 및 자동화 두뇌훈련 시스템
WO2016097937A1 (en) Device and method for influencing brain activity
JP6796778B2 (ja) 生体信号計測装置、脳波計、及び、制御方法
US20220330844A1 (en) Systems and methods for monitoring and acting on a physiological condition of a stimulation system recipient
Pantev et al. Acoustically and electrically evoked responses of the human cortex before and after cochlear implantation
RU2565652C1 (ru) Способ снятия аналоговых сигналов для определения функционального состояния слушающего при помощи наушников
JP2013085731A (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23854822

Country of ref document: EP

Kind code of ref document: A1