WO2018088187A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2018088187A1
WO2018088187A1 PCT/JP2017/038213 JP2017038213W WO2018088187A1 WO 2018088187 A1 WO2018088187 A1 WO 2018088187A1 JP 2017038213 W JP2017038213 W JP 2017038213W WO 2018088187 A1 WO2018088187 A1 WO 2018088187A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
image
information processing
viewer
Prior art date
Application number
PCT/JP2017/038213
Other languages
English (en)
French (fr)
Inventor
高橋 修一
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201780067564.9A priority Critical patent/CN109923529A/zh
Priority to US16/339,306 priority patent/US10817057B2/en
Publication of WO2018088187A1 publication Critical patent/WO2018088187A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22Source localisation; Inverse modelling

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program. More specifically, for example, an image is presented to a user (viewer), and based on the user's (user (viewer)) 's brain waves, the user's gaze area for the image, the degree of interest, concentration, fatigue, etc. are analyzed
  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • a questionnaire is a general method for acquiring user evaluations of distribution content.
  • the questionnaire process is time-consuming and expensive, and there is a problem that each user does not necessarily make an honest evaluation.
  • the delivery content is moving image content
  • it is difficult to analyze which portion of each frame that each user (viewer) focused on, that is, the gaze area from the questionnaire, and the user's interest It is difficult to analyze or evaluate a high image area.
  • evaluation processing of an image or content can be classified into objective evaluation processing and subjective evaluation processing.
  • the subjective evaluation process is a process in which the user (viewer) makes a sensory evaluation of the content to be observed, and the objective evaluation process is an evaluation process performed by removing such personal subjectivity.
  • n-step evaluation MOS: Mean Opinion Score
  • n 5, 7 etc.
  • Score evaluation Magneticitude Estimation method etc.
  • Introspective evaluation Comment record
  • PSNR Peak Signal-to-Noise Ratio
  • SSIM Structuretural Similarity Index Measure
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2013-258555
  • Patent Document 2 Japanese Patent Application Publication No. 07-061325
  • Patent Document 3 Japanese Patent No. 5624512. Issue
  • Patent Document 1 acquires information such as brain waves, blood flow, pulse, and line of sight of a user (viewer) who observes a game image, and grasps the mental state of the user during game play based on the information.
  • a head mounted display is described that reflects the development of the game and detects the degree of tension of the user during game play.
  • the game content to be displayed is updated based on the mental state acquired and analyzed from the user (viewer), or when a plurality of game players share a game, the spirit of each user It discloses about the composition which performs control which changes game development of all the players every moment according to a state.
  • Patent Document 2 presents a visual stimulus having a predetermined frequency (for example, 10 Hz) to a user (viewer) who is an image observer, and changes in the magnitude of the measured brain wave frequency component of the user (viewer).
  • a device is described that evaluates the user's (viewer) 's interest in visual stimuli by measuring. More specifically, the reaction to the visual stimulus is evaluated by measuring the change in the steady state visual evoked potential during the presentation of the visual stimulus.
  • Patent document 3 acquires the cerebral blood flow and the gaze position of the user at the time of image content viewing, and identifies the psychological response to the image content, or the degree (gaze degree) at which the user gazes at the image content.
  • An apparatus is described which determines the rating for the image content by calculating or otherwise.
  • the change in cerebral blood flow represents the change in brain activity as in the case of the change in electroencephalogram.
  • Patent Document 1 The configuration of Patent Document 1 described above is a configuration in which only the brain waves of the forehead are acquired and analyzed, and there is a problem that there is a limit to the accuracy of measuring the mental state of the user. Further, Patent Document 1 discloses a configuration in which the gaze direction of the user, the movement of the pupil, the frequency of blinks and the like are detected, and these are converted into the user's mental state index by a conversion formula. An image sensor is used to detect the movement of the pupil, the frequency of blinks, and the like, and there is a problem that it is difficult to incorporate it into a general user-oriented viewing device, for example, a head mounted display.
  • a general user-oriented viewing device for example, a head mounted display.
  • a user viewer
  • Patent document 3 is a structure which detects cerebral blood flow, in order to measure brain activity.
  • NIRS Near Infra-Red Spectoroscopy
  • NIRS Near Infra-Red Spectoroscopy
  • the present disclosure has been made in view of, for example, the above-mentioned problems, and a user for an image that configures content by an inexpensive configuration that can be incorporated in a general user viewing device such as a head mounted display (HMD). It is an object of the present invention to provide an information processing apparatus, an information processing method, and a program capable of analyzing a gaze area of, an evaluation, an interest degree, a concentration degree, a fatigue degree and the like.
  • HMD head mounted display
  • the first aspect of the present disclosure is An image presenting unit for presenting an image to a user (viewer); It is a head mounted display type information processing apparatus having an electroencephalogram measurement unit that measures the electroencephalogram of the user (viewer), There is provided an information processing apparatus in which an electroencephalogram measurement electrode is set in a mounting area of a head of a user (viewer) of a head mounted display.
  • a second aspect of the present disclosure is: An information processing apparatus that generates evaluation information that associates an electroencephalogram signal acquired from a user (viewer) who observes an image with reproduction control information of the image and can identify which image the electroencephalogram signal is output at the time of presentation It is in.
  • the third aspect of the present disclosure is: It is correspondence data of an electroencephalogram signal acquired from a user (viewer) who observes an image, and reproduction control information of the image, and input evaluation information which makes it possible to identify at which time the electroencephalogram signal is output.
  • Information processing that executes an analysis process of acquiring at least one of the degree of interest, the degree of evaluation, the degree of concentration, and the degree of fatigue of the user (viewer) for the presented image using the evaluation information including the brain wave signal In the device.
  • a fourth aspect of the present disclosure is: An information processing apparatus for distributing image content to be presented to a user (viewer); The information processing apparatus executes control of distribution content according to an analysis result based on an electroencephalogram signal acquired from a user (viewer) who observes an image.
  • a fifth aspect of the present disclosure is: A user device that presents content to a user (viewer); A content analysis device that receives and analyzes evaluation information on the content from the user device; The user device is The electroencephalogram signal acquired from the user (viewer) who observes the image is associated with the reproduction control information of the image to generate evaluation information which makes it possible to identify at which time the electroencephalogram signal is output. An information processing system that outputs data to a content analysis device.
  • a sixth aspect of the present disclosure is: An information processing method to be executed in the information processing apparatus;
  • the data processing unit of the information processing apparatus An information processing method for generating evaluation information in which an electroencephalogram signal acquired from a user (viewer) who observes an image is associated with reproduction control information of the image and it is possible to identify which image the electroencephalogram signal is output at the time of presentation. It is in.
  • a seventh aspect of the present disclosure is: A program that causes an information processing apparatus to execute information processing, In the data processing unit of the information processing apparatus, A program for correlating an electroencephalogram signal acquired from a user (viewer) who observes an image with reproduction control information of the image and generating evaluation information capable of identifying which image the electroencephalogram signal was output at the time of presentation .
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
  • a storage medium or a communication medium that provides various program codes in a computer-readable format to an information processing apparatus or computer system capable of executing the program code.
  • a system is a logical set composition of a plurality of devices, and the device of each composition is not limited to what exists in the same case.
  • a configuration is realized in which image evaluation information is generated based on an electroencephalogram signal of an image observing user, and analysis information such as a user's interest level or gaze area for a presented image is acquired. Be done. Specifically, for example, it has a content delivery unit for delivering image content, a data transmission / reception unit for receiving the delivery content, a head mounted display for presenting the content, and a content analysis unit for analyzing the content evaluation information.
  • the data transmission / reception unit associates the electroencephalogram signal obtained from the user with the image reproduction control information, generates evaluation information capable of identifying which image the electroencephalogram signal is output at the time of presentation, and outputs the evaluation information to the content analysis device.
  • the content analysis apparatus acquires analysis information such as the degree of interest or gaze area of the user's presented image using the electroencephalogram signal.
  • analysis information such as the degree of interest or gaze area of the user's presented image using the electroencephalogram signal.
  • FIG. 1 is a diagram illustrating an exemplary configuration of an information processing system 10 according to the present disclosure.
  • Content 70 mainly including moving images such as video content and game content is distributed from the content distribution unit 20 shown in FIG. 1 via a network such as the Internet.
  • the content 70 includes a reproduction control signal such as a time code as reproduction timing information, frame information, and chapter information, in addition to the video and audio signal which is reproduction data.
  • the content 70 distributed by the content distribution unit 20 is received by the content reception unit 31 of the data transmission / reception unit 30 such as a PC on the user (viewer) side.
  • the received content is output to the video and audio signal presentation unit 41 of the head mounted display (HMD) 40 of the user (viewer).
  • the video and audio signal presentation unit 41 is configured of a display (display unit), a speaker, and the like.
  • a reproduction control signal 71 such as a time code, frame information, and chapter information is also supplied to the evaluation information transmission unit 32.
  • the head mounted display (HMD) 40 is provided with an electroencephalogram measurement unit 42 and a biological information sensor 43.
  • the electroencephalogram measurement unit 42 and the biological information sensor 43 measure the electroencephalogram (EEG: Electroencephalogram) of the user who views the content 70 and the biological information, and output measurement data to the evaluation information transmission unit 32 of the data transmission / reception unit 30.
  • EEG Electroencephalogram
  • the evaluation information transmission unit 32 of the data transmission / reception unit 30 transmits the acquired user's brain waves and biological information to the content analysis unit 50 via the network.
  • the evaluation information transmission unit 32 has a setting that enables discrimination of the user's brain waves and biological information as to which image of the reproduction content it is, that is, brain waves as frame correspondence data or reproduction time correspondence data. Or, generate and send biometric information.
  • the reproduction control information 71 received from the content distribution server 20 is used as attribute information of the content 70.
  • the reproduction control information 71 is composed of information such as time code which is reproduction time information, frame identification information, and chapter information including a scene switching position.
  • the evaluation information transmission unit 32 of the data transmission / reception unit 30 associates the brain waves of the user acquired from the head mounted display 40 with the biological information with the time code acquired from the reproduction control information 71, Corresponding data that makes it possible to identify which reproduction time data of the content is identifiable is generated and transmitted to the content analysis unit 50.
  • the evaluation information reception unit 51 of the content analysis unit 50 receives the brain waves and biological information of the user transmitted by the data transmission / reception unit such as the PC as the user (viewer) side device, and outputs the information to the evaluation information analysis unit 52.
  • the evaluation information analysis unit 52 analyzes what kind of electroencephalogram and biological information are output for which image of the content 70 based on the user's electroencephalogram and biological information, and the user's gaze region (ROI: Region of Interest) ), Content interest, evaluation, concentration, fatigue, etc.
  • the analysis information of the evaluation information analysis unit 52 is output to the response determination unit 53.
  • the response determination unit 53 generates determination data indicating the reaction of the user to the content 70 presented to the user based on the analysis result of the evaluation information analysis unit 52.
  • the determination data can be executed in various data units such as data corresponding to the entire content 70, or in chapter units, frame units, or the like.
  • the determination data generated by the response determination unit 53 can be provided to the content distribution unit 20 as feedback information 90.
  • the content distribution unit 20 can perform content control such as changing the content of the content 70 to be distributed to the user based on the feedback information 90.
  • the system of the present disclosure is configured to perform content evaluation such as the user's interest in the content by using the electroencephalogram (EEG) of the user (viewer) measured in the electroencephalogram measurement unit.
  • Electroencephalogram (EEG) measurement is cheaper and simpler than NIRS (Near Infra-Red Spectoroscopy), which irradiates infrared rays and analyzes the pattern of the reflected light, and it is easy to implement in HMD and cost Is also greatly reduced.
  • NIRS Near Infra-Red Spectoroscopy
  • FIG. 2 shows the following four configurations similar to those described with reference to FIG.
  • Content distribution unit 120 Data transmission / reception unit 130
  • Head mounted display (HMD) 140 Head mounted display (HMD) 140
  • Content analysis unit 150 Content analysis unit
  • the content delivery unit 120 sends content to a data transmission / reception unit 130 such as a PC as a user (viewer) side device connected to the network 110 via a network 110 such as the Internet, a set top box, a stationary game machine, etc.
  • a data transmission / reception unit 130 such as a PC as a user (viewer) side device connected to the network 110 via a network 110 such as the Internet, a set top box, a stationary game machine, etc.
  • the video / audio signal + playback control signal) 171 is distributed.
  • the video / audio signal 171 constituting the content 171 is transferred from the data transmitting / receiving unit 130 to the head mounted display (HMD) 140 and output. Also, the reproduction control signal 173 constituting the content 171 is output to and held by the reproduction control signal holding unit 132.
  • the reproduction control signal 173 is constituted by information such as time code which is reproduction time information, frame identification information, chapter information including a scene switching position, and the like.
  • the head mounted display (HMD) 140 is equipped with a video / audio signal presentation unit 141 that presents a video / audio signal, and an electroencephalogram measurement unit 142 that measures the user's brain waves.
  • the electroencephalogram measurement unit 142 measures a potential change in the scalp of the user (viewer) through an electrode (node) attached to the head of the user (viewer).
  • the electrode (node) arrangement there is a standard arrangement called International 10-20 method, but it may be an arrangement with a unique arrangement or a limited number of electrodes.
  • an electrode when attaching an electrode, when using gel and electrolyte solution for improving conductivity, and applying pressure mechanically and making it adhere, there may be used any method.
  • FIG. 3 An example of the electrode arrangement example mounted
  • the upper side of FIG. 3 is the head front of the user (viewer), and the lower side of FIG. 3 is the head rear of the user (viewer).
  • HMDs head-mounted displays
  • a band to which the HMD is attached covers the top of the head and the back of the head, and in addition to the forehead serving as the display area of the HMD, electrodes are set on the bands
  • the head mounted display (HMD) 140 has a configuration in which an electroencephalogram measurement electrode is set in the mounting area of the head of the user (viewer) of the head mounted display (HMD) 140.
  • the electroencephalogram measurement unit 142 measures a signal obtained from at least a part of the 32 electrodes shown in FIG. For example, signals obtained from all 32 electrodes may be used. Alternatively, it may be configured to use only an electroencephalogram measurement signal obtained from an electrode known to measure an electroencephalogram in accordance with a visual stimulus, for example, 9, 10, 20 of electrode numbers shown in FIG.
  • the measurement signal of the electroencephalogram measurement unit 142 may use an electroencephalogram signal of an electrode unit, or may be an integrated component (weighted addition signal or the like) of a plurality of electroencephalogram signals from a plurality of electrodes.
  • the electroencephalogram measurement unit 142 measures the electroencephalogram of the user who views the content 171 and outputs the measured electroencephalogram signal 174 to the evaluation information transmission unit 133 of the data transmission / reception unit 130.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 transmits the acquired brain wave signal 174 of the user to the content analysis unit 150 via the network.
  • the evaluation information transmission unit 133 is a setting that enables discrimination of the image corresponding to which image of the reproduction content the brain wave signal 174 measured by the user, that is, the brain wave as frame correspondence data or reproduction time correspondence data. Send as a signal.
  • the reproduction control information 173 received from the content distribution server 120 is used as attribute information of the content 171.
  • the reproduction control information 173 is information on which is recorded time information which is reproduction time information, frame identification information, chapter information including a scene switching position and the like.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 associates the brain wave signal 174 of the user acquired from the head mount display 140 with the time code acquired from the reproduction control information 173, for example.
  • the evaluation information (electroencephalogram signal + reproduction control signal) 175 of the user consisting of correspondence data capable of identifying whether it is data of (1) is generated and transmitted to the content analysis unit 150.
  • the evaluation information reception unit 151 of the content analysis unit 150 receives the user's evaluation information (brain wave signal + reproduction control signal) 175 transmitted by the data transmission / reception unit such as the PC as the user (viewer) side device, and analyzes the evaluation information. Output to the part 152.
  • the evaluation information analysis unit 152 analyzes what kind of electroencephalogram signal is output for which image frame of the content 171, for example, based on the user's electroencephalogram, and the user's interest in content, evaluation, concentration, fatigue Analyze the degree etc.
  • the evaluation information analysis unit 152 performs analysis processing focusing on the temporal relationship between the presentation of a scene and changes in brain waves (for example, P300) and the transient response of the potential, and analysis processing focusing on frequency components (for example, ⁇ waves) included in the brain waves.
  • which region of the head the brain waves are to be used may be determined according to the evaluation item. For example, if the change in brightness in the video signal to be presented is evaluated, the brain wave in the initial visual area is evaluated, and if the emotion such as pleasure or discomfort caused by the video signal is evaluated It is preferable to focus attention on the change of the electroencephalogram in the temporal region in the case of the evaluation on the sound signal in the change of.
  • the analysis information of the evaluation information analysis unit 152 is output to the response determination unit 153.
  • the response determination unit 153 generates determination data indicating a reaction of the user to the content 171 presented to the user based on the analysis result of the evaluation information analysis unit 152.
  • the determination data can be executed in various data units such as data corresponding to the entire content 171, or in chapter units, frame units, or the like.
  • the determination data generated by the response determination unit 153 can be provided to the content distribution unit 210 as feedback information 176.
  • the content distribution unit 120 can perform content control such as changing the content of the content 171 to be distributed to the user based on the feedback information 176.
  • FIG. 4 An exemplary configuration of an information processing system 200 according to the second embodiment is shown in FIG.
  • the information processing system 200 shown in FIG. 4 has the following four configurations similar to the first embodiment described with reference to FIG.
  • Content distribution unit 120 Data transmission / reception unit 130
  • Head mounted display (HMD) 140 Head mounted display (HMD) 140
  • Content analysis unit 150 Content analysis unit
  • the content delivery unit 120 sends content to a data transmission / reception unit 130 such as a PC as a user (viewer) side device connected to the network 110 via a network 110 such as the Internet, a set top box, a stationary game machine, etc.
  • a data transmission / reception unit 130 such as a PC as a user (viewer) side device connected to the network 110 via a network 110 such as the Internet, a set top box, a stationary game machine, etc.
  • the video / audio signal + playback control signal) 171 is distributed.
  • the video / audio signal 171 constituting the content 171 is transferred from the data transmitting / receiving unit 130 to the head mounted display (HMD) 140 and output. Also, the reproduction control signal 173 constituting the content 171 is output to and held by the reproduction control signal holding unit 132.
  • the reproduction control signal 173 is constituted by information such as time code which is reproduction time information, frame identification information, chapter information including a scene switching position, and the like.
  • an audiovisual signal presentation unit 141 presenting an audiovisual signal
  • an electroencephalogram measurement unit 142 measuring an electroencephalogram of the user
  • an eye muscle potential measurement unit 143 is mounted on the head mounted display (HMD) 140.
  • the electroencephalogram measurement unit 142 measures a potential change in the scalp of the user (viewer) via an electrode (node) attached to the head of the user (viewer), as in the first embodiment described above. For example, it has the electrode arrangement described above with reference to FIG.
  • the eye myoelectric potential measurement unit 143 is used for analysis of a region of interest (ROI) of a user (viewer). Specifically, it utilizes that the movement of the eye is caused by the movement of a muscle (eye muscle) connected to the eye. Electrodes are placed in the vicinity of both eyes, and the myoelectric potential caused by the movement of the eye muscles is measured as a change in potential. From this amount of potential change, it is estimated how much the eye has moved, and from the positive / negative change of the potential, it is estimated where the eye has moved.
  • ROI region of interest
  • FIG. 5 is a view showing an example of an electroencephalogram & eye muscle potential detection electrode setting head mounted display (HMD) 145.
  • the electroencephalogram & eye myoelectric potential detection electrode setting head mount display (HMD) 145 includes an electroencephalogram detection electrode 146 and an eye myoelectric potential detection electrode 147.
  • the electroencephalogram detection electrode 146 has, for example, the electrode arrangement described above with reference to FIG.
  • the eye muscle potential detection electrode 147 is set in the front region of the face which is the display unit side of the head mounted display (HMD), as shown in FIG. As shown in the figure, it comprises intercostal electrodes A, cheek electrodes B, C, temple electrode D, E and so on.
  • the head mounted display (HMD) 140 has eye muscle potential measurement electrodes in the mounting area of the user (viewer) face of the head mounted display (HMD) 140.
  • the eye muscle potential detection electrodes 147 (electrodes A to E) shown in FIG. 5 are set at eye muscle positions for detecting movement of muscles (eye muscles) connected to the eyes of the user (viewer). At these electrode positions, the myoelectric potential changes due to the movement of the eye muscles. From this amount of potential change, it is estimated how much the eye has moved, and from the positive / negative change of the potential, it is estimated where the eye has moved.
  • the gaze area estimation result obtained using the eye muscle potential detection electrode 147 is inferior in accuracy to a dedicated device that detects the pupil using infrared rays and measures the movement of the eyeball. However, it is possible to ensure the accuracy to estimate which area of the screen was viewed.
  • the electroencephalogram measurement unit 142 of the head mounted display (HMD) 140 and the eye muscle potential measurement unit 143 measure the brain waves and eye muscle potentials of the user who views the content 171 and measure the electroencephalogram signal 174 and the eye muscle potential
  • the signal 177 is output to the evaluation information transmission unit 133 of the data transmission / reception unit 130.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 transmits the acquired brain wave signal 174 of the user and the eye muscle potential signal 177 to the content analysis unit 150 via the network.
  • the evaluation information transmission unit 133 has a setting capable of identifying which image of the reproduction content the electroencephalogram signal 174 measured from the user and the eye myoelectric potential signal 177 are, that is, frame correspondence data, or Send as playback time compatible data.
  • the reproduction control information 173 received from the content distribution server 120 is used as attribute information of the content 171.
  • the reproduction control information 173 is information on which is recorded time information which is reproduction time information, frame identification information, chapter information including a scene switching position and the like.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 associates the electroencephalogram signal 174 of the user acquired from the head mount display 140 and the eye muscle potential signal 177 with the time code acquired from the reproduction control information 173, for example.
  • the content analysis unit 150 in the second embodiment generates content evaluation information based on an electroencephalogram as in the first embodiment described above, and analyzes the gaze area of the user (viewer) based on the eye electromyogram signal. .
  • the eye myoelectric potential signal may be used for the analysis of the fixation region.
  • the evaluation information reception unit 151 of the content analysis unit 150 receives the user's evaluation information (brain wave signal + eye muscle potential signal + reproduction control signal) 178 transmitted by the data transmission / reception unit 130 such as a PC as a user (viewer) side device. It is received and output to the evaluation information analysis unit 152.
  • the reproduction control signal 181, the electroencephalogram signal 182, and the eye's myoelectric potential signal 183 are input from the evaluation information receiving unit 151 of the content analysis unit 150 to the evaluation information analysis unit 152.
  • the evaluation information analysis unit 152 includes an electroencephalogram analysis unit 201 and a gaze area estimation unit 202.
  • the electroencephalogram analysis unit 201 receives the reproduction control signal 181, the electroencephalogram signal 182, and the eye myoelectric potential signal 183, and generates an electroencephalogram consisting of the electroencephalogram signal in image frame units, an eye myoelectric potential analysis result 191, for example. It is output to the estimation unit 202 and the response determination unit 153.
  • the gaze area estimation unit 202 receives the electroencephalogram output from the electroencephalogram analysis unit 201, the eye muscle potential analysis result 191, and the reproduction control signal 181, and estimates eye movement of the user (viewer) corresponding to each image frame, It is estimated which image area of each image frame presented by the user (viewer) was actually viewed. That is, the gaze area of the user in each image frame is analyzed, and a gaze area estimation result 192 is generated and output to the response determination unit 153.
  • the gaze area estimation unit 202 associates the time code included in the reproduction control signal 181, that is, the time code that is the reproduction time information of each image frame with the electroencephalogram and the eye electromyogram analysis result 191, and reproduces each image frame.
  • the change in the electroencephalogram in is analyzed, the movement of the eyeball is estimated, and the gaze area information of which image area of each image frame the user (viewer) gazes at is generated.
  • the gaze area estimation unit 202 determines which image area of each image frame from the data. Generates gaze area information of whether the subject was gazing. The level of interest in the gaze area may be further estimated with reference to the electroencephalogram signal to calculate the gaze level of the user (viewer) (the level of interest in the gaze area image).
  • the evaluation information analysis unit 152 performs analysis processing that focuses on the temporal relationship (for example, P300) between the presentation of the scene and the change in the electroencephalogram or the transient response of the potential, Perform analysis processing focusing on frequency components (for example, ⁇ waves) included in
  • the evaluation item For example, if the change in brightness in the video signal to be presented is evaluated, the brain wave in the initial visual area is evaluated, and if the emotion such as pleasure or discomfort caused by the video signal is evaluated It is preferable to focus attention on the change of the electroencephalogram in the temporal region in the case of the evaluation on the sound signal in the change of.
  • the evaluation information analysis unit 152 outputs, as analysis information, an electroencephalogram, an eye myoelectric potential analysis result 191, and a gaze area estimation result 192 to the response determination unit 153.
  • the response determination unit 153 generates determination data indicating a reaction of the user to the content 171 presented to the user based on the analysis result of the evaluation information analysis unit 152.
  • the determination data can be executed in various data units such as data corresponding to the entire content 171, or in chapter units, frame units, or the like.
  • the determination data generated by the response determination unit 153 can be provided to the content distribution unit 210 as feedback information 176.
  • the content distribution unit 120 can perform content control such as changing the content of the content 171 to be distributed to the user based on the feedback information 176.
  • FIG. 7 A configuration example of the information processing system 300 according to the third embodiment is illustrated in FIG.
  • the information processing system 300 shown in FIG. 7 has the following four configurations similar to the first embodiment described with reference to FIG. Content distribution unit 120, Data transmission / reception unit 130, Head mounted display (HMD) 140, Content analysis unit 150,
  • the third embodiment has a configuration in which the attitude detection unit 301 is added to the head mounted display 140 of the information processing system 100 according to the first embodiment described above with reference to FIG.
  • the posture detection unit 301 is formed of, for example, a sensor such as an acceleration sensor or a gyro, and has a function of detecting a change in a posture of a user (viewer) or a motion.
  • Electromyography EMG: Electromyogram
  • EMG Electromyogram
  • An electromyogram (EMG) signal which is a noise component in an electroencephalogram signal, is estimated based on the change or movement of the posture of the user (viewer) detected by the posture detection unit 301. Using this estimation result, noise components (myoelectric signals) are removed from the electroencephalogram signal measured by the electroencephalogram measurement unit 142 to obtain a highly accurate electroencephalogram signal to realize analysis.
  • EMG electromyogram
  • the head mounted display 140 includes the posture detection unit 301, and the process associated with this additional configuration will be described.
  • the attitude detection unit 301 of the head mounted display 140 is configured of, for example, an acceleration sensor or a sensor such as a gyro, and detects a change or movement of the attitude of the user (viewer).
  • This detection signal is posture information 311 shown in FIG.
  • the electroencephalogram measurement unit 142 of the head mounted display (HMD) 140 and the posture detection unit 301 detect the brain waves and posture of the user who views the content 171 and transmit / receive data of the measured brain wave signal 174 and posture information 311 It is output to the evaluation information transmission unit 133 of the unit 130.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 transmits the acquired brain wave signal 174 of the user and the posture information 311 to the content analysis unit 150 via the network.
  • the evaluation information transmission unit 133 is a setting that enables discrimination of the image corresponding to which image of the reproduction content the brain wave signal 174 measured from the user and the posture information 311, that is, frame correspondence data, or reproduction time Send as corresponding data.
  • the reproduction control information 173 received from the content distribution server 120 is used as attribute information of the content 171.
  • the reproduction control information 173 is information on which is recorded time information which is reproduction time information, frame identification information, chapter information including a scene switching position and the like.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 associates the electroencephalogram signal 174 of the user acquired from the head mount display 140 and the posture information 311 with the time code acquired from the reproduction control information 173,
  • the user evaluation information (electroencephalogram signal + posture information + reproduction control signal) 312 composed of correspondence data enabling identification of which reproduction time of the content the posture information is can be generated and transmitted to the content analysis unit 150.
  • the content analysis unit 150 in the third embodiment generates content evaluation information based on brain waves as in the first embodiment described above, but in this processing, the posture information is used to change the motion or movement of the user.
  • the generated electromyogram (EMG: Electromyogram) signal is estimated, and the electromyogram signal superimposed as a noise signal on the electroencephalogram measured by the electroencephalogram measurement unit 142 is removed to generate a highly accurate electroencephalogram signal for content analysis.
  • EMG Electromyogram
  • the evaluation information reception unit 151 of the content analysis unit 150 receives the user's evaluation information (brain wave signal + posture information + reproduction control signal) 312 transmitted by the data transmission / reception unit such as a PC as a user (viewer) side device, It is output to the evaluation information analysis unit 152.
  • the evaluation information analysis unit 152 first estimates the electromyography (EMG) signal generated by the change or movement of the user's posture using the posture information, and is superimposed on the electroencephalogram measured by the electroencephalogram measurement unit 142 as a noise signal. Execute processing to remove the myoelectric signal. Next, based on the electroencephalogram signal subjected to noise removal, for example, it is analyzed what kind of electroencephalogram signal is outputted for which image part of the content 171, and the user's interest in content, evaluation, concentration, fatigue Analyze the degree etc.
  • EMG electromyography
  • the evaluation information analysis unit 152 performs analysis processing focusing on the temporal relationship between the presentation of a scene and changes in brain waves (for example, P300) and the transient response of the potential, and analysis processing focusing on frequency components (for example, ⁇ waves) included in the brain waves.
  • Etc. In the analysis, which region of the head the brain waves are to be used may be determined according to the evaluation item. For example, if the change in brightness in the video signal to be presented is evaluated, the brain wave in the initial visual area is evaluated, and if the emotion such as pleasure or discomfort caused by the video signal is evaluated It is preferable to focus attention on the change of the electroencephalogram in the temporal region in the case of the evaluation on the sound signal in the change of.
  • the analysis information of the evaluation information analysis unit 152 is output to the response determination unit 153.
  • the response determination unit 153 generates determination data indicating a reaction of the user to the content 171 presented to the user based on the analysis result of the evaluation information analysis unit 152.
  • the determination data can be executed in various data units such as data corresponding to the entire content 171, or in chapter units, frame units, or the like.
  • the determination data generated by the response determination unit 153 can be provided to the content distribution unit 210 as feedback information 176.
  • the content distribution unit 120 can perform content control such as changing the content of the content 171 to be distributed to the user based on the feedback information 176.
  • FIG. 8 A configuration example of an information processing system 400 according to the fourth embodiment is shown in FIG.
  • the information processing system 400 shown in FIG. 8 has the following four configurations similar to the first embodiment described with reference to FIG. Content distribution unit 120, Data transmission / reception unit 130, Head mounted display (HMD) 140, Content analysis unit 150,
  • the head mounted display (HMD) 140 of the fourth embodiment is not only the video and audio signal presenting unit 141, The electroencephalogram measurement unit 142, Ocular myoelectric potential measurement unit 143, A posture detection unit 301 is provided.
  • the eye muscle potential measurement unit 143 executes the same process as the eye muscle potential measurement unit 143 in the information processing system 200 of the second embodiment described above with reference to FIGS. 4 to 6, and the posture detection unit 301 The same processing as the posture detection unit 301 in the information processing system 300 of the third embodiment described above with reference to FIG. 7 is executed.
  • the eye myoelectric potential measurement unit 143 measures the myoelectric potential generated by the movement of the eye muscle as a change in electric potential. It is possible to estimate how much the eye has moved from this amount of potential change, and further to estimate to which side the eye has moved from the positive / negative change of the potential.
  • the posture detection unit 301 is formed of, for example, a sensor such as an acceleration sensor or a gyro, and has a function of detecting a change in a posture of a user (viewer) or a motion.
  • the present embodiment is configured to have the functions of the second embodiment and the third embodiment described above. That is, the fixation point is analyzed based on the eye muscle potential signal 177 which is a measurement signal of the eye muscle potential measurement unit 143, and the brain wave measurement unit 142 is further analyzed based on the posture information 311 which is detection information of the posture detection unit 301.
  • the electroencephalogram (EMG) signal included as a noise signal is removed from the electroencephalogram measured in the above to obtain a highly accurate electroencephalogram signal for processing.
  • the electroencephalogram measurement unit 142, the eye muscle potential measurement unit 143, and the posture detection unit 301 of the head mounted display 140 illustrated in FIG. 8 detect the brain waves of the user who views the content 171, the eye muscle potential, and the posture,
  • the measured electroencephalogram signal 174, the eye muscle potential signal 177, and the posture information 311 are output to the evaluation information transmission unit 133 of the data transmission / reception unit 130.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 transmits the acquired brain wave signal 174 of the user, the eye muscle potential signal 177, and the posture information 311 to the content analysis unit 150 via the network.
  • the evaluation information transmission unit 133 is a setting capable of identifying which image of the reproduction content corresponds to the electroencephalogram signal 174 measured by the user, the eye muscle potential signal 177, and the posture information 311. Transmit as frame-compatible data or playback time-compatible data.
  • the reproduction control information 173 received from the content distribution server 120 is used as attribute information of the content 171.
  • the reproduction control information 173 is information on which is recorded time information which is reproduction time information, frame identification information, chapter information including a scene switching position and the like.
  • the evaluation information transmission unit 133 of the data transmission / reception unit 130 uses the brain wave signal 174 of the user acquired from the head mount display 140, the eye muscle potential signal 177, the posture information 311, and the time code acquired from the reproduction control information 173.
  • User's evaluation information (brain wave signal + eye myoelectric potential signal + posture information + reproduction control signal) 320 consisting of correspondence data in which brain wave signals and posture information correspond to which reproduction time of the content can be identified Are generated and transmitted to the content analysis unit 150.
  • the content analysis unit 150 in the fourth embodiment generates content evaluation information based on an electroencephalogram as in the first embodiment described above, and analyzes the gaze region of the user (viewer) based on the eye myoelectric signal. .
  • the electroencephalogram signal may be used for the analysis of the fixation region.
  • the content analysis unit 150 in the fourth embodiment estimates the electromyogram (EMG) signal generated by the change or movement of the user's posture using the posture information, and noise in the electroencephalogram measured by the electroencephalogram measurement unit 142
  • EMG electromyogram
  • the myoelectric signal superimposed as a signal is removed to generate a highly accurate electroencephalogram signal, and content analysis is performed.
  • the myoelectric signal is superimposed on the electroencephalogram measured by the electroencephalogram measurement unit 142 as a noise signal.
  • the evaluation information reception unit 151 of the content analysis unit 150 receives the user's evaluation information (eEG signal + eye myopotential signal + posture information + reproduction control signal) transmitted by the data transmission / reception unit 130 such as a PC as a user (viewer) side device ) 320 is output to the evaluation information analysis unit 152.
  • the user's evaluation information eEG signal + eye myopotential signal + posture information + reproduction control signal
  • the reproduction control signal 321, the electroencephalogram signal 322, the myoelectric potential signal 323, and the posture information 324 are input from the evaluation information receiving unit 151 of the content analysis unit 150 to the evaluation information analysis unit 152.
  • the evaluation information analysis unit 152 includes an electroencephalogram analysis unit 201, a gaze area estimation unit 202, and a posture-compatible myoelectric signal estimation unit 331.
  • the posture corresponding myoelectric signal estimation unit 331 estimates a myoelectric (EMG) signal generated by a change or movement of the user's posture using the posture information, generates a myoelectric signal estimation result 332, and an electroencephalogram analysis unit Output to 201.
  • EMG myoelectric
  • the electroencephalogram analysis unit 201 receives the reproduction control signal 321, the electroencephalogram signal 322, and the myoelectric signal estimation result 332 and that it is superimposed on the electroencephalogram signal 322 measured by the electroencephalogram measurement unit 142 as a noise signal.
  • a process of removing the estimated myoelectric signal estimation result 332 is executed.
  • the electroencephalogram signal subjected to noise removal for example, it is analyzed which electroencephalogram signal is output for which image portion of the content 171, for example, an electroencephalogram consisting of an electroencephalogram signal in image frame units, myoelectricity
  • the position analysis result 191 is generated and output to the gaze area estimation unit 202 and the response determination unit 153.
  • the gaze area estimation unit 202 receives the electroencephalogram output from the electroencephalogram analysis unit 201, the eye muscle potential analysis result 191, and the reproduction control signal 321, and estimates eye movement of the user (viewer) corresponding to each image frame, It is estimated which image area of each image frame presented by the user (viewer) was actually viewed. That is, the gaze area of the user in each image frame is analyzed, and a gaze area estimation result 192 is generated and output to the response determination unit 153.
  • the gaze area estimation unit 202 associates, for example, the time code included in the reproduction control signal 321, that is, the time code that is reproduction time information of each image frame with the electroencephalogram and the eye muscle potential analysis result 191, The change of the electroencephalogram in the reproduction time is analyzed, the movement of the eyeball is estimated, and the gaze area information of which image area of each image frame the user (viewer) gazes at is generated.
  • the gaze area estimation unit 202 recognizes which image area of each image frame the user (viewer) gazes from these data. Generate gaze area information of what was.
  • the level of interest in the gaze area may be further estimated with reference to the electroencephalogram signal to calculate the gaze level of the user (viewer) (the level of interest in the gaze area image).
  • the evaluation information analysis unit 152 performs analysis processing that focuses on the temporal relationship (for example, P300) between the presentation of the scene and the change in the electroencephalogram or the transient response of the potential, Perform analysis processing focusing on frequency components (for example, ⁇ waves) included in
  • the evaluation item For example, if the change in brightness in the video signal to be presented is evaluated, the brain wave in the initial visual area is evaluated, and if the emotion such as pleasure or discomfort caused by the video signal is evaluated It is preferable to focus attention on the change of the electroencephalogram in the temporal region in the case of the evaluation on the sound signal in the change of.
  • the evaluation information analysis unit 152 outputs, as analysis information, an electroencephalogram, an eye myoelectric potential analysis result 191, and a gaze area estimation result 192 to the response determination unit 153.
  • the response determination unit 153 generates determination data indicating a reaction of the user to the content 171 presented to the user based on the analysis result of the evaluation information analysis unit 152.
  • the determination data can be executed in various data units such as data corresponding to the entire content 171, or in chapter units, frame units, or the like.
  • the determination data generated by the response determination unit 153 can be provided to the content distribution unit 210 as feedback information 176.
  • the content distribution unit 120 can perform content control such as changing the content of the content 171 to be distributed to the user based on the feedback information 176.
  • most of the head mounted display 140 is configured by using a smartphone which has been widely spread in recent years. That is, the display unit of the smart phone 410 is used as the display unit of the head mounted display 140.
  • the head mounted display 140 includes an electroencephalogram measurement unit 142 and an eye muscle potential measurement unit 143.
  • the smartphone 410 includes a reproduction control signal holding unit 132, an evaluation information transmission unit 133, and a posture detection unit 301 in addition to the content reception unit 131 and the video signal presentation unit 141. Note that these components are the same as the components described in the first to fourth embodiments.
  • a common smart phone has a communication function such as LTE or Wi-Fi, and a content reception unit 131 for receiving content 171, an evaluation information transmission unit 133 for transmitting evaluation information, LTE, Wi-Fi, etc.
  • a general smart phone has a built-in memory, and the built-in memory can be used as the control signal holding unit 132.
  • the electroencephalogram measurement unit 142 or the eye muscle potential measurement unit 143 on the head mounted display 140 side and the smart phone 410 side Communication with the evaluation information transmission unit 133 is also possible.
  • a proximity communication function such as Bluetooth (registered trademark) (Bluetooth (registered trademark)
  • Bluetooth registered trademark
  • the electroencephalogram measurement unit 142 or the eye muscle potential measurement unit 143 on the head mounted display 140 side and the smart phone 410 side Communication with the evaluation information transmission unit 133 is also possible.
  • the content analysis unit 150 outputs feedback information 176 to the content distribution unit 120 based on the content analysis result.
  • the sixth embodiment described below is an embodiment to which this feedback information is applied.
  • the feedback information 176 is output to the content distribution unit 120 based on the content analysis result in the content analysis unit 150.
  • the content distribution unit 120 can change the setting of the content 171 provided to the user based on the feedback information 176 input from the content analysis unit 150. For example, based on feedback information A from the user A (viewer A), the content or scene estimated to be highly interesting to the user A is selected and distributed to the user A. In addition, based on feedback information B from user B (viewer B), perform user-controllable content control such as selecting a content or a scene estimated to be highly interested by user B and distributing it to user B. Is also possible.
  • FIG. 12 is a diagram showing an example of content distribution control corresponding to the user.
  • the content analysis unit 150 specifies high-interest content and scenes of each of the user U1 and the user U2 based on the analysis result of the electroencephalogram signal of each of the user U1 and the user U2 acquired from the user U1 and the user U2 It generates feedback information 601 and 602 including information and outputs the feedback information 601 and 602 to the content distribution unit 120.
  • the content distribution unit 120 based on the feedback information 601 from the user U1, The user U1 selects and transmits content and scene information that the user U1 is interested in. Also, based on feedback information 602 from user U2, The user U2 selects and transmits content and scene information of high interest to the user U2.
  • the video and audio signals held in the content distribution unit 120 are largely composed of four scenes A, B, C, and D.
  • the playback time of each scene is as follows.
  • Scene A is from time t1 to time t2
  • Scene B is from time t2 to time t3
  • Scene C is from time t3 to time t4
  • Scene D is from time t4 to time t5
  • It is the setting of the above reproduction time.
  • scene A has only one scene configuration, but scene B is from sub scenes B1, B2 and B3, scene C is from sub scenes C1, C2 and C3, and scene D is from sub scenes D1 and D2, Each is configured.
  • the content distribution unit 120 determines which sub scene is to be selected in the scene selectable scenes B, C, D based on feedback information 601, 602 from each user.
  • sub scene selection process of the scene C feedback information of the users U1 and U2 with respect to the scene A and the scene B from time t1 to time t3 is used. Based on the feedback information of each user U1 and U2 with respect to scene A and scene B from time t1 to time t3, a sub scene estimated to be of high interest to each user is selected from sub scenes C1 to C3 to correspond to each user Distribute the sub scenes of to each user.
  • the determination results from time t2 to time t3 may be referenced, and when selecting scene D, the determination results from time t3 to time t4 may be referred to.
  • sub scene B1 is selected as scene B in consideration of the determination result at time t1 to t2 of user U1
  • sub scene C2 is selected as scene C in consideration of the determination result at time t1 to t3.
  • the sub scene D2 is selected as the scene D in consideration of the determination result from time t1 to t4.
  • the audiovisual signal presented to the user U1 is a combination of the scene A, the scene B1, the scene C2 and the scene D2.
  • sub scene B3 is selected as scene B in consideration of the determination results from time t1 to t2
  • sub scene C3 is selected as scene C in consideration of the determination results in time t1 to t3.
  • the sub scene D1 is selected as the scene D in consideration of the determination results from time t1 to t4.
  • the audiovisual signal presented to the user U2 is a combination of scene A, scene B3, scene C3 and scene D1.
  • FIG. 13 is a diagram showing an example of the hardware configuration of the head mounted display (HMD) 140.
  • a central processing unit (CPU) 701 functions as a data processing unit that executes various processes in accordance with a program stored in a read only memory (ROM) 702 or a storage unit 708. For example, processing according to the sequence described in the above-described embodiment is performed.
  • the RAM (Random Access Memory) 703 stores programs executed by the CPU 701, data, and the like.
  • the CPU 701, the ROM 702, and the RAM 703 are connected to one another by a bus 704.
  • the CPU 701 is connected to the input / output interface 705 through the bus 704, and the input / output interface 705 is connected to an input unit 706 including various switches, a keyboard, a mouse, a microphone and the like, and an output unit 707 including a display and a speaker. There is.
  • the CPU 701 executes various types of processing in response to an instruction input from the input unit 706, and outputs the processing result to, for example, the output unit 707.
  • a storage unit 708 connected to the input / output interface 705 is, for example, a flash memory, and stores programs executed by the CPU 701 and various data.
  • a communication unit 709 functions as a transmission / reception unit of data communication via a network such as proximity communication or the Internet or a local area network, and communicates with an external device.
  • the electroencephalogram acquisition unit 710 acquires, for example, an electroencephalogram via an electrode having the arrangement described above with reference to FIG.
  • the eye muscle potential acquisition unit 711 acquires eye muscle potentials via, for example, an electrode having the arrangement described above with reference to FIG. 5.
  • the posture information acquisition unit 712 is formed of, for example, a sensor such as an acceleration sensor or a gyro, and has a function of detecting a change in a posture of a user (viewer) or a motion.
  • a central processing unit (CPU) 801 functions as a data processing unit that executes various processes in accordance with a program stored in a read only memory (ROM) 802 or a storage unit 808. For example, processing according to the sequence described in the above-described embodiment is performed.
  • the RAM (Random Access Memory) 803 stores programs executed by the CPU 801, data, and the like.
  • the CPU 801, the ROM 802 and the RAM 803 are mutually connected by a bus 804.
  • the CPU 801 is connected to the input / output interface 805 through the bus 804.
  • the input / output interface 805 is connected to an input unit 806 including various switches, a keyboard, a mouse, a microphone and the like, and an output unit 807 including a display and a speaker. There is.
  • the CPU 801 executes various types of processing in response to an instruction input from the input unit 806, and outputs the processing result to, for example, the output unit 807.
  • a storage unit 808 connected to the input / output interface 805 is, for example, a flash memory, and stores programs executed by the CPU 801 and various data.
  • a communication unit 809 functions as a transmission / reception unit of data communication via a network such as proximity communication or the Internet or a local area network, and communicates with an external device.
  • a drive 810 connected to the input / output interface 805 drives removable media 811 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and executes data recording or reading.
  • An image presenting unit for presenting an image to a user It is a head mounted display type information processing apparatus having an electroencephalogram measurement unit that measures the electroencephalogram of the user (viewer), An information processing apparatus in which an electroencephalogram measurement electrode is set in a mounting area of a user (viewer) of a head mounted display.
  • the information processing apparatus further includes: The information processing apparatus according to (1), including an audio output unit.
  • the information processing apparatus further includes: The information processing apparatus according to (1) or (2), including an eye myoelectric potential measurement unit configured to detect an eye myoelectric potential of a user (viewer) of the head mounted display.
  • the eye muscle potential measurement unit The information processing apparatus according to (3), wherein the eye-myoelectric potential measurement electrode is provided in a mounting area of a user (viewer) face of the head mounted display.
  • the information processing apparatus further includes: The information processing apparatus according to any one of (1) to (4), including an attitude detection unit that detects attitude information of a user (viewer) of the head mounted display.
  • the posture detection unit The information processing apparatus according to (5), which is configured to include an acceleration sensor or a gyro.
  • the brain wave signal acquired from the user (viewer) who observes the image is associated with the reproduction control information of the picture to generate the evaluation information which makes it possible to identify at which time the brain wave signal is output.
  • Information processing device The brain wave signal acquired from the user (viewer) who observes the image is associated with the reproduction control information of the picture to generate the evaluation information which makes it possible to identify at which time the brain wave signal is output.
  • the information processing apparatus A content reception unit that receives an image to be presented to the user (viewer) from the outside;
  • the evaluation information is generated according to (7), in which it is possible to identify which image the electroencephalogram signal is output at the time of presentation using the reproduction control information received together with the image received via the content reception unit.
  • Information processing device
  • the information processing apparatus further includes: The eye myoelectric potential signal acquired from the user (viewer) who observes the image is associated with the reproduction control information of the image to generate evaluation information that makes it possible to identify at which time the eye myoelectric potential signal was output An information processing apparatus according to any one of (7) to (8).
  • Information processing that executes an analysis process of acquiring at least one of the degree of interest, the degree of evaluation, the degree of concentration, and the degree of fatigue of the user (viewer) for the presented image using the evaluation information including the brain wave signal apparatus.
  • the information processing apparatus further includes: Evaluation data that is the correspondence data of the eye myoelectric potential signal acquired from the user (viewer) who observes the image and the reproduction control information of the image, and it is possible to distinguish which image the eye myoelectric potential signal was output at Enter.
  • Evaluation data that is the correspondence data of the eye myoelectric potential signal acquired from the user (viewer) who observes the image and the reproduction control information of the image, and it is possible to distinguish which image the eye myoelectric potential signal was output at Enter
  • the information processing apparatus according to (10) wherein a gaze area of a presentation image of the user (viewer) is analyzed.
  • the information processing apparatus further includes: It is correspondence data of posture information acquired from a user (viewer) who observes an image and reproduction control information of the image, and inputs evaluation information which makes it possible to identify at which time of presentation of the posture information. Estimating a myoelectric signal based on the posture information; A noise signal corresponding to a myoelectric signal component is removed from the electroencephalogram signal to generate a high-accuracy electroencephalogram signal, and the analysis process is executed using the generated high-accuracy electroencephalogram signal (10) or (11). Information processing equipment.
  • the information processing apparatus further includes: The information processing apparatus according to any one of (10) to (12), wherein the analysis result using the electroencephalogram signal is output as feedback information to a content distribution unit that distributes an image to the user (viewer).
  • An information processing apparatus for distributing image content to be presented to a user (viewer) An information processing apparatus that executes control of distribution content according to an analysis result based on an electroencephalogram signal acquired from a user (viewer) who observes an image.
  • the information processing apparatus is The information processing apparatus according to (14), which executes distribution content control for each user (viewer) based on feedback information for each user (viewer).
  • a user device that presents content to a user (viewer);
  • a content analysis device that receives and analyzes evaluation information on the content from the user device;
  • the user device is
  • the electroencephalogram signal acquired from the user (viewer) who observes the image is associated with the reproduction control information of the image to generate evaluation information which makes it possible to identify at which time the electroencephalogram signal is output.
  • An information processing system that outputs data to a content analysis device.
  • the content analysis device The analysis information including at least one of the degree of interest, the degree of evaluation, the degree of concentration, and the degree of fatigue of the user (viewer) to the presented image is executed using the evaluation information including the brain wave signal;
  • the user device is The eye myoelectric potential signal acquired from the user (viewer) who observes the image is associated with the reproduction control information of the image to generate evaluation information that makes it possible to identify at which time the eye myoelectric potential signal was output Output to the content analysis device,
  • the content analysis device The information processing system according to (16) or (17), wherein a gaze area of a presentation image of the user (viewer) is analyzed using evaluation information including the eye myoelectric potential signal.
  • An information processing method to be executed in an information processing apparatus The data processing unit of the information processing apparatus An information processing method for generating evaluation information in which an electroencephalogram signal acquired from a user (viewer) who observes an image is associated with reproduction control information of the image and it is possible to identify which image the electroencephalogram signal is output at the time of presentation. .
  • a program for causing an information processing apparatus to execute information processing In the data processing unit of the information processing apparatus, A program for correlating an electroencephalogram signal acquired from a user (viewer) who observes an image with reproduction control information of the image, and generating evaluation information capable of identifying at which image the electroencephalogram signal is output.
  • the series of processes described in the specification can be performed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in memory in a computer built into dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It is possible to install and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be installed from a recording medium to a computer, or can be installed in a recording medium such as a built-in hard disk by receiving a program via a network such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • a system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
  • the image evaluation information is generated based on the electroencephalogram signal of the image observing user, and the user analyzes the degree of interest or gaze area of the presented image
  • a configuration for acquiring information is realized.
  • it has a content delivery unit for delivering image content, a data transmission / reception unit for receiving the delivery content, a head mounted display for presenting the content, and a content analysis unit for analyzing the content evaluation information.
  • the data transmission / reception unit associates the electroencephalogram signal obtained from the user with the image reproduction control information, generates evaluation information capable of identifying which image the electroencephalogram signal is output at the time of presentation, and outputs the evaluation information to the content analysis device.
  • the content analysis apparatus acquires analysis information such as the degree of interest or gaze area of the user's presented image using the electroencephalogram signal.
  • analysis information such as the degree of interest or gaze area of the user's presented image using the electroencephalogram signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Educational Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

画像観察ユーザの脳波信号に基づいて、画像評価情報を生成して、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する。画像コンテンツを配信するコンテンツ配信部と、配信コンテンツを受信するデータ送受信部と、コンテンツを呈示するヘッドマウントディスプレイと、コンテンツ評価情報を解析するコンテンツ解析部を有する。データ送受信部は、ユーザから取得した脳波信号と画像再生制御情報を対応付けて、脳波信号がどの画像の呈示時に出力されたかを識別可能な評価情報を生成してコンテンツ解析装置に出力する。コンテンツ解析装置は、脳波信号を用いて、ユーザの呈示画像に対する関心度や注視領域等を解析する。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えばユーザ(視聴者)に画像を呈示し、ユーザ(ユーザ(視聴者))の脳波に基づいて、画像に対するユーザの注視領域や、関心度、集中度、疲労度等を解析可能とした情報処理装置、および情報処理方法、並びにプログラムに関する。
 昨今、ゲームコンテンツや映画コンテンツ等、様々なコンテンツが、例えばネットワーク、放送は、あるいはメディアを介して多くのユーザ(視聴者)に提供されている。
 コンテンツ配信者は、配信コンテンツに対するユーザの評価を取得し、次のコンテンツの開発に利用するといったことを行う場合が多い。
 配信コンテンツに対するユーザ評価を取得する一般的な手法としては、例えばアンケートがある。しかし、アンケート処理は時間やコストが大きくなり、また、必ずしも、各ユーザが正直な評価をしているとは限らないという問題がある。
 さらに、配信コンテンツが動画コンテンツである場合、各ユーザ(視聴者)がコンテンツを構成する各フレームのどの部分に注目していたか、すなわち注視領域をアンケートから解析することは困難であり、ユーザの興味の高い画像領域の解析や評価が困難であるという問題がある。
 例えば、画像やコンテンツの評価処理は、客観的評価処理と、主観的評価処理に分類することができる。
 主観的評価処理は、ユーザ(視聴者)が、観察対象のコンテンツを感覚的に評価する処理であり、客観的評価処理は、このような個人的な主観を取り除いて行われる評価処理である。
 現在、例えば画像の画質向上のための様々な研究が行われているが、画像の高画質化技術や圧縮符号化技術を開発する際に考慮すべき要素の一つとして、画質の主観的評価を向上させることがある。
 画質評価の主観的手法としては、例えば、画像処理の専門家または非専門家を集めて行う以下の様々な評価手法がある。
 n段階評価(MOS:Mean Opinion Score),(n=5,7等)、
 点数評価(Magnitude Estimation法等)、
 内観評価(コメント記録)
 これらは、画像処理の専門家または非専門家各々が視聴した画像の感じ方を数字や文字に置き換えることで画質評価処理を行う主観的手法である。
 しかし、このような主観的評価処理には、以下の問題がある。
 (1)主観的評価であるが故に個人毎に結果のばらつきが大きい。
 (2)評価軸が指定されるため軸から外れた項目は評価されない。
 (3)評価結果がユーザ(視聴者)の経験や知識に大きく影響される。
 (4)結果の精度を確保するために多くのユーザ(視聴者)が必要で時間とコストが掛かる。
 例えば、以上のような問題がある。
 これらの問題を解決するためには、評価を客観的に行うことが必要である。
 ただし、客観的評価結果が、主観的評価結果と乖離してしまうと意味がなくなる。
 従って、主観的評価結果と乖離しない客観的評価結果を生成することが重要となる。
 画質評価の客観的手法として、PSNR(Peak Signal-to-Noise Ratio)や、SSIM(Structural Similarity Index Measure)が知られている。
 これらの手法は、いずれも客観的な数値としての画質評価値を出力する手法である。
 しかし、上記のPSNR、SSIMによる画質評価値として得られる数値と、実際の画像視聴者の感じ方が一致しない場合があるとの指摘もあり、主観評価を完全に置き換えるには至っていない。
 このような問題を解決するため、近年、画像観察者の脳波を用いた画質やコンテンツの客観評価手法についての研究がなされている。
 この脳波を用いた評価手法は、評価対象の画像を観たユーザ(視聴者)がどう感じたかを、脳波の変化をモニタすることで検出しようとするものである。
 客観的な評価結果である画像観察者の脳波と、画像観察者の主観評価結果に基づく実際の感じ方を紐付けることにより、画像観察者に呈示した刺激の種類や人の感じ方を脳波から推測できるとされている。
 しかし、この手法には,
 (1)装置の導入と運用にコストと訓練が必要となる。
 (2)現時点ではユーザ(視聴者)に電極を装着するため前述の客観評価手法に比べて煩雑である。
 上記の課題がある。
 ただし、ユーザ(視聴者)の知識や経験、評価軸に影響されにくい結果が得られると考えられる。
 また、画像の呈示タイミングと脳波の記録タイミングを同期させることで、いつ何を感じていたかも記録可能である。
 脳波を用いた画像評価構成を開示した従来例として、例えば、特許文献1(特開2013―258555号公報)、特許文献2(特公平07―061325号公報)、さらに、特許文献3(特許5624512号公報)がある。
 特許文献1は、ゲーム画像を観察するユーザ(視聴者)の脳波、血流、脈拍、視線等の情報を取得し、これらの情報に基づいて、ゲームプレイ中のユーザの精神状態を把握してゲームの展開に反映させたり、ゲームプレイ中のユーザの緊張度合いを検出したりするヘッドマウントディスプレイが記載している。
 この特許文献1は、ユーザ(視聴者)から取得、解析した精神状態に基づいて、表示するゲームコンテンツを更新する処理や、複数のゲームプレーヤーでゲームを共有している際に、各ユーザの精神状態に応じてプレーヤー全員のゲーム展開を時々刻々、変化させる制御を行う構成について開示している。
 特許文献2は、所定の周波数(例えば10Hz)を有する視覚刺激を、画像観察者であるユーザ(視聴者)に呈示し、測定されたユーザ(視聴者)の脳波周波数成分の大きさの変化を測定することで、視覚刺激へのユーザ(視聴者)の関心を評価する装置を記載している。
 より具体的には、視覚刺激呈示中の定常状態視覚誘発電位の変化を測定することで、視覚刺激に対する反応を評価するものである。
 特許文献3は、画像コンテンツ視聴時のユーザの脳血流量と視線位置を取得して、画像コンテンツに対する心理的な反応を識別したり、ユーザが画像コンテンツを注視している度合い(注視度)を算出したりして、画像コンテンツに対する評価を決定する装置を記載している。なお、脳血流の変化は、脳波の変化と同様、脳活動の変化を表す。
特開2013―258555号公報 特公平07―061325号公報 特許5624512号公報
 上述の特許文献1の構成は、前頭部の脳波のみを取得、解析対象とした構成であり、ユーザの精神状態を測定する精度に限界があるという問題がある。
 また、本特許文献1には、ユーザの視線方向、瞳孔の動き、瞬きの頻度などを検出し、これらを変換式によってユーザの心理状態指標に変換する構成を開示しているが、視線方向、瞳孔の動き、瞬きの頻度などの検出にはイメージセンサを用いており、一般的なユーザ向けの視聴機器、例えば、ヘッドマウントディスプレイに内蔵することはコスト的に困難であるという問題がある。
 また、特許文献2は、視覚刺激(=画像)呈示中の定常状態視覚誘発電位を測定し、特定の周波数成分の変化を基にユーザ(視聴者)の関心を評価する構成である。しかし、この構成では、刺激(画像)の平均輝度の変化が周波数成分の変化として現れるとユーザ(視聴者)の関心を評価できないため、刺激(画像)の平均輝度を一定に保つことが必要となる。
 しかし、長時間の動画像にはシーンチェンジも多く含まれ、平均輝度を一定に保つことは不可能であり、正確なユーザ評価を得ることが困難であるという問題がある。
 特許文献3は、脳活動を測定するために脳血流を検知する構成である。脳血流の検知には、赤外線を照射してその反射光のパターンを解析する手法があり、この手法を利用したNIRS(Near Infra-Red Spectoroscopy)と呼ばれる装置も存在する。しかしNIRSは非常に高価であり、一般的なユーザ向けの視聴機器、例えば、ヘッドマウントディスプレイに内蔵することはコスト的に困難であるという問題がある。
 本開示は、例えば上記問題点に鑑みてなされたものであり、一般的なユーザ向けの視聴機器、例えば、ヘッドマウントディスプレイ(HMD)に内蔵可能で安価な構成により、コンテンツを構成する画像に対するユーザの注視領域や、評価、関心度、集中度、疲労度等を解析可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 ユーザ(視聴者)に画像を呈示する画像呈示部と、
 前記ユーザ(視聴者)の脳波を測定する脳波測定部を有するヘッドマウントディスプレイ型の情報処理装置であり、
 ヘッドマウントディスプレイのユーザ(視聴者)頭部の装着領域に脳波測定用電極を設定した情報処理装置にある。
 さらに、本開示の第2の側面は、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する情報処理装置にある。
 さらに、本開示の第3の側面は、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報の対応データであり、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
 前記脳波信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する関心度、または評価、または集中度、または疲労度の少なくともいずれかの情報を取得する解析処理を実行する情報処理装置にある。
 さらに、本開示の第4の側面は、
 ユーザ(視聴者)に呈示する画像コンテンツを配信する情報処理装置であり、
 画像を観察するユーザ(視聴者)から取得した脳波信号に基づく解析結果に応じて、配信コンテンツの制御を実行する情報処理装置にある。
 さらに、本開示の第5の側面は、
 コンテンツをユーザ(視聴者)に呈示するユーザ装置と、
 前記ユーザ装置から、前記コンテンツに対する評価情報を受信して解析するコンテンツ解析装置を有し、
 前記ユーザ装置は、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成して、前記コンテンツ解析装置に出力する情報処理システムにある。
 さらに、本開示の第6の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置のデータ処理部が、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する情報処理方法にある。
 さらに、本開示の第7の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置のデータ処理部に、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、画像観察ユーザの脳波信号に基づいて、画像評価情報を生成して、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する構成が実現される。
 具体的には、例えば、画像コンテンツを配信するコンテンツ配信部と、配信コンテンツを受信するデータ送受信部と、コンテンツを呈示するヘッドマウントディスプレイと、コンテンツ評価情報を解析するコンテンツ解析部を有する。データ送受信部は、ユーザから取得した脳波信号と画像再生制御情報を対応付けて、脳波信号がどの画像の呈示時に出力されたかを識別可能な評価情報を生成してコンテンツ解析装置に出力する。コンテンツ解析装置は、脳波信号を用いて、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する。
 本構成により、画像観察ユーザの脳波信号に基づいて、画像評価情報を生成して、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の情報処理システムの一構成例について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 ユーザ(視聴者)の頭部に装着する電極配置例を説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 ユーザ(視聴者)の頭部前面に装着する電極配置例を説明する図である。 コンテンツ解析部の構成と処理について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 コンテンツ解析部の構成と処理について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 本開示の情報処理システムの一構成例について説明する図である。 フィードバック情報を適用したコンテンツの配信制御例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.本開示の情報処理システムの構成と処理の概要について
 2.実施例1の情報処理システムの構成と処理について
 3.実施例2の情報処理システムの構成と処理について
 4.実施例3の情報処理システムの構成と処理について
 5.実施例4の情報処理システムの構成と処理について
 6.実施例5の情報処理システムの構成と処理について
 7.フィードバック情報を適用した処理について(実施例6)
 8.情報処理装置のハードウェア構成例について
 9.本開示の構成のまとめ
  [1.本開示の情報処理システムの構成と処理の概要について]
 まず、本開示の情報処理システムの構成と処理の概要について説明する。
 図1は、本開示の情報処理システム10の一構成例を示す図である。
 映像コンテンツやゲームコンテンツ等、主として動画からなるコンテンツ70が、図1に示すコンテンツ配信部20からインターネット等のネットワークを介して配信される。
 なお、コンテンツ70には、再生データである映像音声信号の他、再生タイミング情報としてのタイムコードや、フレーム情報、チャプター情報等の再生制御信号が含まれる。
 コンテンツ配信部20が配信するコンテンツ70は、ユーザ(視聴者)側のPC等のデータ送受信部30のコンテンツ受信部31によって受信される。
 受信コンテンツは、ユーザ(視聴者)のヘッドマウントディスプレイ(HMD)40の映像音声信号呈示部41に出力される。
 映像音声信号呈示部41はディスプレイ(表示部)、スピーカ等によって構成される。
 また、タイムコードや、フレーム情報、チャプター情報等の再生制御信号71は、評価情報送信部32にも供給される。
 ヘッドマウントディスプレイ(HMD)40には、脳波測定部42、生体情報センサ43が備えられている。
 脳波測定部42、生体情報センサ43は、コンテンツ70を鑑賞するユーザの脳波(EEG:Electroencephalogram)や、生体情報を測定して、測定データをデータ送受信部30の評価情報送信部32に出力する。
 データ送受信部30の評価情報送信部32は、取得したユーザの脳波、生体情報をコンテンツ解析部50にネットワークを介して送信する。
 なお、評価情報送信部32は、ユーザの脳波や、生体情報を、再生コンテンツのどの画像に対応するデータであるかを識別可能とした設定、すなわちフレーム対応データ、または再生時間対応データとした脳波や、生体情報を生成して送信する。
 この対応付けのために、コンテンツ70の属性情報としてコンテンツ配信サーバ20から受信した再生制御情報71を利用する。
 再生制御情報71は、再生時間情報であるタイムコードや、フレーム識別情報、さらに、シーン切り換え位置等を含むチャプター情報等の情報によって構成される。
 データ送受信部30の評価情報送信部32は、例えば、ヘッドマウントディスプレイ40から取得したユーザの脳波、生体情報に、再生制御情報71から取得したタイムコードを対応付けて、脳波、生体情報のデータがコンテンツのどの再生時刻のデータであるかを識別可能とした対応データを生成してコンテンツ解析部50に送信する。
 コンテンツ解析部50の評価情報受信部51は、ユーザ(視聴者)側装置であるPC等のデータ送受信部が送信したユーザの脳波、生体情報を受信し、評価情報解析部52に出力する。
 評価情報解析部52は、ユーザの脳波、生体情報に基づいて、コンテンツ70のどの画像に対してどのような脳波、生体情報が出力されたかを解析し、ユーザの注視領域(ROI:Region of Interest)、コンテンツに対する関心度、評価、集中度、疲労度等を解析する。
 評価情報解析部52の解析情報は応答判定部53に出力される。
 応答判定部53は、評価情報解析部52での解析結果に基づいて、ユーザに呈示されたコンテンツ70に対するユーザの反応を示す判定データを生成する。判定データは、コンテンツ70全体に対応するデータ、あるいはチャプター単位、フレーム単位等、様々なデータ単位で実行することが可能である。
 応答判定部53の生成した判定データは、フィードバック情報90としてコンテンツ配信部20に提供することができる。
 コンテンツ配信部20は、フィードバック情報90に基づいて、ユーザに配信するコンテンツ70の内容を変更する等のコンテンツ制御を行うことができる。
 本開示のシステムでは、脳波測定部において測定するユーザ(視聴者)の脳波(EEG:Electroencephalogram)を利用してユーザのコンテンツに対する興味等のコンテンツ評価を行う構成である。
 脳波(EEG:Electroencephalogram)の測定は、赤外線を照射してその反射光のパターンを解析するNIRS(Near Infra-Red Spectoroscopy)に比べて安価で簡便なセンシングが可能であり、HMDに実装しやすくコストも大幅に抑えられる。
 以下、具体的な複数の実施例の構成と処理について、順次、説明する。
  [2.実施例1の情報処理システムの構成と処理について]
 図2以下を参照して、実施例1に係る情報処理システムの構成と処理について説明する。
 図2には、図1を参照して説明したと同様の以下の4つの構成を示している。
 コンテンツ配信部120、
 データ送受信部130、
 ヘッドマウントディスプレイ(HMD)140、
 コンテンツ解析部150、
 コンテンツ配信部120は、インターネット等のネットワーク110を介して、ネットワーク110に接続されたユーザ(視聴者)側装置であるPCや、セットトップボックス、据置型ゲーム機等のデータ送受信部130にコンテンツ(映像音声信号+再生制御信号)171を配信する。
 コンテンツ171を構成する映像音声信号171は、データ送受信部130からヘッドマウントディスプレイ(HMD)140に転送されて出力される。
 また、コンテンツ171を構成する再生制御信号173は、再生制御信号保持部132に出力されて保持される。
 再生制御信号173は、再生時間情報であるタイムコードや、フレーム識別情報、さらに、シーン切り換え位置等を含むチャプター情報等の情報によって構成される。
 ヘッドマウントディスプレイ(HMD)140には、映像音声信号を呈示する映像音声信号呈示部141と、ユーザの脳波を測定する脳波測定部142が搭載される。
 脳波測定部142は、ユーザ(視聴者)の頭部に装着された電極(ノード)を介して、ユーザ(視聴者)の頭皮における電位変化を測定する。
 電極(ノード)配置に関しては国際10―20法と呼ばれる標準的な配置があるが、独自の配置や電極数を限定した配置であっても良い。
 また、電極を装着する際、導電性を高めるためのジェルや電解液を使用する場合や、機械的に圧力を掛けて密着させる場合があるが、どの方法を用いても良い。
 なお、脳波を記録する際は、どの刺激(画像)が呈示されている時の脳波なのかを対応付ける必要があるため、刺激(画像)呈示に関するタイミング情報を脳波と共に記録する。
 ユーザ(視聴者)の頭部に装着する電極配置例の一例を図3に示す。
 図3の上側がユーザ(視聴者)の頭部前方であり、図3の下側がユーザ(視聴者)の頭部後方である。
 電極は、図3に示す1~32の32個所としている。
 ヘッドマウントディスプレイ(HMD)には、多くの場合、HMDを装着するバンドが頭頂部や後頭部をカバーする構成であり、HMDの表示部側領域となる前頭部に加えて、バンドに電極を設定することで、頭部領域全体の脳波を測定することが可能となり、脳波の変化をより正確に捉えることができる。
 このように、ヘッドマウントディスプレイ(HMD)140は、ヘッドマウントディスプレイ(HMD)140のユーザ(視聴者)頭部の装着領域に脳波測定用電極を設定した構成を持つ。
 脳波測定部142は、図3に示す32の電極の少なくとも一部の電極から得られる信号を測定する。
 例えば32の全電極から得られる信号を利用してもよい。
 あるいは、視覚的な刺激に応じた脳波が測定されることが知られる電極、例えば、図3に示す電極番号の9,10,20等から得られる脳波測定信号のみを用いる構成としてもよい。
 なお、脳波測定部142の測定信号は、電極単位の脳波信号を用いてもよいし、あるいは複数の電極からの複数の脳波信号の統合成分(重みづけ加算信号等)としてもよい。
 脳波測定部142は、コンテンツ171を鑑賞するユーザの脳波を測定して、測定された脳波信号174を、データ送受信部130の評価情報送信部133に出力する。
 データ送受信部130の評価情報送信部133は、取得したユーザの脳波信号174をコンテンツ解析部150にネットワークを介して送信する。
 なお、評価情報送信部133は、ユーザから測定した脳波信号174を、再生コンテンツのどの画像に対応するデータであるかを識別可能とした設定、すなわちフレーム対応データ、または再生時間対応データとした脳波信号として送信する。
 この対応付けのために、コンテンツ171の属性情報としてコンテンツ配信サーバ120から受信した再生制御情報173を利用する。
 再生制御情報173は、再生時間情報であるタイムコード、フレーム識別情報、シーン切り換え位置等を含むチャプター情報等が記録された情報である。
 データ送受信部130の評価情報送信部133は、例えば、ヘッドマウントディスプレイ140から取得したユーザの脳波信号174に、再生制御情報173から取得したタイムコードを対応付けて、脳波信号がコンテンツのどの再生時刻のデータであるかを識別可能とした対応データからなるユーザの評価情報(脳波信号+再生制御信号)175を生成してコンテンツ解析部150に送信する。
 コンテンツ解析部150の評価情報受信部151は、ユーザ(視聴者)側装置であるPC等のデータ送受信部が送信したユーザの評価情報(脳波信号+再生制御信号)175を受信し、評価情報解析部152に出力する。
 評価情報解析部152は、ユーザの脳波に基づいて、例えばコンテンツ171のどの画像フレームに対してどのような脳波信号が出力されたかを解析し、ユーザのコンテンツに対する関心度、評価、集中度、疲労度等を解析する。
 評価情報解析部152は、シーンの呈示と脳波の変化の時間的関係(例えばP300)や電位の過渡応答に着目した解析処理や、脳波に含まれる周波数成分(例えばα波)に着目した解析処理などを行う、
 なお、解析の際、頭部のどの領域の脳波を利用するかは、評価項目に応じて決定すれば良い。例えば、呈示する映像信号における明るさの変化を評価するのであれば初期視覚野における脳波の変化に、映像信号が惹起する快不快等の情動を評価するのであれば頭頂部から前頭部における脳波の変化に、音声信号に対する評価であれば側頭部における脳波の変化に、それぞれ着目するのが良い。
 評価情報解析部152の解析情報は応答判定部153に出力される。
 応答判定部153は、評価情報解析部152での解析結果に基づいて、ユーザに呈示されたコンテンツ171に対するユーザの反応を示す判定データを生成する。判定データは、コンテンツ171全体に対応するデータ、あるいはチャプター単位、フレーム単位等、様々なデータ単位で実行することが可能である。
 応答判定部153の生成した判定データは、フィードバック情報176としてコンテンツ配信部210に提供することができる。
 コンテンツ配信部120は、フィードバック情報176に基づいて、ユーザに配信するコンテンツ171の内容を変更する等のコンテンツ制御を行うことができる。
  [3.実施例2の情報処理システムの構成と処理について]
 次に、図4以下を参照して、実施例2に係る情報処理システムの構成と処理について説明する。
 実施例2に係る情報処理システム200の構成例を図4に示す。
 図4に示す情報処理システム200は、図2を参照して説明した実施例1と同様の以下の4つの構成を有する。
 コンテンツ配信部120、
 データ送受信部130、
 ヘッドマウントディスプレイ(HMD)140、
 コンテンツ解析部150、
 コンテンツ配信部120は、インターネット等のネットワーク110を介して、ネットワーク110に接続されたユーザ(視聴者)側装置であるPCや、セットトップボックス、据置型ゲーム機等のデータ送受信部130にコンテンツ(映像音声信号+再生制御信号)171を配信する。
 コンテンツ171を構成する映像音声信号171は、データ送受信部130からヘッドマウントディスプレイ(HMD)140に転送されて出力される。
 また、コンテンツ171を構成する再生制御信号173は、再生制御信号保持部132に出力されて保持される。
 再生制御信号173は、再生時間情報であるタイムコードや、フレーム識別情報、さらに、シーン切り換え位置等を含むチャプター情報等の情報によって構成される。
 ヘッドマウントディスプレイ(HMD)140には、映像音声信号を呈示する映像音声信号呈示部141と、ユーザの脳波を測定する脳波測定部142、さらに、眼筋電位測定部143が搭載される。
 脳波測定部142は、先に説明した実施例1と同様、ユーザ(視聴者)の頭部に装着された電極(ノード)を介して、ユーザ(視聴者)の頭皮における電位変化を測定する。
 例えば、先に図3を参照して説明した電極配置を有する。
 眼筋電位測定部143は、ユーザ(視聴者)の注視領域(ROI:Region of Interest)の解析に用いられる。具体的には、眼の動きが眼に繋がる筋肉(眼筋)の動きにより生じることを利用する。両眼の近傍に電極を配置し、眼筋の動きによって生じる筋電を電位の変化として測定する。この電位変化量から眼がどれだけ動いたかを推定し、さらに電位の正負変化から眼がどちらに動いたかを、それぞれ推定する。
 眼筋電位測定部143における眼筋電位検出用電極の設定例を図5に示す。
 図5は、脳波&眼筋電位検出電極設定ヘッドマウントディスプレイ(HMD)145の一例を示す図である。
 脳波&眼筋電位検出電極設定ヘッドマウントディスプレイ(HMD)145は、脳波検出用電極146と、眼筋電位検出用電極147を有する。
 脳波検出用電極146は、例えば、先に図3を参照して説明した電極配置を有する。
 眼筋電位検出用電極147は、図5に示すように、ヘッドマウントディスプレイ(HMD)の表示部側である顔の前方領域に設定される。図に示すように、眉間部電極A、頬部電極B,C、こめかみ部電極D,E等からなる。
 図5に示すように、ヘッドマウントディスプレイ(HMD)140は、ヘッドマウントディスプレイ(HMD)140のユーザ(視聴者)顔部の装着領域に眼筋電位測定用電極を有する。
 図5に示す眼筋電位検出用電極147(電極A~E)は、ユーザ(視聴者)の眼に繋がる筋肉(眼筋)の動きを検出するための眼筋位置に設定されている。
 これらの電極位置は、眼筋の動きによって筋電電位が変化する。この電位変化量から眼がどれだけ動いたかを推定し、さらに電位の正負変化から眼がどちらに動いたかを、それぞれ推定する。
 なお、この眼筋電位検出用電極147(電極A~E)を用いて得られる注視領域推定結果は、赤外線を用いて瞳孔を検出し眼球の動きを計測する専用の装置に比べると精度が劣るが、画面のどの領域を観ていたかを推定する程度の精度は確保できる。
 図4に戻り、実施例2に係る情報処理システム200の構成と処理についての説明を続ける。
 ヘッドマウントディスプレイ(HMD)140の脳波測定部142と、眼筋電位測定部143は、コンテンツ171を鑑賞するユーザの脳波と眼筋電位を測定して、測定された脳波信号174と、眼筋電位信号177を、データ送受信部130の評価情報送信部133に出力する。
 データ送受信部130の評価情報送信部133は、取得したユーザの脳波信号174と、眼筋電位信号177をコンテンツ解析部150にネットワークを介して送信する。
 なお、評価情報送信部133は、ユーザから測定した脳波信号174と、眼筋電位信号177を、再生コンテンツのどの画像に対応するデータであるかを識別可能とした設定、すなわちフレーム対応データ、または再生時間対応データとして送信する。
 この対応付けのために、コンテンツ171の属性情報としてコンテンツ配信サーバ120から受信した再生制御情報173を利用する。
 再生制御情報173は、再生時間情報であるタイムコード、フレーム識別情報、シーン切り換え位置等を含むチャプター情報等が記録された情報である。
 データ送受信部130の評価情報送信部133は、例えば、ヘッドマウントディスプレイ140から取得したユーザの脳波信号174と、眼筋電位信号177に、再生制御情報173から取得したタイムコードを対応付けて、脳波信号や筋電電位信号がコンテンツのどの再生時刻のデータであるかを識別可能とした対応データからなるユーザの評価情報(脳波信号+眼筋電位信号+再生制御信号)178を生成してコンテンツ解析部150に送信する。
 本実施例2におけるコンテンツ解析部150は、先に説明した実施例1と同様、脳波に基づくコンテンツ評価情報を生成するとともに、眼筋電位信号に基づいてユーザ(視聴者)の注視領域を解析する。なお、注視領域の解析には、眼筋電位信号のみならず、脳波信号を利用してもよい。
 本実施例2におけるコンテンツ解析部150の詳細構成を図6に示す。
 コンテンツ解析部150の評価情報受信部151は、ユーザ(視聴者)側装置であるPC等のデータ送受信部130が送信したユーザの評価情報(脳波信号+眼筋電位信号+再生制御信号)178を受信し、評価情報解析部152に出力する。
 図6に示すように、再生制御信号181と、脳波信号182、さらに、眼筋電位信号183が、コンテンツ解析部150の評価情報受信部151から、評価情報解析部152に入力される。
 評価情報解析部152は、脳波解析部201と、注視領域推定部202を有する。
 脳波解析部201は、再生制御信号181と、脳波信号182、さらに、眼筋電位信号183を入力し、例えば画像フレーム単位の脳波信号からなる脳波、眼筋電位解析結果191を生成して注視領域推定部202と、応答判定部153に出力する。
 注視領域推定部202は、脳波解析部201から出力される脳波、眼筋電位解析結果191と、再生制御信号181を入力し、各画像フレーム対応のユーザ(視聴者)の眼球運動を推定し、ユーザ(視聴者)が呈示された各画像フレームのどの画像領域を実際に観ていたかを推定する。
 すなわち、各画像フレームにおけるユーザの注視領域を解析し、注視領域推定結果192を生成して応答判定部153に出力する。
 注視領域推定部202は、再生制御信号181に含まれるタイムコード、すなわち、各画像フレームの再生時刻情報であるタイムコードと脳波、眼筋電位解析結果191を対応付けて、各画像フレームの再生時間における脳波の変化を解析し、眼球がどのように動いたかを推定し、各画像フレームのどの画像領域をユーザ(視聴者)が注視していたかの注視領域情報を生成する。
 前述したように、眼筋電位により、眼の動き方向と動き量の両方を推定可能であり、注視領域推定部202は、これらのデータから、各画像フレームのどの画像領域をユーザ(視聴者)が注視していたかの注視領域情報を生成する。なお、さらに脳波信号を参照して、注視領域に対する関心度合いを推定して、ユーザ(視聴者)の注視レベル(注視領域画像に対する関心の高低)を算出する構成としてもよい。
 なお、本実施例2においても、実施例1と同様、評価情報解析部152は、シーンの呈示と脳波の変化の時間的関係(例えばP300)や電位の過渡応答に着目した解析処理や、脳波に含まれる周波数成分(例えばα波)に着目した解析処理などを行う、
 なお、解析の際、頭部のどの領域の脳波を利用するかは、評価項目に応じて決定すれば良い。例えば、呈示する映像信号における明るさの変化を評価するのであれば初期視覚野における脳波の変化に、映像信号が惹起する快不快等の情動を評価するのであれば頭頂部から前頭部における脳波の変化に、音声信号に対する評価であれば側頭部における脳波の変化に、それぞれ着目するのが良い。
 評価情報解析部152は、解析情報として、脳波、眼筋電位解析結果191と、注視領域推定結果192を応答判定部153に出力する。
 応答判定部153は、評価情報解析部152での解析結果に基づいて、ユーザに呈示されたコンテンツ171に対するユーザの反応を示す判定データを生成する。判定データは、コンテンツ171全体に対応するデータ、あるいはチャプター単位、フレーム単位等、様々なデータ単位で実行することが可能である。
 応答判定部153の生成した判定データは、フィードバック情報176としてコンテンツ配信部210に提供することができる。
 コンテンツ配信部120は、フィードバック情報176に基づいて、ユーザに配信するコンテンツ171の内容を変更する等のコンテンツ制御を行うことができる。
  [4.実施例3の情報処理システムの構成と処理について]
 次に、図7を参照して、実施例3に係る情報処理システムの構成と処理について説明する。
 実施例3に係る情報処理システム300の構成例を図7に示す。
 図7に示す情報処理システム300は、図2を参照して説明した実施例1と同様の以下の4つの構成を有する。
 コンテンツ配信部120、
 データ送受信部130、
 ヘッドマウントディスプレイ(HMD)140、
 コンテンツ解析部150、
 実施例3は、先に図2を参照して説明した実施例1の情報処理システム100のヘッドマウントディスプレイ140に、姿勢検知部301を追加した構成を有する。
 姿勢検知部301は、例えば加速度センサやジャイロ等のセンサで構成され、ユーザ(視聴者)の姿勢の変化や動きを検出する機能を有する。
 ユーザの姿勢の変化や動きによって生じる筋電(EMG:Electromyogram)は、脳波測定部142で測定される脳波にノイズ信号として重畳される場合がある。
 姿勢検知部301によって検出されるユーザ(視聴者)の姿勢の変化や動きに基づいて、脳波信号中のノイズ成分である筋電(EMG)信号を推定する。
 この推定結果を利用して、脳波測定部142が測定した脳波信号からノイズ成分(筋電信号)を除去して、高精度な脳波信号を取得して解析を実現する。
 実施例3と実施例1との差異は、ヘッドマウントディスプレイ140が姿勢検知部301を有する点であり、この追加構成に伴う処理について、説明する。
 ヘッドマウントディスプレイ140の姿勢検知部301は、前述したように、例えば加速度センサやジャイロ等のセンサで構成され、ユーザ(視聴者)の姿勢の変化や動きを検出する。この検出信号が図7に示す姿勢情報311である。
 ヘッドマウントディスプレイ(HMD)140の脳波測定部142と、姿勢検知部301は、コンテンツ171を鑑賞するユーザの脳波と姿勢を検出して、測定された脳波信号174と、姿勢情報311を、データ送受信部130の評価情報送信部133に出力する。
 データ送受信部130の評価情報送信部133は、取得したユーザの脳波信号174と、姿勢情報311をコンテンツ解析部150にネットワークを介して送信する。
 なお、評価情報送信部133は、ユーザから測定した脳波信号174と、姿勢情報311を、再生コンテンツのどの画像に対応するデータであるかを識別可能とした設定、すなわちフレーム対応データ、または再生時間対応データとして送信する。
 この対応付けのために、コンテンツ171の属性情報としてコンテンツ配信サーバ120から受信した再生制御情報173を利用する。
 再生制御情報173は、再生時間情報であるタイムコード、フレーム識別情報、シーン切り換え位置等を含むチャプター情報等が記録された情報である。
 データ送受信部130の評価情報送信部133は、例えば、ヘッドマウントディスプレイ140から取得したユーザの脳波信号174と、姿勢情報311に、再生制御情報173から取得したタイムコードを対応付けて、脳波信号や姿勢情報がコンテンツのどの再生時刻のデータであるかを識別可能とした対応データからなるユーザの評価情報(脳波信号+姿勢情報+再生制御信号)312を生成してコンテンツ解析部150に送信する。
 本実施例3におけるコンテンツ解析部150は、先に説明した実施例1と同様、脳波に基づくコンテンツ評価情報を生成するが、この処理に際して姿勢情報を利用して、ユーザの姿勢の変化や動きによって生じる筋電(EMG:Electromyogram)信号を推定し、脳波測定部142で測定される脳波にノイズ信号として重畳されている筋電信号を除去して、高精度な脳波信号を生成してコンテンツ解析を行う。
 前述したように、筋電信号は、脳波測定部142で測定される脳波にノイズ信号として重畳される。
 コンテンツ解析部150の評価情報受信部151は、ユーザ(視聴者)側装置であるPC等のデータ送受信部が送信したユーザの評価情報(脳波信号+姿勢情報+再生制御信号)312を受信し、評価情報解析部152に出力する。
 評価情報解析部152は、まず、姿勢情報を利用して、ユーザの姿勢の変化や動きによって生じる筋電(EMG)信号を推定し、脳波測定部142で測定される脳波にノイズ信号として重畳されている筋電信号を除去する処理を実行する。
 次に、ノイズ除去がなされた脳波信号に基づいて、例えばコンテンツ171のどの画像部分に対してどのような脳波信号が出力されたかを解析し、ユーザのコンテンツに対する関心度、評価、集中度、疲労度等を解析する。
 評価情報解析部152は、シーンの呈示と脳波の変化の時間的関係(例えばP300)や電位の過渡応答に着目した解析処理や、脳波に含まれる周波数成分(例えばα波)に着目した解析処理などを行う、
 なお、解析の際、頭部のどの領域の脳波を利用するかは、評価項目に応じて決定すれば良い。例えば、呈示する映像信号における明るさの変化を評価するのであれば初期視覚野における脳波の変化に、映像信号が惹起する快不快等の情動を評価するのであれば頭頂部から前頭部における脳波の変化に、音声信号に対する評価であれば側頭部における脳波の変化に、それぞれ着目するのが良い。
 評価情報解析部152の解析情報は応答判定部153に出力される。
 応答判定部153は、評価情報解析部152での解析結果に基づいて、ユーザに呈示されたコンテンツ171に対するユーザの反応を示す判定データを生成する。判定データは、コンテンツ171全体に対応するデータ、あるいはチャプター単位、フレーム単位等、様々なデータ単位で実行することが可能である。
 応答判定部153の生成した判定データは、フィードバック情報176としてコンテンツ配信部210に提供することができる。
 コンテンツ配信部120は、フィードバック情報176に基づいて、ユーザに配信するコンテンツ171の内容を変更する等のコンテンツ制御を行うことができる。
  [5.実施例4の情報処理システムの構成と処理について]
 次に、図8以下を参照して、実施例4に係る情報処理システムの構成と処理について説明する。
 実施例4に係る情報処理システム400の構成例を図8に示す。
 図8に示す情報処理システム400は、図2を参照して説明した実施例1と同様の以下の4つの構成を有する。
 コンテンツ配信部120、
 データ送受信部130、
 ヘッドマウントディスプレイ(HMD)140、
 コンテンツ解析部150、
 実施例4のヘッドマウントディスプレイ(HMD)140は、映像音声信号呈示部141の他、
 脳波測定部142、
 眼筋電位測定部143、
 姿勢検知部301を有する。
 眼筋電位測定部143は、先に図4~図6を参照して説明した実施例2の情報処理システム200にある眼筋電位測定部143と同じ処理を実行し、姿勢検知部301は、先に図7を参照して説明した実施例3の情報処理システム300にある姿勢検出部301と同じ処理を実行する。
 眼筋電位測定部143は、眼筋の動きによって生じる筋電を電位の変化として測定する。この電位変化量から眼がどれだけ動いたかを推定し、さらに電位の正負変化から眼がどちらに動いたかが推定可能となる。
 姿勢検知部301は、例えば加速度センサやジャイロ等のセンサで構成され、ユーザ(視聴者)の姿勢の変化や動きを検出する機能を有する。
 本実施例は、先に説明した実施例2と実施例3の機能を併せ持つ構成である。
 すなわち、眼筋電位測定部143の測定信号である眼筋電位信号177に基づいて、注視点を解析し、さらに、姿勢検知部301の検出情報である姿勢情報311に基づいて、脳波測定部142で測定される脳波にノイズ信号として含まれる筋電(EMG)信号を除去して精度の高い脳波信号を取得して処理を行う構成である。
 図8に示すヘッドマウントディスプレイ140の脳波測定部142と、眼筋電位測定部143と、姿勢検知部301は、コンテンツ171を鑑賞するユーザの脳波と、眼筋電位と、姿勢を検出して、測定された脳波信号174と、眼筋電位信号177と、姿勢情報311を、データ送受信部130の評価情報送信部133に出力する。
 データ送受信部130の評価情報送信部133は、取得したユーザの脳波信号174と、眼筋電位信号177と、姿勢情報311をコンテンツ解析部150にネットワークを介して送信する。
 なお、評価情報送信部133は、ユーザから測定した脳波信号174と、眼筋電位信号177と、姿勢情報311を、再生コンテンツのどの画像に対応するデータであるかを識別可能とした設定、すなわちフレーム対応データ、または再生時間対応データとして送信する。
 この対応付けのために、コンテンツ171の属性情報としてコンテンツ配信サーバ120から受信した再生制御情報173を利用する。
 再生制御情報173は、再生時間情報であるタイムコード、フレーム識別情報、シーン切り換え位置等を含むチャプター情報等が記録された情報である。
 データ送受信部130の評価情報送信部133は、例えば、ヘッドマウントディスプレイ140から取得したユーザの脳波信号174と、眼筋電位信号177と、姿勢情報311に、再生制御情報173から取得したタイムコードを対応付けて、脳波信号や姿勢情報がコンテンツのどの再生時刻のデータであるかを識別可能とした対応データからなるユーザの評価情報(脳波信号+眼筋電位信号+姿勢情報+再生制御信号)320を生成してコンテンツ解析部150に送信する。
 本実施例4におけるコンテンツ解析部150は、先に説明した実施例1と同様、脳波に基づくコンテンツ評価情報を生成するとともに、眼筋電位信号に基づいてユーザ(視聴者)の注視領域を解析する。なお、注視領域の解析には、眼筋電位信号のみならず、脳波信号を利用してもよい。
 さらに、本実施例4におけるコンテンツ解析部150は、姿勢情報を利用して、ユーザの姿勢の変化や動きによって生じる筋電(EMG)信号を推定し、脳波測定部142で測定される脳波にノイズ信号として重畳されている筋電信号を除去して、高精度な脳波信号を生成してコンテンツ解析を行う。
 前述したように、筋電信号は、脳波測定部142で測定される脳波にノイズ信号として重畳される。
 本実施例4におけるコンテンツ解析部150の詳細構成を図9に示す。
 コンテンツ解析部150の評価情報受信部151は、ユーザ(視聴者)側装置であるPC等のデータ送受信部130が送信したユーザの評価情報(脳波信号+眼筋電位信号+姿勢情報+再生制御信号)320を受信し、評価情報解析部152に出力する。
 図9に示すように、再生制御信号321と、脳波信号322、筋電電位信号323、さらに、姿勢情報324が、コンテンツ解析部150の評価情報受信部151から、評価情報解析部152に入力される。
 評価情報解析部152は、脳波解析部201と、注視領域推定部202、さらに、姿勢対応筋電信号推定部331を有する。
 姿勢対応筋電信号推定部331は、姿勢情報を利用して、ユーザの姿勢の変化や動きによって生じる筋電(EMG)信号を推定し、筋電信号推定結果332を生成して、脳波解析部201に出力する。
 脳波解析部201は、再生制御信号321と、脳波信号322、さらに、筋電信号推定結果332を入力し、まず、脳波測定部142で測定された脳波信号322にノイズ信号として重畳されていると推定される筋電信号推定結果332を除去する処理を実行する。
 次に、ノイズ除去がなされた脳波信号に基づいて、例えばコンテンツ171のどの画像部分に対してどのような脳波信号が出力されたかを解析し、例えば画像フレーム単位の脳波信号からなる脳波、筋電電位解析結果191を生成して注視領域推定部202と、応答判定部153に出力する。
 注視領域推定部202は、脳波解析部201から出力される脳波、眼筋電位解析結果191と、再生制御信号321を入力し、各画像フレーム対応のユーザ(視聴者)の眼球運動を推定し、ユーザ(視聴者)が呈示された各画像フレームのどの画像領域を実際に観ていたかを推定する。
 すなわち、各画像フレームにおけるユーザの注視領域を解析し、注視領域推定結果192を生成して応答判定部153に出力する。
 注視領域推定部202は、例えば、再生制御信号321に含まれるタイムコード、すなわち、各画像フレームの再生時刻情報であるタイムコードと脳波、眼筋電位解析結果191を対応付けて、各画像フレームの再生時間における脳波の変化を解析し、眼球がどのように動いたかを推定し、各画像フレームのどの画像領域をユーザ(視聴者)が注視していたかの注視領域情報を生成する。
 前述したように、眼筋電位により、眼の動き方向と動き両を推定可能であり、注視領域推定部202は、これらのデータから、各画像フレームのどの画像領域をユーザ(視聴者)が注視していたかの注視領域情報を生成する。なお、さらに脳波信号を参照して、注視領域に対する関心度合いを推定して、ユーザ(視聴者)の注視レベル(注視領域画像に対する関心の高低)を算出する構成としてもよい。
 なお、本実施例4においても、実施例1と同様、評価情報解析部152は、シーンの呈示と脳波の変化の時間的関係(例えばP300)や電位の過渡応答に着目した解析処理や、脳波に含まれる周波数成分(例えばα波)に着目した解析処理などを行う、
 なお、解析の際、頭部のどの領域の脳波を利用するかは、評価項目に応じて決定すれば良い。例えば、呈示する映像信号における明るさの変化を評価するのであれば初期視覚野における脳波の変化に、映像信号が惹起する快不快等の情動を評価するのであれば頭頂部から前頭部における脳波の変化に、音声信号に対する評価であれば側頭部における脳波の変化に、それぞれ着目するのが良い。
 評価情報解析部152は、解析情報として、脳波、眼筋電位解析結果191と、注視領域推定結果192を応答判定部153に出力する。
 応答判定部153は、評価情報解析部152での解析結果に基づいて、ユーザに呈示されたコンテンツ171に対するユーザの反応を示す判定データを生成する。判定データは、コンテンツ171全体に対応するデータ、あるいはチャプター単位、フレーム単位等、様々なデータ単位で実行することが可能である。
 応答判定部153の生成した判定データは、フィードバック情報176としてコンテンツ配信部210に提供することができる。
 コンテンツ配信部120は、フィードバック情報176に基づいて、ユーザに配信するコンテンツ171の内容を変更する等のコンテンツ制御を行うことができる。
  [6.実施例5の情報処理システムの構成と処理について]
 次に、図10を参照して、実施例5に係る情報処理システムの構成と処理について説明する。
 実施例5は、図10に示すように、近年普及しているスマートホンを利用してヘッドマウントディスプレイ140の大部分を構成する設定としたものである。
 すなわち、ヘッドマウントディスプレイ140の表示部として、スマートホン410の表示部を利用する。
 図10に示すように、ヘッドマウントディスプレイ140は、脳波測定部142、眼筋電位測定部143を有する。
 スマートホン410は、コンテンツ受信部131、映像信号呈示部141の他、再生制御信号保持部132、評価情報送信部133、姿勢検知部301を有する。
 なお、これらの各構成部は、前述した実施例1~実施例4において説明した構成部と同一である。
 一般的なスマートホンは、LTEやWi-Fiといった通信機能を有しており、コンテンツ171を受信するコンテンツ受信部131や、評価情報を送信する評価情報送信部133を、LTEやWi-Fi等の通信機能を用いて構成する。
 また、一般的なスマートホンは、内蔵メモリを有しており、制御信号保持部132として内蔵メモリを利用できる。
 なお、例えば、ブルートゥース(登録商標)(Bluetooth(登録商標))等の近接通信機能を利用すれば、ヘッドマウントディスプレイ140側の脳波測定部142や眼筋電位測定部143と、スマートホン410側の評価情報送信部133との間の通信も可能となる。
 このような近接通信機能をヘッドマウントディスプレイ140と、スマートホン410に設定することで、有線接続を行うことなく、様々な信号を両装置間で送受信することが可能となる。
  [7.フィードバック情報を適用した処理について(実施例6)]
 次に、図11以下を参照して、実施例6として、フィードバック情報を適用した処理例について説明する。
 実施例1から実施例5で説明した情報処理システムにおいて、コンテンツ解析部150は、コンテンツ解析結果に基づいて、コンテンツ配信部120にフィードバック情報176を出力する。
 以下に説明する実施例6は、このフィードバック情報を適用した実施例である。
 図11に示すように、実施例1から実施例5で説明した情報処理システムでは、いずれも、コンテンツ解析部150におけるコンテンツ解析結果に基づいて、コンテンツ配信部120にフィードバック情報176を出力する。
 コンテンツ配信部120は、コンテンツ解析部150から入力するフィードバック情報176に基づいて、ユーザに提供するコンテンツ171の設定を変更することができる。
 例えばユーザA(視聴者A)からのフィードバック情報Aに基づいて、ユーザAの興味の高いと推定されるコンテンツやシーンを選択してユーザAに配信する。また、ユーザB(視聴者B)からのフィードバック情報Bに基づいて、ユーザBの興味の高いと推定されるコンテンツやシーンを選択してユーザBに配信する等のユーザ対応のコンテンツ制御を行うことも可能である。
 図12は、このユーザ対応のコンテンツ配信制御例を示す図である。
 コンテンツ解析部150は、ユーザU1,およびユーザU2から取得した、ユーザU1,およびユーザU2各々の脳波信号の解析結果に基づいて、ユーザU1,およびユーザU2各々の興味の高いコンテンツやシーンを特定した情報を含むフィードバック情報601,602を生成してコンテンツ配信部120に出力する。
 コンテンツ配信部120は、ユーザU1からのフィードバック情報601に基づいて、
 ユーザU1に対しては、ユーザU1の興味の高いコンテンツやシーン情報を選択して送信する。
 また、ユーザU2からのフィードバック情報602に基づいて、
 ユーU2に対しては、ユーザU2の興味の高いコンテンツやシーン情報を選択して送信する。
 図12に示す例は、コンテンツ配信部120に保持されている映像音声信号が、大きくシーンA、B、C、Dの4つから構成されている。各シーンの再生時間は、以下の通りである。
 シーンAは、時刻t1から時刻t2、
 シーンBは、時刻t2から時刻t3、
 シーンCは、時刻t3から時刻t4、
 シーンDは、時刻t4から時刻t5、
 以上の再生時間の設定である。
 これらのシーン中、シーンAは1つのみのシーン構成であるが、シーンBはサブシーンB1、B2、B3、シーンCはサブシーンC1、C2、C3、シーンDはサブシーンD1、D2から、それぞれ構成されている。
 コンテンツ配信部120は、シーン選択可能なシーンB、C、Dにおいて、どのサブシーンを選択するかを、各ユーザからのフィードバック情報601,602に基づいて決定する。
 シーンBのサブシーン選択処理には、時刻t1から時刻t2のシーンAに対する各ユーザU1,U2のフィードバック情報を利用する。
 時刻t1から時刻t2のシーンAに対する各ユーザU1,U2のフィードバック情報に基づいて、各ユーザの興味の高いと推定されるサブシーンをサブシーンB1~B3から選択して、各ユーザ対応のサブシーンを各ユーザに配信する。
 シーンCのサブシーン選択処理には、時刻t1から時刻t3のシーンAとシーンBに対する各ユーザU1,U2のフィードバック情報を利用する。
 時刻t1から時刻t3のシーンAとシーンBに対する各ユーザU1,U2のフィードバック情報に基づいて、各ユーザの興味の高いと推定されるサブシーンをサブシーンC1~C3から選択して、各ユーザ対応のサブシーンを各ユーザに配信する。
 シーンDのサブシーン選択処理には、時刻t1から時刻t4のシーンAとシーンBとシーンCに対する各ユーザU1,U2のフィードバック情報を利用する。
 時刻t1から時刻t4のシーンAとシーンBとシーンCに対する各ユーザU1,U2のフィードバック情報に基づいて、各ユーザの興味の高いと推定されるサブシーンをサブシーンD1~D2から選択して、各ユーザ対応のサブシーンを各ユーザに配信する。
 なお、シーンCを選択する際に時刻t2から時刻t3での判定結果を、シーンDを選択する際には時刻t3から時刻t4での判定結果を参照しても良い。
 図12に示す例は、ユーザU1の時刻t1からt2における判定結果を考慮してサブシーンB1をシーンBとして選択し、時刻t1からt3における判定結果を考慮してサブシーンC2をシーンCとして選択し、時刻t1からt4における判定結果を考慮してサブシーンD2をシーンDとして選択した例である。
 この結果、ユーザU1に呈示される映像音声信号は、シーンA、シーンB1、シーンC2、シーンD2の組み合わせとなる。
 一方、ユーザU2に対しては、時刻t1からt2における判定結果を考慮してサブシーンB3をシーンBとして選択し、時刻t1からt3における判定結果を考慮してサブシーンC3をシーンCとして選択し、時刻t1からt4における判定結果を考慮してサブシーンD1をシーンDとして選択している。
 この結果、ユーザU2に呈示される映像音声信号は、シーンA、シーンB3、シーンC3、シーンD1の組み合わせとなる。
 このように、最初に呈示するシーンAに対する各ユーザの応答を考慮して、それ以降に呈示する映像音声信号をユーザ毎に調整することが可能となる。
 すなわち、各ユーザの脳波信号から推定される各ユーザの興味や関心に基づいて、各ユーザに対して、より興味が高いと推定されるコンテンツやシーンを選択的に配信することが可能となる。
  [8.情報処理装置のハードウェア構成例について]
 次に、上述した実施例において説明したヘッドマウントディスプレイ(HMD)140、およびデータ送受信部130、コンテンツ解析部150、コンテンツ配信部120、これらの各装置を構成する情報処理装置のハードウェア構成の一構成例について、図13以下を参照して説明する。
 図13は、ヘッドマウントディスプレイ(HMD)140のハードウェア構成の一構成例を示す図である。
 CPU(Central Processing Unit)701は、ROM(Read Only Memory)702、または記憶部708に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)703には、CPU701が実行するプログラムやデータなどが記憶される。これらのCPU701、ROM702、およびRAM703は、バス704により相互に接続されている。
 CPU701はバス704を介して入出力インタフェース705に接続され、入出力インタフェース705には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部706、ディスプレイ、スピーカなどよりなる出力部707が接続されている。CPU701は、入力部706から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部707に出力する。
 入出力インタフェース705に接続されている記憶部708は、例えばフラッシュメモリ等からなり、CPU701が実行するプログラムや各種のデータを記憶する。通信部709は、近接通信、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 脳波取得部710は、例えば、先に図3を参照して説明した配置を持つ電極を介して脳波を取得する。
 眼筋電位取得部711は、例えば、先に図5を参照して説明した配置を持つ電極を介して眼筋電位を取得する。
 姿勢情報取得部712は、例えば、加速度センサやジャイロ等のセンサで構成され、ユーザ(視聴者)の姿勢の変化や動きを検出する機能を有する。
 次に、図14を参照して、データ送受信部130、コンテンツ解析部150、コンテンツ配信部120、これらの各装置を構成する情報処理装置のハードウェア構成の一構成例について説明する。
 CPU(Central Processing Unit)801は、ROM(Read Only Memory)802、または記憶部808に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)803には、CPU801が実行するプログラムやデータなどが記憶される。これらのCPU801、ROM802、およびRAM803は、バス804により相互に接続されている。
 CPU801はバス804を介して入出力インタフェース805に接続され、入出力インタフェース805には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部806、ディスプレイ、スピーカなどよりなる出力部807が接続されている。CPU801は、入力部806から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部807に出力する。
 入出力インタフェース805に接続されている記憶部808は、例えばフラッシュメモリ等からなり、CPU801が実行するプログラムや各種のデータを記憶する。通信部809は、近接通信、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース805に接続されているドライブ810は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア811を駆動し、データの記録あるいは読み取りを実行する。
  [9.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) ユーザ(視聴者)に画像を呈示する画像呈示部と、
 前記ユーザ(視聴者)の脳波を測定する脳波測定部を有するヘッドマウントディスプレイ型の情報処理装置であり、
 ヘッドマウントディスプレイのユーザ(視聴者)頭部の装着領域に脳波測定用電極を設定した情報処理装置。
 (2) 前記情報処理装置は、さらに、
 音声出力部を有する(1)に記載の情報処理装置。
 (3)前記情報処理装置は、さらに、
 ヘッドマウントディスプレイのユーザ(視聴者)の眼筋電位を検出する眼筋電位測定部を有する(1)または(2)に記載の情報処理装置。
 (4) 前記眼筋電位測定部は、
 ヘッドマウントディスプレイのユーザ(視聴者)顔部の装着領域に眼筋電位測定用電極を有する(3)に記載の情報処理装置。
 (5) 前記情報処理装置は、さらに、
 ヘッドマウントディスプレイのユーザ(視聴者)の姿勢情報を検出する姿勢検知部を有する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記姿勢検知部は、
 加速度センサ、またはジャイロを含む構成である(5)に記載の情報処理装置。
 (7) 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する情報処理装置。
 (8) 前記情報処理装置は、
 前記ユーザ(視聴者)に呈示する画像を外部から受信するコンテンツ受信部を有し、
 前記コンテンツ受信部を介して受信する画像に併せて受信する再生制御情報を利用して、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する(7)に記載の情報処理装置。
 (9) 前記情報処理装置は、さらに、
 画像を観察するユーザ(視聴者)から取得した眼筋電位信号と、前記画像の再生制御情報を対応付け、眼筋電位信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する(7)~(8)いずれかに記載の情報処理装置。
 (10) 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報の対応データであり、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
 前記脳波信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する関心度、または評価、または集中度、または疲労度の少なくともいずれかの情報を取得する解析処理を実行する情報処理装置。
 (11) 前記情報処理装置は、さらに、
 画像を観察するユーザ(視聴者)から取得した眼筋電位信号と、前記画像の再生制御情報の対応データであり、眼筋電位信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
 前記ユーザ(視聴者)の呈示画像に対する注視領域を解析する(10)に記載の情報処理装置。
 (12) 前記情報処理装置は、さらに、
 画像を観察するユーザ(視聴者)から取得した姿勢情報と、前記画像の再生制御情報の対応データであり、姿勢情報がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
 前記姿勢情報に基づく筋電信号を推定し、
 前記脳波信号から、筋電信号成分相当のノイズ信号を除去して高精度脳波信号を生成し、生成した高精度脳波信号を用いて、前記解析処理を実行する(10)または(11)に記載の情報処理装置。
 (13) 前記情報処理装置は、さらに、
 前記脳波信号を用いた解析結果をフィードバック情報として、前記ユーザ(視聴者)に画像を配信するコンテンツ配信部に出力する(10)~(12)いずれかに記載の情報処理装置。
 (14) ユーザ(視聴者)に呈示する画像コンテンツを配信する情報処理装置であり、
 画像を観察するユーザ(視聴者)から取得した脳波信号に基づく解析結果に応じて、配信コンテンツの制御を実行する情報処理装置。
 (15) 前記情報処理装置は、
 ユーザ(視聴者)個別のフィードバック情報に基づいて、ユーザ(視聴者)個別の配信コンテンツ制御を実行する(14)に記載の情報処理装置。
 (16) コンテンツをユーザ(視聴者)に呈示するユーザ装置と、
 前記ユーザ装置から、前記コンテンツに対する評価情報を受信して解析するコンテンツ解析装置を有し、
 前記ユーザ装置は、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成して、前記コンテンツ解析装置に出力する情報処理システム。
 (17) 前記コンテンツ解析装置は、
 前記脳波信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する関心度、または評価、または集中度、または疲労度の少なくともいずれかの情報を取得する解析処理を実行し、
 前記解析処理の結果をフィードバック情報として、前記ユーザ(視聴者)に画像を配信するコンテンツ配信装置に出力する(16)に記載の情報処理システム。
 (18) 前記ユーザ装置は、
 画像を観察するユーザ(視聴者)から取得した眼筋電位信号と、前記画像の再生制御情報を対応付け、眼筋電位信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成して、前記コンテンツ解析装置に出力し、
 前記コンテンツ解析装置は、
 前記眼筋電位信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する注視領域を解析する(16)または(17)に記載の情報処理システム。
 (19) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置のデータ処理部が、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する情報処理方法。
 (20) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置のデータ処理部に、
 画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、画像観察ユーザの脳波信号に基づいて、画像評価情報を生成して、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する構成が実現される。
 具体的には、例えば、画像コンテンツを配信するコンテンツ配信部と、配信コンテンツを受信するデータ送受信部と、コンテンツを呈示するヘッドマウントディスプレイと、コンテンツ評価情報を解析するコンテンツ解析部を有する。データ送受信部は、ユーザから取得した脳波信号と画像再生制御情報を対応付けて、脳波信号がどの画像の呈示時に出力されたかを識別可能な評価情報を生成してコンテンツ解析装置に出力する。コンテンツ解析装置は、脳波信号を用いて、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する。
 本構成により、画像観察ユーザの脳波信号に基づいて、画像評価情報を生成して、ユーザの呈示画像に対する関心度や注視領域等の解析情報を取得する構成が実現される。
  10 情報処理システム
  20 コンテンツ配信部
  30 データ送受信部
  31 コンテンツ受信部
  32 評価情報送信部
  40 ヘッドマウントディスプレイ(HMD)
  41 映像音声信号呈示部
  42 脳波測定部
  43 生体情報取得センサ
  50 コンテンツ解析部
  51 評価情報受信部
  52 評価情報解析部
  53 応答判定部
 100 情報処理システム
 120 コンテンツ配信部
 130 データ送受信部
 131 コンテンツ受信部
 132 再生制御信号保持部
 133 評価情報送信部
 140 ヘッドマウントディスプレイ(HMD)
 141 映像音声信号呈示部
 142 脳波測定部
 143 眼筋電位測定部
 145 脳波&眼筋電位検出電極設定ヘッドマウントディスプレイ(HMD)
 150 コンテンツ解析部
 151 評価情報受信部
 152 評価情報解析部
 153 応答判定部
 201 脳波解析部
 202 注視領域推定部
 301 姿勢検知部
 331 姿勢対応筋電信号推定部
 701 CPU
 702 ROM
 703 RAM
 704 バス
 705 入出力インタフェース
 706 入力部
 707 出力部
 708 記憶部
 709 通信部
 710 脳波取得部
 711 眼筋電位取得部
 712 姿勢情報取得部
 801 CPU
 802 ROM
 803 RAM
 804 バス
 805 入出力インタフェース
 806 入力部
 807 出力部
 808 記憶部
 809 通信部
 810 ドライブ
 811 リムーバブルメディア

Claims (20)

  1.  ユーザ(視聴者)に画像を呈示する画像呈示部と、
     前記ユーザ(視聴者)の脳波を測定する脳波測定部を有するヘッドマウントディスプレイ型の情報処理装置であり、
     ヘッドマウントディスプレイのユーザ(視聴者)頭部の装着領域に脳波測定用電極を設定した情報処理装置。
  2.  前記情報処理装置は、さらに、
     音声出力部を有する請求項1に記載の情報処理装置。
  3.  前記情報処理装置は、さらに、
     ヘッドマウントディスプレイのユーザ(視聴者)の眼筋電位を検出する眼筋電位測定部を有する請求項1に記載の情報処理装置。
  4.  前記眼筋電位測定部は、
     ヘッドマウントディスプレイのユーザ(視聴者)顔部の装着領域に眼筋電位測定用電極を有する請求項3に記載の情報処理装置。
  5.  前記情報処理装置は、さらに、
     ヘッドマウントディスプレイのユーザ(視聴者)の姿勢情報を検出する姿勢検知部を有する請求項1に記載の情報処理装置。
  6.  前記姿勢検知部は、
     加速度センサ、またはジャイロを含む構成である請求項5に記載の情報処理装置。
  7.  画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する情報処理装置。
  8.  前記情報処理装置は、
     前記ユーザ(視聴者)に呈示する画像を外部から受信するコンテンツ受信部を有し、
     前記コンテンツ受信部を介して受信する画像に併せて受信する再生制御情報を利用して、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する請求項7に記載の情報処理装置。
  9.  前記情報処理装置は、さらに、
     画像を観察するユーザ(視聴者)から取得した眼筋電位信号と、前記画像の再生制御情報を対応付け、眼筋電位信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する請求項7に記載の情報処理装置。
  10.  画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報の対応データであり、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
     前記脳波信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する関心度、または評価、または集中度、または疲労度の少なくともいずれかの情報を取得する解析処理を実行する情報処理装置。
  11.  前記情報処理装置は、さらに、
     画像を観察するユーザ(視聴者)から取得した眼筋電位信号と、前記画像の再生制御情報の対応データであり、眼筋電位信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
     前記ユーザ(視聴者)の呈示画像に対する注視領域を解析する請求項10に記載の情報処理装置。
  12.  前記情報処理装置は、さらに、
     画像を観察するユーザ(視聴者)から取得した姿勢情報と、前記画像の再生制御情報の対応データであり、姿勢情報がどの画像の呈示時に出力されたかを識別可能とした評価情報を入力し、
     前記姿勢情報に基づく筋電信号を推定し、
     前記脳波信号から、筋電信号成分相当のノイズ信号を除去して高精度脳波信号を生成し、生成した高精度脳波信号を用いて、前記解析処理を実行する請求項10に記載の情報処理装置。
  13.  前記情報処理装置は、さらに、
     前記脳波信号を用いた解析結果をフィードバック情報として、前記ユーザ(視聴者)に画像を配信するコンテンツ配信部に出力する請求項10に記載の情報処理装置。
  14.  ユーザ(視聴者)に呈示する画像コンテンツを配信する情報処理装置であり、
     画像を観察するユーザ(視聴者)から取得した脳波信号に基づく解析結果に応じて、配信コンテンツの制御を実行する情報処理装置。
  15.  前記情報処理装置は、
     ユーザ(視聴者)個別のフィードバック情報に基づいて、ユーザ(視聴者)個別の配信コンテンツ制御を実行する請求項14に記載の情報処理装置。
  16.  コンテンツをユーザ(視聴者)に呈示するユーザ装置と、
     前記ユーザ装置から、前記コンテンツに対する評価情報を受信して解析するコンテンツ解析装置を有し、
     前記ユーザ装置は、
     画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成して、前記コンテンツ解析装置に出力する情報処理システム。
  17.  前記コンテンツ解析装置は、
     前記脳波信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する関心度、または評価、または集中度、または疲労度の少なくともいずれかの情報を取得する解析処理を実行し、
     前記解析処理の結果をフィードバック情報として、前記ユーザ(視聴者)に画像を配信するコンテンツ配信装置に出力する請求項16に記載の情報処理システム。
  18.  前記ユーザ装置は、
     画像を観察するユーザ(視聴者)から取得した眼筋電位信号と、前記画像の再生制御情報を対応付け、眼筋電位信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成して、前記コンテンツ解析装置に出力し、
     前記コンテンツ解析装置は、
     前記眼筋電位信号を含む評価情報を用いて、前記ユーザ(視聴者)の呈示画像に対する注視領域を解析する請求項16に記載の情報処理システム。
  19.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置のデータ処理部が、
     画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成する情報処理方法。
  20.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置のデータ処理部に、
     画像を観察するユーザ(視聴者)から取得した脳波信号と、前記画像の再生制御情報を対応付け、脳波信号がどの画像の呈示時に出力されたかを識別可能とした評価情報を生成させるプログラム。
PCT/JP2017/038213 2016-11-08 2017-10-23 情報処理装置、および情報処理方法、並びにプログラム WO2018088187A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780067564.9A CN109923529A (zh) 2016-11-08 2017-10-23 信息处理装置、信息处理方法和程序
US16/339,306 US10817057B2 (en) 2016-11-08 2017-10-23 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-217805 2016-11-08
JP2016217805 2016-11-08

Publications (1)

Publication Number Publication Date
WO2018088187A1 true WO2018088187A1 (ja) 2018-05-17

Family

ID=62109255

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/038213 WO2018088187A1 (ja) 2016-11-08 2017-10-23 情報処理装置、および情報処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US10817057B2 (ja)
CN (1) CN109923529A (ja)
WO (1) WO2018088187A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881985A (zh) * 2018-07-18 2018-11-23 南京邮电大学 基于脑电情绪识别的节目评分系统
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2020107219A (ja) * 2018-12-28 2020-07-09 トヨタ紡織株式会社 興味推定システム
CN111543986A (zh) * 2020-05-12 2020-08-18 清华大学 一种无需硬件连接的脑电事件同步方法
JP2022097293A (ja) * 2020-12-18 2022-06-30 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230118151A1 (en) * 2020-02-07 2023-04-20 Life Quest Inc. Content playback device, content playback method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2011120824A (ja) * 2009-12-14 2011-06-23 Tokyo Univ Of Agriculture & Technology 感性評価装置、感性評価方法、及び感性評価プログラム
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0270535B1 (en) 1985-07-30 1993-03-17 Swinburne Limited Electroencephalographic attention monitor
JPH0761325A (ja) 1993-08-30 1995-03-07 Kansei Corp 車両用キー装置
JP4986582B2 (ja) 2006-11-15 2012-07-25 シチズンホールディングス株式会社 液晶光変調素子、液晶光変調装置、および液晶光変調素子の駆動方法
JP5624512B2 (ja) 2011-05-02 2014-11-12 パナソニック株式会社 コンテンツ評価装置、方法、及びそのプログラム
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9588490B2 (en) * 2014-10-21 2017-03-07 City University Of Hong Kong Neural control holography
US9885869B2 (en) * 2015-07-17 2018-02-06 Azubuike Victor Onwuta Think and zoom
US20170259167A1 (en) * 2016-03-14 2017-09-14 Nathan Sterling Cook Brainwave virtual reality apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
WO2010082496A1 (ja) * 2009-01-19 2010-07-22 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム
JP2011120824A (ja) * 2009-12-14 2011-06-23 Tokyo Univ Of Agriculture & Technology 感性評価装置、感性評価方法、及び感性評価プログラム
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881985A (zh) * 2018-07-18 2018-11-23 南京邮电大学 基于脑电情绪识别的节目评分系统
JP2020107219A (ja) * 2018-12-28 2020-07-09 トヨタ紡織株式会社 興味推定システム
JP7095593B2 (ja) 2018-12-28 2022-07-05 トヨタ紡織株式会社 興味推定システム
JP2020038336A (ja) * 2019-02-19 2020-03-12 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7263825B2 (ja) 2019-02-19 2023-04-25 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN111543986A (zh) * 2020-05-12 2020-08-18 清华大学 一种无需硬件连接的脑电事件同步方法
CN111543986B (zh) * 2020-05-12 2021-03-02 清华大学 一种无需硬件连接的脑电事件同步方法
JP2022097293A (ja) * 2020-12-18 2022-06-30 ヤフー株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
US10817057B2 (en) 2020-10-27
US20200042090A1 (en) 2020-02-06
CN109923529A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
WO2018088187A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11669858B2 (en) Analysis of controlled and automatic attention for introduction of stimulus material
US11250447B2 (en) Systems and methods providing en mass collection and centralized processing of physiological responses from viewers
CN111758229B (zh) 基于生物特征传感器数据数字地表示用户参与定向内容
Engelke et al. Psychophysiology-based QoE assessment: A survey
US8560360B2 (en) Method, system and computer program for automated interpretation of measurements in response to stimuli
US20170293356A1 (en) Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
US20090150919A1 (en) Correlating Media Instance Information With Physiological Responses From Participating Subjects
JP5119375B2 (ja) 集中有無推定装置及びコンテンツ評価装置
KR20100038107A (ko) 신경-반응 자극 및 자극 속성 공명 추정기
JP2010520553A (ja) メディア性能の基準として生物的反応の一致性を利用する方法及びシステム
Perrin et al. Multimodal dataset for assessment of quality of experience in immersive multimedia
US20210022637A1 (en) Method for predicting efficacy of a stimulus by measuring physiological response to stimuli
Lassalle et al. Combination of physiological and subjective measures to assess quality of experience for audiovisual technologies
Rosenthal et al. Evoked neural responses to events in video
Hercegfi Improved temporal resolution heart rate variability monitoring—pilot results of non-laboratory experiments targeting future assessment of human-computer interaction
Castermans et al. Emotive Cinema
Abromavičius Extraction and investigation of biosignal features for visual discomfort evaluation
Brunnström Psychophysiology-based QoE Assessment: A Survey

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17869644

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17869644

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP