JP7140138B2 - 情報処理装置および情報処理方法、プログラム、並びに情報処理システム - Google Patents

情報処理装置および情報処理方法、プログラム、並びに情報処理システム Download PDF

Info

Publication number
JP7140138B2
JP7140138B2 JP2019550993A JP2019550993A JP7140138B2 JP 7140138 B2 JP7140138 B2 JP 7140138B2 JP 2019550993 A JP2019550993 A JP 2019550993A JP 2019550993 A JP2019550993 A JP 2019550993A JP 7140138 B2 JP7140138 B2 JP 7140138B2
Authority
JP
Japan
Prior art keywords
emotion
avatar
information processing
information
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019550993A
Other languages
English (en)
Other versions
JPWO2019082687A1 (ja
Inventor
至 清水
兼人 岩佐
孝則 森井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019082687A1 publication Critical patent/JPWO2019082687A1/ja
Application granted granted Critical
Publication of JP7140138B2 publication Critical patent/JP7140138B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0006—ECG or EEG signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0008—Temperature signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Anesthesiology (AREA)
  • Pulmonology (AREA)
  • Pain & Pain Management (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置および情報処理方法、プログラム、並びに情報処理システムに関し、特に、生体情報を繰り返し長期的に計測し、長期的なフィードバックにより、ユーザに意識させることなく、ユーザに特定の行動の強化を促せるようにした情報処理装置および情報処理方法、プログラム、並びに情報処理システムに関する。
ユーザの生体情報を検出し、検出結果に基づいて、感情を推定する技術が提案されている。
例えば、感情は快／不快、または活性／不活性の二軸にマッピングできるというラッセルの円環モデルに基づいて感情を推定する技術が提案されている（非特許文献１参照）。
また、外受容感覚情報（体性神経系）と内受容感覚情報（自律神経系）を統合し、過去の経験、記憶と照らし合わせて生じる情動反応を、低次から高次に向けて、情動／感情／感性の３階層に分類したとき、ラッセルの円環モデルで定義されるものを「感情」とし、ラッセルの円環モデルに時間軸情報を加えて定義されるものを「感性」とすることとし、感情および感性を検出することが提案されている。ここで、円環モデルの２軸における、快／不快についてはα波を用いるとされる（特許文献１参照）。
さらに、単極の簡易脳波計を用いて周波数解析を行い、嗜好情報の推定を行う技術も提案されている（特許文献２参照）。
また、ラッセルの円環モデルを応用して、脳波以外の生体情報も含めたマッピングを行い、個人特性を推定する技術も提案されている（特許文献３参照）。
さらに、以上のような技術を適用することで得られる感情を用いた技術が提案されている。
例えば、ヘッドマウントディスプレイ搭載型脳波計を用いて脳波を計測し、ゾーン誘導を行うことでニューロフィードバックを実現する技術が提案されている（特許文献４参照）。
また、脳波を含む生体情報や、他の諸情報に基づき、表示キャラクタの状態を変更し、人の動作状態、健康状態、感情などの状況を表現する技術が提案されている（特許文献５参照）。
さらに、ユーザの行動履歴に基づいて、キャラクタの表示状態を変更する技術が提案されている（特許文献６参照）。
また、脳波に基づき感情の種類と強度を推定すると共に、これをカメラ撮像画像に対応付けて記録することで、撮像対象に対するユーザの感情を特定し、マーケティング等に繋げる技術が提案されている（特許文献７参照）。
さらに、脳波を含む生体情報に応じて、音声などのコンテンツの再生を制御する技術が提案されている（特許文献８参照）。
A Circumplex Model of Affect (Russell 1980)
特開２０１７－０７４３５６号公報 特開２０１０－１３１３２８号公報 特開２０１３－０４６６９１号公報 特開２０１４－２１７７０４号公報 特許第４５０６７９５号公報 特許第６１０２９３９号公報 特開２０１５－２２９０４０号公報 特開２００５－０５６２０５号公報
しかしながら、上述した特定の行動の強化を促す（ニューロフィードバック）技術においては、ユーザが意識的に、特定の行動の強化を促すためのシステムを用いることを選択しなければならず、ユーザ自身が、自らに対して特定の行動の強化を促したいと意識しなければ、特定の行動の強化を促すことができない。
また、キャラクタを提示する技術においては、キャラクタを提示するためだけに、ユーザに脳波などの生体情報の計測を促す必要があり、ユーザに生体情報を計測させることそのものがユーザに対して負担となる。
さらに、上述した生体情報を検出するにあたって、例えば、生体情報として脳波を計測するような場合、ユーザが自然に脳波計測を行いたくなるような状況や、脳波計測時において、ユーザを特定の状況や感情状態に置くことができない。
また、上述した技術においては、感情の計測結果に対して、短期的なフィードバックを掛けることはできても、長期的に、繰り返し計測される感情の計測結果を用いて、長期的にフィードバックを掛けることはなされていなかった。
本開示は、このような状況に鑑みてなされたものであり、特に、生体情報を繰り返し長期的に計測し、長期的なフィードバックにより、ユーザに意識させることなく、ユーザに特定の行動の強化を促せるようにするものである。
本開示の一側面の情報処理装置は、強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部を含む情報処理装置である。
前記情報処理部には、前記強化対象行為を促す情報を提示させ、前記強化対象行為が実行されるタイミングに基づく所定のタイミングにおいて、前記脳波を検出する脳波検出部をさらに含ませるようにすることができる。
前記脳波検出部には、前記強化対象行為が実行されるタイミング、前記強化対象行為が実行されるタイミングの所定時間だけ前後の期間、または、前記強化対象行為が実行されるタイミングより所定時間だけ前のタイミングから所定の期間において、前記脳波を検出させる。
前記アバタは、前記感情推定結果をユーザに認識させるための表現の形態とすることができる。
前記性質は、前記アバタの外形形状、テキスト形式の表示内容、音声、バイブレーション、匂い、触覚、味覚、並びに、ロボットを用いた場合の動きおよび姿勢とすることができる。
前記強化対象行為は、写真撮影とすることができる。
前記写真撮影で撮影される写真の撮像を制御する撮像制御部と、前記写真および前記アバタを表示させる表示制御部とをさらに含ませるようにすることができる。
前記情報処理部には、前記強化対象行為を促す情報を課題として提示させることができる。
検出した脳波を解析し、複数の要素感情毎の強度または比率を示すスコアを決定し、感情推定結果として出力する感情推定部をさらに含ませるようにすることができる。
前記情報処理部には、前記感情推定結果が出力される度に、前記複数の要素感情毎のスコアに基づいて、所定の感情を特定させ、前記所定の感情として特定した回数を、前記複数の要素感情毎に長期的変化テーブルに格納させるようにすることができる。
前記情報処理部には、前記長期的変化テーブルに格納される、前記所定の感情として特定された、前記感情毎の回数に基づいて、前記アバタの形態を変化させて提示させるようにすることができる。
前記所定の感情は、前記複数の要素感情において最も強度または比率が高い支配感情とすることができ、前記情報処理部には、前記長期的変化テーブルに格納される、前記支配感情として特定された回数が、所定の回数よりも大きい感情に対応して、前記アバタの性質を変化させて提示させるようにすることができる。
前記強化対象行為は、写真撮影とすることができ、前記情報処理部には、前記写真撮影により撮影された画像と、前記アバタの性質の情報とを対応付けて、履歴として記憶させるようにすることができる。
前記情報処理部はさらに、前記感情推定結果に基づく感情に関する情報を、前記写真撮影により撮影された画像と対応付けて記録させるようにすることができる。
前記情報処理部には、前記アバタの性質の変化の履歴を示す履歴画像を表示部に表示させるようにすることができる。
前記情報処理部には、複数回の前記感情推定の結果に基づいて、前記アバタの性質の変化を予想する予想画像を表示部に表示させるようにすることができる。
本開示の一側面の情報処理方法は、強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理を含む情報処理方法である。
本開示の一側面のプログラムは、強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部としてコンピュータを機能させるプログラムである。
本開示の一側面の情報処理システムは、脳波計と情報処理装置とからなる情報処理システムにおいて、脳波計は、ユーザによる強化対象行為に応じて、脳波を検出する脳波検出部を含み、情報処理装置は、検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部を含む情報処理システムである。
本開示の一側面においては、強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質が他の性質に変化されて提示される。
本開示の一側面によれば、長期的に繰り返し計測された、ユーザの特定の状況や感情状態における生体情報の計測結果に基づいて、ユーザに対して特定の行動の強化を促すと共に、一連の処理を、ユーザが意識することなく実現させることが可能となる。
本開示の情報処理システムの外観構成例を示す図である。 図１の脳波計の外観構成例を示す図である。 図１の情報処理システムの機能を実現させるための構成例を示す図である。 クエストを提示する表示例を示す図である。 脳波を検出するタイミングを説明する図である。 Exifフォーマットを説明する図である。 脳波検出結果および感情推定結果を格納するEmotion_informationのデータ構成を説明する図である。 Config_infoのデータ構成を説明する図である。 Brainwave_raw_nのデータ構成を説明する図である。 Emo_info_1、およびEmo_info_2のデータ構成を説明する図である。 樹形図状に変化するアバタの変化を説明する図である。 短期的変化テーブルを説明する図である。 長期的変化テーブルを説明する図である。 長期的変化テーブルを説明する図である。 アバタを提示する表示例を説明する図である。 アバタのパラメータの設定例を説明する図である。 履歴画像の表示例を説明する図である。 履歴画像の表示例を説明する図である。 予想画像の表示例を説明する図である。 予想画像の表示例を説明する図である。 強化対象行為強化処理を説明するフローチャートである。 長期的変化テーブル管理処理を説明するフローチャートである。 履歴画像表示処理を説明するフローチャートである。 予想画像表示処理を説明するフローチャートである。 第１の変形例を説明する図である。 第２の変形例を説明する図である。 第３の変形例を説明する図である。 第４の変形例を説明する図である。 第５の変形例を説明する図である。 第６の変形例における表示例を説明する図である。 第７の変形例を説明する図である。 第８の変形例を説明する図である。 第９の変形例を説明する図である。 第９の変形例における表示例を説明する図である。 第１０の変形例を説明する図である。 第１０の変形例を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．本開示の情報処理システムの概要
２．本開示の情報処理システムの構成例
３．第１の変形例
４．第２の変形例
５．第３の変形例
６．第４の変形例
７．第５の変形例
８．第６の変形例
９．第７の変形例
１０．第８の変形例
１１．第９の変形例
１２．第１０の変形例
１３．ソフトウェアにより実行させる例
＜＜１．本開示の情報処理システムの概要＞＞
本開示の情報処理システムを説明するにあたって、その概要について説明する。
本開示の情報処理装置は、ユーザの特定の状況や感情状態における生体情報を長期的に繰り返し計測し、計測結果に基づいて、ユーザに対して特定の行動の強化を長期的に促すと共に、一連の処理を、ユーザが意識することなく実現できるようにするものである。
より具体的には、本開示の情報処理装置は、特定の行為が行われている時の生体情報や、特に脳波を計測し、計測結果を解析することで得られるユーザの行動や生体情報に対応する形態をアバタとして表現して提示し、提示されるアバタを、変化させることに対してインセンティブを与えることで、行動の強化を促す（ニューロフィードバック）。
すなわち、本開示の情報処理装置は、特定の行為がなされるときの脳波や、その他の生体情報の検出結果を直接的にフィードバックするのではなく、計測結果を解析することで得られるユーザの感情推定結果に対応する形態をアバタで表現し、長期的に繰り返し、変化するアバタを提示することで、長期的フィードバックを実現する。
アバタとは、ユーザの生体情報に基づいた感情推定結果をユーザに客観的に認識させるものであり、例えば、ディスプレイなどの表示装置により表示されるキャラクタである。すなわち、ユーザは、アバタをみて、自らの感情推定結果を認識することができる。しかしながら、アバタは、感情推定結果に対応するユーザの状態を、ユーザに認識できるように表現できるものであれば、外見を変化させて表現するキャラクタ以外のものであってもよく、例えば、テキスト形式で表示するもの、音声、バイブレーション、匂い、触覚、味覚、感情推定結果に応じて動きや姿勢を変化させる、実態のあるロボットのようなものであってもよい。
また、アバタは、感情推定結果に基づいて、例えば、外形が、丸くなったり、四角くなったりして、外見上の性質を変化させる。また、アバタは、感情推定結果に基づいて、例えば、乱暴な言葉遣いになったり、やさしい言葉遣いになったりするようなユーザとの対話内容（例えば、対話アルゴリズム）などの外見以外の性質を変化させることもできる。
従って、アバタの性質とは、アバタの外見（外形形状）、アバタを表現するテキスト形式の表示内容、音声、バイブレーション、匂い、触覚、味覚、ロボットを用いた場合の動きおよび姿勢などを含むものである。すなわち、アバタは、感情推定結果に基づいて、外見上の性質のみならず、外見以外の性質をも変化させることができる。
換言すれば、アバタは、ユーザの感情推定結果をユーザ自身に認識させるための表現の形態であり、感情推定結果に基づいて、外見を変化させる、および／または、外見以外を変化させることにより、ユーザ自身にユーザの感情推定結果を認識させるものである。
このような構成により、ユーザにとっての目的を「特定の行為を強化すること」から「アバタを変化させること」に置き換え、ユーザに「特定の行為の強化」を意識させないまま、間接的に特定の行為の強化を促す。
結果として、ユーザに特定の行為の強化を意識させることなく、ユーザの行為の強化を実現することが可能となる。具体的には、写真撮影のような感性と結びついた行為の強化を、短期的な行為の強化のみならず、長期的な行為の強化を実現することができる。
ここで、「行為を強化する」および「行為強化」とは、ユーザに対して、特定の行為をしたい、または、特定の状態に変容したいといった、動機を持たせることである。
より具体的には、特定の行為が「勉強する」ことであるような場合、ユーザに対して「勉強する」ことをしたい、すなわち、勉強したいという意欲を高めることが、行為強化、すなわち、行為を強化することである。
また、特定の行為は、例えば、「英雄になる」といった特定の状態に変容することを含むものである。したがって、特定の状態に変容することが、「英雄になる」ということであれば、英雄になりたいという意欲を高めることが、行為強化、すなわち、行為を強化することとなる。
さらに、上述したようにポジティブな行為のみならず、ネガティブな行為を強化するようにしてもよく、例えば、「寝坊をしない」といった行為や、「食べ過ぎない」といった行為であってもよい。
尚、以降においては、行為強化の対象となる特定の行為は、強化対象行為とも称する。すなわち、上述した例において、「勉強する」、および「英雄になる」という特定の行為は、強化の対象となり得る行為であり、対象となった場合、いずれも強化対象行為となる。
また、本開示の情報処理装置は、ゲームを利用した活動である、ゲーミフィケーションを通して、ユーザに対して所定の行為を指示することで、ユーザの脳波計測の具体的な手法を、ユーザに意識させずに促すことができる。
より具体的には、本開示の情報処理装置は、例えば、「Ａに向かって歩いてみて下さい」といった“歩く行動を伴った課題”を提示することで、ユーザに対して「歩行状態」を促し、その後、脳波を計測することで、ユーザが「歩行状態」における脳波を、ユーザに意識させることなく取得することが可能となる。すなわち、ユーザは、歩行状態を促されたことは意識できても、歩行状態の脳波を計測することについては意識しないので、歩行状態の脳波計測をユーザに意識させることなく実現することができる。
また、本開示の情報処理装置は、例えば、「驚いたものを撮影して下さい」といった「驚いたものの撮影」を提示することで、ユーザに対して「驚いた状態」を促し、その後、脳波を計測することで、ユーザが「驚いた状態」における脳波を取得できる。すなわち、ユーザは、「驚いたものの撮影」を促されたことは意識できても、驚いた状態の脳波を計測することについては意識しないので、驚いた状態の脳波計測をユーザに意識させることなく実現することができる。さらに、本開示の情報処理装置は、例えば、「背筋を伸ばして下さい」といった「姿勢を正す行動」を促す提示をすることにより、生体情報を計測する際に発生するノイズを抑制することもできる。
さらに、本開示の情報処理装置は、「アバタの状態の変化」を脳波（生体情報）に基づいて行うことで、アバタ表現を客観化、および定量化できる。
また、アバタは、ユーザが意識的に変化させることができない生体情報に基づいて変化させることになるので、ユーザの意思で勝手に変化させることのできないアバタを実現することができる。
さらに、アバタは、脳波（生体情報）に基づいて変化するので、例えば、ユーザの状態をアバタにより提示して表現するような場合、アンケートなどのように、ユーザが主観的に記載した情報に基づいて提示されるアバタに比べて、生体情報に基づいた客観的計測結果に基づいて提示されるアバタは、ユーザの状態に対して確度の高い状態をアバタで提示することができる。また、生体情報と言う、自分では制御できない情報を用いて、アバタを定量的に変化させて提示することができるので、ユーザに対して納得感を持たせることができる。結果として、ユーザにとって、より飽きにくいアバタを実現することができる。
また、アバタは、ユーザの特性が反映される脳波の検出結果に基づいて変化するので、ユーザ特性を反映したAI（Artificial Intelligence）対話アルゴリズムを実現することが可能となる。
さらに、アバタは、ユーザの「特定の感情」を、アバタを通して表現することができるので、ユーザの精神状態、特に時間的・地理的・ソーシャルグラフ的変化をユーザに対して可視化することが可能となる。
また、アバタは、ユーザが表現する主観ではなく、客観的な測定値を根拠とするため、ユーザ自身も気づかない「無意識」の情報や、「本音」に近い情報・表現を用いた間接コミュニケーションを実現することが可能となる。
さらに、アバタを用いた提示は、現在の自分、過去の自分、他人との感情を共有することができる。また、これにより、「特定した感情」のポジティブ・フィードバックを行うことで、ユーザの強化対象行為を強化・惹起することが可能となる。尚、アバタは、一人のユーザが複数に持つようにしてもよく、例えば、TPOに合わせて使い分けられるようにしてもよい。
＜＜２．本開示の情報処理システムの構成例＞＞
次に、図１を参照して、本開示の情報処理システムの構成例について説明する。
図１の情報処理システムは、RPG（Roll Playing Game）などのようなゲームのように、ユーザに対して、クエストを提示することで、ユーザに様々な課題を課し、ユーザがクエストに対する課題をこなしたときの脳波およびその他の生体情報を取得し、解析し、解析結果に応じてアバタを変化させて提示することを長期的に繰り返す。
図１の情報処理システムは、このように強化対象行為を促すための課題の提示と、課題をこなす際の生体情報に応じて変化するアバタの提示とを繰り返すことにより、長期的な生体情報に基づいて、ユーザに無意識のうちに強化対象行為を強化させる。
尚、ここで、クエストとは、ユーザに対して課す課題であり、強化対象行為が写真撮影であるような場合、例えば、「ワクワクした画像を撮影して下さい。」、または、「歩きながら撮影して下さい。」といったものである。
より具体的には、情報処理システムは、ユーザに様々なクエストを課すことにより、ユーザがクエストをこなすときのユーザの脳波や生体情報を取得し、取得した脳波や生体情報を解析して、解析結果を反映するように、ユーザに対応するアバタを変化させて提示する。
このとき、アバタは、クエストとして提示された課題をこなして、ユーザが写真撮影するときの生体情報の解析結果に基づいて、変化して提示される。
結果として、ユーザは提示されるアバタの変化を見ながら、アバタを変化させるようにしたいという意欲を掻き立てることで、ユーザに対して強化対象行為を意識させることなく、強化対象行為である写真撮影をするという行為を強化させる。
より詳細には、情報処理システム１１は、脳波計３１、生体センサ３２、物理センサ３３、情報処理装置４１、表示装置（例えば、スマートフォン）４２、およびサーバ４３より構成される。
情報処理装置４１は、いわゆる撮像機能を備えた情報処理装置であり、強化対象行為を促すようなクエストを生成し、表示装置４２に表示することで提示させる。
このとき、情報処理装置４１は、脳波計３１および生体センサ３２を制御して、クエストにより提示される課題をユーザ２１が実行する際に、課題を実行しながら、写真撮影するときの、ユーザ２１の脳波およびその他の生体情報を取得する。また、情報処理装置４１は、取得した脳波およびその他の生体情報をサーバ４３に供給して解析させ、解析結果を取得する。そして、情報処理装置４１は、解析結果に基づいて、アバタを変化させて表示装置４２に提示させる。情報処理装置４１は、この一連の処理を長期的に繰り返す。
表示装置４２は、例えば、スマートフォンであり、情報処理装置４１により制御されて、供給されてくるクエストを提示する、または、クエストとして提示された課題を実行する際の生体情報の解析結果に基づいて、ユーザ２１に対応するアバタを変化させて表示する。
サーバ４３は、ネットワーク上に存在する、例えば、クラウドサーバであり、情報処理装置４１より供給されるユーザの脳波、および、その他の生体情報に基づいて、ユーザ２１を解析して感情を推定し、解析結果である感情推定結果を情報処理装置４１に供給する。
感情推定結果は、例えば、脳波や生体情報を解析することで、推定可能な複数の感情のそれぞれをスコア化したものである。
脳波計３１は、図１で示されるように、例えば、ユーザ２１の頭部に巻き付けられて、本体に設けられた電極３１ａ乃至３１ｃ（図２）により頭部における各部位の頭皮の電位を測定し、測定結果に基づいて脳波を検出し、検出された脳波を、通信部７４（図３）を介して情報処理装置４１に送信する。
生体センサ３２は、例えば、図１のユーザ２１の腕などに巻き付けられ、脳波以外の生体情報、例えば、体温センサ、発汗センサ、心拍センサ、および血流センサなどを含み、測定した生体情報を情報処理装置４１に送信する。
尚、感情の推定は、脳波以外の生体情報を用いることもできる。そこで、生体センサ３２は、脳波以外の生体情報を測定し、必要に応じて、情報処理装置４１に送信する。また、感情の推定は、原則として脳波を用いることで実現できるため、脳波以外の生体情報は、必須ではない。したがって、脳波以外の生体情報を計測する生体センサ３２は、感情を推定する上で、必須構成ではない。
物理センサ３３は、ユーザの動作を計測する加速度センサ、および地球上の位置を計測するGPS（Global Positioning System）センサを含み、測定した物理情報である加速度および位置情報を情報処理装置４１に送信する。
＜脳波計の構成例＞
次に、図２を参照して、脳波計３１の具体的な構成例について説明する。
図２の左部の脳波計３１は、ユーザ２１の頭部２１ａに被るタイプであり、頭皮に対して当接する電極３１ａ乃至３１ｃを備えている。電極３１ａ乃至３１ｃは、いずれも頭皮における電位を測定し、測定結果に基づいて脳波が計測される。このうち、電極３１ａは、コメカミ付近の頭皮に当接し、コメカミ付近の電位を計測する。また、電極３１ｂは、耳たぶを挟んで当接するクリップ状の電極であり、耳たぶの電位を基準電位として測定する。電極３１ｃは、後頭部の頭皮に当接しており、後頭部の頭皮の電位を測定する。
すなわち、図２の左部の脳波計３１は、基準電位となる電極３１ｂの電位に対する、電極３１ａ，３１ｃにおける電位との電位差を計測し、計測結果を用いて脳波を検出する。尚、基準電極としては、脳電位の影響が少なく、基準電位を取るのに適した耳たぶを使用することができ、図２の左部においては、クリップ状の電極３１ｂにより測定している。ただし、耳たぶをクリップ状電極で把持する電極は痛みを伴い、長時間使用に耐えない。そこで、耳の後ろ側のマストイド（乳様突起）やその近傍も、脳電位の影響が少なく、基準電極として好適であるので、耳の後ろ側のマストイド（乳様突起）やその近傍に電極を設けて測定するようにしてもよい。
また、図２の右部の脳波計は、ユーザ２１の耳に掛けるタイプであり、頭皮のうち、耳の回りの皮膚の電位を測定する電極３１ｄ乃至３１ｆを備えている。
電極３１ｄは、コメカミ付近の頭皮に当接し、コメカミ付近の電位を計測する。また、電極３１ｅは、耳の後付近のスマトイド（乳様突起）に当接しており、耳の後付近のスマトイドの電位を基準電位として測定する。電極３１ｆは、イヤフォンとしての機能も備えたものであり、耳の中の電位を測定する。
すなわち、図２の右部の脳波計３１は、基準電位となる電極３１ｅの電位に対する、電極３１ｄ，３１ｆにおける電位との電位差を計測し、計測結果を用いて脳波を検出する。なお、電位差さえ取れれば、耳たぶやマストイド以外の部分を基準電位として測定するようにしてもよい。
＜情報処理システムの機能を実現する構成例＞
次に、図３を参照して、情報処理システム１１の機能を実現するための構成例について説明する。
情報処理装置４１は、制御部９１、通信部９２、情報処理部９３、撮像部９４、画像処理部９５、および記憶部９６を備えている。
制御部９１は、情報処理装置４１の動作の全体を制御しており、例えば、マイクロコンピュータなどからなり、必要なデータやプログラムを記憶する記憶部、および所定の処理を実行するプロセッサなどから構成される。
通信部９２は、制御部９１により制御され、Wi-Fiを用いた無線LAN（Local Area Network）やブルートゥース(登録商標)などの近距離無線通信などにより、脳波計３１、生体センサ３２、物理センサ３３、および表示装置４２と通信し、必要なデータを授受する。
情報処理部９３は、制御部９１により制御され、強化対象行為を促すためのクエストを提示する画像を画像処理部９５に生成させ、取得したクエストを提示する画像を、通信部９２を介して表示装置４２に供給して表示させる。また、情報処理部９３は、脳波計３１および生体センサ３２より供給される脳波検出結果および生体情報を、通信部９２を制御してサーバ４３に送信して、脳波検出結果および生体情報を解析させて、感情を推定させ、解析結果である感情推定結果を取得する。そして、情報処理部９３は、画像処理部９５を制御して、感情推定結果に基づいて、アバタを変化させ、感情推定結果に基づいて変化させたアバタを提示する画像を生成させて、生成されたアバタを提示する画像を取得して表示装置４２に表示させる。さらに、情報処理部９３は、撮像部９４により撮像された画像と対応付けて感情推定結果を記憶部９６に記憶させる。
尚、本開示では、情報処理部９３が、感情推定結果に基づいて、アバタを変化させ、感情推定結果に基づいて変化させたアバタを提示する画像を生成する機能を備える例について説明するものとするが、当該機能は、サーバ４３において実現されるようにしてもよい。
撮像部９４は、情報処理装置４１におけるカメラ機能を実現する構成である。より詳細には、撮像部９４は、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）などからなるイメージセンサおよび光学ブロックなどからなり、制御部９１により制御されて画像を撮像し、撮像した画像を画像処理部９５に出力する。
画像処理部９５は、情報処理部９３により制御され、強化対象行為を促すためのクエストを提示する画像を生成し、情報処理部９３に供給する。情報処理部９３は、画像処理部９５により生成されたクエストを提示する画像を取得し、通信部９２を介して表示装置４２に供給して表示させる。また、画像処理部９５は、制御部９１により制御され、撮像部９４により撮像された画像に対して、ノイズ除去や圧縮処理を施すと共に、撮像時の脳波および生体情報、および脳波および生体情報の解析結果である感情推定結果を、画像に対応付けて記憶部９６に格納する。
表示装置４２は、例えば、スマートフォンなどであり、情報処理装置４１より指示されるクエストを提示する画像、アバタを提示する画像、および、アバタの履歴画像やアバタの変化の予想画像を生成して表示する。
尚、表示装置４２は、スマートフォン以外であってもよく、例えば、タブレット型端末やスマートウォッチなど、表示機能と通信機能を有する端末であれば、これ以外の装置であってもよい。
より詳細には、表示装置４２は、制御部１１１、入出力部１１２、表示部１１３、および通信部１１４を備えている。
制御部１１１は、表示装置４２の動作の全体を制御するマイクロコンピュータなどから構成される。
入出力部１１２は、スマートフォンとして機能する表示装置４２に入力される信号や出力される信号のインタフェースとして機能する。
表示部１１３は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなり、情報処理装置４１より出力されるクエストを提示する画像、アバタを提示する画像、および、アバタの履歴画像やアバタの変化の予想画像を表示する。
尚、アバタの表示は、表示部１１３による画像表示のみならず、テキスト形式、音声、バイブレーション、匂い、触覚、味覚、ロボットなどの動作によるフィードバック（例えば、犬型ロボットの場合、ダンスの仕方、しっぽを振るときの振り方、表情等）により、変化を表現するようにしてもよい。
また、表示部１１３は、タッチパネルとして機能するものであり、情報処理装置４１の撮像部９４に係るリモートシャッタの操作や、各種の情報のユーザからの操作入力を受け付けて、制御部１１１に出力する。
通信部１１４は、制御部１１１により制御され、Wi-Fiを用いた無線LAN（Local Area Network）やブルートゥースなどの近距離無線通信などにより、情報処理装置４１と通信し、必要なデータを授受する。より詳細には、通信部１１４は、例えば、情報処理装置４１より出力されるクエストを提示する画像、アバタを提示する画像、および、アバタの履歴画像やアバタの変化の予想画像を受信する。
尚、情報処理装置４１および表示装置４２の機能を、スマートフォンの単独で実現するようにしてもよく、その場合、図中の点線で囲まれて示される情報処理装置４１および表示装置４２の双方の機能を合わせ持った構成が、スマートフォンにより実現される。
脳波計３１は、電極７１－１乃至７１－ｎ、信号処理部７２、制御部７３、および通信部７４を備えている。
制御部７３は、脳波計３１の動作の全体を制御するマイクロコンピュータなどから構成される。
電極７１－１乃至７１－ｎは、例えば、図２の電極３１ａ乃至３１ｃ、または電極３１ｄ乃至３１ｆに対応する構成であり、ユーザ２１の脳波の測定に必要とされる電位を測定し、測定した電位の信号を信号処理部７２に出力する。
信号処理部７２は、制御部７３により制御され、電極７１－１乃至７１－ｎより供給される電位信号に基づいて、脳波の波形を生成し、通信部７４に出力する。
通信部７４は、制御部７３により制御され、Wi-Fiを用いた無線LAN（Local Area Network）やブルートゥースなどの近距離無線通信などにより、情報処理装置４１と通信し、必要なデータを授受する。より詳細には、通信部７４は、信号処理部７２より供給された脳波の波形を情報処理装置４１に出力する。
生体センサ３２は、脳波以外の生体情報を検出するセンサの総称であり、例えば、体温センサ、発汗センサ、心拍センサ、および血流センサなどを含み、測定した生体情報を情報処理装置４１に送信する。また、物理センサ３３は、ユーザの動作を計測する加速度センサ、および地球上の位置を計測するGPS（Global Positioning System）センサを含み、測定した加速度および位置の情報からなる物理情報を情報処理装置４１に送信する。
サーバ４３は、感情推定部１３１、および感情推定結果記憶部１３２を備えている。感情推定部１３１は、情報処理装置４１より供給される脳波検出結果および生体情報に基づいて、ユーザの持つ感情を推定する。より詳細には、感情推定部１３１は、脳波検出結果および生体情報より、予め設定されたｍ種類の特定の感情の割合を算出して、その結果を各感情におけるスコアとして求める。尚、感情推定部１３１は、脳波検出結果および生体情報以外のものにより感情を推定してもよく、例えば、強化対象行為により得られる情報を利用して求めるようにしてもよい。すなわち、強化対象行為が、例えば、写真撮影の場合、感情推定部１３１は、強化対象行為がなされることにより撮影された写真における構図や被写体の種別に基づいて、感情を推定するようにしてもよいし、連射したのか、じっくり撮ったのかなどの指標となる撮影間隔等を利用して感情を推定してもよい。
感情推定結果記憶部１３２は、感情推定部１３１により推定された感情推定結果を記憶する。感情推定部１３１は、脳波および生体情報のみならず、必要に応じて、感情推定結果記憶部１３２に記憶された、過去の感情推定結果を利用して感情を推定するようにしてもよい。
尚、感情推定部１３１、および感情推定結果記憶部１３２は、情報処理装置４１内に設けられるようにしてもよい。
また、本開示において感情とは、ユーザの、他人や物事、イベント、外部環境などに対する評価的反応をいう。
また、感情には、特に、事象に対して開始と終了が明らかな、生理的覚醒を伴う反応（情動とも呼ばれる）も含まれる。
感情のうち、生理的反応の例として、興奮、眠気、快・不快、集中などが挙げられる。これらは脳波の周波数や事象関連電位の抽出、心拍や発汗といった生体反応に基づき特定することができる。
また、感情には、上述の生理反応を特定のモデルに当てはめることで推定されるものも含まれる。例えば、ラッセルのモデル（先行文献参照）では、睡眠・覚醒と快・不快の2つの評価軸に基づき、他の種類の感情を推定しており、このような各種モデルを用いることができる。
さらに感情には、上述の生理的反応や、生理的反応から推定される感情に加えて、環境情報などの生体情報以外の情報を用いて推定されるものも含まれる。
例えば、ユーザが参加しているイベントや、通勤時であるか散歩中であるかといった状況、コミュニケーションを行っている相手、といった情報は、ライフログや位置情報、カメラの撮影情報、SNSの会話履歴などの外部情報から得ることができる。
感情は文脈や環境にも左右されるところ、こうした外部情報に基づきユーザの置かれた状況を推定することで、この結果を加味して、より高度な感情推定を行うことができる。
特に、感情の中でも、喜怒哀楽や嫉妬、罪悪感、同情、道徳観など、文化や社会の影響も受けうる感情については、生体センシングに加えて外部情報も用いることで、より高精度な推定が可能になる。
求めるべき感情の種別は、強化対象行為に応じて設定され、強化対象行為が写真撮影であるような場合、例えば、「興味や好奇心に関する感情」、「疑問（なんだろう）や違和感を持つ感情」、「発見」、「驚き」、「取得の欲求」、「期待」、「感嘆」、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」などである。
また、強化対象行為が学習などの場合の感情の種別は、例えば、「学習意欲」、「集中度」、「飽き」、「眠気」、「リラックス」、「学習した達成感」などである。
さらに、強化対象行為がコミュニケーションなどの場合の感情の種別は、「興味」、「好悪」、「共感」、「退屈」、「喜怒哀楽」、「驚き」などである。
また、推定される感情は、基本的な情動の組み合わせで推定されてもよく、例えば、「驚き」という感情と、「興味」という感情とを合わせて、「発見」という感情が求められるようにしてもよい。
さらに、感情の推定に当たっては、特定の感情に対するポジティブな感情とネガティブな感情とのそれぞれのスコアを求めて、相互の差分を感情のスコアとしてもよい。
また、以降においては、特定の強化対象行為に対して設定される複数の感情の組み合わせを感情セットとも称する。感情セットは、強化対象行為に関連する感情であって、かつ強化対象行為の強化を促すために適すると思われる複数の感情である要素感情のセットである。すなわち、強化対象行為が写真撮影である場合、感情推定部１３１により求められる感情が「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」といった５種類の感情であるとき、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」からなる５種類の感情のセットを、強化対象行為が写真撮影であるときの感情セットとも称する。この場合、感情推定部１３１は、脳波検出結果および生体情報に基づいて、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」からなる５種類の感情の全体を100としたときの割合を求めて、各割合に対応するスコアを感情推定結果として出力する。
尚、以降においては、感情推定部１３１は、脳波検出結果および生体情報に基づいて、感情のうち、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」の５種類の要素感情からなる感情セットについて、それぞれの割合（強度）を求めてスコア化した結果を感情推定結果として出力するものとして説明を進める。
＜クエストを提示する画像の表示例＞
次に、図４を参照して、図１の情報処理システムにおいて、ユーザに対して、強化対象行為を実行させるクエストを提示する画像の表示例について説明する。ここでは、強化対象行為は、写真撮影することであるので、カメラとして機能する情報処理装置４１を用いて写真撮影する際のクエストを提示する画像の表示例を示す。
図４は、クエストを提示する画像が、表示装置４２の表示部１１３に表示される場合の表示例を示している。
表示部１１３の中央には、撮像部９４により撮像されているプレビュ画像として、家が２棟建っている画像が表示されている。したがって、ユーザがカメラとして機能する情報処理装置４１の撮像部９４の撮像方向を変化させることにより、プレビュ画像は、様々に変化する。
図４の表示例においては、表示部１１３の全体に表示されているプレビュ画像に対して、操作アイコン表示欄２０１、脳波表示欄２０２、支配感情表示欄２０３、撮像ボタン２０４、録画ボタン２０５、アバタ２０６、クエスト表示欄２０７、およびフォーカス枠２０８が重ねて表示されている。
操作アイコン表示欄２０１には、撮像操作に必要とされる操作ボタンが表示されている。図４の操作アイコン表示欄２０１には、３個の操作ボタンが上から表示されており、上段がストロボ撮影のストロボの操作モードの切り替えボタンが表示されており、中段には、設定操作画面に切り替えるための設定ボタンが表示されており、下段には、オートフォーカスのオンまたはオフを切り替えるAF（Auto Focus）ボタンが設けられている。操作アイコン表示欄２０１に表示される操作ボタンは、このほかにも撮像操作に必要なものであれば何でもよく、例えば連続撮影枚数の切り替え、撮影モードの切り替え、特殊撮影の設定など、一般的なカメラ設定に関するものが考えられる。
脳波表示欄２０２は、脳波計３１より供給されてくるリアルタイムの脳波の波形を表示している。表示される波形は、図示した脳波の振幅を時系列で示すもののほか、周波数解析後の結果を時系列で示したものや、感情推定結果の大きさを示したものでもよい。表示される波形は、多電極脳波計や、複数の感情推定結果を示す場合には、複数波形が同時に表示されてもよい。このようなリアルタイムの生体情報や感情の提示により、ユーザを、より飽きさせない提示を実現することができる。
支配感情表示欄２０３は、脳波計３１より供給されてきた脳波と、生体センサ３２より供給されてきた生体情報とに基づいた、サーバ４３による感情推定結果である感情の情報のうち、感情のスコアが最も高い、支配感情の種別を表示しており、図４においては、「ワクワク」と表示されており、「ワクワク」した感情が支配感情であることを示している。
撮像ボタン２０４は、ユーザが静止画像を撮像するとき操作されるボタンであり、撮像ボタン２０４が操作されるとき、撮像部９４は、フォーカス枠２０８内の被写体が合焦するように図示せぬ光学系を制御して静止画からなる画像を撮像する。
録画ボタン２０５は、ユーザが動画を録画するとき操作されるボタンであり、録画ボタン２０５が操作されるとき、撮像部９４は、動画像を録画すると共に、録画ボタン２０５は、録画中であることを示す所定の色、例えば、赤色に変化し、録画が終了されるとき操作されると、元の色に変化する。
アバタ２０６は、情報処理部９３により脳波および生体情報の解析結果となる感情の情報に基づいて生成されるユーザに対応するアバタである。すなわち、アバタ２０６は、感情に合わせて、例えば、オーラが出ている、汗をかいて焦っている、怒っている等がわかるように表示するようにしてもよい。
クエスト表示欄２０７は、強化対象行為をユーザに対して実現させるための、ユーザに対する課題となる情報を提示する。図４のクエスト表示欄２０７においては、「自然を撮ろう」と表示されている。このように、クエスト表示欄２０７をアバタのセリフとして示すことで、ユーザに対してクエストの指示への信頼感や親近感を与えることができる。
すなわち、ユーザは、このクエスト表示欄２０７に表示された「自然を撮ろう」という課題を実行するような撮像をする。
このクエストを用いて様々な課題をユーザに課すことにより、必要に応じて、脳波を測定する状況やタイミングを制御することができる。例えば、「驚いた状況を撮ろう」といったクエストを表示することで、ユーザが驚いた状況で写真撮影がなされることになるので、撮像したタイミングの近傍の脳波や生体情報は、ユーザが驚いたと感じた状態における脳波や生体情報として取得することが可能となる。
また、クエストにより、１回の撮影により撮影される画像を提出させる課題とすることで、ユーザは１枚の画像の撮像に集中して臨むため、より顕著な脳波を検出できる。
さらに、強化対象行為をコミュニケーションとするような場合には、コミュニケーション対象となる相手やグループによって、クエスト内容を変えてもよい。
例えば、「驚いた状況を撮ろう」といったクエストの場合、ユーザに、提示されたクエストとして課された課題を実行させるだけで、すなわち、強化対象行為をさせるだけで、驚いた状況の脳波の測定を意識させることなく、検出することが可能となる。
また、特定の事象関連電位の判別のために用いられるような脳波を検出したい場合、クエストは、対応した課題を提示する必要がある。
すなわち、事象関連電位とは、内的および外的刺激に対する類型的な電気生理学的反応であり、特定の思考や認知に伴って発生する典型的な脳波波形である。特定の思考や認知に必要とされる時間は、ある程度決まっているため、脳波においても、物を見てからそれぞれの条件に応じて、波形のピークを迎えるまでの時間がある程度決まっている。例えば顔の認知に関するN170、既知画像の認知に関するN200、既知の物の認知や不自然なものの認知、注意の低位などに関するP300、意味的違和感に関するN400、間違いの認識に関するERNなどが知られている。
そこで、このような事象関連電位として用いるような脳波を検出したい場合には、事象関連電位の判別内容に応じた課題となるクエストを提示するとよい。
また、クエストにより指定条件が付加された強化対象行為を促すことで、強化対象行為が実施されることで、指定条件における脳波を検出することができる。例えば、ある気分や状況のときに撮影を促すことで、そのような気分・状況における脳波を検出することが可能となる。
尚、クエストの提示は、画像のみならず、ナレーションなどのメッセージで行うようにしてもよいし、光、振動、音、および香りなど様々な方法で課題を促すことができれば、どのような方法で提示するようにしてもよい。したがって、クエストを提示するデバイスは表示部１１３に限らず、ナレーションなどのメッセージを出力するヘッドフォン、光を発する照明、振動を発生するバイブレータ、音を発するスピーカ、香りを発する芳香発生器など、様々なデバイスであってもよい。
また、ユーザの課金によりクエスト内容を制御してもよいし、数を増やす、特定イベントにおけるクエスト配信を受けられるようにしてもよい。
すなわち、クエストを工夫することで、欲しい条件の脳波の検出を促すことが可能となる。結果として、様々な条件でユーザの脳波を検出することができるので、意識させることなく、ユーザの個性をより多面的に、かつ、正確にアバタに反映させることが可能となる。
以上においては、所定の感情における脳波や生体情報を測定するために、感情を誘導するようにクエストを設定する例について説明してきたが、所定のタイミングにおける脳波や生体情報を計測するために、タイミングを誘導できるようなクエストを設定してもよい。すなわち、クエストは、写真撮影の場合、撮影タイミングを指示するもの（即時、期限付き、特定期日）であってもよい。また、所定の指定期間内に撮影した写真のうち１枚を選択して提出させるような課題にしてもよい。この場合、ユーザは指定期間内の好きなタイミングで撮影し、そのうち納得した画像を提出するので、ユーザが納得した画像の写真撮影をしたときの感情推定結果を利用することができる。
さらに、クエストは、ユーザの置かれた状況に応じて提示内容を変化させてもよく、例えば、位置情報や行動ログから、旅行中であるか、イベント参加中であるか、どのような友人と一緒にいるかなどを推定し、これに応じたタイミング・内容の撮影指示を行うようなものでもよい。このとき、すでに提示されているクエストの内容を置き換える形で提示変化を変化させてもよい。あるいは、複数のクエストを状況に応じて同時に提示してもよい。
また、クエストを工夫することで、強化対象行為のタイミングを制御できる。例えば、強化対象行為が写真撮影の場合、ゲーム目的でひたすらシャッタを連打することは通常の撮影習慣に比べて不自然であり、強化対象行為を強化させる効果を期待できなくなってしまう。そこで、写真撮影の回数を通常と同様に制御するために、クエストを用いて条件を付けるようにすることで、強化対象行為を適切に強化させることができる。
さらに、クエストは、特定の被写体（撮影対象）を撮影するように誘導するものであってもよく、例えば、特定の場所、人物、車などの特定商品を撮像した画像を提出させる課題にするようにしてもよい。これにより、特定の撮影対象に対してユーザが抱く感情や反応を、ユーザに意識させずに自然に取得することができる。
また、クエストは、特定の被写体（撮影対象）に対する撮影方法、カメラ設定、構図を特定する課題としてもよく、このようにすることで、撮影対象のプロモーションとして活用することが可能となる。
さらに、クエストは、強化対象行為そのものをレクチャ（学習）するようにしてもよい。
すなわち、強化指定行為がカメラ撮影の場合、普段マクロ撮影は行わないユーザに対して、マクロ撮影を促すクエストを提示することで、ユーザのマクロ撮影の撮影体験や撮影機会を作り、増やすことができる。普段行わなかったマクロ撮影の体験や機会により、ユーザに対して、強化対象行為をすること自体を楽しませることができる。
尚、以上においては、アバタは、生体センサ３２のセンシング結果に基づいた感情推定結果に応じて変化する例について説明してきたが、アバタの変化は生体センサ３２によるセンシング結果に基づいた感情推定結果だけでなく、撮影された被写体を解析した結果を加味するようにしてもよい。
例えば、ユーザが撮影した画像内の被写体に同世代の友人やユーザのソーシャルグラフに登場する人物が多く映っていれば外交的であるなどの推定ができる。また、このとき、画像内全体ではなく、フォーカス枠２０８近傍の被写体をユーザの注目被写体とみなして、フォーカス枠２０８近傍の被写体を解析するようにしてもよい。
また、ユーザが撮像した写真（画像）とその時との感情とが対応付けられるので、写真の被写体に対するユーザの嗜好情報としてマーケティングに活用することもできる。例えばポジティブであるのか、ネガティブであるのかや、既知であるのか、親しんでいるのかといった情報が有効である。このとき、写真全体ではなく、フォーカス枠２０８近傍の被写体をユーザの注目被写体とみなして、フォーカス枠２０８近傍の被写体を解析してもよい。
＜脳波の検出タイミング＞
次に、図５を参照して、脳波の検出タイミングについて説明する。
上述したように、ユーザがクエストとして提示された課題を実行するための行為を行うことで、脳波を測定する上で必要とされるユーザの状況を作り出すことができる。
具体的な脳波の検出タイミングは、強化対象行為を実行するタイミングが基準となればよいので、例えば、強化対象行為である写真撮影を行った瞬間、すなわち、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングを基準としてもよい。この場合、写真撮影を行ったタイミング近傍は、ユーザは、被写体を見ているので、被写体に対する感情が出ている可能性がある。
例えば、図５の上部で示されるように、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔである場合、脳波が検出されるべきタイミングは、図５の上部の最上段で示されるように、時刻ｔより所定時間だけ前のタイミングから、時刻ｔまでの期間Ｚ１でもよい。
また、例えば、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔである場合、脳波が検出されるべきタイミングは、図５の上部の上から２段目および３段目で示されるように、時刻ｔを中心とした前後の所定時間からなる期間Ｚ２またはＺ３でもよい。
さらに、例えば、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔである場合、脳波が検出されるべきタイミングは、図５の上部の上から最下段で示されるように、時刻ｔｓよりｎ秒だけ前の時刻ｔ－ｎから所定時間からなる期間Ｚ４でもよい。
また、具体的な脳波の検出タイミングは、強化対象行為である写真撮影を実行するタイミングと、情報処理装置４１の撮像部９４を構えたタイミングとを基準としてもよい。この場合、被写体を見つけてから撮像部９４を構えてから写真撮影を実行するまでには時間がかかるので、写真撮影がなされたタイミングがら逆算することで、見つけたときの感情を検出できる。尚、特に、この場合は、写真撮影が実行されたタイミングからの逆算だけでなく、撮像部９４を構えたタイミングをもトリガにするとさらに正確になる。ただし、この場合、加速度等により、撮像部９４を構えたタイミングを正確に検出する必要がある。
例えば、図５の下部で示されるように、情報処理装置４１の撮像部９４を構えたタイミングが時刻ｔｒであり、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔｓである場合、脳波が検出されるべきタイミングは、図５の下部の最上段で示されるように、時刻ｔｒから時刻ｔｓまでの期間Ｚ１１でもよい。
また、例えば、情報処理装置４１の撮像部９４を構えたタイミングが時刻ｔｒであり、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔｓである場合、脳波が検出されるべきタイミングは、図５の下部の上から２段目で示されるように、時刻ｔｒから所定時間だけ前のタイミングから、時刻ｔｓから所定時間経過した期間Ｚ１２でもよい。
さらに、例えば、情報処理装置４１の撮像部９４を構えたタイミングが時刻ｔｒであり、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔｓである場合、脳波が検出されるべきタイミングは、図５の下部の上から３段目で示されるように、時刻ｔｒを中心とした前後の所定時間からなる期間Ｚ１３でもよい。
また、例えば、情報処理装置４１の撮像部９４を構えたタイミングが時刻ｔｒであり、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングが、時刻ｔｓである場合、脳波が検出されるべきタイミングは、図５の下部の最下段で示されるように、時刻ｔｒより所定時間継続した期間Ｚ１４でもよい。
すなわち、情報処理装置４１の撮像部９４を構えたタイミングである時刻ｔｒ、および、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングである時刻ｔｓの少なくともいずれかを基準とした所定の期間において、脳波が検出されればよい。
さらに、前回までの撮影時の情報を利用し、複数期間の脳波を利用しても良い。
また、上述した以外にも、加速度センサで計測される撮像部９４を含む情報処理装置４１の姿勢、ジェスチャなどといった動作に基づいたタイミングを時刻ｔｒとして脳波を検出するようにしてもよいし、時刻ｔｒを基準とした時刻ｔｒ以外のタイミングで脳波を検出するようにしてもよい。また、ファインダを覗いたタイミングを時刻ｔｒとして脳波を検出するようにしてもよいし、時刻ｔｒを基準とした、時刻ｔｒ以外のタイミングで脳波を検出するようにしてもよい。さらに、特定行為（撮影等）からn秒後、またはn秒前のタイミングやユーザが空間的に移動したタイミングを基準としてもよい。
このようにすることにより、同じ姿勢、同じ測定環境とみなしたときの感情推定結果を求めることが可能となる。また、所定の動作を基準とした所定期間の脳波を検出し、その期間における代表値や、平均値を用いるようにしてもよい。
さらに、検出タイミングは撮影対象となる被写体によって異なるタイミングが採用されてもよい。これはクエストや、被写体の画像解析により推定することができる。
尚、生体センサ３２による脳波以外の生体情報についても、脳波と同様に、情報処理装置４１の撮像部９４を構えたタイミングである時刻ｔｒ、および、撮像ボタン２０４や録画ボタン２０５が操作されたタイミングである時刻ｔｓの少なくともいずれかを基準とした所定の期間において検出されればよく、さらに、脳波が検出されるタイミングと必ずしも同時である必要はない。
また、以上においては、脳波が検出される期間について説明しているが、脳波計３１による脳波の計測は、常時なされており、情報処理装置４１に対して脳波計３１からの脳波の計測結果は供給され続けている。上述した脳波の検出タイミングは、常時計測されている脳波の信号のうち、情報処理部９３において、いずれの期間の信号を採用するのかを説明するものであり、計測タイミングそのものではない。
ただし、計測タイミングは、上述したように、取り逃しをなくすためにも、常時計測でもよいし、図５における、矢印の期間を含む、それより長い期間のみでもよい。このようにすることで、省電力化を図ることが可能となる。
さらに、脳波の検出タイミングにおいて、検出された感情に変化があるような場合、または、所定期間以上感情が変化しない場合などに、クエストを表示するようにしてもよい。すなわち、例えば、感情が「嬉しい」から「悲しい」に変化した場合、「いま悲しくなりましたね」といったクエストや、感情が所定期間以上「悲しい」のままの場合、「ずっと悲しいですね」といったクエストを表示するようにしてもよい。
＜強化対象行為に対応付けて脳波および生体情報を格納するExifフォーマット＞
次に、図６を参照して、強化対象行為に対応付けて脳波検出結果および生体情報、並びに、感情推定結果を格納するExifフォーマットについて説明する。
脳波検出結果および生体情報、並びに、感情推定結果は、強化対象行為と対応付けて記録される。この例においては、強化対象行為が写真撮影であるので、脳波検出結果および生体情報、並びに、感情推定結果は、強化対象行為である写真撮影がなされることで撮像される画像に対応付けて記録される。
そこで、本開示においては、撮像される画像に対応付けて、画像の撮影時の情報が格納されるフォーマットを用いて、強化対象行為である写真撮影がなされたときの脳波検出結果および生体情報、並びに、感情推定結果が格納される。
より具体的には、ユーザが写真撮影に使用するカメラ機能を備えた情報処理装置４１は、強化対象行為である写真撮影がなされたときの脳波検出結果および生体情報、並びに、感情推定結果を、Exif（Exchangeable image file format）フォーマットに記録する。
ただし、強化対象行為である写真撮影がなされたときの脳波検出結果および生体情報、並びに、感情推定結果を記録するにあたって、Exifフォーマットを利用するのは、一例に過ぎず、Exifフォーマット以外のフォーマットを適用して記録するようにしてもよい。また、強化対象行為である写真撮影がなされたときの脳波検出結果および生体情報、並びに、感情推定結果は、別ファイルに記録しても良いし、サーバ上にある記録部（DB等）に記録するようにしてもよい。
Exifフォーマットは、JPEGファイルフォーマット、またはTIFFファイルフォーマットに準拠したフォーマットであり、アプリケーションマーカセグメントと呼ばれる領域が定義され、その中のAPP1（アプリケーションマーカセグメント１）と呼ばれる領域に格納される。APP1は、JPEGファイルフォーマット、またはTIFFファイルフォーマットに準拠する複数のTagの固まりであるデータブロックからなる複数のIFD（Image File Directory）と呼ばれるディレクトリから構成される。
図６は、APP1の構造を示している。APP1は、0th_IFD２３１、1st_IFD２３２、Exif_IFD２３３、GPS_IFD２３４、互換性_IFD２３５、MakerNote２３６、およびPrintIM２３７より構成される。
0th_IFD２３１は、撮像される主画像に関する情報を格納するIFDである。
1st_IFD２３２は、サムネイル画像に関する情報を格納するIFDである。
Exif_IFD２３３は、画像が撮影されたタイミグにおける画像に関する情報を格納するIFDである。
GPS_IFD２３４は、画像を撮像したタイミングにおけるGPS（Global Positioning System）により取得される位置情報を格納するIFDである。
互換性_IFD２３５は、Exifフォーマットの互換情報を格納するIFDである。
MakerNote２３６は、メーカ固有情報を格納する領域である。
PrintIM２３７は、IFDではなく、プリンタに印刷するイメージ情報を伝達するための情報を格納している。
このうち、0th_IFD２３１、1st_IFD２３２、Exif_IFD２３３、GPS_IFD２３４、および互換性_IFD２３５は、それぞれ先頭からCount情報、Tag情報、およびNest情報が格納されている。count情報は、IFDに格納されるTag情報の数を示す情報を格納する。Tag情報は、各種のコマンドを示すタグデータが格納され、図６においては、IFDのそれぞれについて6個のTag情報が格納されている。Next情報は、それ以降にTagが続けて格納される場合に、次のIFDを指定するポインタが格納される。
また、0th_IFD２３１の上から3番目のTag情報が、Exif_IFD２３３を指定するポインタの情報を格納しており、上から4番目のTag情報が、GPS_IFD２３４を指定するポインタの情報を格納しており、上から6番目のTag情報が、PrintIM２３７を指定するポインタの情報を格納しており、Nextと示される次のIFDを指定するポインタの情報が格納されており、1st_IFD２３２のアドレスを指定している。
さらに、Exif_IFD２３３の上から4番目のTag情報が、互換性_IFD２３５を指定するポインタの情報を格納しており、上から5番目のTag情報が、MakerNote２３６を指定するポインタの情報を格納しており、上から6番目のTag情報が、PrintIM２３７を指定するポインタの情報を格納している。
ここでは、MakerNote２３６が、ユーザの脳波検出結果および生体情報、並びに、感情推定結果であるEmotion_information２４１をEmotion_IFDとして格納する。
尚、ユーザの脳波および生体情報を格納するEmotion_information２４１は、データそのものをMakerNoteにEmotion_IFDとして格納するようにしてもよいし、ユーザの脳波検出結果および生体情報、並びに、感情推定結果を格納するEmotion_informationをMakerNoteとは別体のファイルとして格納し、MakerNoteには、そのファイルを指定するIDやTagを格納し、読み出せるようにしてもよい。Emotion_information２４１が、Exifに埋め込まれることにより、写真単体で流通しても、別の場所で、感情推定結果を扱うことが可能となる。また、ExifにEmotion_information２４１が埋め込まれることによりアバタを再構築することもできる。
＜Emotion_informationのデータ構造＞
次に、図７を参照して、図６のEmotion_information２４１のデータ構造について説明する。
Emotion_information２４１は、図７の上からID、Timestamp、Config_info、User_info、Brainwave_raw_1・・・Brainwave_raw_n、Emo_info_1、およびEmo_info_2を備えている。
脳波検出結果および生体情報、並びに、感情推定結果を格納するEmotion_informationは、強化行為対象と対応付けて記録されるので、原則として、例えば、強化対象行為となる写真撮影がなされた写真１枚毎に付されるものである。
しかしながら、同一のクエストに対して撮影される写真が複数に存在するような場合については、Emotion_informationは、１個のクエストに対して撮影された複数の写真群に対して記録されるようにしてもよい。この場合、１個のクエストに対応付けて、１個のEmotion_informationが記録されるようにしてもよいし、同一のクエストに対して撮影された複数の写真のそれぞれに対して同一のEmotion_informationが記録されるようにしてもよい。また、１個のクエストに対して複数枚の写真が撮影される場合、例えば、所定のイベント中に５枚の写真が撮影されるような場合、５枚の写真それぞれのExif（又は別ファイル）のemotion informationは、それぞれ１個のクエストに対応付けられるようにしてもよい。すなわち、１個のクエストに対して、複数のEmotion informationが生成されるようにしてもよい。
IDには、Emotion_informationを個別に識別する情報が記録される。
Timestampには、Emotion_informationに係る時刻情報が記録され、例えば、脳波の検出が開始された時刻、検出の終了時刻、および感情推定がなされた時刻が記録される。
Config_infoには、脳波計３１や生体センサ３２に関する情報が記録される。尚、Config_infoの詳細なデータ構造については、図８を参照して詳細を後述する。
User_infoには、ユーザの情報として、例えば、性別、年齢（または年代）、国籍、および人種の情報が格納される。尚、User_infoは、アプリケーションソフトを通して取得される情報でもよいし、アプリケーションソフト側で管理されるようにしてもよい。
ID、Timestamp、Config_info、User_infoは、いずれも脳波検出や感情推定の精度を向上させることができる情報を含む。
Brainwave_raw_1乃至Brainwave_raw_nには、脳波検出結果の複数の生データが記録される。生データとは、例えば、脳波計３１に設けられた電極７１－１乃至７１－ｎのそれぞれの計測結果などである。具体的には、電位差を示す振幅が時間情報と紐づけられたデータである。あるいは、振幅情報ではなく、周波数解析を行った結果が周波数毎に時間情報と紐づけられて記録されたデータでもよい。生データが記録されることで、その後、改めて脳波検出や感情推定を行うことができる。尚、容量が大きくなるため、Emo_infoが記録されていれば、生データは記録されなくてもよい。尚、Brainwave_raw_nの詳細なデータ構造については、図９を参照して詳細を後述する。
Emo_info_1およびEmo_info_2には、感情推定結果の情報が記録される。Emo_info_1およびEmo_info_2には、感情推定結果のみがメタデータたとして記録されるので、情報量を少なくできる。
また、Emo_info_1およびEmo_info_2は、それぞれ異なる機能を持たせるようにしてもよい。すなわち、Emo_info_1は、複数記録するようにしてもよく、それぞれアプリケーションプログラムに応じて、複数の感情セットの情報（複数のEmo_info_1）を記録するようにしてもよい。さらに、Emo_info_2は、感情セットの情報（Emo_info_1）から得られる、さらに高次の情報が記録されるようにしてもよい。
ここで、高次の情報とは、例えば、支配感情や、性格タイプなど、アプリケーションプログラムで直接用いる情報に応じた感情セットの情報である。Emo_info_1が通常の感情セットの情報を格納し、Emo_info_2が、Emo_info_1から得られる情報を格納するようにした場合、Emo_info_1のみを格納したときには、さらに情報量を削減することが可能となる。尚、Emo_info_1およびEmo_info_2の詳細なデータ構造については、図１０を参照して詳細を後述する。
＜Config_infoのデータ構造＞
次に、図８を参照して、脳波計３１や生体センサ３２の情報が格納されるConfig_infoのデータ構造について説明する。
Config_infoは、Eeg_Type、Eeg_ele_num、Sensor_1乃至Sensor_n、Position、Attitude、Application_ID、およびMeta_versionを備えている。
Eeg_Typeには、脳波計３１の種類を示す型番やバージョンの情報が格納される。
Eeg_ele_numには、脳波計３１の電極７１の数が格納されている。
Sensor_1乃至Sensor_nには、脳波計３１と連動して使用される生体センサ３２が存在する場合、その生体センサ３２の情報が格納される。
Positionには、脳波が検出されるときの、例えば、GPSなどによる位置情報が格納される。
Attitudeには、ユーザの姿勢を示す情報が格納される。ユーザの姿勢は、例えば、生体センサ３２に加速度センサなどが設けられている場合、加速度センサの検出結果を用いて得られる情報を用いる。
Application_IDには、脳波検出を実行する際に使用したアプリケーションプログラムを識別するIDが格納される。
Meta_versionには、メタデータのバージョン情報が格納される。
＜Brainwave_raw_nのデータ構造＞
次に、図９を参照して、電極７１－ｎにより検出された脳波の生データを格納するBrainwave_raw_nのデータ構造について説明する。
Brainwave_raw_nは、Ele_num、Ele_position、Ele_type、Measure_envr、Measure_accur、Measure_rate、Measure_term、Measure_starttime、およびDataを備えている。
Ele_numには、電極７１－１乃至７１－ｎを識別する番号が格納される。
Ele_positionには、電極位置の情報が格納される。電極位置の情報は、例えば、世界標準とされている国際10-20法における電極位置の情報である。
Ele_typeには、電極の種別の情報が格納される。電極の種別は、例えば、ウェットやドライといった情報である。
Measure_envrには、測定環境に関する情報が格納される。測定環境に関する情報は、例えば、環境温度、体温、および発汗の有無等の情報である。
Measure_accurには、測定精度の情報が格納される。測定精度の情報は、例えば、電極７１－ｎのS/N（Signal to Noise ratio）から推定される絶対値またはenable/disableの情報である。
Measure_rateには、測定周期の情報が格納される。測定周期の情報とは、例えば、フレームレート（fps）である。
Measure_termには、測定時間または測定点数（msec）の情報が格納される。
Measure_starttimeには、測定開始時刻の情報が格納される。
Dataには、測定周期毎の電位の絶対値情報が格納される。すなわち、Dataには、例えば、60fpsで1秒間測定の場合、5mV，8mV，-3mV・・・といった測定時点の電位が連続したデータ列として記録される。
＜Emotion_info_1およびEmotion_info_2のデータ構造＞
次に、図１０を参照して、感情推定結果をメタデータとして格納するEmotion_info_1と、感情推定結果から、さらに推定される高次の情報を格納するEmotion_info_2とのそれぞれのデータ構造について説明する。
まず、図１０の上段で示されるEmotion_info_1のデータ構造について説明する。
Emotion_info_1は、Emo_type_set、およびEmo_type1_value乃至Emo_typen_valueを備えている。
Emo_type_setには、感情セットを識別する情報が格納される。
Emo_type1_value乃至Emo_typen_valueには、推定される感情セットを特定する情報が格納される。感情セットはアプリケーションプログラム毎に異なる。強化対象行為が、写真撮影である場合、例えば、写真撮影に関する「わくわく」、「不思議」、「感動」、「驚き」、および「発見」の5種類の感情がそれぞれ推定され、それぞれの推定値からなるスコアがEmo_type1_value乃至Emo_typen_valueのそれぞれに格納される。感情推定結果は、例えば、推定された感情の種類毎に、それぞれの強さ（0-100）、又は割合（すべての合計を100としたときの割合）をスコア（推定値）として格納する。
次に、図１０の下段で示されるEmotion_info_2のデータ構造について説明する。
Emotion_info_2は、Strongest_type、Strongest_type_value、Weekest_type、Weekest_type_value、およびMind_typeを備えている。
Strongest_typeには、Emo_type1乃至Emo_typenのうち、最も支配的な感情（最も推定値の高い感情）の種類を特定する情報が格納される。
Strongest_type_valueには、支配的な感情のスコア（推定値）が格納される。
Weekest_typeには、Emo_type1乃至Emo_typenのうち、最もスコア（推定値）の低い感情の種類を特定する情報が格納される。
Weekest_type_valueには、最もスコア（推定値）の低い感情の推定値が格納される。
Mind_typeには、感情セットそれぞれの感情分布から解析される性格情報が格納される。
＜感情推定結果とアバタの変化＞
次に、感情推定結果とアバタの変化の例について説明する。
図４の表示例で示されるアバタ２０６は、長期的に検出される脳波検出情報および生体情報に基づいて変化して表示される。
この例においては、アバタ２０６は、例えば、繰り返しクエストに応じてユーザにより写真が撮影される処理が繰り返される中で、繰り返し撮影された際の脳波検出情報および生体情報に基づいて、成長するように形態を変化させる。
例えば、図１１の最下段で示されるように、アバタ２０６は、繰り返し、強化対象行為である写真撮影がなされ、感情推定結果が所定の条件を満たすと、卵（root）３４１から幼体３４２へ、幼体３４２から中間体３４３へ、中間体３４３から成体３４４へと変化し、成体３４４に変化した後は、成体３４４として様々な形態に変化する。
すなわち、図１１の最下段においては、アバタ２０６は、例えば、卵（root）３４１から開始され、所定の感情がＬ回繰り返されると、幼体３４２に変化し、その後、所定の感情がＭ回繰り返されると、中間体３４３に変化し、さらに、所定の感情がＮ回繰り返されると、成体３４４に変化する。
また、幼体３４２には、Ｌ回繰り返された感情の種別に応じて、異なる形態があり、同様に、中間体３４３にも、Ｍ回繰り返された感情の種別に応じて、異なる形態があり、成体３４４にも、Ｎ回繰り返された感情の種別に応じて、異なる形態がある。
すなわち、支配感情の種別が感情ｍ１乃至ｍ３の３種類であり、それぞれ所定回数だけ繰り返される感情の種別に応じて、アバタ２０６は、例えば、図１１の上段で示される樹形図状に成長し変化する。尚、図１１のＡ－１乃至Ａ－３は、アバタ２０６の幼体３４２の種別を表し、図１１のＢ－１乃至Ｂ－５は、アバタ２０６の中間体３４３の種別を表し、図１１のＣ－１乃至Ｃ－９は、アバタ２０６の成体３４４の種別を表している。
より詳細には、図１１の上段で示されるように、卵（root）３４１の状態において、感情ｍ１が支配感情としてＬ回繰り返されると、アバタ２０６は、幼体３４２の種別Ａ－１に変化する。また、卵（root）３４１の状態において、感情ｍ２が支配感情としてＬ回繰り返されると、アバタ２０６は、幼体３４２の種別Ａ－２に変化する。さらに、卵（root）３４１の状態において、感情ｍ３が支配感情としてＬ回繰り返されると、アバタ２０６は、幼体３４２の種別Ａ－３に変化する。
また、幼体３４２の種別Ａ－１の状態において、感情ｍ１が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－１に変化する。さらに、幼体３４２の種別Ａ－１の状態において、感情ｍ２が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－２に変化する。また、幼体３４２の種別Ａ－１の状態において、感情ｍ３が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－１に変化する。
さらに、幼体３４２の種別Ａ－２の状態において、感情ｍ１が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－２に変化する。さらに、幼体３４２の種別Ａ－２の状態において、感情ｍ２が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－３に変化する。幼体３４２の種別Ａ－２の状態において、感情ｍ３が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－４に変化する。
また、幼体３４２の種別Ａ－３の状態において、感情ｍ１が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－３に変化する。さらに、幼体３４２の種別Ａ－３の状態において、感情ｍ２が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－４に変化する。幼体３４２の種別Ａ－３の状態において、感情ｍ３が支配感情としてＭ回繰り返されると、アバタ２０６は、中間体３４３の種別Ｂ－５に変化する。
さらに、中間体３４３の種別Ｂ－１の状態において、感情ｍ１が支配感情としてＮ回繰り返されると、アバタ２０６は、成体３４４の種別Ｃ－１に変化する。さらに、中間体３４３の種別Ｂ－１の状態において、感情ｍ２が支配感情としてＮ回繰り返されると、アバタ２０６は、成体３４４の種別Ｃ－２に変化する。中間体３４３の種別Ｂ－１の状態において、感情ｍ３が支配感情としてＮ回繰り返されると、アバタ２０６は、成体３４４の種別Ｃ－３に変化する。
以下同様に、中間体３４３の種別Ｂ－２の状態において、感情ｍ１，ｍ２，ｍ３が支配感情としてＮ回検出されることが繰り返されると、アバタ２０６は、それぞれ成体３４４の種別Ｃ－２，Ｃ－３，Ｃ－４に変化する。
また、中間体３４３の種別Ｂ－３の状態において、感情ｍ１，ｍ２，ｍ３が支配感情としてＮ回検出されることが繰り返されると、アバタ２０６は、それぞれ成体３４４の種別Ｃ－３，Ｃ－４，Ｃ－５に変化する。
さらに、中間体３４３の種別Ｂ－４の状態において、感情ｍ１，ｍ２，ｍ３が支配感情としてＮ回検出されることが繰り返されると、アバタ２０６は、それぞれ成体３４４の種別Ｃ－４，Ｃ－５，Ｃ－６に変化する。
また、中間体３４３の種別Ｂ－５の状態において、感情ｍ１，ｍ２，ｍ３が支配感情としてＮ回検出されることが繰り返されると、アバタ２０６は、それぞれ成体３４４の種別Ｃ－５，Ｃ－６，Ｃ－７に変化する。
すなわち、卵（root）３４１の状態において、クエストに応じた強制対象行為がなされることにより、感情推定がなされ、感情推定結果が求められる処理が繰り返されることにより、感情推定結果である支配感情の感情ｍ１乃至ｍ３のそれぞれの回数がカウントされる。そして、カウントされた回数が、所定の回数であるＬ回、Ｍ回、またはＮ回だけ繰り返されるとアバタ２０６の形態が変化する。
＜感情推定結果を格納する短期的変化テーブルの構成例＞
次に、図１２を参照して、感情推定結果を格納する短期的変化テーブルについて説明する。
短期的変化テーブルは、情報処理装置４１の情報処理部９３により管理されるテーブルであり、脳波計３１および生体センサ３２より供給される脳波検出結果および生体情報に基づいてサーバ４３に供給して取得される感情推定結果に基づいて管理されるテーブルである。尚、本開示においては、短期的変化テーブルが、情報処理部９３により管理されるテーブルであるものとして説明を進めるものとするが、サーバ４３により管理されるようにしてもよい。
短期的管理テーブルは、例えば、図１２で示されるように、図中の左からアバタ種別欄、感情欄、およびスコア欄が設けられている。
アバタ種別欄には、現状のアバタ２０６の種別を示す情報が格納されており、図１２においては、図１１における卵（root）３４１であることが示されている。
また、感情欄には、感情推定結果として取得し得る感情の種別が上から記載されている。図１２においては、感情の種別として、上から感情ｍ１，ｍ２，ｍ３の順序で記載されている。
スコア欄には、感情推定結果の感情の種別に応じたスコアが記録されており、今の場合、上から１０、６０、３０と記録されている。
したがって、図１２においては、アバタ２０６が、卵（root）３４１の状態において、強化対象行為である写真撮影がなされたタイミングにおける脳波検出結果および生体情報に基づいて、感情ｍ１がスコア１０で検出され、感情ｍ２がスコア６０で検出され、感情ｍ３がスコア３０で検出されたことが示されている。すなわち、図１２の短期的変化テーブルにおいては、最高のスコアであるスコア６０の感情ｍ２が支配感情であることが示されている。尚、短期的変化テーブルは、実質的に、図１０を参照して説明したEmo_info_1の情報にアバタの種別の情報を付加した情報となる。
＜感情推定結果を格納する長期的変化テーブルの構成例＞
次に、図１３を参照して、長期的変化テーブルの構成例について説明する。
長期的変化テーブルは、情報処理装置４１の情報処理部９３により管理されるテーブルであり、短期的変化テーブルの結果を蓄積するテーブルである。
長期的管理テーブルは、図１３の上下のいずれにも示されるように、図中の左からアバタ種別欄、感情欄、および回数欄が設けられている。
アバタ種別欄には、現状のアバタ２０６の種別を示す情報が格納されており、図１３の上下のいずれにおいても、卵（root）３４１であることが示されている。
また、感情欄には、感情推定結果として取得し得る感情の種別が上から記載されている。図１３においては、感情の種別として、上から感情ｍ１，ｍ２，ｍ３の順序で記載されている。
回数欄には、強化対象行為である写真撮影がなされる度に生成される、短期的変化テーブルの情報に基づいて求められる現状の支配感情となった感情の回数が記録される。
すなわち、例えば、図１３の上段で示されるように、感情ｍ１が支配感情となった回数が２回、感情ｍ２が支配感情となった回数が４回、感情ｍ３が支配感情となった回数が３回であった場合、上述した図１２の短期的変化テーブルが供給されるとき、情報処理部９３は、図１２の短期的変化テーブルの情報に基づいて、支配感情が感情ｍ２であるものとみなす。そして、情報処理部９３は、図１３の下段で示されるように、支配感情とみなされた感情ｍ２のカウントを１インクリメントして５にする。
さらに、情報処理部９３は、短期的感情テーブルが供給される度に、長期的変化テーブルにおける回数に基づいて、アバタ２０６を変化させるタイミングであるか否かを判定し、所定回数を超えているときには、アバタ２０６の種別を変化させ、長期的変化テーブルを更新する。
例えば、図１１におけるＬ回が５回である場合、図１３の下段で示されるように感情ｍ２の回数が５回であるときには、アバタ２０６の状態を変化させ、対応して長期的変化テーブルを更新する。
すなわち、アバタ２０６が卵（root）３４１の状態であるときに、感情ｍ２がＬ回繰り返される場合、図１１で参照したように変化するときには、アバタ２０６は、幼体３４２の種別Ａ－２に変化することになる。そこで、情報処理部９３は、図１４で示されるように、アバタ種別欄をＡ－２に変化させて、感情ｍ１，ｍ２，ｍ３のそれぞれの支配感情となった回数を０にリセットし、以降、新たに短期的変化テーブルが供給される度に、上述したように長期的変化テーブルを更新して変化させる。
このように、情報処理部９３は、短期的変化テーブルと長期的変化テーブルとを管理することにより、アバタ２０６の変化を制御する。尚、アバタ２０６が成体３４４に変化した場合については、情報処理部９３は、長期的変化テーブルにおけるアバタ２０６の種別がＣ－１，Ｃ－２に変化した場合は、種別Ｂ－１に戻し、アバタ２０６の種別がＣ－３に変化した場合は、種別Ｂ－２に戻し、アバタ２０６の種別がＣ－４に変化した場合は、種別Ｂ－３に戻し、アバタ２０６の種別がＣ－５に変化した場合は、種別Ｂ－４に戻し、アバタ２０６の種別がＣ－６，Ｃ－７に変化した場合は、種別Ｂ－１に戻すようにしてもよい。すなわち、アバタ２０６の種別は、成体３４４の状態にしつつ、長期的変化テーブルにおいては、現在の成体３４４に近い中間体３４３における状態に戻し、支配感情となった回数に応じて、中間体３４３から成体３４４に変化できる状態を維持し続けることで、提示させるアバタ２０６を成体３４４にしたまま、変化させ続けるようにしてもよい。
上述した長期的変化テーブルを用いてアバタ２０６を変化させる処理を長期的感情フィードバック処理と称する。
＜アバタを提示する画像の表示例＞
次に、図１５を参照して、長期的変化テーブルに応じた強化対象行為を促すためのアバタの表示例について説明する。
上述したように、本開示の情報処理システムにおいては、繰り返しクエストが提示されることにより強化対象行為が促され、強化対象行為がなされるタイミングにおける脳波検出結果および生体情報に基づいて、短期的変化テーブルが繰り返し生成される。そして、短期的変化テーブルが生成される度に長期的変化テーブルが更新されて、長期的変化テーブルに基づいてアバタ２０６が変化される。
ユーザは、アバタ２０６を変化させることを目的として、強化対象行為を繰り返すことになるので、強化対象行為がなされる度、すなわち、短期的変化テーブルが生成されて、繰り返し、変化が加えられる長期的変化テーブルの状態に応じたアバタ２０６を提示する必要がある。
すなわち、図１５は、強化対象行為がなされる度に、現在の長期的変化テーブルに応じたアバタ２０６を提示する表示例である。
図１５の中央部で示されるように、表示部１１３における中央部に、現在の長期的変化テーブルに応じたアバタ３５１が表示されている。また、アバタ３５１の上部には、アバタ３５１によりユーザに対するコメント欄３５２が設けられており、強化対象行為を促すためのアドバイスのようなコメントが表示されるようにしてもよい。また、アバタ３５１の右側には、アバタ３５１の状態表示欄３５３が設けられており、図１５においては、上からHP（ヒットポイント）が100ポイントであり、MP（マジックパワー）が100ポイントであり、回復力が75ポイントであり、すばやさが100ポイントであり、防御力が25ポイントであることが示されている。
尚、状態表示欄３５３において表示されているHP、MP、回復力、すばやさ、および防御力については、例えば、図１６で示されるように、感情推定結果のスコアに対して所定の係数を乗じた値としてもよい。
すなわち、感情推定結果が、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」の5種類の感情セットである場合、それぞれのスコアに対して、10倍、2倍、5倍、5倍、5倍した値を、HP、MP、回復力、すばやさ、および防御力のポイントとしてもよい。
より具体的には、図１６の左部で示されるように、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」のスコアが、それぞれ10、50、15、20、および5であった場合、HP、MP、回復力、すばやさ、および防御力のポイントは、それぞれ100（＝10×10）、100（＝50×2）、75（＝15×5）、100（＝20×5）、25（＝5×5）となる。
また、図１５においては、アバタ３５１の下にはクエスト表示欄３５４が設けられており、「自然を撮ろう」というクエストが表示されている。
また、クエスト表示欄３５４の右側には、左から履歴画像表示ボタン３５５、予想画像表示ボタン３５６、および終了ボタン３５７が表示されている。
履歴画像表示ボタン３５５は、アバタ３５１のこれまでの履歴を表す履歴画像を表示するとき操作される。尚、履歴画像については、図１７，図１８を参照して後述する。
予想画像表示ボタン３５６は、アバタ３５１のこれまでの履歴から今後の変化の予想を表す予想画像を表示するとき操作される。尚、予想画像については、図１９，図２０を参照して後述する。
終了ボタン３５７は、図１５のアバタを提示する画像の表示を終了し、図４のクエストを表示する画像に戻るとき操作されるボタンである。
図１５で示されるような、強化対象行為がなされる度に表示される、長期的変化テーブルに応じたアバタ３５１の変化を確認することが可能となり、変化がなければ、変化させたいという意欲を掻き立て、変化があれば、変化があったことによる喜びを感じるようにさせることが可能となる。
また、アバタの変化は、ユーザにより実行された強化対象行為が反映されたものとなるので、ユーザ自身が共感するアバタの変化が提示されることにより、よりアバタを変化させたいという意欲が高められ、結果として強化対象行為を強化することが可能となる。
＜履歴画像の第１の表示例＞
次に、図１７を参照して、履歴画像の第１の表示例について説明する。
図１５の履歴画像表示ボタン３５５が操作されるとき、例えば、図１７で示されるような履歴画像が表示される。
図１７の履歴画像には、表示画像の左側に上から時系列に強化対象行為である写真撮影がなされた日時が、時系列バー３７１上にポイント３７２－１乃至３７２－６として表示され、それぞれのポイント３７２－１乃至３７２－６に対応する日時表示欄３７３－１乃至３７３－６が表示されている。また、日時表示欄３７３－１乃至３７３－６の右側には、その日時におけるアバタ３７４－１乃至３７４－６が表示されている。さらに、アバタ３７４－１乃至３７４－６の右側には、対応する日時において強化対象行為である写真撮影により撮像された画像が表示されている。
すなわち、図１７においては、時系列バー３７１上におけるポイント３７２－１で表される2017年5月18日の明野町において、写真撮影された画像Ｐ１０１，Ｐ１０２が撮像されるとき、アバタ３７４－１であったことが表されている。
また、時系列バー３７１上におけるポイント３７２－２で表される2017年5月23日の北杜市において、写真撮影された画像Ｐ１１１，Ｐ１１２が撮像されるとき、アバタ３７４－２であったことが表されている。
さらに、時系列バー３７１上におけるポイント３７２－３で表される2017年5月27日の港区において、写真撮影された画像Ｐ１２１が撮像されるとき、アバタ３７４－３であったことが表されている。
また、時系列バー３７１上におけるポイント３７２－４で表される2017年5月30日の高崎市において、写真撮影された画像Ｐ１３１，Ｐ１３２が撮像されるとき、アバタ３７４－４であったことが表されている。
さらに、時系列バー３７１上におけるポイント３７２－５で表される2017年6月3日の港区において、写真撮影された画像Ｐ１４１が撮像されるとき、アバタ３７４－５であったことが表されている。
また、時系列バー３７１上におけるポイント３７２－６で表される2017年6月7日の北杜市において、写真撮影された画像Ｐ１５１が撮像されるとき、アバタ３７４－６であったことが表されている。
さらに、履歴画像の右下には、終了ボタン３７５が設けられており、終了ボタン３７５は、履歴画像の表示を終了し、図１５の長期的変化テーブルに応じた強化対象行為を促す提示の表示画像に戻るとき操作される。
すなわち、図１７で示される履歴画像が表示されることにより、ユーザは、これまで自らが行ってきた強化対象行為によりアバタ３７４がどのように変化してきたかを時系列に確認することが可能となる。また、その際、どのような日時や場所でどのような画像を撮像したときにどのように変化したのかを確認することが可能となる。
＜履歴画像の第２の表示例＞
次に、図１８を参照して、履歴画像の第２の表示例について説明する。
図１５の履歴画像表示ボタン３５５が操作されるとき、例えば、図１８で示されるような履歴画像が表示されるようにしてもよい。
図１８の履歴画像には、表示画像の全体に地図が表示されており、地図上における強化対象行為がなされた位置に対応付けて履歴表示欄４０１－１乃至４０１－３が表示されている。
履歴表示欄４０１－１は、図中の地図上の中央左側付近の位置であることを表している。また、履歴表示欄４０１－１の上部においては、この履歴の日時が2017年5月18日であることが表されている。さらに、履歴表示欄４０１－１の下部においては、その履歴が記録されたときに画像Ｐ２０１が撮像されていることが表されており、画像Ｐ２０１の右側に、その時のアバタ４１１－１が示されている。
履歴表示欄４０１－２は、図中の地図上の中央右上付近の位置であることを表している。また、履歴表示欄４０１－２の上部においては、この履歴の日時が2017年5月27日であることが表されている。さらに、履歴表示欄４０１－２の下部においては、その履歴が記録されたときに画像Ｐ２１１が撮像されていることが表されており、画像Ｐ２１１の右側に、その時のアバタ４１１－２が示されている。
履歴表示欄４０１－３は、図中の地図上の中央右下付近の位置であることを表している。また、履歴表示欄４０１－３の上部においては、この履歴の日時が2017年5月30日であることが表されている。さらに、履歴表示欄４０１－３の下部においては、その履歴が記録されたときに画像Ｐ２２１が撮像されていることが表されており、画像Ｐ２２１の右側に、その時のアバタ４１１－３が示されている。
さらに、図１８の履歴画像の右下には、終了ボタン４０２が設けられている。終了ボタン４０２は、履歴画像の表示を終了し、図１５のアバタを提示する画像に戻るとき操作される。
すなわち、図１８で示される履歴画像が表示されることにより、ユーザは、これまで自らが行ってきた強化対象行為によりアバタ４１１がどのように変化してきたかを時系列に確認することが可能となる。また、その際、どのような日時や場所でどのような画像を撮像したときにどのように変化したのかを確認することが可能となる。さらに、図１８の場合、地図上に表示されていることにより、強化対象行為である写真撮影がなされた位置とアバタの変化との関係を直感的に認識することができる。
尚、同一の場所に複数のアバタ４１１が存在する場合、同一の場所で、複数のアバタを時系列に表示するようにしてもよい。このようにすることで、同一の場所で、かつ、時系列にアバタ４１１の変化を認識することができる。
＜予測画像の第１の表示例＞
次に、図１９を参照して、予測画像の第１の表示例について説明する。
図１５の予想画像表示ボタン３５６が操作されるとき、例えば、図１９で示されるような予測画像が表示される。
図１９の予測画像は、図１１を参照して説明したように、アバタの変化を樹形図状に表現した画像である。すなわち、図中の左から、卵（root）、幼体、中間体、および成体の順序で表示されている。
より詳細には、図中の最右部のアバタ４４１は、卵（root）を表しており、アバタの変化の起点であることを表している。
また、その右側には、幼体のアバタ４４２－１乃至４４２－３が表示されている。
さらに、その右側には、中間体のアバタ４４３－１乃至４４３－４が表示されている。
また、さらに、その右側には、成体のアバタ４４４－１乃至４４４－５が表示されている。
図１９の予測画像の右下には、終了ボタン４４５が設けられており、終了ボタン４４５は、予測画像の表示を終了し、図１５の長期的変化テーブルに応じた強化対象行為を促す提示の表示画像に戻るとき操作される。
ここで、アバタ４４１、４４２－１乃至４４２－３、４４３－１乃至４４３－４、および４４４－１乃至４４４－５のうち、これまで変化してきたアバタについては、点線の丸印が付されて視認できる状態で表示され、それ以外のアバタについては、シルエットで表示されている。
また、図中の左上部においては、インジケータ４３１が示されており、次のアバタの変化までの目安が示されている。すなわち、長期的変化テーブルにおける感情毎に支配感情としてカウントされた回数のうち、その最高値のアバタが変化するまでの閾値となる回数に対する現在の回数の割合がインジケータ４３１に次のアバタの変化までの目安として表示される。
以上のような表示により、ユーザは、現状までのアバタの変化と現状が、樹形図の中のどの位置かを確認することができるので、この先、どの程度の強化対象行為を行うことで、どのようなアバタに変化するのかをある程度予測することができる。
＜予測画像の第２の表示例＞
次に、図２０を参照して、予測画像の第２の表示例について説明する。
図１５の予想画像表示ボタン３５６が操作されるとき、例えば、図２０で示されるような予測画像が表示されるようにしてもよい。
図２０の予測画像は、感情推定結果の感情毎のレーダチャート上の変化を示している。
すなわち、感情推定結果が、例えば、「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」の5種類の感情セットである場合を考える。図２０は、5種類の感情のそれぞれのスコアに基づいてレーダチャートで表現したときの各ポイントを結び付けたときに形成される図形の重心位置を感情推定結果としてプロットした画像である。各プロットには、日時が付加され、時系列に線で結び付けられている。
すなわち、図２０においては、重心位置４７１－１が、2017年5月17日における強化指定行為である写真撮影がなされたときの5種類の感情のスコアで形成されるレーダチャート上の図形の重心位置を示している。
また、重心位置４７１－２が、2017年5月18日における強化指定行為である写真撮影がなされたときの5種類の感情のスコアで形成されるレーダチャート上の図形の重心位置を示している。
さらに、重心位置４７１－３が、2017年5月23日における強化指定行為である写真撮影がなされたときの5種類の感情のスコアで形成されるレーダチャート上の図形の重心位置を示している。
また、重心位置４７１－４が、2017年5月27日における強化指定行為である写真撮影がなされたときの5種類の感情のスコアで形成されるレーダチャート上の図形の重心位置を示している。
さらに、アバタ４７２が、2017年5月30日における強化指定行為である写真撮影がなされたときの5種類の感情のスコアで形成されるレーダチャート上の図形の重心位置に示されており、現状のアバタを示している。
また、予測画像の右下には、終了ボタン４７３が設けられており、終了ボタン４７３は、予測画像の表示を終了し、図１５の長期的変化テーブルに応じた強化対象行為を促す提示の表示画像に戻るとき操作される。
以上のような表示により、ユーザが、現状までのアバタの変化を認識することができるので、感情推定結果とアバタの変化を視認することができるので、今後、どの程度、強化対象行為を繰り返すことで、どのようなアバタに変化するのかを予測することができる。
尚、図１９，図２０においては、アバタの変化を示す例について説明してきたが、アバタの変化のみならず、例えば、アバタのパーツ毎の変化を示すようにしてもよい。
＜強化対象行為強化処理＞
次に、図２１のフローチャートを参照して、図３の情報処理システムによる強化対象行為を強化させる強化対象行為強化処理について説明する。
ステップＳ１１において、画像処理部９５は、図４を参照して説明した強化対象行為の実施を促すクエストを提示する画像を生成し、通信部９２を制御して、表示装置４２に出力する。表示装置４２は、通信部１１４を制御して、画像を受信し、表示部１１３に表示させる。
この処理により、図４を参照して説明したように、クエスト表示欄２０７には、例えば、「自然を撮ろう」といったクエストが表示されると共に、現在の撮像方向のプレビュ画像が表示され、ユーザに対して、クエストに従った、強化対象行為である写真撮影が促される。
ステップＳ１２において、情報処理装置４１は、通信部９２を介して、表示装置４２の表示部１１３における、例えば、図４の撮像ボタン２０４が操作されて、強化対象行為である写真撮影がなされたか否かを判定する。ステップＳ１２において、情報処理装置４１は、写真撮影がなされたとみなされるまで、同様の処理を繰り返す。
ステップＳ１２において、ユーザが写真撮影する構図を決めて、撮像ボタン２０４が操作されて、強化対象行為である写真撮影がなされたとみなされた場合、処理は、ステップＳ１３に進む。
ステップＳ１３において、情報処理部９３は、撮像ボタン２０４が操作されることにより撮像部９４を制御して、画像を撮像させて、画像処理部９５において所定の画像処理をさせた後、画像のデータを記憶部９６に記憶させる。
さらに、情報処理部９３は、通信部９２を制御して、脳波計３１および生体センサ３２より供給される脳波検出結果、および、生体情報を取得し、記録する。特に、強化対象行為である写真撮影により撮像された画像におけるExifに対応付けて記憶部９６に記憶させる。
尚、一般的な処理の流れは、ステップＳ１１の処理により、強化対象行為が促され、ステップＳ１２の処理により、強化対象行為の実施が検出されると、ステップＳ１３以降の処理が実施される。しかしながら、本実施の形態においては、強化対象行為が、特に写真撮影であるので、ステップＳ１３の処理においては、強化対象行為の実施に伴う処理として画像を記録する処理がなされる。また、クエストにより、強化対象行為は、様々な場合があり、例えば、ユーザに５枚の写真を撮らせて、そのうちの１枚をユーザが選択するようなクエストの場合、ステップＳ１２においては、５枚の写真のうちの１枚を選択するという行為がなされたとき、強化対象行為の実施があったものとみなしてもよい。ただし、この場合、感情推定には、選択された１枚の写真が撮影されたタイミングにおける脳波や生体情報を利用する必要がある。
ステップＳ１４において、情報処理部９３は、通信部９２を制御して、サーバ４３に対して、脳波検出結果、および、生体情報を送信する。
ステップＳ１５において、サーバ４３の感情推定部１３１は、脳波検出結果、および、生体情報に基づいて、感情を推定し、感情推定結果を情報処理装置４１に送信する。情報処理装置４１の情報処理部９３は、通信部９２を制御して、サーバ４３より送信されてきた感情推定結果を受信する。
ステップＳ１６において、情報処理部９３は、感情推定結果に基づいて、短期的変化テーブルを生成する。ここで、生成される短期的変化テーブルは、例えば、図１２で示されるような短期的変化テーブルを生成する。このとき、情報処理部９３は、感情推定結果を強化対象行為である写真撮影により撮像された画像におけるExifに対応付けて記憶部９６に記憶させる。尚、ここでは、Exifが画像に対応付けられて記憶される例について説明を進めるものとするが、Exifは、画像に対応付けられて記憶されなくてもよく、例えば、画像とは独立して記録されるようにしてもよい。
ステップＳ１７において、情報処理部９３は、画像処理部９５を制御して、短期的変化テーブルの情報を反映させた表示画像を生成させ、生成された表示画像を表示装置４２の表示部１１３に表示させる。より具体的には、情報処理部９３は、図４で示される支配感情表示欄２０３の表示内容を、短期的変化テーブルにおける最もスコアが高い感情である支配感情の情報に切り替えて表示させる。
すなわち、無感動な状態での写真撮影を行ってもアバタの変化は起こらないため、アバタを変化させるため、ユーザはより感情が変化する状況を求めようとする。このとき、撮影直後に支配感情が提示されることにより、どの種類の感情が最も大きく作用しているのかを即時に認識することができるので、ユーザは、無感動な撮影を抑止しようとすることができ、結果として、強化対象行為を強化させることができる。
尚、短期的変化テーブルの情報を反映させた表示画像の例として、支配感情表示欄２０３の表示内容を、短期的変化テーブルにおける最もスコアが高い感情である支配感情の情報に切り替えて表示させる例について説明してきたが、それ以外の方法で、短期的変化テーブルの情報をユーザに認識させるようにしてもよい。例えば、感情推定結果に応じて、画面の色を変えて表示する、音声により提示する、表示内容の図形の大きさや形状を変化させる、またはアバタの振る舞いを変化させるようにしてもよい。すなわち、１回の写真撮影における脳波計測、および感情推定結果をユーザにフィードバックするものであれば、様々な態様をとることができる。
ステップＳ１８において、情報処理部９３は、長期的変化テーブル管理処理を実行し、短期的変化テーブルの情報を、長期的変化テーブルに反映させて更新する。長期的変化テーブル管理処理については、図２２のフローチャートを参照して、詳細を後述する。
ステップＳ１９において、情報処理部９３は、画像処理部９５を制御して、長期的変化テーブルに基づいて、例えば、図１５を参照して説明したアバタを提示する表示画像を生成させ、生成された表示画像を表示装置４２の表示部１１３に表示させる。
すなわち、図１５を参照して説明した画像により、ユーザは、これまでのクエストに応じた強化対象行為である写真撮影が繰り返されることにより変化した、現状のアバタを確認することが可能となる。
ステップＳ２０において、情報処理部９３は、タッチパネルとして機能する表示部１１３が操作されて、強化対象行為強化処理の終了が指示されたか否かを判定し、終了が指示された場合、処理は、終了する。また、ステップＳ２０において、終了が指示されていない場合、処理は、ステップＳ２１に進む。
尚、強化対象行為強化処理の終了の判定については、直接処理の終了を指示する以外でもよく、所定の時間が経過した場合（時限式）、所定の位置から移動した場合（位置移動検知式）、または撮影回数が所定回数になった場合（回数制限式）のいずれかを終了の指示であるものとみなすようにしてもよい。
また、終了の指示は、クエストの内容に応じて設定するようにしてもよく、例えば、クエストで時間を制限するような場合については、クエストで設定された時間が経過したタイミングをもって、終了の指示であるものとみなすようにしてもよい。
さらに、特定の構図や姿勢を検出した場合に終了が指示されたものとみなしてもよく、例えば、カメラをしまうことが検出された場合、電源がOFFにされた場合、所定のQRコード(登録商標)が読みこまれた場合、また、特定の被写体が撮影された、または、ファインダ内において検出された場合に終了が指示されたものとみなすようにしてもよい。
また、アバタの変化が所定の状態に達したタイミングにおいて、終了が指示されたものとみなすようにしてもよい。
ステップＳ２１において、情報処理部９３は、例えば、図１５で示される表示画像における終了ボタン３５７が操作されて、次の強化対象行為である画像撮影を指示するクエストを提示する、図４の画像の表示が指示されたか否かを判定する。ステップＳ２１において、例えば、終了ボタン３５７が操作されていないと判定された場合、処理は、ステップＳ２２に進む。
ステップＳ２２において、情報処理部９３は、例えば、図１５で示される表示画像における履歴画像表示ボタン３５５が操作されて、アバタの履歴画像の表示が指示されたか否かを判定する。ステップＳ２２において、履歴画像表示ボタン３５５が操作されたとみなされた場合、処理は、ステップＳ２３に進む。
ステップＳ２３において、情報処理部９３は、履歴画像表示処理を実行し、例えば、図１７または図１８を参照して説明した履歴画像を生成して、表示装置４２の表示部１１３に表示させ、処理は、ステップＳ１９に戻る。尚、履歴画像表示処理については、図２３のフローチャートを参照して、詳細を後述する。
一方、ステップＳ２２において、履歴画像表示ボタン３５５が操作されないとみなされた場合、処理は、ステップＳ２４に進む。
ステップＳ２４において、情報処理部９３は、例えば、図１５で示される表示画像における予想画像表示ボタン３５６が操作されて、アバタの予想画像の表示が指示されたか否かを判定する。ステップＳ２４において、予想画像表示ボタン３５６が操作されたとみなされた場合、処理は、ステップＳ２５に進む。
ステップＳ２５において、情報処理部９３は、予想画像表示処理を実行し、例えば、図１９または図２０を参照して説明した予想画像を生成して、表示装置４２の表示部１１３に表示させ、処理は、ステップＳ１９に戻る。尚、予想画像表示処理については、図２４のフローチャートを参照して、詳細を後述する。
一方、ステップＳ２１において、終了ボタン３５７が操作されたと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。
尚、ステップＳ２４において、予想画像の表示が指示されなかった場合、ステップＳ２５の処理がスキップされて、処理は、ステップＳ１９に戻る。
すなわち、クエストが表示されて、強化対象行為である写真撮影がユーザに促されて、ユーザにより強化対象行為である写真撮影がなされると、そのタイミングにおける脳波が検出されると共に、対応する生体情報が検出される。そして、脳波検出結果および生体情報に基づいて感情推定がなされて、短期的変化テーブルが生成され、短期的変化テーブルに応じて、長期的変化テーブルが更新されて、長期的変化テーブルの情報に基づいて、アバタが変化して提示される。
このため、ユーザは、クエストに応じて、繰り返し強化対象行為を行う度に、アバタが変化することにより、アバタを変化させたいという意識が掻き立てられることになる。結果として、ユーザに強化対象行為を意識させることなく、強化対象行為を強化させることが可能となる。
尚、以上においては、強化対象行為強化処理スタートは、強化対象行為を実施したタイミングである例について説明してきたが、それ以外のタイミングからであってもよく、例えば、ユーザ自身がスタートさせるようにしてもよいし、システムが感情の変化を検知したタイミングでスタートさせるようにしてもよいし、スタートを所定のタイミングから所定時間が経過したタイミングとする時限式とするようにしてもよい。
また、アバタが変化しそうなとき、その予兆を認識できるような表示をするようにしてもよい。例えば、クエストなどにより、「後n枚写真とったら変化するよ！」または、「後n回感動したら変化するよ！」といった表示をするようにしてもよいし、アバタにオーラが出るような表示をさせるようにしてもよい。このような表示により、ユーザに対して、継続的利用を促し、モチベーションを高めたり、飽きさせない仕組みを実現することができる。
＜長期的変化テーブル管理処理＞
次に、図２２のフローチャートを参照して、長期的変化テーブル管理処理について説明する。
ステップＳ４１において、情報処理部９３は、短期的変化テーブルの情報に基づいて、支配感情を決定する。すなわち、情報処理部９３は、図１２で示されるような短期的変化テーブルの場合、感情ｍ１，ｍ２，ｍ３のそれぞれのスコアがそれぞれ１０，６０，３０であるので、支配感情を感情ｍ２に決定する。
ステップＳ４２において、情報処理部９３は、支配感情の検出結果であるスコアは、有効値であるか否かを判定する。すなわち、感情推定結果に含まれる感情セットのそれぞれの感情のスコアの中の最高スコアが、所定値よりも大きく有効値であるか否かが判定される。例えば、感情毎のスコアの閾値が５０である場合、図１２の短期的変化テーブルのときには、支配感情となる感情ｍ２のスコア６０は、閾値よりも大きい。したがって、この場合、ステップＳ４２においては、スコアが、有効値であるとみなされて、処理は、ステップＳ４３に進む。
ステップＳ４３において、情報処理部９３は、支配感情の検出結果を長期的変化テーブルに反映させる。すなわち、図１３を参照して説明したように、情報処理部９３は、支配感情として検出された感情の回数欄の回数を１インクリメントしてカウントアップする。
ステップＳ４４において、情報処理部９３は、長期的変化テーブルとして管理される感情の種別のうち、支配感情として検出された回数が所定回数を超えたか否かを判定する。ステップＳ４４において、長期的変化テーブルとして管理される感情の種別のうち、支配感情として検出された回数が閾値となる所定回数を超えたものがあるとみなされた場合、処理は、ステップＳ４５に進む。
ステップＳ４５において、情報処理部９３は、図１１を参照して説明したように、現状のアバタから、支配感情として検出された回数が所定回数を超えた感情の種別に応じたアバタに変化させるように（アバタの性質を変化させるように）長期的変化テーブルのアバタ種別欄の情報を更新すると共に、回数欄をリセットする。
ステップＳ４６において、情報処理部９３は、強化対象行為である写真撮影により撮像された画像に対応付けて、現状の長期的変化テーブルの情報を履歴として記憶部９６に格納する。
尚、ステップＳ４２において、支配感情のスコアが有効値ではないとみなされた場合、ステップＳ４３乃至Ｓ４５の処理はスキップされて、長期的変化テーブルは実質的に更新されず、処理は、ステップＳ４６に進む。
また、ステップＳ４４において、長期的変化テーブルにおける回数欄の回数が所定回数を超える感情がない場合、ステップＳ４５の処理がスキップされる。すなわち、この場合、支配感情として検出された感情の回数欄は更新されるが、アバタは変化せずに処理は、ステップＳ４６に進む。
以上の処理により、クエストにより繰り返される強化指定行為に対応する感情推定結果が供給される度に、短期的変化テーブルが供給されて、短期的変化テーブルに基づいて支配感情が検出され、支配感情のスコアが有効値である場合に、支配感情として検出された回数がカウントされ、所定回数以上検出されるとアバタが変化されるようにした。
これにより、クエストの提示により繰り返される強化指定行為に対応する感情推定結果に基づいて、長期的変化テーブルが長期的に繰り返し更新され、更新結果に応じて、アバタが変化されることになるので、強化指定行為によりアバタが変化して、ユーザに対して、アバタを変化させたいという意識を掻き立てることができる。結果として、アバタを変化させたいという意識により、ユーザに意識させることなく、強化対象行為の強化を実現させることが可能となる。
尚、以上においては、支配感情として特定される回数を長期的変化テーブルに格納し、長期的変化テーブルに格納される支配感情として所定回数を超える感情に対応付けて、アバタを変化する例について説明してきたが、全ての感情についてスコアを積算して、スコアの積算値が所定値を超えた感情に対応付けてアバタを変化させるようにしてもよい。また、感情推定結果のいずれかの感情が、何らかの条件で特定されるようにして、特定される回数が、所定回数を超えた場合、所定回数を超えた感情に応じてアバタを変化させればよいので、支配感情以外の感情でもよく、例えば、所定のスコアを連続して超えている感情として特定される回数が所定回数を超えたか否かによりアバタを変化させるようにしてもよい。
さらに、所定の測定回数の中で、最も記録された回数の多い支配感情に対応したアバタに変化させるようにしてもよい。また、支配感情ではなく、各測定における各要素感情の積算を行い、所定の測定回数に達した時に最も積算値の高い感情を選択してアバタを変化させるようにしてもよい。さらに、１つの感情ではなく、感情のバランスによって、アバタの次の変化を決めるようにしてもよい。
また、測定回数のみならず、支配感情の頻度、間隔、感情強度（解析結果の信頼度）、クエストの内容、一定距離だけ動いたか否かなどに基づいて、アバタを変化させるようにしてもよい。
また、初めての感情や、レアな感情などの、特定の感情が検知された場合、特定の感情が検出されたことを、テキスト表示、クエストに反映、アバタ変化、アバタのオーラ・表情が変化として、フィードバックできるようにしてもよい。
さらに、長期的変化テーブルに対して、所定のフィルタが掛け合わされてもよい。例えば各感情のスコアを積算するにあたり、逆数をかけ合わせたり、検出された感情とは相反する感情のスコアが積算されるようなフィルタを用いることで、ユーザの性格と反対の性格を持つアバタを生成することができる。あるいは、クエスト毎に想定される測定バイアスをキャンセルしたり、あるいは強化するような係数をかけ合わせるフィルタを用意することで、クエスト毎に生じる測定バイアスを打ち消したり、あるいは強化することができる。
さらに、長期変化テーブルに対して、例えば、O型男性とA型女性は相性が良い等の相性の良いフィルタを掛け合わせるようにしてもよい。
また、長期的変化テーブルに格納される感情推定結果については、特定感情以外の感情を用いてバイアス値を計算してもよい。例えば「ワクワク」、「不思議」、「感動」、「見つけた」、及び「すごい」の５種類の感情セットを挙げたが、それとは別に「興味がない」「飽きている」といった感情も推定し、「興味がない」「飽きている」の感情が得られた場合には支配感情の積算を差し引くことで、興味がある被写体の写真撮影に対して積算の影響を変更したり、あるいは積算を行わずに影響を排除することができる。また、長期的変化テーブルは１回の強化対象行為毎に再計算するのではなく、複数回の強化対象行為に対する感情推定結果の平均・中央値・代表値等、または、前回検出時からの時間間隔やユーザの位置の差分等を用いるようにしてもよく、この場合、再計算タイミングはクエストと同期していてもよい。
また、アバタは、画像に表示されるものでなくてもよく、例えば、ロボットなどのハードウェアなどでもよい。また、アバタのカテゴリを選択したり、適宜適したものに設定・変更できてもよい。さらに、例えば、ユーザの嗜好に応じて変更できるようにしてもよい。また、例えば、写真撮影の被写体の画像解析を行い、その結果を反映することで嗜好に応じて変更できるようにしてもよい。さらに、強化対象行為に応じた種類のアバタが設定されるようにしてもよく、例えば、学習系であれば生徒のアバタが設定されるようにしてもよい。
また、アバタは、キャラクタ植物などの生物を模したもの、城・街・乗り物などの無機質なものであってもよい。
尚、アバタの表示は、画像表示のみならず、テキスト形式、音声、バイブレーション、匂い、触覚、味覚、ロボットなどの動作によるフィードバック（例えば、犬型ロボットの場合、ダンスの仕方、しっぽを振るときの振り方、表情等）により、アバタの性質を表現するような表示にしてもよい。
さらに、アバタは、ユーザの性格を反映したものにしてもよいし、長期的変化テーブルに格納されるスコアや、支配感情として特定された回数などに逆数をかけることで性格の反対であるものにしてもよいし、性格に対して相性が良いものにしてもよい。
また、アバタの変化は、アバタの形態や外観のみならず、図１１で示されるように、予め定められた樹形図状に変化するもののうち、感情推定結果に応じたルートをたどり、変化していくようにしてもよいし、身体を構成する複数のパーツ（手、足、目、口等）からなり、このパーツが、個別に感情推定結果に応じて変化していくようにしてもよい。
さらに、アバタの修飾物として、武器、アイテム、服装、装飾品などが変化するようにしてもよい。
また、アバタにプロファイルを持たせて、キャラクタの強さ、防御力、速度などの各種設定値が変わるようにして、他人と比較したり、ランキングできるようにしてもよい。
さらに、１つのアバタが変化するのではなく、感情推定結果毎に新たなアバタが提示されたり、取得されるようにしてもよい。このとき、長期的変化テーブルを用いた長期的なフィードバックであるから、時系列ごとに並べる、頻出種類のアバタを残すといった、全体の傾向を提示するようにしてもよい。
長期的変化テーブルの反映については、n種類の感情が定義されている場合には、支配感情が反映されるのみならず、割合に応じて反映されるようにしてもよいし、絶対値として反映されるようにしてもよい。
以上においては、支配感情として特定された回数が所定回数を超えるときアバタが変化する例について説明してきたが、例えば、強化対象行為に基づくスコアが蓄積された場合に、そのスコアをアバタに対して反映させるタイミングを、ユーザにより選択できるようにしてもよい。具体的には、５回の強化対象行為を行った場合に、スコアのアバタへの反映を都度行うのではなく、スコアが蓄積されていることや、その量をユーザに提示し、ユーザは自分の好ましいタイミングで、蓄積されたスコアの全部一部をアバタに反映させる操作を行う。これにより、強化対象行為時には強化対象行為に集中し、アバタへのスコアの反映とこれに伴うは別のタイミングに楽しむことができる。
また、アバタに付帯する装飾品など付加的な変化についてはユーザにより選択的に制御できるようにしてもよい。すなわち、ユーザには制御できないアバタ本体の変化と、ユーザに制御可能な装飾物の変化とが混在するようにしてもよい。
このとき、例えば、装飾物は感情推定結果に応じた特性が付与されており、これを他のプレイヤーと交換できてもよい。このとき、強化対象行為に基づく変化が加味されてもよいし、撮影写真の色・テクスチャなどのアバタや背景に反映するようにしてもよいし、写真撮影時の位置情報、カメラ設定を反映させるようにしてもよい。
また、アバタの状態変化が起こる期間を制限されるようにしてもよく、例えば、ユーザの実際の学年の変化に応じて、次のアバタを再設定できるようにしてもよいし、場所や空間（フィールド）に応じて制限するようにしても良いし、イベント、クエスト期間などにより制限されてもよい。
さらに、アバタを複数用意して、環境ごとに違うアバタが登場するようにしてもよい。また、コミュニケーショングループごとに反映対象となるアバタを代えるようにしてもよい。さらに、ユーザ状態（どういう状態か、誰と要るのか）の推定結果に応じてアバタを変化させるようにしてもよいし、対話相手のソーシャルグラフの解析結果、位置、生体センシング、周囲環境（写真に写っているもの）、時間帯、場所により対応するアバタを変化させるようにしてもよい。
また、反映対象となるアバタを複数に設定し使い分ける用にしてもよいし、イベント毎に都度アバタを生成するようにしてもよいし、TPO毎の固定対象に、都度反映するようにしてもよい。
これにより、強化対象行為を実施するほどアバタの性格が、ユーザを反映したものとなるため、ユーザにとって強化対象行為を行うインセンティブとすることができる。また、アバタの姿が変化していくことから、ユーザが強化対象行為の継続と、脳波計測の継続を望むインセンティブとすることができる。
結果として、ユーザが意識することなく、強化対象行為を強化することが可能となる。また、強化対象行為が強化されることにより、有益な脳波データを継続的に取得し続けることが可能となる。
＜履歴画像表示処理＞
次に、図２３のフローチャートを参照して、履歴画像表示処理について説明する。
ステップＳ６１において、情報処理部９３は、記憶部９６に、強化対象行為である写真撮影により撮像された画像と共に、画像に対応付けて格納されている、長期的変化テーブルの情報と、Exifフォーマットに含まれるEmotion_informationの情報とを履歴情報として読み出す。
ステップＳ６２において、情報処理部９３は、読み出した履歴情報に基づいて、例えば、図１７および図１８で示されるような履歴画像を生成し、表示装置４２の表示部１１３に表示する。
ステップＳ６３において、情報処理部９３は、タッチパネルとして機能する表示部１１３における、例えば、図１７の終了ボタン３７５、または、図１８の終了ボタン４０２が操作されて、履歴表示の終了が指示されたか否かを判定する。ステップＳ６３において、終了が指示されていない場合、処理は、ステップＳ６２に戻り、ステップＳ６２，Ｓ６３の処理が繰り返されて、履歴画像が表示され続ける。そして、ステップＳ６３において、終了が指示されたとみなされた場合、処理は、終了する。
以上の処理により、図１７または図１８で示されるような履歴画像が表示されることにより、ユーザは、これまでの強化指定行為である写真撮影でどのようにアバタが変化してきたかを認識することが可能となり、さらに、アバタを変化させたいという意欲を掻き立てることが可能となる。
結果として、ユーザに意識させることなく、強化対象行為の強化を実現させることが可能となる。
＜予測画像表示処理＞
次に、図２４のフローチャートを参照して、予測画像表示処理について説明する。
ステップＳ８１において、情報処理部９３は、記憶部９６に、強化対象行為である写真撮影により撮像された画像と共に、画像に対応付けて格納されている、長期的変化テーブルの情報と、Exifフォーマットに含まれるEmotion_informationの情報とを履歴情報として読み出す。
ステップＳ８２において、情報処理部９３は、読み出した履歴情報に基づいて、例えば、図１９および図２０で示されるような履歴画像を生成し、表示装置４２の表示部１１３に表示する。
ステップＳ８３において、情報処理部９３は、タッチパネルとして機能する表示部１１３における、例えば、図１９の終了ボタン４４５、または、図２０の終了ボタン４７３が操作されて、履歴画像表示の終了が指示されたか否かを判定する。ステップＳ８３において、終了が指示されていない場合、処理は、ステップＳ８２に戻り、ステップＳ８２，Ｓ８３の処理が繰り返されて、予測画像が表示され続ける。そして、ステップＳ８３において、終了が指示されたとみなされた場合、処理は、終了する。
尚、履歴画像表示の終了、および予想画像表示の終了は、終了ボタン３７５，４４５の押下だけでなく別のトリガでとするようにしてもよく、例えば、良く写真をとる場所に来たときや、感情が動いたときに終了の指示があったものとみなすようにしてもよい。
以上の処理により、図１９または図２０で示されるような予測画像が表示されることにより、ユーザは、これまでの強化指定行為である写真撮影でどのようにアバタが変化してきたかを認識し、今後のアバタの変化を予想することが可能となり、アバタを変化させたいという意欲を掻き立てることが可能となる。
結果として、ユーザに意識させることなく、強化対象行為の強化を実現させることが可能となる。
＜＜３．第１の変形例＞＞
＜同一の強化対象行為である写真撮影の画像に対して、複数回の強化対象行為における脳波検出結果および生体情報を格納する例＞
以上においては、強化対象行為である１回の写真撮影により撮像された１枚の画像に対して、脳波検出結果および生体情報を格納するEmotion_informationを１個設ける例について説明してきたが、同一の強化対象行為である写真撮影の画像に対して、複数回の強化対象行為における脳波検出結果および生体情報を格納するようにしてもよい。
例えば、図２５の左部で示されるように、Emotion_informationが、複数のEmotion_information1およびEmotion_information2より構成されるようにしてもよい。
また、図２５の右部で示されるように、１個のEmotion_information中に複数のEmotion_information1およびEmotion_information2の情報が格納されるようにしてもよい。ただし、図２５の右部の場合、Data_numにおいては、格納されている複数の脳波検出結果および生体情報の数を示す情報が格納されている。また、Emotion_information1およびEmotion_information2には、それぞれのIDが省略されている。
いずれにおいても、複数の脳波検出結果および生体情報に基づいて、強化対象行為がなされるタイミングとは異なるタイミングで、脳波を検出する、または、感情推定を実行することが可能となる。
＜＜４．第２の変形例＞＞
＜Emotion_informationにキャリブレーション時に測定した基準脳波検出情報や、基準感情推定結果を格納する例＞
脳波検出結果および生体情報が格納されているEmotion_informationにキャリブレーション時に測定した基準脳波検出情報や、基準感情推定結果を格納してもよい。これによりアプリケーションプログラムによる脳波検出や感情推定をより高精度に行うことができる。
ここで、キャリブレーションとは、ユーザ毎の個性を特定したり、測定誤差を解消し、精度を向上させるための調整処理である。
具体的には、キャリブレーションは、初回または最初の数回に各ユーザ共通の強化対象行為してもらったり、安静環境での脳波測定を促したり、強化対象行為の結果に対してアンケートを提示して、主観評価を入力させるような処理を実行し、これらの処理により取得される基本的な脳波や生体情報を基準として、各種の構成や処理を調整する。尚、これらの一連の行為を、強化対象行為として、クエストにより誘導して実施するようにしてもよい。
より具体的には、図２６の最左部のEmotion_informationにおいては、斜線部で示されるように、通常のEmotion_informationのデータ構造に、基準脳波検出情報として、Brainwave_baseが追加して格納され、基準感情推定結果として、Emotion_info_baseが追加して格納されている。
また、図２６の最右部で示されるように、基準脳波検出情報であるBrainwave_baseと、基準感情推定結果であるEmotion_info_baseとからなる独立したメタデータファイルを生成するようにしてもよい。
この場合、第１の脳波検出結果および生体情報が格納されているEmotion_information1や、第２の脳波検出結果および生体情報が格納されているEmotion_information2が、それぞれ独立してメタデータファイルを参照して利用するようにしてもよい。
＜＜５．第３の変形例＞＞
＜アバタのパーツを切り替える例＞
以上においては、図１１で示されるように、支配感情の回数に応じて、樹形図状にアバタが変化する例について説明してきたが、幼体、中間体、および成体のそれぞれについて、感情の変化に応じてアバタのパーツを切り替えるようにしてもよい。
すなわち、感情推定結果が「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」の5種類の感情セットのスコアから求められる場合を考える。
図２７で示されるように、幼体は、「頭」のパーツと「第１の身体」のパーツとから構成されている。
各パーツには、感情セットを構成する５種類の感情のそれぞれに対応する素材が設定されている。
そして、感情推定結果の割合、または、支配感情に基づいて、該当する感情に対応する種類の素材が選ばれる。
例えば、感情の割合が「ワクワク」66%、「不思議」33％である場合であって、パーツが「頭」、「腕」、「身体」の３種類であるとき、３種類のパーツのうちの2/3に対して、例えば、「頭」、「腕」、「身体」の３個のパーツうちの「頭」と「腕」の２個のパーツに、「ワクワク」に対応するスコアが積算される。また、「頭」、「腕」、「身体」の３個のパーツのうちの1/3に対して、例えば、「身体」の１個のパーツに「不思議」に対応するスコアが積算される。そして、スコアが閾値を超えたタイミングで、閾値を超えた感情に対応するパーツの素材を変化させる。
割合でなく支配感情の場合には、支配感情が「ワクワク」であれば、「頭」、「腕」、「身体」からランダムに選ばれるいずれか１つに対して、「ワクワク」の感情のスコアが積算される。
また、図２７の丸印で示されるように、幼体においては、「頭」および「第１の身体」のパーツが変化する。そして、「頭」および「第１の身体」の各パーツが、変化したときには、アバタは幼体から中間体に変化する。
ここで、幼体においては、パーツとして存在しないが、図２７の三角印で示される幼体における「腕」、「脚」、および「第２の身体」のパーツについても変化させる。
すなわち、現状のアバタに付されていない三角印で表されるパーツは、素材の情報のみが変化し、アバタの表示としては現れない隠れパーツである。そして、アバタが、幼体から中間体に変化したときに、その時の「腕」、「脚」、「第２の身体」の素材の情報に対応するパーツが付与される。
また、図２７の丸印で示されるように、中間体は、「頭」、「腕」、「脚」、および「第２の身体」のパーツとから構成されている。
そして、図２７の丸印で示される「頭」、「腕」、「脚」、および「第２の身体」のパーツを変化させる。
また、中間体においては、パーツとして存在しないが、図２７の三角印で示される中間体における「角」、「翼」、および「尾」のパーツについては、素材の情報のみを変化させる。
すなわち、現状のアバタに付されていない三角印で表される隠れパーツについては、素材の情報のみを変化させる。そして、アバタが、中間体から成体に変化したときには、「角」、「翼」、「尾」の素材の情報に対応する種別のパーツが付与される。
さらに、図２７で示されるように、成体は、「頭」、「腕」、「脚」、「第２の身体」、「角」、「翼」、および「尾」のパーツとから構成されている。
そして、「頭」、「腕」、「脚」、「第２の身体」、「角」、「翼」、および、「尾」のそれぞれが、素材の情報に対応するパーツに変化される。
以上のように、各感情推定結果に基づいて、各感情に対応するアバタのパーツを変化させることで、アバタを変化させるようにしてもよい。
＜＜６．第４の変形例＞＞
＜クエストの種別に応じた係数をアバタの変化に反映させる例＞
クエストの種別に応じた係数をアバタの変化に反映させるようにしてもよい。すなわち、クエストは、内容によっては、特定の感情のスコアが高く出る、または、低く出る傾向がある。そこで、クエストの内容に応じて、感情毎の係数を設定し、特定の感情のスコアが高すぎる、または、低すぎるといったことがなくなるようにしてもよい。
より詳細には、図２８の左上部で示される感情推定結果に対応する短期的変化テーブルの情報に基づいて、図２８の中央上部で示される、各パーツに対して感情毎に加算する加算スコアがまとめられた加算テーブルが生成される。そして、加算テーブルにおける各加算スコアに対して、図２８の中央下部の係数テーブルに対して、係数が乗じられて、各スコアの統合結果が、図２８の右上部で示される統合テーブルにまとめられる。
アバタの各パーツは、感情推定結果の５種類の感情毎に種別が設定されており、統合テーブルにおける各パーツについて最もスコアが高い種別のパーツが選択されて、組み合わされることによりアバタが決定される。
例えば、感情推定結果に対応する短期的変化テーブルにおいて、「ワクワク」が０であり、「不思議」が６０であり、「感動」が０であり、「見つけた」が３０であり、「すごい」が１０であり、アバタのパーツが、「腕」、「脚」、「尾」、「角」、「翼」、および「爪」である場合を考える。
この場合、感情推定結果に対応する短期的変化テーブルは、図２８の左上部で示される短期的変化テーブルとなる。
加算テーブルは、短期的変化テーブルに基づいて、アバタの各パーツについて、感情毎に加算されるスコアが記録されるテーブルである。すなわち、図２８の中央上部で示される加算テーブルの場合、「不思議」の感情に対応するパーツである、「腕」、「脚」および「角」には、スコアが６０であるので、ポイント「＋１」が付与されている。また、「見つけた」の感情に対応するパーツである、「尾」および「爪」には、スコアが３０であるのでポイント「＋１」が付与されている。さらに、「すごい」の感情に対応する、「翼」には、スコアが１０であるのでポイント「＋１」が付与されている。
尚、加算テーブルにおいて、短期的変化テーブルにおける各感情のスコアが、どのパーツに対して、どの程度のポイントを付与するかについては、様々に設定することができ、図２８の中央上部の例は、一例に過ぎない。また、付与されるポイントはマイナスであってもよいし、付与されるポイントの総和が、０になるようにしてもよい。
図２８の中央下部の係数テーブルは、加算テーブルのスコアに乗じる係数のテーブルであり、各パーツについて、対応する感情毎の係数が格納されている。各係数は、クエストの内容に応じたものである。例えば、クエストの内容が感情推定結果として、「不思議」の感情について高いスコアが付与されやすい場合、図２８の中央下部の係数テーブルで示されるように、加算テーブルの「不思議」の感情に対応する係数として０．５が設定され、それ以外の係数には１が設定されるようにしてもよい。
すなわち、図２８の係数テーブルにより、加算テーブルの値において、感情推定結果が「不思議」であることにより付与されている「腕」、「脚」、および「角」のポイントは、係数である０．５が乗じられることにより、いずれも「＋０．５」とされる。
さらに、図２８の右上部で示される統合テーブルは、強化対象行為がなされる度に、加算テーブルのポイントが順次積算されるテーブルである。図２８においては、左から、アバタのパーツが、「腕」、「脚」、「尾」、「角」、「翼」、および「爪」の欄が設けられ、それぞれに上から「ワクワク」、「不思議」、「感動」、「見つけた」、および「すごい」の感情により付与されたポイントの統合結果が記録されている例が示されている。
すなわち、図２８の右上部の統合テーブルにおいては、「腕」の各感情のスコアは、「ワクワク」が４、「不思議」が５．５であり、「感動」が２であり、「見つけた」が２であり、「すごい」が１である。
「脚」の各感情のスコアは、「ワクワク」が５であり、「不思議」が３．５であり、「感動」が１であり、「見つけた」が３であり、「すごい」が２である。
「尾」の各感情のスコアは、「ワクワク」が４であり、「不思議」が７であり、「感動」が１であり、「見つけた」が３であり、「すごい」が２である。
「角」の各感情のスコアは、「ワクワク」が２であり、「不思議」が１．５であり、「感動」が０であり、「見つけた」が０であり、「すごい」が０である。
「翼」の各感情のスコアは、「ワクワク」が０であり、「不思議」が０であり、「感動」が０であり、「見つけた」が０であり、「すごい」が１である。
「爪」の各感情のスコアは、「ワクワク」が１であり、「不思議」が１であり、「感動」が０であり、「見つけた」が２であり、「すごい」が０である。
情報処理部９３は、統合テーブルにおける各パーツのうち、最もスコアの高い感情に対応付けて設定された種別を選択することでアバタを決定する。
すなわち、図２８の右上部で示される統合テーブルにおいては、「腕」のパーツは、スコアが「５．５」の「不思議」の感情に対応付けて設定される種別に決定される。
「脚」のパーツは、スコアが「５」の「ワクワク」の感情に対応付けて設定される種別に決定される。
「尾」のパーツは、スコアが「７」の「不思議」の感情に対応付けて設定される種別に決定される。
「角」のパーツは、スコアが「２」の「ワクワク」の感情に対応付けて設定される種別に決定される。
「翼」のパーツは、スコアが「１」の「すごい」の感情に対応付けて設定される種別に決定される。
「爪」のパーツは、スコアが「２」の「見つけた」の感情に対応付けて設定される種別に決定される。
図２８の右部で示される統合テーブルにおいて、色が付与されているマス目は、現状において、設定されているパーツの種別が表されている。したがって、統合テーブルが、図２８の右上部のように更新されることにより、「腕」のパーツは、現状の「ワクワク」の感情に対応付けて設定されている種別から、「不思議」の感情に対応付けて設定される種別に変更されることになる。
以上のように、クエストに応じて強化対象行為が繰り返されて、短期的変化テーブルが供給される度に、対応する加算テーブルが生成され、クエストに応じて設定される係数テーブルの係数を乗じた値が加算されて、順次統合テーブルが更新される。そして、統合テーブルにおける各パーツについて、最もスコアの高い感情に対応付けて設定される種別のパーツが組み合わされてアバタが構成されることにより、アバタが変化する。
これにより、アバタの変化にクエストに応じた係数を反映させることが可能となるので、クエストに応じて適切にアバタを変化させることが可能となる。
結果として、ユーザに対して、アバタを変化させたいという意識を掻き立てることで、ユーザに意識させることなく、強化対象行為を強化させることが可能となる。
尚、以上においては、係数を用いてスコアを調整する例について説明してきたが、例えば、脳波計測は、クエストと連動して計測されているので、「不思議なものを見つけろ」と言うクエストなどにより、イベント中などユーザが「不思議」の感情が強い状態にあることが明らかな場合には、「不思議」の感情に関するスコアを差し引いて加算するようにしてもよいし、または「不思議」に着目してその強さを加算するようにしてもよい。
また、図２８においては、右上部の統合テーブルが、図１３，図１４を参照して説明した長期的変化テーブルに対応する。すなわち、図１３，図１４を参照して説明した長期的変化テーブルは、感情推定結果に基づいて、支配感情として特定された回数が感情毎に蓄積されて、支配感情として特定された回数に応じて、アバタが変化する。これに対して、図２８の統合テーブルは、感情推定結果の感情毎にスコアそのものが、アバタのパーツ毎に累積的に蓄積されて、パーツ毎に、最もスコアの高い感情に対応付けて設定される種別が決定されている。いずれも強化対象行為がなされる度に供給される感情推定結果に基づいた短期的変化テーブルの情報で、長期的変化テーブルが更新されて、長期的変化テーブルで累積的に管理される支配感情として特定された回数、または、パーツ毎のスコアに基づいてアバタが変化する。
さらに、係数については、クエストの種別だけでなく、例えば、同一ユーザの中で、初めて検出された感情、同一クエストの中で珍しい感情、または、同一属性（同一学年、同一人種、同一性別）のユーザの中で、レアな感情など、特殊な感情が検出された場合に、係数を切り替えるようにしてもよい。
＜＜７．第５の変形例＞＞
＜１個のアバタを複数のユーザで共有する例＞
以上においては、１個のアバタを１人のユーザが使用する例について説明してきたが、１個のアバタを複数のユーザで共有するようにしてもよい。
すなわち、複数ユーザの感情を集合して１つのアバタを生成し、変化させるようにしてもよい。
図２９は、複数ユーザの感情を集合して１つのアバタを生成し、変化させるようにするようにした情報処理システムの構成例である。
図２９の情報処理システムは、サーバ５０１と、各ユーザにより利用される端末５１１－１乃至５１１－３とから構成される。
端末５１１－１乃至５１１－３は、それぞれが、図３の情報処理システム１１に対応する構成であり、それぞれのユーザの脳波検出情報および生体情報をサーバ５０１に送信する。
サーバ５０１は、情報処理装置４１における情報処理部９３と類似した機能を備えており、端末５１１－１乃至５１１－３より供給される複数のユーザの脳波検出情報および生体情報を取得し、複数のユーザの脳波検出情報および生体情報に基づいて、短期的変化テーブルを生成し、長期的変化テーブルに反映させて、アバタを変化させることでアバタを提示する画像を、端末５１１－１乃至５１１－３に送信する。また、サーバ５０１は、クエストを提示する画像を端末５１１－１乃至５１１－３に送信する。
端末５１１－１乃至５１１－３は、サーバ５０１から送信されてくるクエストの図４のクエストの画像や、図１５のアバタの表示画像を表示することにより、繰り返し強化対象行為を促し、アバタを表示する処理を繰り返す。
より詳細には、サーバ５０１は、例えば、複数のユーザの脳波検出情報および生体情報の平均値、中央値、最高値、または最低値や、その他の統計値を用いることで、複数のユーザに対する複数のユーザの脳波検出情報および生体情報を実質的に１人のユーザにおける複数のユーザの脳波検出情報および生体情報に対して行う場合の処理と同様の処理として実行する。しかしながら、統計的に求められる複数のユーザの脳波検出情報および生体情報をアバタの変化に反映させることができる。
以上の処理により、クラスを代表するアバタ、例えば、あるアイドルを応援する複数のファンを代表するアバタや、アイドルの応援派閥毎のアバタを作る出すようなことができる。これにより、例えば、応援合戦のクエスト等につなげる事で、ユーザをより飽きさせないようにさせることが可能となる。
また、自分自身ではなく、自分以外の対象（所属集団や応援対象）へのフィードバックをインセンティブとして強化対象行為を強化することができる。すなわち、他人に対するアバタの提示が本人の強化対象行為に対するインセンティブとすることができる。
また、組織、法人、集団の個性をアバタにより定量表現することが可能となる。
さらに、性別毎、年齢毎、地域毎といった複数のユーザを定ぐするカテゴリを設定して強化対象行為を強化することが可能となる。
また、同じ目的を持った人々で集団を形成することで、例えば、同じ目的を持つ複数人数のグループに対して、１個のアバタが変化し、強化されるようにすることができる。また、複数のアバタをグループごとに設定し、グループ毎に変化を競争させるようにすることもできる。結果として、集団全体における強化対象行為を強化することができる。
さらに、地域などにおいては、１人の行為を連続的に強化するのではなく、場所に訪れる不特定多数のユーザの強化対象行為を強化させることができる。すなわち、地域を代表するアバタ、ご当地アバタ、イベント毎のアバタ、美術館などで美術品を代表するアバタなどを設定することもできる。
すなわち、位置情報を用いて、美術館内の美術品毎の観覧者の感情を蓄積するようにして、芸術品毎にアバタを設定し、変化させるようにしてもよい。
また、所定のコンテンツの視聴者の傾向を擬人化したアバタを設定するようにして、コンテンツの視聴者毎にアバタによるキャラクタが作られるようにしてもよい。
＜＜８．第６の変形例＞＞
＜他人のアバタとチャットのような会話をできるようにする例＞
以上においては、１つのアバタを１人、または、複数で共有する例について説明してきたが、他人のアバタとチャットのような会話をできるようにしてもよい。
例えば、図３０で示されるように、複数のアバタが会話できるようにしてもよい。
図３０においては、表示部１１３の中段左右にアバタ５５１，５６１が表示されている。アバタ５５１，５６１のそれぞれの下部には、プロフィール欄５５０，５６０が設けられており、アバタ５５１，５６１のそれぞれのプロフィールなどが記載されるようにしてもよい。また、アバタ５５１，５６１には、それぞれに吹出５５２，５６２が設けられており、それぞれのユーザがそれぞれの表示装置４２の表示部１１３のタッチパネルの機能などを利用して、自然言語を用いた、チャットがなされている様子が示されている。
アバタ５５１，５６１は、いずれもユーザの強化指定行為が繰り返されることにより生成されたアバタとするようにしてもよい。さらに、一方のアバタを、ユーザの感情推定結果のポジティブなスコアにより変化したアバタとし、他方のアバタを、ユーザの感情推定結果のネガティブなスコアにより変化したアバタとするようにしてもよい。このようにユーザ自ら複数のアバタを提示させるようにしたときには、例えば、チャット機能により、一方のアバタが、他方のアバタに対して、ユーザ自身の強化対象行為に対しての助言を求められるようにしてもよい。
また、アバタからの助言は、ユーザの感情推定結果に応じたものを反映したものにするようにしてもよい。
さらに、ユーザがアバタに問い合わせての助言を提示するようにしてもよい。この場合、ユーザが、自分の性格を反映した「分身」としてのアバタとのコミュニケーションを通して、自分を客観視する、または、意思決定の後押しを受けるられるようにしてもよい。
また、他のユーザとのコミュニケーションに際して、アバタであるので、本音を通じたコミュニケーションを実現することができる。
また、ユーザが、他人のアバタとのチャットなどを行う際、ユーザのアバタが、他人のデバイスに提示されるようにしてもよい。
さらに、子供の親や、恋人に、アバタを表示し、表示されたアバタを介して、現在のユーザの感情推定結果が提示されるようにしてもよい。
また、ユーザのアバタと、他のユーザのアバタとが、会話を行い、その様子を観察できるようにしてもよい。
さらに、アバタにより相性占いがなされるようにしてもよい。
また、助言について、適した友達のアバタを選べるようにすることで、友人の視座や価値観を知ることができるようにしてもよく、これを応用することで、例えば、結婚相談所における結婚相手探しや、企業における人材採用に利用することも可能となる。
さらに、他のユーザのアバタとのコミュニケーションについては、相互の許可制にしてもよいし、位置情報に基づいて会話できるようにしてもよい。
また、例えば、対戦型のゲームに適用してもよい。
すなわち、アバタ同士の対戦型のゲームに適用する場合、アバタ同士のパラメータを表示するようにしてもよい。また、アバタの変化に応じて使えるコマンドを変化させ、この中からユーザが行動（攻撃、防御など）を選択するようにしてもよい。さらに、ゲームの対戦時に、ユーザからのコマンドの入力がない状態でも、蓄積された感情の情報に基づいた行動の予測により、自動的に戦闘を行うようにしてもよい。
感情推定結果に基づいた支配感情に応じて、アバタの属性が振り分けられ、振り分けられたアバタの属性が三すくみの関係に設定されるようにしてもよい。このとき、ユーザの感情推定結果に基づき固定されるアバタ本体の属性と、ユーザの感情推定結果に基づき生成されるが、他のユーザと交換可能なアイテムなどを組み合わせるようにしてもよい。さらに、複数のアバタが生成される場合、ユーザはアバタを適宜選択して、他のアバタと戦わせるようにしてもよい。また、複数のアバタをコレクションする、または、他のユーザのアバタと交換できるようにしてもよい。
＜＜９．第７の変形例＞＞
＜強化対象行為が教育や学習の例＞
以上においては、強化対象行為が写真撮影をすることである例について説明してきたが、強化対象行為については、ユーザが意識することなく、強化させたい行為であれば、それ以外でもよく、例えば、教育や学習といったものであってもよい。
例えば、図３１で示されるように、教科毎にアバタを設定し、各教科に応じたアバタを変化させたいという意識を掻き立てることにより、各教科の教育や学習といった行為を強化するようにしてもよい。
図３１においては、教科として、国語、算数、理科が設定されており、それぞれに対応するアバタが設定されている。また、各アバタは、各教科の、例えば、学習進度により設定されるパラメータにより変化することが示されており、図３１においては、国語のパラメータがLv4であり、算数のパラメータがLv20であり、理科のパラメータがLv12であり、それぞれのレベルに応じたアバタが設定されていることが示されている。尚、図３１においては、教科毎に異なるアバタが設定される例について示されているが、アバタは１種類として、得意教科や勉強に対する姿勢によって表示状態を変化させるようにしてもよい。
また、教育や学習という行為を強化対象行為とする場合、クエストにより最適な学習方法、学習時間帯、学習感覚に基づき、学習タイミングを制御することができる。
この場合、クエストにより、アバタが助言する形でユーザに強化対象行為を促すようにしてもよい。また、この際、アバタが助言するタイミングを基準として脳波および生体情報を検出するようにしてもよい。
また、アバタの変化や、感情推定結果の蓄積は、学習単元に連携するようにしていてもよい。
さらに、クエストによりユーザの気分に応じたカリキュラムが設定されるようにしてもよい。また、苦手科目をやるのに最適なタイミングでクエストが提示されるようにしてもよい。さらに、忘却曲線に応じた最適なタイミングでクエストが提示されるようにしてもよい。忘却曲線に応じた学習は、教育において記憶定着に効果が高いことが知られている。また、感情推定結果を用いてアバタにより表現することで、学習結果に対する客観的な評価を、テストのような定量指標ではなく、頑張ったことなどを示す定性指標として提示することが可能となる。
また、教育や学習を強化対象行為とした場合については、推定すべき感情セットには集中や没入といった学習効率に係る感情が含まれるようにしてもよい。さらに、集中した場合のインセンティブ付与ではなく、集中していないことに対するペナルティ付与としてもよい。また、ネガティブ感情に基づいて、アバタが変化するようにしてもよい。さらに、「がんばったこと」のような質的アプローチが評価できるようにアバタを変化させてもよい。この場合、例えば、アバタの変化をユーザ自身が強化対象行為に対する評価として確認するだけでなく、ユーザの指導者のような第三者が強化対象行為に対する評価として確認できるようにしてもよく、指導者がアバタの評価により強化対象行為に対する指導内容を決めるようにしてもよい。また、学習に係る得点が伸びてなくても、頑張ったことを評価して、もっと頑張らせるようにクエストを設定するようにしてもよい。そして、アバタの変化は学習内容に応じて変化させるようにしてもよい。
アバタについては、得意教科を反映した外観にしてもよい。また、苦手教科を推定し、苦手教科を克服するほどアバタが強くなる、長所を伸ばすようにアバタが変化する、長所が伸びたこと、または短所を克服したことが、アバタの形態やパラメータに反映されるようにしてもよい。
尚、ここでいう教育とは、例えば、勉強（認知的教育）、学校教育、非認知的教育、コミュニケーション、道徳、感性、学校で教わらないもの、武道的な精神、部活、スポーツトレーニング、座禅、精神統一、マインドフルネス、ヨガ等の趣味的なもののトレーニング、および広義の目標達成のいずれであってもよい。
また、強化対象行為は、例えば、コミュニケーションをとるという行為であってもよい。
この場合、他人との対話の開始をトリガとして、その前後における脳波計測を行うようにしてもよい。また、計測される脳波はユーザ自身ではなく他のユーザであってもよい。他のユーザの脳波を計測することで、他のユーザがユーザ自身に対して抱く感情や、ユーザ自身に対する評価を定量化・可視化することができる。
さらに、ユーザ自身の発話に応じた相手のリアクションに基づきアバタが変化するようにしてもよい。
結果として、自分の会話の性質を把握することができる。このとき、ありたい会話やありたい自分を設定したり、あるいはそのような姿が推薦されることで、ありたい姿を目標としての、あるべき会話の強化を短期的・長期的ニューロフィードバックとして行うことができる。また、あるべき会話の設定により、やさしさや、おもいやりのある会話や、アイディア出しをするような会話ができるようにしてもよい。
この場合、コミュニケーションの教育コンテンツとしては、営業マンの営業トーク、プレゼンテーションの練習、管理職についたときの部下とのコミュニケーションの練習などに利用するようにしてもよい。
また、この場合、アバタが、会話の癖に応じたアドバイスを行うようにしてもよく、このとき、設定した「ありたい自分」をゴールとしたガイドをできるようにしてもよい。
さらに、コーチングの効果がわかるようにアバタを変化させるようにしてもよい。
また、コミュニケーションを強化対象行為にした場合、相手の感情推定結果をそのまま反映すると、ユーザのアバタに他のユーザの感情推定結果が入ってしまう恐れがあるので、相手の感情推定結果をそのまま反映させるのではなく、相手の反応に基づいて推定されるユーザ自身の感情推定結果を反映させるようにしてもよい。
さらに、相手に応じて別々のアバタが変化するようにしてもよい。
また、感情推定結果の蓄積により得られるアバタに基づいて、関心や興味を推定することができるので、例えば、広告や商品推薦に応用してもよい。
すなわち、感情推定結果やアバタにみられる傾向に応じた商品の推薦、感情推定結果に応じた商品、およびサービスの推薦、同じ感情推定結果から同様の感情傾向を持つ人の購買ログに基づく商品推薦、コンテンツ推薦（映画、音楽）をするようにしてもよい。
さらに、感情推定結果やアバタに基づいて、コンテンツ内容の動的変化、商品の広告レイアウト、Web構成の変更、現在状態に応じたリアルタイムの変更、性格タイプに応じた変更に応用するようにしてもよい。
また、感情推定結果に基づいて、検索結果を最適化するようにしてもよい。
さらに、検索アルゴリズムに感情推定結果が組み込まれるようにしてもよい。
また、アバタは、ユーザが強化対象行為を行ったときの脳波検出結果および生体情報の長期的な繰り返し計測により得られる、ユーザの潜在的な意識を反映させたものであるので、高精度に商品等の推薦を行うことができるので、効果的な商品推薦ができる。
具体的には、学習するということが強化対象行為である場合には、学習を補助する商品などを推薦対象とすることができる。すなわち、強化対象行為に関連する商品を、推薦対象の商品とすることができる。
＜＜１０．第８の変形例＞＞
＜VR（Virtual Reality）ゴーグル型の脳波計を用いる例＞
以上においては、脳波計３１、生体センサ３２、情報処理装置４１、および表示装置４２からなる情報処理システム１１について説明してきたが、例えば、VR（Virtual Reality）ゴーグル型の脳波計を用いて、脳波計と表示装置とを一体化するようにしてもよい。
図３２は、VRゴーグル型の脳波計３１と表示装置４２の表示部１１３とが一体となった脳波計６０１の構成例を示している。図３２の左部が概観図であり、図３２の右部がゴーグル部６１１の背面方向からの斜視図である。
VRゴーグル型の脳波計６０１は、ゴーグル部６１１およびベルト６１２から構成されており、ゴーグル部６１１をユーザ２１の目の部位に当接した状態で、ベルト６１２によりユーザ２１の頭部に固定される。
ゴーグル部６１１には、図中の背面部６１１ａに表示装置４２の表示部１１３に対応する表示部が設けられており、表示部１１３に表示される表示画像が表示される。
また、ベルト６１２は、頭部の側面に巻き付けられる部位６１２ａと、頭頂部に巻き付けられる部位６１２ｂとからなる。
ベルト６１２の部位６１２ａにおける側面部には、ユーザ２１の頭部に当接する電極６１３ｂが左右にそれぞれ２個ずつ設けられている。また、部位６１２ａの後頭部には、ユーザ２１の頭部に当接する電極６１３ｃが３個設けられている。さらに、ベルト６１２の部位６１２ｂの頭頂部には、ユーザ２１の頭部に当接する電極６１３ａが２個設けられている。また、ゴーグル部６１１の背面部６１１ａの額に当接する上部には、電極６１３ｄが３個設けられている。電極６１３ａ乃至６１３ｄは、図２の電極３１ａ乃至３１ｃに対応するものである。
VRゴーグル型の脳波計６０１は、電極６１３ａ乃至６１３ｄの合計１２個の電極により脳波を測定する。また、ユーザは、ゴーグル部６１１により表示される画像を視聴しながら、強化対象行為を強化することが可能となる。
尚、この例では電極数が１２点である例が挙げられているが、電極数は１２点以外の点数であってもよいし、１２点である場合であっても、この中から選ばれるいくつかの電極だけを使用するようにしてもよい。
また、VRゴーグル型の脳波計は、図３３で示されるような構成以外にも、後頭部、頭頂部、または、側頭などに配置するような構成にもできる。また、VRゴーグル型の脳波計は、頭部のどの位置に配置するかに応じて、それぞれ特有の脳波を取ることができるので、頭部のどの位置に配置し、また、どの位置の電極を利用するのかは、アプリケーションや用途に応じて設計するようにしてもよい。
＜＜１１．第９の変形例＞＞
＜AR（Augmented Reality）グラス型の脳波計を用いる例＞
以上においては、VRゴーグル型の脳波計について説明してきたが、AR（Augmented Reality）グラス型の脳波計を用いるようにしてもよい。
図３３は、ARグラス型の脳波計の構成例が示されている。尚、図３３の上部は、一体型のARグラス型の脳波計の構成例を示しており、図３３の下部は、既存の眼鏡にARグラス型脳波計の機能を付加した構成例を示している。
図３３の左部で示される、ARグラス型の脳波計６３１は、透過型のディスプレイ６３１ａ、撮像部６３１ｂ、および電極６３１ｃから構成されている。
透過型のディスプレイ６３１ａは、ユーザの目から外界が透過した状態で視聴できるものであると共に、AR表示画像が重畳された状態で視聴できるディスプレイであり、表示装置４２の表示部１１３に対応する構成である。
撮像部６３１ｂは、情報処理装置４１における撮像部９４に対応する構成である。
電極６１３ｃは、眉間と左右のコメカミ部分の頭皮に当接する電極であり、図２の電極３１ａ乃至３１ｃに対応するものである。
また、図３３の下部で示される、既存の眼鏡６５１に装着されるARグラス型の脳波計６４１は、電極６６１、撮像部６６２、およびプロジェクタ６６３から構成される。
電極６６１は、ユーザ２１の頭部に当接する電極であり、図２の電極３１ａ乃至３１ｃに対応するものである。
撮像部６６２は、情報処理装置４１における撮像部９４に対応する構成である。
プロジェクタ６６３は、ユーザ２１の目に直接画像を投影してAR画像が重畳された画像を視聴させるものであり、表示装置４２の表示部１１３に対応する構成である。
脳波計６３１，６４１は、そのいずれにおいてもユーザに装着されることにより、ユーザは、現実世界と、現実世界に拡張されて重畳された情報とを同時に視聴することができる。
このため、例えば、図３４で示されるような表示画像を実現することが可能となる。
図３４においては、ARグラス型の脳波計６３１，６４１を装着することにより視聴される画像例が示されている。図３４においては、現実世界の他のユーザ５８１が直接視聴できる状態で、かつ、自らのアバタ５９１、アバタ５９１の吹出５９２、相手のアバタ５８２、他のユーザの吹出５８３、および相手のアバタ５８２の吹出５８４が、現実世界に重畳された画像が示されている。
尚、ARグラス型の脳波計は、図３５で示されるような構成以外にも、後頭部、頭頂部、または、側頭など配置するような構成にもできる。また、ARグラス型の脳波計は、頭部のどの位置に配置するかに応じて、それぞれ特有の脳波を取ることができるので、頭部のどの位置に配置し、また、どの位置の電極を利用するのかは、アプリケーションや用途に応じて設計するようにしてもよい。
＜＜１２．第１０の変形例＞＞
＜情報処理システムの構成を脳波計と一体型の構成とする例＞
以上においては、ARグラス型の脳波計を用いる例について説明してきたが、情報処理システム１１の構成を脳波計と一体型の構成とするようにしてもよい。
図３５は、情報処理システム１１の構成と脳波計とを一体構成にした時の構成例を示している。
すなわち、情報処理システム１１の構成と脳波計とを一体構成にした、情報処理装置７０１は、ユーザ２１の頭部にベルト状に巻き付けられると共に、右側頭部に撮像部７０２が設けられ、右目にシースルー型の表示部７０３が設けられている。
情報処理装置７０１は、図３６で示されるように、電極７２１－１，７２１－２、信号処理部７２２、情報処理部７２３、表示制御部７２４、画像処理部７２５、加速度センサ７２６、温度センサ７２７、GPS７２８、制御部７２９、通信部７３０、入出力部７３１、および記憶部７３２を備えている。
このように、一体型の構成により、リアルタイムで解析ができ、また、通信が不要であるので、オフラインで使用することができ、消費電力も小さいので、バッテリによる長時間駆動も可能となる。
尚、電極７２１－１，７２１－２、および信号処理部７２２は、図３の電極７１－１，７１－２、および信号処理部７２に対応する構成であり、情報処理部７２３、および画像処理部７２５は、情報処理部９３、および画像処理部９５に対応するものであり、制御部７２９、通信部７３０、入出力部７３１、および記憶部７３２は、制御部９１、通信部９２、入出力部１１２、および記憶部９６と対応するものである。従って、その説明は、省略するものとする。また、動作についても、基本的に、図３の情報処理システムと同様であるので、その説明は省略する。
＜＜１３．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図３７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図３における情報処理装置４１が、図３７のパーソナルコンピュータに対応するものである。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部
を含む情報処理装置。
＜２＞ 前記情報処理部は、前記強化対象行為を促す情報を提示し、
前記強化対象行為が実行されるタイミングに基づく所定のタイミングにおいて、前記脳波を検出する脳波検出部をさらに含む
＜１＞に記載の情報処理装置。
＜３＞ 前記脳波検出部は、前記強化対象行為が実行されるタイミング、前記強化対象行為が実行されるタイミングの所定時間だけ前後の期間、または、前記強化対象行為が実行されるタイミングより所定時間だけ前のタイミングから所定の期間において、前記脳波を検出する
＜２＞に記載の情報処理装置。
＜４＞ 前記アバタは、前記感情推定結果をユーザに認識させるための表現の形態である
＜１＞乃至＜３＞のいずれかに記載の情報処理装置。
＜５＞ 前記性質は、前記アバタの外形形状、テキスト形式の表示内容、音声、バイブレーション、匂い、触覚、味覚、並びに、ロボットを用いた場合の動きおよび姿勢である
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜６＞ 前記強化対象行為は、写真撮影である
＜２＞に記載の情報処理装置。
＜７＞ 前記写真撮影で撮影される写真の撮像を制御する撮像制御部と、
前記写真および前記アバタを表示させる表示制御部とをさらに含む
＜６＞に記載の情報処理装置。
＜８＞ 前記情報処理部は、前記強化対象行為を促す情報を課題として提示する
＜２＞に記載の情報処理装置。
＜９＞ 検出した脳波を解析し、複数の要素感情毎の強度または比率を示すスコアを決定し、感情推定結果として出力する感情推定部をさらに含む
＜１＞乃至＜８＞のいずれかに記載の情報処理装置。
＜１０＞ 前記情報処理部は、前記感情推定結果が出力される度に、前記複数の要素感情毎のスコアに基づいて、所定の感情を特定し、前記所定の感情として特定した回数を、前記複数の要素感情毎に長期的変化テーブルに格納する
＜９＞に記載の情報処理装置。
＜１１＞ 前記情報処理部は、前記長期的変化テーブルに格納される、前記所定の感情として特定された、前記感情毎の回数に基づいて、前記アバタの形態を変化させて提示する
＜１０＞に記載の情報処理装置。
＜１２＞ 前記所定の感情は、前記複数の要素感情において最も強度または比率が高い支配感情であり、
前記情報処理部は、前記長期的変化テーブルに格納される、前記支配感情として特定された回数が、所定の回数よりも大きい感情に対応して、前記アバタの性質を変化させて提示する
＜１０＞に記載の情報処理装置。
＜１３＞ 前記強化対象行為は、写真撮影であり、
前記情報処理部は、前記写真撮影により撮影された画像と、前記アバタの性質の情報とを対応付けて、履歴として記憶させる
＜１＞に記載の情報処理装置。
＜１４＞ 前記情報処理部はさらに、前記感情推定結果に基づく感情に関する情報を、前記写真撮影により撮影された画像と対応付けて記録させる
＜１３＞に記載の情報処理装置。
＜１５＞ 前記情報処理部は、前記アバタの性質の変化の履歴を示す履歴画像を表示部に表示させる
＜１＞乃至＜１４＞のいずれかに記載の情報処理装置。
＜１６＞ 前記情報処理部は、複数回の前記感情推定の結果に基づいて、前記アバタの性質の変化を予想する予想画像を表示部に表示させる
＜１＞に記載の情報処理装置。
＜１７＞ 強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理
を含む情報処理方法。
＜１８＞ 強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部と
してコンピュータを機能させるプログラム。
＜１９＞ 脳波計と情報処理装置とからなる情報処理システムにおいて、
脳波計は、
ユーザによる強化対象行為に応じて、脳波を検出する脳波検出部を含み、
情報処理装置は、
検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部を含む
情報処理システム。
１１ 情報処理システム， ２１ ユーザ， ３１ 脳波計， ３２ センサ， ４１ 情報処理装置， ４２ 表示装置， ４３ サーバ， ７１－１乃至７１－ｎ 電極， ７２ 信号処理部， ７３ 制御部， ７４ 通信部， ９１ 制御部， ９２ 通信部， ９３ 情報処理部， ９４ 撮像部， ９５ 画像処理部， ９６ 記憶部， １１１ 制御部， １１２ 入出力部， １１３ 表示部， １１４ 通信部， ５０１ サーバ， ５１１－１乃至５１１－３ 端末， ６０１ VRゴーグル型脳波計， ６３１，６４１ ARグラス型脳波計

Claims (19)

  1. 強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部
    を含む情報処理装置。
  2. 前記情報処理部は、前記強化対象行為を促す情報を提示し、
    前記強化対象行為が実行されるタイミングに基づく所定のタイミングにおいて、前記脳波を検出する脳波検出部をさらに含む
    請求項１に記載の情報処理装置。
  3. 前記脳波検出部は、前記強化対象行為が実行されるタイミング、前記強化対象行為が実行されるタイミングの所定時間だけ前後の期間、または、前記強化対象行為が実行されるタイミングより所定時間だけ前のタイミングから所定の期間において、前記脳波を検出する
    請求項２に記載の情報処理装置。
  4. 前記アバタは、前記感情推定結果をユーザに認識させるための表現の形態である
    請求項１に記載の情報処理装置。
  5. 前記性質は、前記アバタの外形形状、テキスト形式の表示内容、音声、バイブレーション、匂い、触覚、味覚、並びに、ロボットを用いた場合の動きおよび姿勢である
    請求項１に記載の情報処理装置。
  6. 前記強化対象行為は、写真撮影である
    請求項２に記載の情報処理装置。
  7. 前記写真撮影で撮影される写真の撮像を制御する撮像制御部と、
    前記写真および前記アバタを表示させる表示制御部とをさらに含む
    請求項６に記載の情報処理装置。
  8. 前記情報処理部は、前記強化対象行為を促す情報を課題として提示する
    請求項２に記載の情報処理装置。
  9. 検出した脳波を解析し、複数の要素感情毎の強度または比率を示すスコアを決定し、感情推定結果として出力する感情推定部をさらに含む
    請求項１に記載の情報処理装置。
  10. 前記情報処理部は、前記感情推定結果が出力される度に、前記複数の要素感情毎のスコアに基づいて、所定の感情を特定し、前記所定の感情として特定した回数を、前記複数の要素感情毎に長期的変化テーブルに格納する
    請求項９に記載の情報処理装置。
  11. 前記情報処理部は、前記長期的変化テーブルに格納される、前記所定の感情として特定された、前記感情毎の回数に基づいて、前記アバタの形態を変化させて提示する
    請求項１０に記載の情報処理装置。
  12. 前記所定の感情は、前記複数の要素感情において最も強度または比率が高い支配感情であり、
    前記情報処理部は、前記長期的変化テーブルに格納される、前記支配感情として特定された回数が、所定の回数よりも大きい感情に対応して、前記アバタの性質を変化させて提示する
    請求項１０に記載の情報処理装置。
  13. 前記強化対象行為は、写真撮影であり、
    前記情報処理部は、前記写真撮影により撮影された画像と、前記アバタの性質の情報とを対応付けて、履歴として記憶させる
    請求項１に記載の情報処理装置。
  14. 前記情報処理部はさらに、前記感情推定結果に基づく感情に関する情報を、前記写真撮影により撮影された画像と対応付けて記録させる
    請求項１３に記載の情報処理装置。
  15. 前記情報処理部は、前記アバタの性質の変化の履歴を示す履歴画像を表示部に表示させる
    請求項１に記載の情報処理装置。
  16. 前記情報処理部は、複数回の前記感情推定結果に基づいて、前記アバタの性質の変化を予想する予想画像を表示部に表示させる
    請求項１に記載の情報処理装置。
  17. 強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理
    を含む情報処理方法。
  18. 強化対象行為に応じて検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部と
    してコンピュータを機能させるプログラム。
  19. 脳波計と情報処理装置とからなる情報処理システムにおいて、
    脳波計は、
    ユーザによる強化対象行為に応じて、脳波を検出する脳波検出部を含み、
    情報処理装置は、
    検出された脳波に基づき推定される感情推定結果に基づいて、前回の感情推定結果により決定されたアバタの性質を他の性質に変化させて提示する情報処理部を含む
    情報処理システム。
JP2019550993A 2017-10-27 2018-10-12 情報処理装置および情報処理方法、プログラム、並びに情報処理システム Active JP7140138B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017207775 2017-10-27
JP2017207775 2017-10-27
PCT/JP2018/038043 WO2019082687A1 (ja) 2017-10-27 2018-10-12 情報処理装置および情報処理方法、プログラム、並びに情報処理システム

Publications (2)

Publication Number Publication Date
JPWO2019082687A1 JPWO2019082687A1 (ja) 2020-12-17
JP7140138B2 true JP7140138B2 (ja) 2022-09-21

Family

ID=66246905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550993A Active JP7140138B2 (ja) 2017-10-27 2018-10-12 情報処理装置および情報処理方法、プログラム、並びに情報処理システム

Country Status (4)

Country Link
US (1) US11481946B2 (ja)
JP (1) JP7140138B2 (ja)
CN (1) CN111247505B (ja)
WO (1) WO2019082687A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446996A (zh) * 2017-03-21 2019-11-12 华为技术有限公司 一种控制方法、终端及系统
US10783329B2 (en) * 2017-12-07 2020-09-22 Shanghai Xiaoi Robot Technology Co., Ltd. Method, device and computer readable storage medium for presenting emotion
CN109766040B (zh) * 2018-12-29 2022-03-25 联想(北京)有限公司 一种控制方法及控制装置
JP6711427B1 (ja) * 2019-01-24 2020-06-17 株式会社セガ 情報処理装置及びプログラム
JP2021079041A (ja) * 2019-11-22 2021-05-27 パナソニックＩｐマネジメント株式会社 共感度評価システム、共感度評価方法及びプログラム
US11338202B1 (en) * 2020-11-30 2022-05-24 Sony Interactive Entertainment LLC Methods and systems for dynamic quest diversification
CN112493998B (zh) * 2020-12-09 2021-12-21 北京意图科技有限公司 嗅觉感官评估方法和系统
CN112587136B (zh) * 2020-12-09 2022-02-25 北京意图科技有限公司 味觉感官评估方法和系统
TWI767447B (zh) 2020-12-11 2022-06-11 國立成功大學 認知評估系統及方法
CN112642049A (zh) * 2021-01-13 2021-04-13 德仕科技（深圳）有限公司 高度智能化香薰机的控制方法、装置及存储介质
CN113014471B (zh) * 2021-01-18 2022-08-19 腾讯科技（深圳）有限公司 会话处理方法，装置、终端和存储介质
JPWO2022168182A1 (ja) * 2021-02-02 2022-08-11
CN113138668B (zh) * 2021-04-25 2023-07-18 清华大学 自动驾驶轮椅目的地选择方法、装置及系统
US11957986B2 (en) * 2021-05-06 2024-04-16 Unitedhealth Group Incorporated Methods and apparatuses for dynamic determination of computer program difficulty
JP2023072649A (ja) * 2021-11-12 2023-05-24 株式会社ユカリア 情報処理装置、情報処理方法、情報処理プログラムおよびアプリケーションプログラム
JP7121848B1 (ja) 2021-11-12 2022-08-18 株式会社ユカリア 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP7226866B1 (ja) * 2022-02-03 2023-02-21 佑斗 井澤 仮想空間もしくはオンラインミーティングシステムの作動システム
CN114640699B (zh) * 2022-02-17 2023-06-20 华南理工大学 基于vr角色扮演游戏交互的情绪诱发监测系统
WO2023212162A1 (en) * 2022-04-28 2023-11-02 Theai, Inc. Artificial intelligence character models with goal-oriented behavior
JP7445933B2 (ja) 2022-06-02 2024-03-08 ソフトバンク株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN115154831B (zh) * 2022-06-14 2023-09-22 北京百度网讯科技有限公司 哄睡方法、装置、电子设备、存储介质和程序产品
JP2024028023A (ja) * 2022-08-19 2024-03-01 ソニーセミコンダクタソリューションズ株式会社 表情加工装置、表情加工方法および表情加工プログラム
WO2024084580A1 (ja) * 2022-10-18 2024-04-25 日本電信電話株式会社 体性感覚制御装置、方法およびプログラム
CN115357154B (zh) * 2022-10-21 2023-01-03 北京脑陆科技有限公司 脑电数据显示方法、装置、系统、计算机设备和存储介质
CN116172560B (zh) * 2023-04-20 2023-08-29 浙江强脑科技有限公司 反应力训练的反应速度评估方法、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034785A (ja) 1999-07-16 2001-02-09 Atr Media Integration & Communications Res Lab 仮想変身装置
JP2014178970A (ja) 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 感情推定装置及び感情推定方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7359688B2 (en) * 2004-04-23 2008-04-15 Samsung Electronics Co., Ltd. Device and method for displaying a status of a portable terminal by using a character image
JP4506795B2 (ja) * 2007-08-06 2010-07-21 ソニー株式会社 生体運動情報表示処理装置、生体運動情報処理システム
US8262474B2 (en) * 2009-04-21 2012-09-11 Mcmain Michael Parker Method and device for controlling player character dialog in a video game located on a computer-readable storage medium
JP6123167B2 (ja) * 2012-04-05 2017-05-10 ソニー株式会社 脳波解析装置及び脳波解析プログラム
CN102780651A (zh) * 2012-07-21 2012-11-14 上海量明科技发展有限公司 在即时通信消息中加注情绪数据的方法、客户端及系统
CN103654799B (zh) * 2013-12-13 2016-08-17 Tcl集团股份有限公司 一种基于脑电波的婴儿情绪检测方法和装置
US20150178915A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Tagging Images With Emotional State Information
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
CN106658129B (zh) * 2016-12-27 2020-09-01 上海智臻智能网络科技股份有限公司 基于情绪的终端控制方法、装置及终端
JP6325154B1 (ja) * 2017-06-07 2018-05-16 スマート ビート プロフィッツ リミテッド 情報処理システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034785A (ja) 1999-07-16 2001-02-09 Atr Media Integration & Communications Res Lab 仮想変身装置
JP2014178970A (ja) 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 感情推定装置及び感情推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山本 翔太 外，バーチャルリアリティの今 脳波計を用いたアバタの表情変化手法，画像ラボ，日本，日本工業出版株式会社，2007年06月01日，第18巻第６号(通巻210号)，pp. 40-43

Also Published As

Publication number Publication date
CN111247505B (zh) 2024-04-09
WO2019082687A1 (ja) 2019-05-02
US20200342648A1 (en) 2020-10-29
US11481946B2 (en) 2022-10-25
CN111247505A (zh) 2020-06-05
JPWO2019082687A1 (ja) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7140138B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US11815951B2 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
US10901509B2 (en) Wearable computing apparatus and method
KR102649074B1 (ko) 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
US11303976B2 (en) Production and control of cinematic content responsive to user emotional state
US20170042439A1 (en) System, device and methods for brainwave-based technologies
US9247903B2 (en) Using affect within a gaming context
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
US11822719B1 (en) System and method for controlling digital cinematic content based on emotional state of characters
Drozd Emotional Engagement According to User Age in Haaga-Helia Virtual Reality Application

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R151 Written notification of patent or utility model registration

Ref document number: 7140138

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151