JP7125050B2 - 推定装置、推定システム、推定方法および推定プログラム - Google Patents

Description

本発明は、推定装置、推定システム、推定方法および推定プログラムに関する。

画像から刺激を受けた場合の生体反応に基づいて感性の働きを推定する技術がある（例えば、特許文献１参照）。
［特許文献１］特開２０１３－１７８６０１号公報

生体反応そのものに基づいて感性の働きを推定した場合、感性により生じると推定した情動または感情が、使用者にとって肯定的なものであるか否かの推定を誤る場合があった。

本発明の第１の態様においては、時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルを生成する生成部と、学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータを抽出する抽出部と、時間変化する新たな刺激要因の刺激により新たに生じた生体反応に関する時系列的な情報が入力されたときに新たに内生されるパラメータを、学習モデルを用いて出力するパラメータ出力部と、抽出部で抽出されたパラメータの変化量および生体の感性により生じる情動の関係と、パラメータ出力部から出力されたパラメータとを用いて、新たな刺激要因に対応した情動を推定する情動推定部と、を備える推定装置が提供される。

本発明の第２の態様においては、上記の推定装置と、パラメータ出力部に入力する情報を計測する計測部と、情動推定部の推定結果を外部に出力する出力部とを備える推定システムが提供される。

本発明の第３の態様においては、時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータであって、時間変化する新たな刺激要因の刺激により新たに生じた生体反応に関する時系列的な情報が入力されたときに新たに内生されるパラメータを、学習モデルを用いて出力するパラメータ出力段階と、パラメータの変化量および生体の感性により生じる情動の関係と、パラメータ出力段階で出力されたパラメータとを用いて、新たな刺激要因に対応した情動を推定する情動推定段階と、を備える推定方法が提供される。

本発明の第４の態様においては、時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータであって、時間変化する新たな刺激要因の刺激により新たに生じた生体反応に関する時系列的な情報が入力されたときに新たに内生されるパラメータを、学習モデルを用いて出力するパラメータ出力ステップと、パラメータの変化量および生体の感性により生じる情動の関係と、パラメータ出力ステップで出力されたパラメータとを用いて、新たな刺激要因に対応した情動を推定する情動推定ステップと、をプロセッサに実行させる推定プログラムが提供される。

上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションもまた発明となり得る。

推定システム１０のブロック図である。 計測装置２００の模式的な斜視図である。 計測装置２００が計測する生体信号のリストである。 学習フェーズにおける推定システム１０の構成を示す図である。 リアルタイムモードの学習フェーズにおけるＰＢ出力部１１０の動作手順を示す流れ図である。 学習フェーズで使用する教師データ５００を例示する図である。 オフラインモードの学習フェーズにおけるＰＢ出力部１１０の動作手順を示す流れ図である。 ＰＢ出力部１１０の動作を説明する模式図である。 リアルタイムモードの学習フェーズにおけるＰＢ出力部１１０の動作手順を示す流れ図である。 オフラインモードの学習フェーズにおけるＰＢ出力部１１０の動作手順を示す流れ図である。 情動推定部１２０に設けたネットワークの模式図である。 情動推定部１２０の推定方法を説明する図である。 情動推定部１２０の推定方法を説明する図である。 情動推定部１２０の推定方法を説明する図である。 情動推定部１２０の推定方法を説明する図である。 推定フェーズにおける推定システム１０の構成を示す図である。 推定フェーズにおけるＰＢ出力部１１０の動作手順を示す流れ図である。 推定フェーズにおけるＰＢ出力部１１０の動作を説明する模式図である。 推定フェーズにおける情動推定部１２０の動作手順を示す流れ図である。 ＰＢ出力部１１０に設ける他のネットワークの模式図である。

以下、発明の実施の形態を説明する。下記の実施形態は特許請求の範囲にかかる発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、推定装置１００を含む推定システム１０のブロック図である。推定装置１００は、後述する学習フェーズにおける学習の結果として形成されたネットワークを含み、推定フェーズにおいて、「刺激要因から受けた刺激により生じた生体反応」から「感性により生じた情動」を推定する。

ここで、刺激要因は、生体の感性を刺激して、情動を生じさせる。また、刺激要因は、複数の要素を含む場合がある。下記の実施形態は、刺激要因として視覚に刺激を与える画像を例にあげて説明するが、画像は、明度、彩度、色相等の画像の基本的な特性の他、例えば、撮影画像における被写界深度、焦点位置、光学系の収差等による光学特性に起因する効果等の要素を含む。また、刺激要因は画像に限られず、聴覚を刺激する音声等も含む。更に、画像と音声、味覚と臭覚等を組み合わせた複合的な刺激要因もある。

なお、「感性」は、刺激要因から生体が刺激を受けた場合に情動または感情を変化させる能力をいう。「情動」は、感性の働きにより比較的短期間に表出した感情を意味し、歓喜、憂鬱、恐慌、怒気、不安、悲嘆として顕現する。また、情動を生じた生体には、表情、発汗量、心拍、呼吸等の変化の他、脳波、心電、眼電等が変化する生体反応が生じる。よって、生体反応の検出または計測により、感性による情動の発露を推定できる。なお、生体反応に対する「計測」は、反応の有無のみを測定結果とする「検出」も含めてもよい。

推定装置１００は、パラメトリックバイアス（以降は「ＰＢ」と記載する）出力部１１０、情動推定部１２０、制御部１８０、および通信部１９０を有する。更に、ＰＢ出力部１１０は、取得部１１１および推定部１１２を含む。また、情動推定部１２０も、取得部１２１および推定部１２２を含む。

推定装置１００は、通信回線４００に接続された通信部１９０を介して、計測装置２００から使用者９９（図４参照）で生じた生体反応に関する情報を受信する。ここで、生体反応に関する情報の例は、時間変化する刺激要因に刺激された生体が新たに生じた生体反応に関する時系列的な情報であり、本実施例では、計測装置２００により、推定システム１０の使用者９９から計測される。なお、通信回線４００の通信プロトコルは、ＬＡＮ、インターネット、ブルートゥース（登録商標）、ワイヤレスＵＳＢ等の他、任意の独自方式であってもよい。

ＰＢ出力部１１０は、取得部１１１において受信した生体反応に関する情報を取得し、推定部１１２において、当該情報が発生したタイミングに続くタイミングの生体反応に関する情報を推定する。更に、ＰＢ出力部１１０は、推定部１１２が推定の過程で内生したＰＢの値を情動推定部１２０に取得させる。従って、ＰＢ出力部１１０の推定部１１２は、時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルを生成する生成部を形成する。また、推定部１１２は、学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータを抽出する抽出部も形成する。ここで、ＰＢは、学習モデル形成の過程で生成されて学習の状態に反映されるパラメータの一例である。また、内生とは、推定装置１００が含むネットワークに対して外部から値が与えられるのではなく、ネットワークの内部で値が生成されることを意味する。

情動推定部１２０は、取得部１２１において、ＰＢの値をＰＢ出力部１１０から取得し、取得したＰＢの値に基づいて使用者９９の情動を推定する。推定された情動は、推定システム１０の出力として、制御部１８０および通信部１９０から通信回線４００を通じて、外部に出力される。

計測装置２００は、生体反応計測部２１０、撮像部２２０、制御部２８０および通信部２９０を有する。生体反応計測部２１０は、脳波計測部２１１、心拍計測部２１２、眼電計測部２１３、および呼吸計測部２１４を有する。これにより、生体反応計測部２１０は、使用者９９において生じた生体反応を計測し、制御部２８０および通信部２９０から、通信回線４００を通じて、推定装置１００に生体反応を送信する。

撮像部２２０は、使用者９９の視野と共通する領域の画像を撮像して、使用者９９に対する視覚的な刺激要因に関する情報を計測する場合に使用する。制御部２８０は、計測装置２００自体の動作を制御すると共に、通信部２９０を通じて、推定装置１００に送信する情報を処理する。

学習支援装置３００は、教師データ格納部３１０、表示部３２０、制御部３８０、および通信部３９０を有する。教師データ格納部３１０は、推定装置１００のＰＢ出力部１１０および情動推定部１２０の学習フェーズにおいて使用する教師データ５００（図６を参照）を格納する。表示部３２０は、教師データ格納部３１０に格納された教師データの画像を、使用者９９の視覚に刺激を与える刺激要因として表示する。

図２は、計測装置２００の模式的斜視図である。図示の計測装置２００は、リム２３０およびテンプル２４０と、撮像部２２０とを備える。また、計測装置２００は、生体反応計測部２１０、制御部２８０、および通信部２９０を備える。

リム２３０およびテンプル２４０は、生体反応計測部２１０、撮像部２２０、制御部２８０、および通信部２９０等を使用者の頭部に固定する目的で、メガネ型のフレームを形成する。これにより、計測装置２００は、使用者９９の頭部に装着され、使用者の生体反応を計測する。リム２３０は、メガネのように光学レンズを支持してもよいし、素通しであってもよい。

撮像部２２０は、リム２３０の近傍に配され、使用者９９の視野と重なる領域の映像を撮像する。これにより、計測装置２００は、使用者９９に対する視覚的な刺激要因に関する情報を計測できる。

また、撮像部２２０に、使用者９９の眼を中心とする顔面を撮影する撮像装置を追加してもよい。追加した撮像装置は、使用者９９の注視点の計測に用いることができる他、使用者９９の瞬きや眼球の動きを検知することもできる。更に、目の周りの血管像からの心拍信号検知にも使用できる。

生体反応計測部２１０は、脳波計測部２１１、心拍計測部２１２、眼電計測部２１３、および呼吸計測部２１４を有する。脳波計測部２１１は、それぞれが複数の電極を含む右側頭部計測部２１５、頭頂部計測部２１６、および左側頭部計測部２１７を有する。右側頭部計測部２１５は使用者９９の右側頭部に、頭頂部計測部２１６は使用者９９の頭部中央に、左側頭部計測部２１７は使用者９９の左側頭部に、それぞれ接触して脳波を計測する。

なお、脳波計測部２１１における電極の配置に関して、脳波の測定精度という観点からは、国際１０－２０法で規定された配置が好ましい例として挙げられる。しかしながら、国際１０－２０法によると、頭皮を１０％または２０％の等間隔で区切って２１個の電極を配置する。このため、すべての電極を固定することが難しく、電極を脱着する手間がかかる。

そこで、図示の例では、それぞれ後頭部まで計測する右側頭部計測部２１５および左側頭部計測部２１７の一部を視覚野近傍の左右後頭葉に、前頭部も計測する頭頂部計測部２１６の一部を感情、意志判断に関連する前頭葉を代表とする前頭部分にそれぞれ配置した。なお、感性を推定する推定装置１００で使用する計測装置２００としては、額上部の前頭葉近傍に１点の電極を配置した最小構成としてもよい。

心拍計測部２１２は、心臓付近に電極を設置して心電を検知する「心電式」であっても、計測部からの赤外光を皮膚に照射して皮下の血管中のヘモグロビンによる光吸収により脈拍を計測する形式の「光学式」であってもよい。心電式は、心拍の有無以外に詳細な心電信号を計測することができるが、メガネ型の計測装置２００から分離した計測部を用いなければならない。光学式は、血管がある場所であればどこにでも装着して単純な心拍を計測できる。

図示の例では、テンプル２４０の使用者９９のこめかみ近傍に光学式のセンサを設けることにより、計測装置２００と一体の心拍計測部２１２を形成している。これにより、心電信号のＲ波に相当する心拍信号により心拍数を計測できる。心拍計測部２１２は、左右のテンプル２４０の双方に設けてもよいし、片側に設けてもよい。

眼電計測部２１３は、それぞれリム２３０に支持される水平眼電計測部２１８および垂直眼電計測部２１９を含む。水平眼電計測部２１８は、眼球の動きの水平成分により分極している眼球によって生じる電位を計測する電極を含む。垂直眼電計測部２１９は、眼球の動きの垂直成分により分極している眼球によって生じる電位を計測する電極を含む。

眼球には、角膜側が正、網膜側が負となる電位差が存在する。よって、眼球の周囲に複数の電極を配置することにより、当該電位の変化により眼球運動を検出できる。更に、眼球運動の量と眼電位の変動との間には比例関係があり、これにより、眼球運動を定量的に解析できる。

眼電計測部２１３が計測した信号は、脳波計測部２１１の計測信号に対する雑音としての眼電信号を除去する場合に使用してもよい。また、使用者９９の眼球の動作方向と量を算出することで注視点を計測する用途に用いることもできる。なお、眼電信号は、微弱な脳波信号に比較すると、「瞬き」や「眼球運動」により頻発すると共に信号の振幅も大きい。また、眼電信号の発生箇所は脳波の計測部位に近いので、脳波計測部２１１が計測する脳波信号に対して、眼電信号がノイズ・アーチファクトとなる。

脳波信号から眼電信号を除去する方法としては、例えば、脳波波形から眼電波形への射影を求め、脳波波形から射影を差し引いてもよい。また、眼電成分から脳波波形を回帰し、脳波波形から回帰された値を差し引いてもよい。更に、眼電波形と脳波波形に正準相関分析を適用し、脳波波形から求めた正準変数から、眼電波形の正準変数と高相関な成分を除去した後、脳波波形に逆変換してもよい。また更に、脳波波形を独立成分分析で独立成分に分解し、眼電波形と高相関な成分を除去した後に脳波波形を再合成してもよい。

呼吸計測部２１４は、リム２３０の間に配されたノーズパッドに設置される。ここで使用した呼吸計測部２１４は、呼吸計測部２１４は、使用者９９の鼻の内部の空気の通過音から呼吸の状態を監視する。

呼吸計測部２１４としては、例えば箸尾谷健二（立命館大）、高田信一（立命館大）、福水洋平（立命館大）他による非特許文献「人体の心拍音・呼吸音・脈音分離手法に基づく異常周期を持った循環器系疾患の検出」（日本音響学会誌Ｖｏｌ．６８、Ｐ３８７－３９６、２０１２）に記載の装置・手法の適用が可能である。また、「Ｈｅａｌｔｈｃａｒｅ Ｓｙｓｔｅｍ Ｆｏｃｕｓｉｎｇ ｏｎ Ｅｍｏｔｉｏｎａｌ Ａｓｐｅｃｔ Ｕｓｉｎｇ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ： Ｃｏｎｔｒｏｌ Ｂｒｅａｔｈｉｎｇ Ａｐｐｌｉｃａｔｉｏｎ ｉｎ Ｒｅｌａｘａｔｉｏｎ Ｓｅｒｖｉｃｅ」、「Ｓｏｍｃｈａｎｏｋ ＴｉｖａｔａｎｓａｋｕｌＭｉｃｈｉｋｏ Ｏｈｋｕｒａ、ＨＣＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ２０１３ － Ｐｏｓｔｅｒｓ' Ｅｘｔｅｎｄｅｄ Ａｂｓｔｒａｃｔｓ ｐｐ ２２５－２２９」に記載の手法によると、心拍から呼吸信号を導出することができるので、独立した呼吸計測部２１４を省略できる。

生体反応計測部２１０に設ける計測部は、上記のものに限られるわけではない。図示の計測部の一部に替えて、あるいは、図示の計測部に追加して、発汗、血圧、皮膚電位、体温等の他の生体反応を計測する計測部を設けてもよい。

制御部２８０は、生体反応計測部２１０および撮像部２２０の動作を制御する。また、制御部２８０は、生体反応計測部２１０および撮像部２２０が取得した信号に基づく生体反応に関する情報を、通信部２９０を通じて、後述する推定装置１００に送信する。

通信部２９０は、図示の例では、アンテナ２９１を通じて無線信号で推定装置１００と通信している。しかしながら、赤外線、超音波等、他の無線方式であってもよいことはもちろんである。これにより、計測装置２００を装着した使用者９９の自由な行動が可能になる。

図３は、上記の計測装置２００が計測する生体信号のリストである。また、生体反応に基づいて計測した信号を、推定装置１００で使用可能にする信号処理方法を併せて示す。

計測装置２００において、生体反応計測部２１０の脳波計測部２１１、心拍計測部２１２、眼電計測部２１３および呼吸計測部２１４からは、脳波、心拍信号、眼電信号および呼吸信号等が生体信号として出力される。

図示のように、生体信号のうちの脳波については、前頭および頭頂におけるα波振幅・側頭におけるα波振幅・後頭におけるα波振幅の３種類のα波振幅を計測する。計測した脳波信号は、ローパスフィルタ（ＬＰＦ）、眼電除去および短時間高速フーリエ変換（ＦＦＴ）および帯域通過フィルタと包絡線解析などにより処理して、主に視覚器を刺激する刺激要因、感性反応、安静／興奮を計測する。なお、使用する脳波の周波数帯域については、８－１３Ｈｚの周波数帯域のα波以外に、たとえば１４Ｈｚ以上の周波数帯域のβ波まで含めて計測してもよい。

眼電信号については、水平眼電位および垂直眼電位と、それらの微分値である水平眼電位微分と垂直眼電位微分とを生体信号として計測する。計測した眼電信号は、ＬＰＦ、平滑化した注視点算出、および脳波への眼電混入成分除去の信号処理により、使用者９９の目の瞬き、注視点を計測できる。また、脳波信号のＳ／Ｎを補償できる。

心電信号については、Ｒ－Ｒ間隔差およびＲ－Ｒ間隔差の瞬時周波数と、それらのＲＲＩおよび心拍位相差の微分値とを生体信号として計測する。心電信号及び呼吸信号から導出された各種信号成分は、ＬＰＦほか各種フィルタにより処理する。

呼吸信号については、呼吸信号自体の他に瞬時周波数を導出してもよい。こうして処理された心拍信号は、主に、感性による情動の計測に使用される。また、呼吸信号は、主に感性反応、安静／興奮の計測に使用される。このように、生体反応計測部２１０により計測された生体信号は、信号処理により、生体反応の特徴量抽出に適した状態になる。

なお、生体反応の計測を、単一種類の生体反応に関する信号に頼った場合はＳ／Ｎが低く、高感度で安定した感性検知が困難である。しかしながら、上記のように、脳波、心拍、眼電、呼吸等、複数種類の生体反応による生体信号を計測することにより、全体的なＳ／Ｎを高めて、ロバストな感性推定が可能になる。

ここでは、上記のような手法を「生体信号のマルチモーダル計測法」と呼ぶ。生体信号のマルチモーダル計測法によれば、人間の感性系に入力として与えられる視覚器を刺激する刺激要因を代表とする各種の刺激要因と、この刺激要因によって誘起され計測される各種の生体信号と、感性により生体に生じた情動の種類や強度について、相互の関連や因果関係を抽出し易くなる。

図４は、推定システム１０の、学習フェーズにおける構成を示す図である。推定システム１０は、情報処理装置６００と、使用者９９に装着された計測装置２００と、学習支援装置３００を含む。

情報処理装置６００には、推定装置１００と、学習支援装置３００の一部とが実装されている。情報処理装置６００は、汎用の情報処理装置、例えばパーソナルコンピュータ、タブレット、スマートフォン等であってもよい。情報処理装置６００に実装された推定装置１００と、学習支援装置３００の一部とは、ハードウェアとして実装されていてもよいし、情報処理装置６００に推定装置１００および学習支援装置３００としての動作を実行させるソフトウェアとして実装されていてもよい。

なお、情報処理装置６００は、それ自体に表示部６１０および入力部６２０を備えていても良い。表示部６１０および入力部６２０は、情報処理装置６００自体を操作する場合に使用される。また、表示部６１０および入力部６２０は、推定システム１０の学習フェーズにおいて、使用者９９が刺激要因に対して生じた感情または情動を、推定装置１００にフィードバックするためのユーザインターフェースとして用いてもよい。

本実施例において推定装置１００が学習フェーズを実行する場合、学習支援装置３００は、教師データに含まれる刺激要因としての画像を表示部３２０に表示しつつ、静止画またはフレームのそれぞれを表示部３２０に表示したタイミングを推定装置１００に送信する。なお、推定装置１００は、計測装置２００の撮像部２２０を通じて、表示部３２０に表示された画像または動画を検出できる。よって、推定装置１００は、学習支援装置３００からの通知とは別に、表示画像とその切り替えを自律的に検出することもできる。

推定装置１００の学習フェーズには、視覚的な刺激の提示および生体信号の計測と同時に学習を行うリアルタイムモードと、一連の視覚的な刺激の提示および生体信号の計測を終了し蓄積したデータで学習を行うオフラインモードがある。リアルタイムモードでは、推定装置１００のＰＢ出力部１１０から計測時刻ｔにおけるＰＢの値、画像切替と情動の情報が随時情動推定部１２０へ通知され、ＰＢ出力部１１０と情動推定部１２０は同時に学習が進行する。

一般的に学習フェーズにおいてＰＢ出力部で内生されるＰＢの値は、ＰＢ出力部のネットワークにおいてＢＰＴＴ（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）によって算出した誤差のみを最小化するように内生されるが、リアルタイムモードでは情動推定部１２０との協調動作が可能であるので、情動推定部１２０のネットワークにおいてＢＰＴＴによって算出した誤差を含めた最小化によるＰＢの値の内生が可能である。具体的には、それぞれのネットワークにおいてＢＰＴＴによって算出した誤差を小さくするように、双方の誤差補正量に適宜な重みづけをして加算することで新たな補正量を設定し、この条件下でＰＢの値を内生する方法が考えられる。

一方オフラインモードでは、推定装置１００のＰＢ出力部１１０は、計測時刻ｔにおけるＰＢの値、画像切替と情動の情報を随時内部記憶に保管し、全ての視覚的な刺激の提示が終了した後にまとめて随時情動推定部１２０へ通知されるので、ＰＢ出力部１１０の動作に引き続いて、情動推定部１２０が動作する。この場合は上記のリアルタイムモードで記載したようなＰＢ出力部と情動推定部１２０の協調動作は実行できない。リアルタイムモードとオフラインモードの比較については後述する。

図５は、リアルタイムモードにおける推定システム１０の学習フェーズにおける、ＰＢ出力部１１０の動作手順を説明する流れ図である。

学習フェーズにおいて、推定装置１００の制御部１８０は、学習支援装置３００に、学習の開始を要請する。要請を受けた学習支援装置３００の制御部３８０は、計測装置２００を装着した使用者９９に向かって、表示部３２０に教師データ５００の画像を表示する（ステップＳ１０１）。

図６は、学習支援装置３００の教師データ格納部３１０に格納された教師データ５００の一例を示す図である。図示の教師データ５００は、時間変化する生体反応を使用者９９に生じさせる刺激要因としての複数の画像８８を含む。画像８８には、それぞれ固有の画像番号が割り当てられており、画像８８を個別に識別する場合の指標となっている。

より具体的には、教師データ５００に含まれる複数の画像８８は、共通の被写体を、撮像光学系の絞りを変化させながら同じ構図で撮影した一群の静止画である。教師データ５００としての複数の画像８８においては、順次変化した絞りに対応して、被写界深度が一方向に、例えば、深い被写界深度から浅い被写界深度に順次変化している。

また、教師データ５００は、複数の静止画のそれぞれに対応して、その静止画を見た場合に感性により生じる情動に関する情報を、それぞれの静止画と関連付けて格納している。この教師データ５００に含まれる複数の画像８８は、推定装置１００の学習フェーズにおいて、学習支援装置３００の表示部３２０に、一枚ずつ表示される。

なお、教師データ５００に含まれる複数の画像において変化する要素は、絞りの変化による被写界深度に限られず、明度、彩度、ホワイトバランス、構図等が一方向に順次変化する画像であってもよい。更に、教師データ５００は、時系列的に変化する刺激要因を含み、使用者９９の感性に情動を生じさせる刺激を有するものであれば、静止画に限らない。刺激要因は、例えば、動画等であってもよい。

再び図５を参照すると、ステップＳ１０１に画像８８による刺激を受けた使用者９９は、画像８８から受けた刺激により生体反応を生じる。使用者９９に生じた生体反応は、計測装置２００に計測され、推定装置１００のＰＢ出力部１１０において、取得部１１１により取得される（ステップＳ１０２）。ＰＢ出力部１１０において、推定部１１２は、ある時刻ｔの刺激により生じた生体反応に基づいて、時刻ｔに続く次の時刻ｔ＋１に生じるであろう生体反応を予測する（ステップＳ１０３）。

図７はオフラインモードにおける推定システム１０の学習フェーズにおける、ＰＢ出力部１１０の動作手順を説明する流れ図である。オフラインモードにおいても上記ステップＳ１０１からＳ１０３における動作は同一である。

図８は、推定装置１００において、ＰＢ出力部１１０の推定部１１２に設けた、パラメトリックバイアス付き再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｗｉｔｈ Ｐａｒａｍｅｔｒｉｃ Ｂｉａｓ、以降「ＲＮＮ－ＰＢ」と記載する）の、学習フェーズにおける動作を説明する模式図である。この動作はリアルタイムモードおよびオフラインモードに共通である。

ＲＮＮ－ＰＢは、ジョーダン型のＲＮＮの入力層にＰＢを内生するノードを追加した構造を有する。ＲＮＮ－ＰＢにおいて、入力層におけるＰＢの値は０～１の連続値であり、時刻ｔごとに可変の値を取る。ＰＢの値は時刻ｔの前後の時間区間（［ｔ‐Ｌ，ｔ＋Ｌ］）において、時刻ｔ'（∈［ｔ‐Ｌ，ｔ＋Ｌ］）の生体反応から、時刻ｔ'＋１の生体反応を予測する過程で内生される。

ＲＮＮ－ＰＢのノードに保持されるＰＢは、学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータの一例である。ここで、学習の状態とは、出力層と同様に、中間層の各ノードからの出力に重みをつけて足しこみ、更に活性化関数を通すことにより形成された文脈層のデータを意味する。また、状態に反映されるとは、そのパラメータの値が、文脈層の値を更新する場合の計算に寄与することを意味する。

ＰＢの値は入力層および出力層のダイナミクスすなわち動作状態を（力学系理論の分岐パラメータのように）パラメータで表したものであり、その変化はダイナミクス自体の変化を表現する。通常はダイナミクスの変化はダイナミクスの変数（入力層、出力層、中間層、文脈層の状態）の変化より緩やかであり、この場合、ＰＢの値の変化の速さは「緩やかに」なるべきである。ＰＢの値の変化の速さはＰＢの値を内生するときの時間区間の長さと（長いほど緩やか）、ＰＢの値を内生するときの（学習するときの）平滑化によって決まる。

制御部１８０の制御の下に、ＲＮＮ－ＰＢは、ステップＳ１０２に取得部１１１において取得された時刻ｔの生体反応を入力され、時刻ｔ＋１に生じる生体反応を予測する（ステップＳ１０３）。このとき、図示のＲＮＮ－ＰＢは、ニューラルネットワークとして、各ノードに前段の各ノードからの出力を入力として、重みｗで重み付けした総和を求め、活性化関数ｆを通して出力する。入力層には、入力信号に加えて、１時刻前の文脈層がフィードバック入力、時刻ごとに値が与えられたＰＢの値が入力される。

また、ＲＮＮ－ＰＢは、教師データ５００から、時刻ｔに続く時刻ｔ＋１の生体反応を取得する（ステップＳ１０４）。これにより、ＲＮＮ－ＰＢは、時刻ｔ＋１について予測した生体反応と、教師データから取得した時刻ｔ＋１の生体情報との誤差を算出し（ステップＳ１０５）、各ノードの重みｗを調整する（ステップＳ１０６）。この重みｗの調整量がＰＢの値となる。時刻ｔ＋１について予測した生体反応と教師データから取得した時刻ｔ＋１の生体情報との誤差が０となるような値にＰＢの値を設定してもよく、誤差が最終的な予測精度に応じて定まる閾値以下となるような値にＰＢの値を設定してもよい。

更に、ＲＮＮ－ＰＢは、ＢＰＴＴ（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）のアルゴリズムを用いて、誤差が０または閾値以下となるようにＰＢの値の修正量を時刻毎に算出し、入力層におけるＰＢの値を時刻毎に更新する（ステップＳ１０７）。すなわち、ＰＢの値は、計測装置２００で計測された生体情報に応じて変化し、生体情報が一定の場合は変化しない。

特に、オフラインモードでの学習において、ＢＰＴＴは、時間的に一続きの入力・出力データ（具体的には、被写界深度の異なる刺激画像に対する情動の教師信号を設定するための一試行で決定されるデータ）について、時間に沿って計算される。このとき上記の時間区間（［ｔ‐Ｌ，ｔ＋Ｌ］）の長さは、当然ながら一試行の長さよりも短い。

ここで、制御部１８０は、ＲＮＮ－ＰＢが更新した時刻ｔのＰＢを、情動推定部１２０の取得部１２１に送信する（ステップＳ１０８）。なお、図７に示すように、オフラインモードにおける推定システム１０の学習フェーズでは、ステップＳ１０７に続くステップＳ１１２においては、時刻ｔのＰＢの値は、情動推定部１２０に送信されることなく、内部記憶に保存される（ステップＳ１１２：図７）。

本実施形態では学習フェーズにおいてリアルタイムモードとオフラインモードが可能であることを先に記した。ここでは両者の比較を行う。上記のＲＮＮ－ＰＢの特徴に鑑みれば、ＰＢの値は時刻ｔの前後の時間区間（［ｔ‐Ｌ，ｔ＋Ｌ］）のデータが必要であるが、リアルタイムモードでは時刻ｔにおける未来時刻ｔ＋Ｌの生体信号は未知のため利用できないので、ＰＢの値は時刻ｔの前の時間区間（［ｔ‐Ｌ，ｔ］）から内生する必要がある。この点はリアルタイムモードがＰＢの値の内生上不利に働くが、リアルタイムモードでは前述のようにＰＢ出力部と情動推定部１２０の協調動作が可能であるので、情動推定部１２０を含めた包括的なＰＢの内生が可能である。また内部記憶のためのメモリが不要であること、ＰＢ出力部と情動推定部１２０を一体化して高速かつコンパクトなソフトウェアが実装できるといった利点もある。

一方オフラインモードでは、全ての時系列データが格納済であるので、上述の通りＰＢの値は時刻ｔの前後の時間区間（［ｔ‐Ｌ，ｔ＋Ｌ］）から内生が可能であり、ＰＢ出力部においてはＲＮＮ－ＰＢの特徴を活用して精度の高いＰＢの内生が可能である。

上記のように、リアルタイムモードとオフラインモードはそれぞれ長所短所がある。このため機器の使用目的や、搭載した演算環境に応じてどちらかのモードを選択すればよい。このときモードの選択は、機器の使用目的に応じてどちらかに固定する、あるいは機器が自動的に使用状況を判別して選択する、あるいはユーザーが切り替えるといった選択方法が考えられる。

再びリアルタイムモードでのＰＢ出力部１１０の動作手順を示す図５を参照すると、続いて、制御部１８０は、計測装置２００の撮像部２２０を通じて学習支援装置３００が表示部３２０に表示する教師データ５００の画像８８が切り替えられたか否かを監視する（ステップＳ１０９）。表示部３２０に表示された画像８８が切り替わっていない場合（ステップＳ１０９：ＮＯ）、制御部１８０は、予め定めた間隔で、ステップＳ１０２からステップＳ１０８の一連の動作を繰り返す。これにより、ＲＮＮ－ＰＢの各ノードの重みが調整され、学習が進行する。

このときネットワークのノードの重みを調整する操作は（ステップＳ１０６）では、ＢＰＴＴによって求められた誤差を最小化するものであるが、このとき、リアルタイムモードでは情動推定部１２０からの同時刻ｔにおける情動の誤差を同時に勘案することが可能である。このため、ステップ１０５において生体反応の誤差に情動推定部１２０の同時刻ｔにおける情動の誤差を考慮した誤差を用いる。たとえば、生体反応の誤差に適当な係数をかけた情動の誤差を加算するといった方法が考えられる。

また、表示部３２０に表示された画像８８が切り替わった場合（ステップＳ１０９：ＹＥＳ）、制御部１８０は、切替と情動を情動推定部１２０に通知する（ステップＳ１１０）。ステップＳ１０９において、表示された画像８８が切り替わらなかった場合（ステップＳ１０９：ＮＯ）、制御部１８０は、ステップＳ１０２からステップＳ１０９までの一連の動作を再び実行する。一方、ステップＳ１１１において、表示部３２０に表示される教師データ５００の次の画像８８が無いため表示されないことが判った場合（ステップＳ１１１：ＹＥＳ）、制御部１８０は、学習フェーズにおけるＰＢ出力部１１０の動作を終了させる。

またオフラインモードにおいては、図６に示すように、表示部３２０に表示された画像８８が切り替わった場合（ステップＳ１０９：ＹＥＳ）、制御部１８０は、切替と情動を情動推定部１２０に通知する（ステップＳ１１０）。ステップＳ１０９において、表示された画像８８が切り替わらなかった場合（ステップＳ１０９：ＮＯ）、制御部１８０は、ステップＳ１０２からステップＳ１０９までの一連の動作を再び実行する。なお、オフラインモードにおける推定システム１０の学習フェーズでは、ステップＳ１０９に続くステップＳ１１３においては、図７に示すように、情動推定部１２０に通知することに替えて、画像切替と情動とを内部記憶に保存する（ステップＳ１１３：図７）。

一方、ステップＳ１１１において、表示部３２０に表示される教師データ５００の次の画像８８が無いため表示されないことが判った場合（ステップＳ１１１：ＹＥＳ）、制御部１８０は、記憶したＰＢの値および画像切替と情動の時系列データを一括して情動推定部１２０に通知し、学習フェーズにおけるＰＢ出力部１１０の動作を終了させる。また、オフラインモードにおける推定システム１０の学習フェーズでは、図７に示すように、記憶したＰＢの値および画像切替と情動の時系列データを一括して情動推定部１２０に通知（ステップＳ１１４：図７）した後に学習フェーズにおけるＰＢ出力部１１０の動作を終了させる。

図９は、リアルタイムモードでの学習フェーズにおける、情動推定部１２０の動作手順を示す流れ図である。また、図１０は、学習フェーズにおける、リアルタイムモード・オフラインモードに共通の情動推定部１２０の動作を説明する図である。

情動推定部１２０の取得部１２１は、制御部１８０の制御の下にＰＢ出力部１１０から送信されたＰＢの値を取得しつつ（ステップＳ１２１）、表示部３２０に表示が切り替わったか否かが制御部１８０から通知されるのを待つ（ステップＳ１２２：ＮＯ）。制御部１８０から、表示部３２０に表示される教師データ５００の画像８８が切り替わったことが通知された場合（ステップＳ１２２：ＹＥＳ）、情動推定部１２０の推定部１２２は、取得した時刻ｔまでのＰＢの値に基づいて、使用者９９の時刻ｔの情動を推定する（ステップＳ１２３）。

情動推定部１２０の推定部１２２は、情動の推定を実行するＲＮＮを有する。ＲＮＮは、入力層に入力された値が、文脈層と中間層との間を繰り返し入出力された後に、ＰＢの統合的な特徴量となって文脈層から出力される。これにより、ＲＮＮは時間的に変化するデータを処理することができる。

ＲＮＮは、各ノードに前段の各ノードからの出力を入力として、重みｗで重み付けした総和を求め、活性化関数ｆを通して、時刻ｔにおける使用者９９の情動の予測値を出力する（ステップＳ１２３）。更に、ＲＮＮは、情報処理装置６００のユーザインターフェースである入力部６２０を通じて、時刻ｔにおける使用者９９の情動の真の値を取得する（ステップＳ１２４）。このとき、制御部１８０は、情報処理装置６００の入力部６２０を通じて、使用者９９から感性により生じた情動に関する情報の入力を受け付ける。また、使用者９９が入力を忘れている場合は、情報処理装置６００の表示部６１０を通じて、使用者９９に入力を催促してもよい。

次いで、ＲＮＮは、算出した予測値と真の値との誤差を算出する。（ステップＳ１２５）また、算出された誤差はＰＢ出力部１１０へ通知される。そのあと算出された誤差に基づいて、各ノードの重みｗを調整する（ステップＳ１２６）。こうして、ＲＮＮを含む推定部１２２は、取得部１２１が取得したＰＢの値と、当該ＰＢの値が内生されたときの使用者の感性による情動との関係を学習する。

続いて、制御部１８０は、教師データ５００によるＰＢ出力部１１０の時刻ｔ＋１における学習動作が継続可能か否かを調べる（ステップＳ１２７）。ステップＳ１２７においてＰＢ出力部１１０の学習動作が継続していることが判った場合（ステップＳ１２７：ＮＯ）、制御部１８０は、時刻をｔ＋１に変更してステップＳ１２２からステップＳ１２６の一連の動作を繰り返して、情動推定部１２０の学習動作を継続させる。ステップＳ１２７においてＰＢ出力部１１０の学習動作が終了したことが判った場合（ステップＳ１２７：ＹＥＳ）、制御部１８０は、情動推定部１２０の学習動作も終了させる。

図１１は、オフラインモードでの学習フェーズにおける、情動推定部１２０の動作手順を示す流れ図である。各ステップの動作は、図９に示したリアルタイムモードでの学習フェーズの場合とほぼ同様である。ただし、オフラインモードでは、まず、情動推定部１２０の取得部１２１が、制御部１８０の制御の下にＰＢ出力部１１０から送信されたＰＢの値および画像切替と情動の時系列データを一括して取得（ステップＳ１３３）した後に、時刻ｔ＋ＬまでのＰＢを取得する（ステップＳ１３４）という点で、リアルタイムモードの動作と異なる。また、画像切替の通知は受けずに、画像切替のデータを検出し（ステップＳ１３５）、情動の誤差を算出した場合に（ステップＳ１３６）では算出した誤差のＰＢ出力部への通知は行われない。

上記のような推定装置１００では、情動推定部１２０が、ＰＢ出力部１１０において内生したＰＢの特徴量に基づいて使用者９９の情動を推定している。ここで、使用者９９の情動の推定は、使用者９９の生体反応に関する情報の特徴量を直接に学習する方法も考えられる。しかしながら、感性による情動に対して、脳波、心拍、心電、眼電、呼吸等の種々の生体反応の種類によって現れ方が異なる場合がある。例えば、ある画像を見て同じように良いと感じた場合であっても、生体反応には、リラックスを反映した現象が現れる場合と、興奮が反映した現象が現れる場合との、略反対の生体反応が生じる場合がある。

また、画像に対して良い印象を持った場合と、良くない印象を持った場合とで同じ生体反応が生じる場合がある。例えば、画像を見て刺激を受けた場合に、その画像から良い印象を受けてリラックスした場合と、その画像に関心が涌かずに弛緩した場合とで同じ生体反応が生じる場合がある。また、ある画像に感動して興奮した場合と、ある画像に嫌悪感を抱いてストレスが上昇した場合とで同じ生体反応を生じる場合がある。

このため、生体反応を取得して直接的に抽出した特徴量に基づいて感性を推定した場合、推定結果を誤る場合があった。これに対して、生体が時系列的な刺激要因から刺激を受けている場合に、感性に対して肯定的な状態と、感性に対して否定的な状態との間で遷移する場合に生じる過渡現象に、感性との関連性を有する特徴があることを見出した。

図１２は、上記実施例における刺激要因である画像の切り替えに応じて、刺激要因の時系列と同じ方向の幅を有する窓内のＰＢの標準偏差を、時系列方向の窓の移動毎にプロットしたグラフである。上記刺激要因に対して使用者９９の感性により生じる情動を調べたところ、図中に破線で示すように、ＰＢの標準偏差が急激に低下してエッジ波形をなす箇所で、使用者９９に特定の情動、例えば、刺激を与えている画像に対して良いと感じていることが判った。

なお、学習フェーズおよび推定フェーズのいずれにおいても、推定生体反応に関する情報の時間変化を、教師データに対する生体反応に関する情報から算出する場合に、取得した情報を、様々に分割して繰り返し標準偏差を算出してもよい。例えば、生体反応に関して１秒間に１０００個の割合でデータを取得した場合に、例えば、秒毎の１０００個のデータから得られたＰＢの値に対してひとつの標準偏差を算出する動作を繰り返しても良い。また、取得した１０００個毎のデータを例えば１０に分けて、１００個のデータ毎にＰＢの値を算出して１０個の標準偏差を算出してもよい。

更に、画像を含むデータに対する生体反応に関する情報を取得する場合に、画像を単位として、例えば２０枚の静止画像に対する生体反応に対して１９個または２１個のＰＢの値から標準偏差を算出してもよい。また更に、動画を含むデータに対して、任意の時間単位で区切って算出したＰＢから標準偏差を算出してもよい。なお、学習フェーズで参照する生体反応に関する情報の数または長さと、推定フェーズで参照するデータの数または長さとは、必ずしも同じでなくてもよい。

図１３は、他の刺激要因に対して、図１２に示した場合と同様に、時間変化する刺激要因に刺激された使用者９９の生体反応に基づいて発生したＰＢの標準偏差をプロットしたグラフである。この刺激要因に対して使用者９９の感性により生じる情動を調べたところ、図中に破線で示すように、ＰＢの標準偏差が急激に変化してピーク波形をなす箇所で、使用者９９に特定の情動、例えば、刺激を与えている画像に対して良いと感じていることが判った。

上記の例から類推すると、図１４および図１５に示すように、ＰＢの標準偏差の変化が、他のエッジ波形またはピーク波形を形成した場合に、特定の情動が生じると類推できる可能性がある。よって、感性状態のばらつきの変化に基づいて、使用者９９の感性により生じた情動をよく推定できると考えられる。従って、ＲＮＮ－ＰＢにおけるＰＢの分散の変化、微分値の変化、および、標準偏差の変化のいずれかの特徴量を学習して、使用者９９の感性と関連付ける学習をさせることにより、使用者９９の感性を推定できるようになる。

図１６は、学習フェーズを終えた推定システム１０が、推定フェーズで動作する場合の構成を示す図である。推定フェーズにおける図示の推定システム１０は、図４に示した学習フェーズの推定システム１０から、学習支援装置３００を除いた状態である。

推定フェーズの推定装置１００は、使用者９９が視覚的な刺激を受けた場合に感性が生じる情動を、使用者９９の生体反応に基づいて推定する。このため、使用者９９に時間変化を有する刺激要因７７としての画像を見せる目的で表示部３３０を設けた。

図１７は、推定装置１００におけるＰＢ出力部１１０の、推定フェーズにおける動作手順を示す流れ図である。なお、図１７に示した手順のうち、図５に示した手順と同じものには共通の参照番号を付して重複する説明を省く。

推定フェーズにおいて、ＰＢ出力部１１０の学習は既に終わっている。ＰＢ出力部１１０が推定フェーズの動作を開始すると、制御部１８０は、推定動作が開始されたことを情動推定部１２０に通知する（ステップＳ１３１）。これにより、情動推定部１２０の取得部１２１は、ＰＢ出力部１１０が出力するＰＢの値を受け入れられる状態になる。次に、ＰＢ出力部１１０は、学習フェーズの場合と同様に、使用者９９の生体反応に関する情報を計測装置２００から取得する。

推定装置１００は、刺激を受けた使用者９９が時刻ｔに生じた生体反応を、計測装置２００を通じて取得する（ステップＳ１０２）。生体反応は、ＰＢ出力部１１０の取得部１１１が取得する。続いて、ＰＢ出力部１１０は、推定部１１２において、時刻ｔの刺激により生じた生体反応に基づいて、時刻ｔに続く時刻ｔ＋１に生じる生体反応を予測する（ステップＳ１０３）。また、ＲＮＮ－ＰＢは、時刻ｔに続く時刻ｔ＋１の生体反応を取得する（ステップＳ１０４）。

図１８は、推定装置１００において、ＰＢ出力部１１０の推定部１１２に設けたＲＮＮ－ＰＢ」の、推定フェーズにおける動作を説明する模式図である。ＲＮＮ－ＰＢの各ノードの重みｗは学習フェーズで既に固定されている。このＲＮＮ－ＰＢに、使用者９９が視覚的な刺激を受けた場合の情動を推定するため、生体反応を入力する。

ここで、推定フェーズにおける時刻ｔのＰＢの値は、時刻ｔのL時刻前までの時間区間［ｔ‐Ｌ，ｔ］を定義し、この区間に含まれる時刻ｔ'（∈［ｔ‐Ｌ，ｔ］）における生体反応から、時刻ｔ'＋１の生体反応を予測する過程で、ノードの重みｗが固定されていることによる誤差を補正する目的で内生されるものである。

よって、ＲＮＮ－ＰＢは、時刻ｔ＋１の生体反応について予測値と実測値との誤差を算出し（ステップＳ１０５）、算出した誤差に基づいて、ＰＢの値を調整する（ステップＳ１０７）。調整により内生された時刻ｔのＰＢの値は、情動推定部１２０の取得部１２１に送信される（ステップＳ１０８）。

再び図１７を参照すると、続いて制御部１８０は、計測装置２００の撮像部２２０を通じて、使用者９９に対して同じ刺激が継続しているか否かを監視する（ステップＳ１３２）。使用者９９に対して同じ刺激が継続している場合（ステップＳ１３２：ＹＥＳ）、制御部１８０は、予め定めた間隔で、図１７のステップＳ１０２からステップＳ１０８までの一連の動作を繰り返す。これにより、情動推定部１２０は、ＰＢ出力部１１０からＰＢの値を取得し続ける。

ステップＳ１３２に、使用者９９に対する刺激に変化が生じたことが判った場合（ステップＳ１０９：ＮＯ）、制御部１８０は、推定フェーズにおけるＰＢ出力部１１０の動作を終了させる。こうして、ＰＢ出力部１１０の動作が終了する。

図１９は、推定フェーズにおける、情動推定部１２０の動作手順を示す流れ図である。図１９に示した手順のうち、図９に示した手順と同じものには共通の参照番号を付して重複する説明を省く。

情動推定部１２０の取得部１２１は、制御部１８０の制御の下にＰＢ出力部１１０から送信されたＰＢの値を取得しつつ（ステップＳ１２１）、図１７のステップＳ１３２と同様に、使用者９９に対して同じ刺激が継続しているか否かを監視し続ける（ステップＳ１３２：ＮＯ）。使用者９９に対する刺激が変化したことが判った場合（ステップＳ１３２：ＹＥＳ）、情動推定部１２０の推定部１２２は、取得した時刻ｔまでのＰＢの値に基づいて、使用者９９の時刻ｔの情動を推定する（ステップＳ１２３）。

すなわち、学習フェーズの情動推定部１２０は、図１２から１５に例示したグラフの波形と、推定対象である情動の種類との関連に基づく学習モデルを生成する。すなわち、生体反応に関する情報から算出したＰＢの値に基づいて推定した情動に基づいて、使用者９９に快い情動が生じた刺激を特定する波形を記録することにより、学習モデルを生成する。

また、推定フェーズの情動推定部１２０は、ＰＢ出力部１１０から取得した生体反応に基づくデータに含まれるＰＢの値の標準偏差の変化が描く波形を、予め用意した図１２から１５に例示したグラフの波形を参照することにより、推定対象である情動の種類を推定する。更に、情動推定部１２０は、ＰＢ出力部１１０から生体反応に関する情報を継続的に取得しながら、情動を推定させる波形自体を予測して、情動の推定結果を更新してもよい。

これにより、推定システム１０または推定装置１００は、例えば、複数枚画像等の刺激要因に対応する生体反応に関する情報を取得した後に、情動推定部１２０の推定結果から、快い情動が生じた画像等の刺激を特定する。ここで、刺激要因を特定する情報は、例えば、動画におけるタイムコードのように時間的な情報であってもよいし、スチルカメラの画像番号のような個体識別情報であってもよい。

推定結果は、情動推定部１２０から外部に出力される。ここで外部とは、例えば、情報処理装置６００に付属する表示部６１０であってもよい。また、通信部１９０および通信回線４００を通じて、他の機器、例えば、表示部３３０のような外部の表示部に結果を表示させてもよい。また更に、結果の表示は表示部６１０、３３０への画像または文字に限られず、音声、印刷物等であってもよい。また、図１２から図１５に示すＰＢ値の時間変化を示すグラフを外部の表示部に表示し、使用者９９に提示してもよい。

続いて、制御部１８０は、ＰＢ出力部１１０による生体反応の取得が継続しているか否かを調べる（ステップＳ１２７）。ステップＳ１２７においてＰＢ出力部１１０による生体反応の取得動作が継続していることが判った場合（ステップＳ１２７：ＮＯ）、制御部１８０は、図１９のステップＳ１２２からステップＳ１２３の一連の動作を繰り返して、情動推定部１２０による情動の推定を継続する。ステップＳ１２７において、ＰＢ出力部１１０による生体反応の取得が停止したことが判った場合（ステップＳ１２７：ＹＥＳ）、制御部１８０は、情動推定部１２０の推定動作も終了させる。

上記の一連の推定フェーズの説明は、学習フェーズにおけるリアルタイムモードに相当する。したがって説明中では割愛しているが、学習フェーズと同様にＰＢ出力部と情動推定部１２０の協調動作が可能である。また、学習フェーズにおけるオフラインモードと同様に、ＰＢ出力部の動作を完了してから情動推定部１２０を動作させる方法も可能であり、リアルタイムモードとオフラインモードの切り替えはシステム要件に応じて切り替えればよい。

図２０は、推定装置１００のＰＢ出力部１１０において、ＲＮＮ－ＰＢに替えて使用することができるネットワークの構造を示す模式図である。図示のネットワークは、Ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ（以降、「ＬＳＴＭ」と記載する）と呼ばれ、ＲＮＮの中間層のユニットを、ＬＳＴＭブロックと呼ばれるブロックに置き換えた構造を有する。

ＬＳＴＭブロックは、値を保持するメモリセルと、当該メモリセルに保持された値の入力、出力、および忘却を制御する３種のゲートとを有する。このような構造により、ＲＮＮで生じた勾配消失問題、入力および出力の重み衝突問題等を解決可能にし、ＲＮＮの適用範囲を拡大する。

ここで、ＬＳＴＭブロックは過去の状態を保持することができるので、ＬＳＴＭを有するネットワークは時系列的な刺激要因を取り扱うことができる。また、ＲＮＮ－ＰＢにおけるＰＢの値に替えて、ＬＳＴＭブロックのメモリセルの値の分散、微分値、および標準偏差のいずれかの変化の特徴量を使用者９９の感性と関連付ける学習をさせることにより、ＲＮＮ－ＰＢを使用した推定装置１００の場合と同様に、使用者９９の情動を推定できる。すなわち、ＬＳＴＭのメモリセルが保持する値は、学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータの一例である。ここで、学習の状態および状態に反映の意味するところは、パラメトリックバイアスについて先に説明した通りである。

なお、上記の例では、推定装置１００と計測装置２００とを別体の装置として記載した。しかしながら、計測装置２００に、推定装置１００および学習支援装置３００の機能を付加して、使用者９９に装着した推定システム１０が単体で動作するようにしてもよい。また、推定装置１００の機能については、汎用の情報処理装置で実行されるソフトウェアとして提供することもできる。

一方、ひとつの推定装置１００に、通信回線４００を介して複数の計測装置２００を接続して、複数の使用者９９で推定装置１００を共用してもよい。この場合、学習支援装置３００の数も、使用者９９の人数よりも少なくして、一部の使用者９９が学習支援装置３００を共用してもよい。

また、推定装置１００の学習フェーズと推定フェーズは、同一の使用者により実行されるように説明した。しかしながら、ある使用者９９により実行された学習フェーズで学習した推定装置１００を、別人の使用者９９が使用してもよい。

これにより、例えば、出荷前に、デフォルト値として平均的な値が得られるような状態まで学習させて、その後の、他の使用者９９による学習時間を短縮できる。また、例えば、撮影、画像処理等に対して高度な技術を有する熟練者が学習させた推定装置１００を初心者が使用することにより、初心者である使用者９９の感性を訓練することもできる。

上記のような推定システム１０または推定装置１００は、例えば、学習済みの状態でメガネ型ウェアラブルカメラに搭載してもよい。これにより、手に持って使用するカメラに比較して、ボタン、レバー、ダイアル等の操作箇所が少ないメガネ型ウェアラブルカメラにおいて、ブラケット撮影した複数の画像から、使用者９９が良いと評価できる画像を自動的に選択することができる。

また、推定システム１０または推定装置１００は、一眼レフタイプ、ミラーレスタイプ、コンパクトタイプ等の撮像用専用機に搭載してもよい。この場合、計測装置２００は、撮像専用機に設けられたボタン、レバー、ダイアル等、使用者９９が直接に触れる部分に設けることができる。これにより、多くの機能を有する撮像専用機の一部の操作を自動化して、使用者が良いと感じる画像を撮影することが容易になる。

更に、画像処理装置または画像処理ソフトウェアに、上記の推定システム１０または推定装置１００を実装してもよい。これにより、多くのパラメータと調整量に惑わされることなく、使用者９９が良いと感じる画像処理を実行できる。

また、推定システム１０または推定装置１００は、使用者９９の感性を推定するので、画像に限らず、聴覚、臭覚、触覚、味覚等、多くの感覚に由来した感性による情動も推定できる。更に、視覚的な刺激による教師データ５００を用いて学習した推定装置１００であっても、視覚以外の刺激、すなわち、聴覚、臭覚、触覚、味覚等の刺激により使用者９９の感性が生じた情動も予測できる。更に、複数種類の刺激を含む複合的な刺激要因に対して生じる情動を推定することもできる。よって、推定システム１０または推定装置１００は、人工音声の生成、音響再生装置の開発、化粧品の調香、機械的ユーザインターフェースの開発、食品の開発等にも使用できる。

以上、本発明を実施の形態を示して説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態もまた、本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 推定システム、７７ 刺激要因、８８ 画像、９９ 使用者、１００ 推定装置、１１０ ＰＢ出力部、１１１、１２１ 取得部、１２０ 情動推定部、１１２、１２２ 推定部、１８０、２８０、３８０ 制御部、１９０、２９０、３９０ 通信部、２００ 計測装置、２１０ 生体反応計測部、２１１ 脳波計測部、２１２ 心拍計測部、２１３ 眼電計測部、２１４ 呼吸計測部、２１５ 右側頭部計測部、２１６ 頭頂部計測部、２１７ 左側頭部計測部、２１８ 水平眼電計測部、２１９ 垂直眼電計測部、２２０ 撮像部、２３０ リム、２４０ テンプル、２９１ アンテナ、３００ 学習支援装置、３１０ 教師データ格納部、３２０、３３０、６１０ 表示部、４００ 通信回線、５００ 教師データ、６００ 情報処理装置、６２０ 入力部

Claims (11)

1. 時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルを生成する生成部と、
   前記学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータを抽出する抽出部と、
   時間変化する新たな刺激要因の刺激により新たに生じた生体反応に関する時系列的な情報が入力されたときに新たに内生される前記パラメータを、前記学習モデルを用いて出力するパラメータ出力部と、
   前記抽出部で抽出された前記パラメータの変化量および前記生体の感性により生じる情動の関係と、前記パラメータ出力部から出力された前記パラメータとを用いて、前記新たな刺激要因に対応した前記情動を推定する情動推定部と、
   を備える推定装置。
2. 前記学習モデルは、再帰型ニューラルネットワークを含む請求項１に記載の推定装置。
3. 前記パラメータは、前記再帰型ニューラルネットワークのノードに保持されるパラメトリックバイアスを含む請求項２に記載の推定装置。
4. 前記学習モデルは、前記刺激要因の過去の状態を保持するメモリセルを含む請求項１に記載の推定装置。
5. 前記パラメータは、前記メモリセルが保持する値を含む請求項４に記載の推定装置。
6. 前記刺激要因は生体の視覚を刺激する画像を含み、前記時間変化は前記画像に示される光学特性の変化である請求項１から５のいずれか一項に記載の推定装置。
7. 前記情報は、脳波、心拍、心電、眼電、および呼吸の少なくともひとつに関する計測結果を含む請求項１から６のいずれか一項に記載の推定装置。
8. 前記情動推定部は、前記パラメータとして、前記パラメータの分散、標準偏差、および微分値の少なくともひとつに基づいて推定する請求項１から７のいずれか一項に記載の推定装置。
9. 請求項１から８の何れか一項に記載の推定装置と、
   前記パラメータ出力部に入力する前記情報を計測する計測部と、
   前記情動推定部の推定結果を外部に出力する出力部と
   を備える推定システム。
10. 時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータであって、時間変化する新たな刺激要因の刺激により新たに生じた生体反応に関する時系列的な情報が入力されたときに新たに内生される前記パラメータを、前記学習モデルを用いて出力するパラメータ出力段階と、
    前記パラメータの変化量および前記生体の感性により生じる情動の関係と、前記パラメータ出力段階で出力された前記パラメータとを用いて、前記新たな刺激要因に対応した前記情動を推定する情動推定段階と、
    を備える推定方法。
11. 時間変化する刺激要因に刺激されたときに生体に生じる生体反応に関する情報の時間変化を学習した学習モデルの生成の過程で生成されて学習の状態に反映されるパラメータであって、時間変化する新たな刺激要因の刺激により新たに生じた生体反応に関する時系列的な情報が入力されたときに新たに内生される前記パラメータを、前記学習モデルを用いて出力するパラメータ出力ステップと、
    前記パラメータの変化量および前記生体の感性により生じる情動の関係と、前記パラメータ出力ステップで出力された前記パラメータとを用いて、前記新たな刺激要因に対応した前記情動を推定する情動推定ステップと、
    をプロセッサに実行させる推定プログラム。

Images