JP7097012B2 - 感性推定装置、感性推定システム、感性推定方法およびプログラム - Google Patents

Description

本発明は、感性推定装置、感性推定システム、感性推定方法およびプログラムに関する。

複数の画像を見た場合の感性反応の定量検知、順位付けを行う技術が知られている（例えば、特許文献１）。
［特許文献１］特開２０１３－１７８６０１号公報

本発明の一態様においては、生体の感覚器を刺激する刺激要因の特徴量を取得する第１の取得部と、生体から検出される生体信号の特徴量を取得する第２の取得部と、刺激要因の特徴量と、生体が刺激要因により刺激されたときの生体信号の特徴量と、生体が刺激要因により刺激されたときの生体の感性を示す感性情報との関連性を学習した結果に基づいて、生体が新たな刺激要因により刺激されたときの感性情報を推定する推定部とを備える感性推定装置が提供される。

上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションもまた発明となり得る。

学習モードの感性推定型自動撮影システム１０の概略図である。 メガネ型ウェアラブルカメラ１０３の模式的斜視図である。 感性推定型自動撮影システム１０のブロック図である。 感性推定型自動撮影システム１０の学習モードのフロー図である。 感性推定型自動撮影システム１０の学習モードで使用する画像セットの一例を説明する図である。 注視点６Ｂを中心とする一定範囲６Ａの切り取りを説明する図である。 各種の生体信号と、生体信号から導出される信号成分と、信号成分を利用可能にするための信号処理方法とを説明するための表である。 生体信号がリカレントニューラルネットワーク（ＲＮＮ）に入力されて統合的な生体信号の特徴量として出力されるまでを説明する図である。 推定モードの感性推定型自動撮影システム１０の概略図である。 感性推定型自動撮影システム１０の推定モードのフロー図である。 感性推定型自動撮影システム１０によって推定される「いいね度」の時間推移を示すグラフである。 全生体信号１３ｃｈを使用して感性推定した場合と、脳波３ｃｈのみを使用して感性推定した場合との、各結果を比較するための表である。 生体信号の特徴量のみを使用して感性推定した場合と、画像の特徴量のみを使用して感性推定した場合と、統合的に両特徴量を使用して感性推定した場合との、各結果を比較するための表である。 感性推定システム搭載メガネ型ウェアラブルカメラ１０４の模式的斜視図である。 感性推定システム搭載メガネ型ウェアラブルカメラ１０４と画像表示装置１０２と入出力インタフェース１０５とのブロック図である。 感性推定システム・カメラ搭載型メガネ１０６の模式的斜視図である。 感性推定システム・カメラ搭載型メガネ１０６と入出力インタフェース１０５とのブロック図である。 感性推定システム・カメラ搭載型メガネ１０６の学習モードのフロー図である。 感性推定システム・カメラ搭載型メガネ１０６でレンズ屈折力を調整した場合におけるユーザの視界の変化を説明する図である。 感性推定システム・カメラ搭載型メガネ１０６の推定モードのフロー図である。 感性推定システム搭載カメラ２０１の模式的正面図である。 感性推定システム搭載カメラ２０１の模式的背面図である。 感性推定システム搭載カメラ２０１と入出力インタフェース１０５とのブロック図である。 感性推定システム搭載カメラ２０１の学習モードのフロー図である。 感性推定システム搭載カメラ２０１の推定モードのフロー図である。 感性推定型自動画像処理システム３０のブロック図である。 感性推定型自動画像処理システム３０の学習モードのフロー図である。 感性推定型自動画像処理システム３０の推定モードのフロー図である。 感性推定システム搭載顕微鏡４０１のブロック図である。 感性推定システム搭載顕微鏡４０１によって生成される操作履歴画像の一例を説明する図である。 ラッセルの感情円環モデルを示す図である。 感性推定システム７０を模式的に説明する図である。 感性推定型自動撮影システム１３のブロック図である。 感性推定型自動撮影システム１４のブロック図である。

以下、発明の実施の形態を説明する。下記の実施形態は特許請求の範囲にかかる発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

複数の実施形態は何れも、学習モードでの学習の結果として、推定モードで「検出された刺激要因」と「計測された生体信号」から「人間に生じる感性の種類や強度」を推定する。「刺激要因」は、画像、ビデオ、音楽などの生体の感覚器を刺激するものであり、会話や自然音などの音響も含まれる。また、本構成は、視覚器・聴覚器以外の触覚器、嗅覚器、味覚器といった感覚器を刺激する刺激要因などにも適用可能であるが、ここでは説明の簡略化の為、主に画像や風景などの、視覚器を刺激する刺激要因に絞って説明する。なお、「計測」という用語の意味は、「検出」という用語の意味に含まれ得る。

図１は、学習モードの感性推定型自動撮影システム１０の概略図である。感性推定型自動撮影システム１０は、学習に基づいて推定した「人間に生じる感性の種類や強度」が所定の条件を満たした場合に、自動で撮影を行う。学習モードの感性推定型自動撮影システム１０は、有線または無線で互いに通信する、感性推定装置１０１と、画像表示装置１０２と、メガネ型ウェアラブルカメラ１０３とを備える。メガネ型ウェアラブルカメラ１０３は、メガネのようにユーザ１の頭部に装着される。画像表示装置１０２は、ユーザ１の感性反応を誘発する刺激要因の生成装置で、動画や静止画の表示の他、音響発声を行う。なお、ユーザ１は、生体の一例である。

図２は、メガネ型ウェアラブルカメラ１０３の模式的斜視図である。メガネ型ウェアラブルカメラ１０３は、メガネフレーム１４１の近傍に設けられてメガネ型ウェアラブルカメラ１０３を制御する制御部１５１と、感性推定装置１０１との通信用の無線通信アンテナである通信部１５３とを備える。メガネ型ウェアラブルカメラ１０３は更に、メガネフレーム１４１の近傍に設けられて、ユーザ１の視線の先にある視認対象の刺激要因を検出する小型カメラである第１の検出部１５５と、メガネの複数個所に設けられて、ユーザ１から発せられる生体信号を検出する複数のセンサである第２の検出部１６０と、メガネフレーム１４１の近傍に設けられて、ユーザ１が視認対象を視認するときにユーザ１の視点が滞留する注視点を検出する小型カメラである第３の検出部１５７とを備える。メガネ型ウェアラブルカメラ１０３は更に、制御部１５１からの信号に基づいて、第１の検出部１５５によって検出される画像中の静止画を記録する記録部１５９を備える。

第２の検出部１６０によって検出される生体信号は、脳波、及び、脳波以外の少なくとも１種類の生体信号を含んでもよく、この脳波以外の少なくとも１種類の生体信号は、例えば、心電信号、心拍信号、眼電信号、呼吸信号、発汗に関する信号、血圧に関する信号、血流に関する信号、皮膚電位および筋電の少なくとも１つであってもよい。本実施形態の第２の検出部１６０は、脳波を検出する脳波センサ１６１と、心電信号および心拍信号の少なくとも一方を検出する心拍センサ１６５と、眼電を検出する眼電センサ１６６と、呼吸信号を検出する呼吸センサ１６９とを備える。

脳波センサ１６１は、メガネ型ウェアラブルカメラ１０３を装着したユーザ１の右側頭部に接触する４つの電極を含む右側頭部脳波センサ１６２と、頭頂部に接触する３つの電極を含む頭頂部脳波センサ１６３と、左側頭部に接触する４つの電極を含む左側頭部脳波センサ１６４とを備える。これらの電極の設置方法としては、国際１０－２０法が標準的である。国際１０－２０法とは、頭皮を１０％または２０％の等間隔で区切って計２１個の電極を配置するもので、これに沿った配置が最も望ましいが、日常装着して活動する機器においては、電極数が多く装用が煩わしい上に全電極の固定が難しい問題がある。そこで、本実施形態の脳波センサ１６１は、感情や意志判断に関連した前頭葉を代表とする頭頂部分、視覚野の近傍の左右側頭葉に数点、電極を配置する。なお、単純な構成では、電極を額上部の前頭葉１点のみとすることも可能である。

心拍センサ１６５としては、心臓付近に電極を設置して心電を検知する「心電式」と、センサからの赤外光を皮膚に照射し、皮下の血管中のヘモグロビンによる光吸収により脈拍を計測する形式の「光学式」とが考えられる。前者は心拍信号のみでなく、詳細な心電信号を計測することが可能であるが、別途に心臓付近へのセンサ設置が必要になる。一方、後者は精密な心電信号は得られないが、血管のある場所ならどこでも設置できる。本実施形態では、心拍信号（心電信号のＲ波に相当）が得られれば良いので、後者の「光学式」の使用が望ましい。そこで、本実施形態の心拍センサ１６５は、「光学式」を採用し、メガネのツル１４３付近でユーザ１のこめかみ近傍に設置する。なお、心拍センサ１６５は、メガネの左右のツル１４３に設置しているが、簡易な構成では左右どちらか1つの設置でもよい。

眼電センサ１６６は、左右のメガネフレーム１４１の近傍に設けられた、水平眼電センサ１６７と、垂直眼電センサ１６８とを備える。眼電センサ１６６は、左目および右目のそれぞれについて、水平・垂直の二方向に眼球が動いた場合に発生する目の周辺の筋電信号を検知する電極である。本電極の信号は、脳波に混入する眼電信号の除去に利用されてもよく、ユーザ１の眼球の動作方向と量を算出することで注視点を検出する用途に用いられてもよい。

ここで、眼電信号が脳波に混入する点についてより具体的に説明すると、先ずその原因は、微弱な脳波と比較して「瞬き」や「眼球運動」による眼電信号の振幅が大きく、眼電信号が脳波に対してノイズ・アーチファクトとなるためである。例えば特許公開公報（特開平１１－３１８８４３号）に示されるように、眼電信号のみの検出は比較的容易なので、この結果を用いることで、脳波に混入した眼電成分を除去できる。具体的には、眼電センサ１６６で検出された眼電波形を使用して、脳波から眼電成分を除去するアルゴリズムを使用する。例えば、脳波波形から眼電波形への射影を求め、脳波波形から射影を差し引いてもよい。また、眼電成分から脳波波形を回帰し、脳波波形から回帰された値を差し引いてもよい。また、眼電波形と脳波波形に正準相関分析を適用し、脳波波形から求めた正準変数から、眼電波形の正準変数と高相関な成分を除去した後、脳波波形に逆変換してもよい。また、脳波波形を独立成分分析で独立成分に分解し、眼電波形と高相関な成分を除去した後、脳波波形を再合成してもよい。

呼吸センサ１６９は、メガネフレーム１４１に取り付けられたノーズパッドに設置され、ユーザ１の鼻の内部の空気の通過音から呼吸の状態をモニタするものである。呼吸センサ１６９として、箸尾谷健二(立命館大)、高田信一(立命館大)、福水洋平(立命館大)他による非特許文献「人体の心拍音・呼吸音・脈音分離手法に基づく異常周期を持った循環器系疾患の検出」（日本音響学会誌Ｖｏｌ.６８、Ｐ３８７－３９６、２０１２）に記載の装置・手法の適用が可能である。また、非特許文献「Healthcare System Focusing on Emotional Aspect Using Augmented Reality: Control Breathing Application in Relaxation Service」、「Somchanok TivatansakulMichiko Ohkura、HCI International 2013 - Posters' Extended Abstracts pp 225-229」に記載の手法を用いれば、心拍から呼吸信号の導出が可能となるので、独立した呼吸センサを搭載する必要はなくなる。

第３の検出部１５７は、メガネ型ウェアラブルカメラ１０３を装着したユーザ１の眼を中心とする顔面を撮影するもので、ユーザ１の視線を検知して、ユーザ１の注視点の算定に用いられる。また、第３の検出部１５７は、瞬きを検知することで脳波へ混入した眼電信号の除去、目の周りの血管像からの心拍信号検知などに利用してもよい。この場合、第３の検出部１５７は、心拍センサ１６５および眼電センサ１６６の一部機能の代替となるので、個々の実施形態において適宜に機能を割り当てればよく、第３の検出部１５７、心拍センサ１６５および眼電センサ１６６の全てを必ず備えている必要はない。

図３は、感性推定型自動撮影システム１０のブロック図である。学習モードでは、先ず、ユーザ１が、感性推定装置１０１の例えばキーボードなどの入力インタフェースである入力部１２５を操作して、制御部１１１が、その操作内容を例えばモニタである表示部１１５に表示させる。制御部１１１は、入力部１２５に入力された操作データを入力されると、記憶部１１９から読み出した画像を、通信部１１３を介して画像表示装置１０２の通信部１３１に送信する。所定の操作データである場合、制御部１１１は、複数のデータを検出するための検出信号を、通信部１１３を介してメガネ型ウェアラブルカメラ１０３の通信部１５３に送信する。通信部１３１は、受信した画像を表示部１３２に出力し、表示部１３２は、その画像を画像表示装置１０２の画面に表示する。

制御部１５１は、例えばドライブレコーダを有しており、第１の検出部１５５、第２の検出部１６０および第３の検出部１５７から入力された各検出データを随時記録・更新している。ユーザ１は、メガネ型ウェアラブルカメラ１０３を装着した状態で、画像表示装置１０２の表示部１３２に表示された画像を視認している。この状態のメガネ型ウェアラブルカメラ１０３において、制御部１５１は、通信部１５３を介して検出信号を受信すると、所定の操作が行われた前後数秒間について、時間的な同期をとって第１の検出部１５５、第２の検出部１６０および第３の検出部１５７から受信した各検出データを抽出し、通信部１５３を介して感性推定装置１０１の通信部１１３に送信する。

感性推定装置１０１において、これらの検出データを受信した通信部１１３は、第１の検出部１５５からの刺激要因のデータと、第３の検出部１５７からの注視点データとを第１の出力部１２１に出力し、第２の検出部１６０からの複数の生体信号を第２の出力部１２３に出力する。

第１の出力部１２１は、先ず、注視点データに基づき、刺激要因の画像を、その注視点を中心に一定範囲を切り取る。そして、切り取った画像の特徴量を、コンボリューションニューラルネットワーク（ＣＮＮ）を用いて抽出する。ＣＮＮとは、ディープラーニングニューラルネットワーク（ＤＬＮＮ）の一種であり、ＤＬＮＮは、３層構成のニューラルネットワーク（ＮＮ）を４層以上に広げたものであり、近年のデータが大量に蓄積できるようになってきたことやコンピュータの高機能化により、ＮＮ以後に出てきた新しい計算手法よりも高性能化したことが知られている。その中でも、ＣＮＮは、脳の視覚野（Ｖ１）をモデルにしていて、事前に画像認識の精度が高くなるように学習したものを用いると、脳の視覚野と類似した画像処理結果が得られるので、画像の特徴量を抽出するのに適した手法である。なお、ＮＮ自体は、１９８０年代頃から盛んに研究され始めたものであり、複数のノードを結合させて、各ノードで非線形な処理を行うことで、一見無意味なデータの配列（パターン）に意味のあるシンボルを割り当てることができるという計算手法(及びそのためのデータ構造)である。

本実施形態では、説明の簡略化の為、刺激要因を、視覚器を刺激する画像に絞っているが、刺激要因として、聴覚器を刺激する刺激要因や触覚器を刺激する刺激要因などを含む場合、第１の出力部１２１は、それぞれの感覚器を刺激する刺激要因毎に脳の情報処理に近い変換方法として、ＣＮＮ以外の深層学習、機械学習または統計処理といった手法を用いてもよい。例えば、視覚器を刺激する刺激要因および聴覚器を刺激する刺激要因の特徴量抽出に適した自己組織化マップ（ＳＯＭ）、時系列データの特徴量抽出に適したリカレントニューラルネットワーク（ＲＮＮ）、およびＲＮＮと同じような使い方ができるディープニューラルネットワーク（ＤＮＮ）などの手法を用いてもよい。ただし、ＳＯＭを用いて聴覚器を刺激する刺激要因を扱う場合は、ＳＯＭ単体では時系列を扱うのが難しいので、別の手法と組み合わせる必要がある。また、ＲＮＮを用いて聴覚器を刺激する刺激要因を扱う場合は、別途選んだ前処理と組み合わせて聴覚器を刺激する刺激要因の特徴を抽出することが可能である。ＤＮＮは、ＲＮＮと異なり、前処理自体を学習させることができる。

第１の出力部１２１は、抽出した画像の特徴量を、第１の取得部１２２に出力する。第１の取得部１２２は、画像の特徴量を推定部１１７に出力する。

第２の出力部１２３は、例えば深層学習、機械学習および統計処理といった手法を用いて、複数の種類を含む生体信号から１つの統合的な特徴量を抽出する。これらの手法として、例えば、リカレントニューラルネットワーク（ＲＮＮ）、ロングショートタームメモリネットワーク（ＬＳＴＭ）およびパラメトリックバイアス型リカレントニューラルネットワーク（ＲＮＮＰＢ）などの手法が考えられる。これらの手法は何れも、生体信号のような時系列データの特徴量抽出に適しており、ＬＳＴＭは、比較的長期の時系列でも重要な情報を記憶するので、予測精度が高くなる。ＲＮＮＰＢは、文脈情報を外部から明示的に与えることで、１つのネットワークに複数のモードを持たせるようなことが可能になり、複数の因果関係が含まれるような対象でも、予測精度が高くなる。この他にも、ＤＬＮＮとして、ディープボルツマンマシン（ＤＢＭ）やそれに類するものを用いることができ、これは、機械学習アルゴリズムには必要とされた、人間による特徴量ベクトルを作るための前処理の部分を無くすことができる。

第２の出力部１２３は、抽出した生体信号の特徴量を、第２の取得部１２４に出力する。第２の取得部１２４は、生体信号の特徴量を推定部１１７に出力する。

感性推定装置１０１において、入力部１２５は、ユーザ１によって入力される感性情報を、第３の取得部１２６に出力する。第３の取得部１２６は、感性情報を推定部１１７に出力する。なお、感性情報とは、生体の感性を示す情報であって、感性の種類および強度を示す情報を含む。

推定部１１７は、例えば深層学習、機械学習および統計処理といった手法を用いて、第１の取得部１２２によって取得された刺激要因の特徴量と、第２の取得部１２４によって取得された、ユーザ１が刺激要因により刺激されたときの生体信号の特徴量と、第３の取得部１２６によって取得された、ユーザ１が刺激要因により刺激されたときの感性情報との関連性を学習する。

ここで言う「関連性」は、当技術分野において「学習モデル」とも呼ばれ、推定部１１７が、刺激要因の特徴量、生体信号の特徴量および感性情報から抽出した、これらのデータ間の規則性、パターンなどを含む。また、「関連性」は、入力データとしての刺激要因の特徴量および生体信号の特徴量と、出力データとしての感性情報との対応関係であるとも言える。

上記の学習手法として、例えば、サポートベクターマシン（ＳＶＭ）、リカレントニューラルネットワーク（ＲＮＮ）およびベイジアンネットワーク（ＢＮ）などの手法が考えられる。ＳＶＭは、比較的少数のサンプルの学習から、未知のサンプルに対しても誤差が少ない判別ができる。ただし、学習結果についてはある程度理解できるが、人間には理解しにくく、判別の因果関係についてはわかりにくい。ＲＮＮは、多くの学習サンプルが必要で、学習に多くの時間がかかる。時系列など、前後(文脈)関係に左右される対象に有効であるが、学習結果についての理解は難しい。ＢＮは、多くの学習サンプルが必要で、学習に時間がかかる。学習結果は、条件付き確率モデルを接続したネットワークの形で表現されるので、因果関係がわかりやすい。学習されたネットワークは、確率伝搬により、既知ノード、未知ノードは自由な組み合わせで使える。

学習モードの感性推定型自動撮影システム１０において、感性推定装置１０１の制御部１１１によって検出信号が生成される毎に、メガネ型ウェアラブルカメラ１０３は各種の検出データを感性推定装置１０１に送信し、感性推定装置１０１の推定部１１７は、上記の学習を繰り返す。この一連の流れを、図４を用いて改めて説明する。

図４は、感性推定型自動撮影システム１０の学習モードのフロー図である。学習モードを開始する前準備として、ユーザ１は、メガネ型ウェアラブルカメラ１０３を装着し、画像表示装置１０２の画面を視認できる位置で、感性推定装置１０１の入力部１２５を操作できる状態にしておく。学習モードを開始すると先ず、感性推定装置１０１の制御部１１１は、記憶部１１９に記憶された複数の画像セットの中から１組の画像セットを選択し、画像表示装置１０２に表示させる画像セットを用意する（ステップＳ１１１）。この画像セットの一例を、図５に示す。図５には、互いに全く異なるタイプの画像として、人物の画像５Ａと、自然風景の画像５Ｂと、建造物の画像５Ｃと、食べ物の画像５Ｄと、自動車の画像５Ｅとが例示されている。なお、図５に示す画像セットは一例に過ぎず、画像セットの枚数、種類などは任意に決定される。

次に、制御部１１１は用意した画像セットの最初の画像を画像表示装置１０２に表示し（ステップＳ１１３）、ユーザ１はこの画像を見て、予め設定された方法で、入力部１２５を操作する。「画像進める」操作である場合（ステップＳ１１５：はい）、当該操作データを入力された制御部１１１は、記憶部１１９から次の画像を読み出し、通信部１１３を介して画像表示装置１０２の通信部１３１に送信する。通信部１３１は、受信した画像を表示部１３２に出力し、表示部１３２は、画像表示装置１０２の画面に表示されている画像を、その受信した画像に切り替える（ステップＳ１１７）。「画像進める」操作ではなく（ステップＳ１１５：いいえ）、「画像戻す」操作である場合（ステップＳ１１９：はい）、前の画像が存在すれば、上記の流れと同様にして、画像表示装置１０２の画面に表示されている画像を、前の画像に切り替える（ステップＳ１２１）。更に「画像戻す」操作でもなく（ステップＳ１１９：いいえ）、「画像決定」操作でもない場合（ステップＳ１２３：いいえ）、ステップＳ１１５に戻り、一連の判断を繰り返す。

「画像決定」操作である場合（ステップＳ１２３：はい）、当該操作データを入力された制御部１１１は、各データを検出するための検出信号をメガネ型ウェアラブルカメラ１０３に送信する。メガネ型ウェアラブルカメラ１０３の制御部１５１は、検出信号を受信すると、所定の操作が行われた前後数秒間について、時間的な同期をとって第１の検出部１５５、第２の検出部１６０および第３の検出部１５７から入力された各検出データを抽出し、通信部１５３を介して感性推定装置１０１の通信部１１３に送信する。具体的には、第３の検出部１５７で検出された、決定画像上でユーザ１の視点が滞留した注視点データと（ステップＳ１２５）、第１の検出部１５５で検出された決定画像と（ステップＳ１２７）、第２の検出部１６０で検出された、決定画像を視認しているユーザ１から発せられた複数の生体信号と（ステップＳ１３３）を送信する。なお、各検出部は、制御部１５１が検出信号を受信するか否かに拘わらず、検出したデータをそれぞれ制御部１５１に出力し続けている。

このように、ステップＳ１２５、ステップＳ１２７およびステップＳ１３３で時間的な同期を取って検出された各データは制御部１５１に出力され、通信部１５３を介して感性推定装置１０１の通信部１１３に送信され、第１の出力部１２１および第２の出力部１２３に入力される。第１の出力部１２１は、ステップＳ１２５およびステップＳ１２７で検出されたデータを元に、決定された画像を、注視点を中心に一定範囲を切り取り（ステップＳ１２９）、切り取った画像の特徴量を、例えばＣＮＮを用いて抽出する（ステップＳ１３１）。第２の出力部１２３は、ステップＳ１３３で検出された生体信号の特徴量を、例えばＲＮＮを用いて抽出する（ステップＳ１３５）。第１の出力部１２１および第２の出力部１２３は、それぞれ抽出した特徴量を推定部１１７に出力する。

ユーザ１は、感性推定装置１０１の入力部１２５で「画像決定」操作を行った後、表示部１１５の選択画面を見ながら入力部１２５で感性情報を入力する。第３の取得部１２６は、入力部１２５に入力された感性情報を取得し（ステップＳ１３９）、推定部１１７に出力する。

推定部１１７は、例えばＳＶＭを用いて、刺激要因の特徴量と、ユーザ１が刺激要因により刺激されたときの生体信号の特徴量と、ユーザ１が刺激要因により刺激されたときの感性情報との関連性を学習する（ステップＳ１４１）。ユーザ１の感性情報を推定するには学習が十分ではない場合（ステップＳ１４３：いいえ）、画像表示装置１０２の表示部１３２に表示させる画像セットを次の画像セットに切り替えるべく（ステップＳ１４５）、記憶部１１９に記憶された複数の画像セットの中から他の１組の画像セットを選択し、ステップＳ１１３に戻る。ユーザ１の感性情報を推定するのに学習が十分である場合（ステップＳ１４３：はい）、学習モードを終了する。

学習モードにおいて十分な学習を行ったか否かは、学習アルゴリズムの収束判定により判断される。これには例えば、誤差曲線または損失関数の値若しくはその変化、誤差曲線または損失関数の勾配のような微分情報の大きさ若しくはその変化、更新に伴うパラメータの変化量、学習ステップ数、又は、これらの組み合わせを用いてもよい。具体的には例えば、判断指標として、ユーザ１によって入力された感性情報と、推定モードにおいて推定された感性情報との相違を表わす、誤差関数または損失関数を用いてもよい。例えば、誤差関数が予め定められた閾値より小さくなれば、学習が十分であると判断する。また、この判断に誤差関数を直接使わず、誤差関数の減少量を用いてもよい。この場合には、誤差関数の減少量が予め定められた閾値より小さくなれば、学習が十分であると判断する。

上記のステップＳ１２９における操作を、図６を用いて説明する。図６は、注視点６Ｂを中心とする一定範囲６Ａの切り取りを説明する図である。図６の例示的な画像に示されるように、画像中には、１人の女性と、その女性の背後にある様々な要素から成る風景とが写し出されている。図６では、この画像が画像表示装置１０２の表示部１３２に表示されたときに、ユーザ１の視点が、この画像における女性の左目付近の点６Ｂに滞留したことを示している。更に、注視点６Ｂを中心とする一定範囲６Ａとして、例えば元の画像と同じアスペクト比の画像領域も示している。

このように、注視点６Ｂを中心として一定範囲６Ａを切り取った画像は、元の画像の中でユーザ１が最も着目したと考えられる画像領域となる。よって、切り取られた画像の特徴量を学習および推定に用いれば、ユーザ１の感性情報を推定するのに不要な情報を省いてより重要な情報を集中的に収集できるので、感性情報の推定精度を高めることができる。

図７は、本実施形態で検出する各種の生体信号と、生体信号から導出される信号成分と、信号成分を利用可能にするための信号処理方法とを説明するための表である。メガネ型ウェアラブルカメラ１０３の第２の検出部１６０に含まれる、脳波センサ１６１、心拍センサ１６５、眼電センサ１６６および呼吸センサ１６９のそれぞれから検出される、脳波、心拍信号、眼電信号および呼吸信号の各種生データから、図７の表に示される合計で１２種類の詳細な信号成分が導出される。これらの信号成分は、同表に示される所定の方法でそれぞれ信号処理され、生体信号の特徴量抽出に利用可能な状態となる。本実験では、脳波は主に視覚器を刺激する刺激要因、感性反応、安静／興奮を検出するため、眼電信号は主に瞬き、注視点を検出し、脳波を補正するため、心電信号は主に感性反応を検出するため、呼吸信号は主に感性反応、安静／興奮を検出するために用いる。

具体的には、脳波については、前頭におけるα波振幅・頭頂におけるα波振幅・後頭におけるα波振幅の３種類のα波振幅が導出され、眼電信号については、水平眼電位と垂直眼電位、及びそれらの微分値である水平眼電位微分と垂直眼電位微分が導出され、心電信号については、Ｒ－Ｒ間隔差、瞬時周波数、及びＲＲＩと心拍位相差の微分値が導出され、呼吸信号については、呼吸信号自体の他に瞬時周波数も導出される。そして、３種類のα波振幅については、ローパスフィルタ（ＬＰＦ）、眼電除去および短時間高速フーリエ変換（ＦＦＴ）の信号処理を行い、水平成分眼電位等の４つについては、ＬＰＦ、平滑化した注視点算出、及び脳波への眼電混入成分除去の信号処理を行う。また、心電信号及び呼吸信号から導出された各種信号成分は何れも、ＬＰＦの信号処理を行う。計測の時間窓は１秒で、データは１００ｍ秒毎に更新する。

本実施形態では、これらの生体信号に加えて、感性推定装置１０１の入力部１２５における、画像切り替えのキー操作も含め、合計で１３種類の生体信号を特徴量抽出に用いる。外部からの刺激要因によって感性反応が発生したときに同時に生ずる単一種の生体信号（事象関連電位の脳波データや脈拍信号等）を用いる場合、これらの単一種の生体信号はＳ／Ｎが低く、高感度で安定した感性検知が困難であるが、このように、脳波、心電信号などの、感性推定に使用した場合に単独ではＳ／Ｎが低くて環境や身体運動の影響を受けやすい生体信号を同時に複数検出することで、全体的なＳ／Ｎを高めて、ロバストな感性推定を実現した。このような手法を、「生体信号のマルチモーダル計測法」とも呼ぶ。「生体信号のマルチモーダル計測法」によれば、人間の感性系に入力として与えられる視覚器を刺激する刺激要因を代表とする各種の刺激要因と、この刺激要因によって誘起され計測される各種の生体信号、そして人間に生じる感性の種類や強度について、相互の関連や因果関係を説明することができる。

図８は、複数の種類を含む生体信号がＲＮＮに入力されて統合的な生体信号の特徴量として出力されるまでを説明する図である。ＲＮＮにおいて、入力層に入力された複数の種類の生体信号は、中間層に入った後、文脈層と中間層との間を繰り返し入出力する過程によって、全体的・統合的な生体信号の特徴量となり、文脈層から出力される。ＲＮＮの利用で特徴的であるのは、脳波・心電信号・呼吸信号・眼電信号から信号処理・導出された１３種のデータを入力層に与え、この１３種の生体信号を統合した結果の特徴量として、ＲＮＮの文脈層データを使用することである。これは、文脈層データが、複数の生体信号の時系列的な特徴量を表しているからである。

ここで、ＲＮＮの仕組みを簡単に説明する。ＲＮＮにおいては、通常のニューラルネットワークと同様に、各ノードに前段の各ノードからの出力を入力として、重み付けした総和を求めた後に、バイアスｂを加えて、活性化関数ｆを通したものを出力とする。下記の中間層Ｈを定義する数式１、出力層Ｏを定義する数式２、及び、文脈層Ｃを定義する数式３では、x_i,tはタイムステップtにおける入力ノードiの値、y^L _i,tは、層Lにおける、ノードiのタイムステップtの出力を表わす。w^PQ _ijは、レイヤーPのノードiからレイヤーQのノードjへの重みである。

中間層には、タイムステップtの入力と、タイムステップt-1の文脈層の出力が入力として入る。ＢＰＴＴ（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｔｈｒｏｕｇｈ Ｔｉｍｅ）という計算アルゴリズムで、タイムステップtの状態から、タイムステップt+1の状態を予測するための学習をすると、ｗやｂのパラメータが学習されて、次のステップの予測ができるようになる。このときの文脈層の出力は、１３種類の生体信号を統合した形で、ＲＮＮが学習した「状態」を反映したものになっている。

図９は、推定モードの感性推定型自動撮影システム１０の概略図である。推定モードでは、学習モードと異なり、メガネ型ウェアラブルカメラ１０３を装着したユーザ１は、画像表示装置１０２によって表示された刺激要因としての画像を視認することに代えて、実物の視認対象３を刺激要因として視認する。また、ユーザ１の生体信号等は、刺激要因のデータと共にリアルタイムで感性推定装置１０１にて解析され、時系列的にユーザ１の感性情報が推定される。そして、ユーザ１が視認対象３を見て、例えば所定の強さ以上の「いいね」という感性を抱いたと推定した場合、その状態の視認対象３をメガネ型ウェアラブルカメラ１０３の小型カメラによって自動で撮影する。このときのメガネ型ウェアラブルカメラ１０３と感性推定装置１０１との間の信号のやり取りを、図３を再び参照しながら説明する。

メガネ型ウェアラブルカメラ１０３を装着したユーザ１が新たな刺激要因として視認対象３という刺激要因を受けると、メガネ型ウェアラブルカメラ１０３からの複数の検出データは、学習モードと同様にして、感性推定装置１０１に送信される。そして、感性推定装置１０１では、学習モードと同様にして、推定部１１７が、視認対象３からの新たな刺激要因としての画像の特徴量と、ユーザ１が視認対象３という新たな刺激要因により刺激されたときの生体信号の特徴量とを入力される。推定部１１７は、画像の特徴量および生体信号の特徴量と、学習モードで学習した関連性とに基づいて、学習モードと同じ手法を用いて、ユーザ１が視認対象３という新たな刺激要因により刺激されたときの感性情報を推定し、推定した感性情報を制御部１１１に出力する。

制御部１１１は、感性情報を入力されると、記憶部１１９を参照して、感性情報が予め定められた所定の条件を満たすか否かを判断し、所定の条件を満たす場合には、通信部１１３を介してメガネ型ウェアラブルカメラ１０３の通信部１５３に静止画を記録するための記録信号を送信する。

メガネ型ウェアラブルカメラ１０３の制御部１５１は、通信部１５３から記録信号を入力されると、記録部１５９に対し、第１の検出部１５５によって検出されている刺激要因としての動画中の静止画を記録させる。記録部１５９によって記録された静止画は、記録部１５９に蓄積されて他の複数の静止画とまとめられてもよく、記録される毎に処理されてもよい。これらの静止画は、任意の装置によって任意の方法で読み出されてもよく、各通信部を介してメガネ型ウェアラブルカメラ１０３から感性推定装置１０１に送信され、記憶部１１９に記憶されたり、表示部１１５に表示されたりしてもよい。この一連の流れを、図１０を用いて改めて説明する。

図１０は、感性推定型自動撮影システム１０の推定モードのフロー図である。推定モードを開始する前準備として、ユーザ１は、メガネ型ウェアラブルカメラ１０３を装着し、視認対象３を視認できる位置であって、且つ、メガネ型ウェアラブルカメラ１０３と感性推定装置１０１とが通信可能な位置にいるようにする。推定モードを開始すると先ず、第１の検出部１５５は、視認対象３が含まれる画像を検出し（ステップＳ１５３）、第３の検出部１５７は、ユーザ１の視界と見なすことができる第１の検出部１５５の撮影視野の画像上で、ユーザ１の視点が滞留した注視点を検出し（ステップＳ１５１）、第２の検出部１６０は、視認対象３を見ているユーザ１から発せられた複数の生体信号を検出する（ステップＳ１５９）。

ステップＳ１５１、ステップＳ１５３およびステップＳ１５９で同期を取って検出された各データは制御部１５１に出力され、通信部１５３を介して感性推定装置１０１の通信部１１３に送信され、第１の出力部１２１および第２の出力部１２３に入力される。第１の出力部１２１は、ステップＳ１５１およびステップＳ１５３で検出されたデータを元に、注視点を中心に画像の一定範囲を切り取り（ステップＳ１５５）、切り取った画像の特徴量を、例えばＣＮＮを用いて抽出する（ステップＳ１５７）。第２の出力部１２３は、ステップＳ１５９で検出された生体信号の特徴量を、例えばＲＮＮを用いて抽出する（ステップＳ１６１）。第１の出力部１２１および第２の出力部１２３は、それぞれ抽出した画像の特徴量と生体信号の特徴量とを推定部１１７に出力する。

推定部１１７は、画像の特徴量と生体信号の特徴量と、学習モードで学習した関連性とに基づいて、学習モードと同じ手法を用いて、ユーザ１が視認対象３という新たな刺激要因により刺激されたときの感性情報を推定し（ステップＳ１６３）、推定した感性情報を制御部１１１に出力する。制御部１１１は、感性情報を入力されると、記憶部１１９を参照して、感性情報が所定の条件を満たすか否かを判断し、所定の条件を満たさない場合には（ステップＳ１６５：いいえ）、ステップＳ１５１、ステップＳ１５３およびステップＳ１５９に戻り、注視点、画像および生体信号の検出から、各特徴量の抽出、更には感性情報の推定までをリアルタイムで繰り返す。所定の条件を満たす場合には（ステップＳ１６５：はい）、通信部１１３を介してメガネ型ウェアラブルカメラ１０３の通信部１５３に静止画を記録するための記録信号を送信する。

メガネ型ウェアラブルカメラ１０３の制御部１５１は、通信部１５３から記録信号を受信すると、記録部１５９に対し、第１の検出部１５５によって検出されている刺激要因としての画像中の静止画を記録させ（ステップＳ１６７）、このフローは終了する。もちろん、感性推定型自動撮影システム１０は、各装置の電源が入っている限りにおいて、この処理を繰り返し、ユーザ１が所定の条件を満たす「いいね」という感性を抱いたと推定したときの視認対象３の静止画を可能なだけ記録する。

上記のステップＳ１６５における、制御部１５１による判断方法の一例を図１１に示す。図１１は、感性推定型自動撮影システム１０によって推定される「いいね度」の時間推移を示すグラフである。グラフの横軸は時間Ｔ［秒］で、縦軸は１０段階の「いいね度」（Ｇ）である。

感性推定型自動撮影システム１０は、メガネ型ウェアラブルカメラ１０３を装着しているユーザ１の生体信号、ユーザ１の視線の先の視認対象３の画像および画像上のユーザ１の注視点の検出を連続的に行い、検出データからの画像の特徴量および生体信号の特徴量の抽出と、抽出された各特徴量と学習した関連性とに基づく感性情報の推定までをリアルタイムに行う。そのため、推定される感性情報に、感性の種類として「いいね」という感性が含まれ、感性の強度として「いいね度」が含まれる場合には、図１１に示されるように、「いいね度」の時間推移を示すグラフをリアルタイムで出力できる。

図１１のグラフには、刺激要因としての動画中の静止画を記録するための所定の条件として、１０段階のＧが８以上（Ｇ８）であることを定めている。ＧがＧ８を超えたときを記録タイミング（ＲＴ）と判断し、ＲＴの静止画を記録するための処理を行う。

なお、図１１を用いて説明した方法に代えて、感性の強度のピークを検出したら多少時間を遡った静止画を記録するようにしてもよい。保存可能な動画中の静止画の記録のように、推定された感性情報に基づいてリアルタイムで何らかの処理を実行する必要が無い場合には、全てのデータを保存しておいて後から処理を行ってもよい。例えば、全ての画像を記録しておいて後で感性の強度が高い順にその瞬間の静止画をランキング表示するようにしてもよい。何れの実施形態であっても、推定された感性情報に基づいて望ましいもの、例えば静止画を得ることができる。

感性推定装置１０１による感性情報の推定精度を検証するため、図１２および図１３のそれぞれに結果が示されている２つの実験を行った。先ず、脳波だけを感性推定に使用した場合に比べて、上記の「生体信号のマルチモーダル計測法」による感性推定の精度が向上したことを、図１２を用いて説明する。

図１２は、図７の表中に示した全生体信号１３ｃｈを使用して感性推定した場合と、脳波３ｃｈのみを使用して感性推定した場合との、各結果を比較するための表である。感性推定装置１０１で、ＳＶＭを用いて、ＲＮＮ文脈層１０次元に正規化線形距離を加えて学習および推定を行い、サポートベクター分類（ＳＶＣ）およびサポートベクター回帰（ＳＶＲ）を用いて評価を行った。なお、図１２の実験は、被験者に対して、上記の推定モードのように風景や人物などの実物を見せるのではなく、上記の学習モードと同様に多数の画像を見せて行った。そして、上記の各場合において、感性推定装置１０１によって学習および推定された感性情報の結果と、被験者から直接ヒアリングした感性情報とを比較および評価している。

表中、評価値として、Ｐｒｅｃｉｓｉｏｎ、Ｒｅｃａｌｌ、Ｆ１ ｓｃｏｒｅおよび相関係数の４項目が列挙されている。Ｐｒｅｃｉｓｉｏｎは、「ｂｅｓｔ」と予測して実際に「ｂｅｓｔ」だった割合である。Ｒｅｃａｌｌは、実際に「ｂｅｓｔ」であるもののうち、「ｂｅｓｔ」と予測されたものの割合である。Ｆ１ ｓｃｏｒｅは、ＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌとの調和平均である。具体的には、例えば、１０枚の画像を見た被験者がそのうちの２枚の画像を「ｂｅｓｔ」と判断した場合であって、感性推定装置１０１による感性情報の推定結果が、その２枚のうちの１枚のみを被験者が「ｂｅｓｔ」と感じたと推定し、他の８枚のうちの３枚も「ｂｅｓｔ」と感じたと推定し、残りの６枚を「ｂｅｓｔ」ではない、つまり「ｎｏｔ ｂｅｓｔ」と感じたと推定している場合には、Ｐｒｅｃｉｓｉｏｎは０．２５（＝１／４）でＲｅｃａｌｌは０．５（＝１／２）となる。このときのＦ１ ｓｃｏｒｅは、０．３３（≒２／（（１／０．２５）＋（１／０．５）））となる。

相関係数は、被験者によって入力された感性情報に含まれる評価値x^* _iと、対応するサンプル（刺激要因）に対して、感性推定装置１０１によって推定された感性情報に含まれる評価値x_iとの間での相関係数であり、以下の数式４に示される。

Ｐｒｅｃｉｓｉｏｎ、ＲｅｃａｌｌおよびＦ１ ｓｃｏｒｅは、ＳＶＣを用いて評価され、相関係数は、サポートベクター回帰（ＳＶＲ）を用いて評価されている。図１２の表に示される通り、全生体信号を使用したときには、脳波３ｃｈのみを使用したときに比べて、ＳＶＣにおいてＰｒｅｃｉｓｉｏｎ他の評価値が向上し、ＳＶＲにおいて相関係数が向上している。よって、感性推定に「生体信号のマルチモーダル計測法」を用いることで、同時に検出した複数の種類の生体信号の全体的なＳ／Ｎが高まり、ロバストな感性推定が実現されていることが理解される。

次に、生体信号の特徴量または刺激要因の特徴量だけを感性推定に使用した場合に比べて、生体信号の特徴量と刺激要因の特徴量との両方を感性推定に使用した場合に、感性推定の精度が向上したことを、図１３を用いて説明する。図１３は、生体信号の特徴量のみを使用して感性推定した場合と、画像の特徴量のみを使用して感性推定した場合と、統合的に両特徴量を使用して感性推定した場合との、各結果を比較するための表である。本実験における比較および評価の方法や各評価値は、図１２の実験におけるものと同じなので、重複する説明を省略する。

ただし、画像の特徴量抽出においては、全画像の特徴量を１００次元へ削減し、標準化処理を行っている。また、図１２の実験結果に追加して、「ｎｏｔ ｂｅｓｔ」についても各評価値を算出している。なお、標準化処理とは、各特徴量から全特徴量の平均を引いた後、その値を標準偏差で除算する処理である。

図１３の表に示される通り、統合的に画像の特徴量および生体信号の特徴量を使用したときには、生体信号の特徴量または刺激要因の特徴量だけを使用したときに比べて、Ｐｒｅｃｉｓｉｏｎ他の評価値が向上している。よって、生体信号の特徴量と刺激要因の特徴量との両方を感性推定に用いることで、更にロバストな感性推定が実現されていることが理解される。

以上、図１から図１３を用いて、感性推定型自動撮影システム１０で、学習モードでの学習の結果として、推定モードで「検出された刺激要因」と「計測された生体信号」から「人間に生じる感性の種類や強度」を推定する構成の一例を説明した。

また、ユーザ１から発せられる生体信号等を検出する装置であるメガネ型ウェアラブルカメラ１０３と、ユーザ１の感性情報を推定する装置である感性推定装置１０１とを別体として説明したが、メガネ型ウェアラブルカメラ１０３において上記の特徴量抽出・学習及び推定を行ってもよい。そのような構成を有する複数の実施形態の例として、図１４から図２０を用いて、２つの異なる実施形態を説明する。

図１４は、感性推定システム搭載メガネ型ウェアラブルカメラ１０４の模式的斜視図である。感性推定システム搭載メガネ型ウェアラブルカメラ１０４は、先の実施形態におけるメガネ型ウェアラブルカメラ１０３および感性推定装置１０１のそれぞれの複数の機能の殆どを統合的に有していて、外観は、脳波センサを簡略化して前頭・頭頂用の１点とした点を除いては、メガネ型ウェアラブルカメラ１０３と同じである。ただし、本実施形態では、感性推定システム搭載メガネ型ウェアラブルカメラ１０４を装着したユーザ１が、例えば所定の条件以上に「いいね」という感性を抱いたと推定した場合に、ユーザ１の視認対象３の静止画を記録するのではなく、画像表示装置１０２によって生成される刺激要因を調節してユーザ１の「いいね」という感性を増大させたり減少させたりする。なお、先の実施形態において説明した構成要素と同じ又は類似する参照番号を用いている構成要素については、同じ又は同様の機能を有するので、重複する説明を省略する。以降の実施形態においても、同様とする。

図１５は、感性推定システム搭載メガネ型ウェアラブルカメラ１０４と画像表示装置１０２と入出力インタフェース１０５とのブロック図である。入出力インタフェース１０５は、例えばパソコンなどの設置型電子機器やスマートフォンなどの携帯型電子機器である。ユーザ１は、感性推定システム搭載メガネ型ウェアラブルカメラ１０４を装着した状態で、画像表示装置１０２の表示部１３２に表示された画像を視認している。

本実施形態の学習モードでは、先ず、入出力インタフェース１０５の制御部１１１が、例えばモニタである表示部１１５に操作画面を表示させる。ユーザ１は、操作画面を見ながら、例えばキーボードなどの入力インタフェースである入力部１２５を操作する。制御部１１１は、入力部１２５に入力された操作データを受信すると、通信部１１３を介して感性推定システム搭載メガネ型ウェアラブルカメラ１０４の通信部１５３に操作データを送信する。感性推定システム搭載メガネ型ウェアラブルカメラ１０４の制御部１５１は、通信部１５３を介して「画像進める」操作データまたは「画像戻す」操作データを受信すると、記憶部１１９から読み出した画像を、通信部１５３を介して画像表示装置１０２の通信部１３１に送信する。通信部１３１は、受信した画像を表示部１３２に出力し、表示部１３２は、その画像を画像表示装置１０２の画面に表示する。

感性推定システム搭載メガネ型ウェアラブルカメラ１０４の制御部１５１が入出力インタフェース１０５から「画像決定」操作データを受信した場合、制御部１５１は、各種検出データの特徴量を抽出するための抽出信号を第１の出力部１２１および第２の出力部１２３に出力する。第１の出力部１２１および第２の出力部１２３は、第１の検出部１５５、第２の検出部１６０および第３の検出部１５７から入力された各種検出データのうち、「画像決定」操作が行われた前後数秒間のデータから、それぞれ特徴量抽出を行う。そして、先の実施形態と同様にして、各データが推定部１１７に集められ、推定部１１７は上記の学習を行う。なお、ユーザ１からの感性情報入力は、入出力インタフェース１０５の入力部１２５にて行われ、各通信部を介して、感性推定システム搭載メガネ型ウェアラブルカメラ１０４の推定部１１７に送信される。

本実施形態の推定モードは、先の実施形態の推定モードとは異なり、感性推定システム搭載メガネ型ウェアラブルカメラ１０４を装着したユーザ１は、実物の視認対象３を刺激要因として視認することに代えて、画像表示装置１０２によって表示された刺激要因としての動画等を視認する。ユーザ１が新たな刺激要因として画像という刺激要因を視認すると、先の実施形態と同様に、推定部１１７が、画像の特徴量と、生体信号の特徴量と、学習モードで学習した関連性とに基づいて、学習モードと同じ手法を用いて、ユーザ１の感性情報を推定し、推定した感性情報を制御部１５１に出力する。

制御部１５１は、推定部１１７によって推定された感性情報を入力されると、記憶部１１９を参照して、当該感性情報が予め定められた所定の条件を満たすか否かを判断し、所定の条件を満たす場合には、通信部１１３を介して画像表示装置１０２の通信部１３１に刺激要因としての画像を調節するための調節信号を送信する。

推定モードにおける画像表示装置１０２は、通信部１３１を介して、有線又は無線により任意の外部装置から画像信号を受信してもよく、感性推定システム搭載メガネ型ウェアラブルカメラ１０４の記憶部１１９に格納された画像信号を受信してもよい。画像表示装置１０２の調節部１３３は、通信部１３１を介して調節信号および画像信号を受信し、調節信号に基づいて、表示部１３２を視認しているユーザ１の特定の感性が増大したり減少したりするように、表示部１３２に表示させる刺激要因としての画像の明るさ等を調節する。

このように、推定された感性情報に基づいて、ユーザ１の特定の感性が増大したり減少したりするように、刺激要因としての画像の明るさ等を調節する制御方法の一例として、「感性増強型制御」や「感性抑制型制御」を用いてもよい。「感性増強型制御」とは、推定した感性を増強する方向へ刺激要因をシフトするもので、たとえば「興奮」「緊張」などの感性を推定した場合に画面を明るくし、「鎮静」や「悲哀」などの感性を推定した場合に画面を暗くするといった制御が考えられる。「感性抑制型制御」とは、推定した感性を抑制する方向へ刺激要因をシフトするもので、たとえば「興奮」「緊張」などの感性を推定した場合に画面を暗くし、「鎮静」や「悲哀」などの感性を推定した場合に画面を明るくするといった制御が考えられる。

先の実施形態では、説明の簡略化の為、刺激要因を画像による刺激要因に絞って説明したが、音響による聴覚器を刺激する刺激要因を含む場合、調節部１３３が受信する調節信号には、画像表示装置１０２のスピーカ１３５から発せられる刺激要因としての音の大きさ等を調節するための信号が含まれてもよい。この場合の音の大きさなどを調節する制御方法の一例として、上記と同様の方法が考えられる。具体的には、たとえば「興奮」「緊張」などの感性を推定した場合に音量を上げて、「鎮静」や「悲哀」などの感性を推定した場合に音量を下げるといった「感性増強型制御」や、「興奮」「緊張」などの感性を推定した場合に音量を下げて、「鎮静」や「悲哀」などの感性を推定した場合に音量を上げるといった「感性抑制型制御」である。なお、表示部１３２やスピーカ１３５は、刺激要因を生成する生成部の一例である。

他にも、刺激要因として、ユーザ１の周辺環境の温度、湿度、明るさ等も考えられる。この場合には、推定された感性情報に基づいて、周辺環境の温度、湿度、明るさ等を制御する空調機や照明器具などを制御して、上記と同様の方法で、ユーザ１の特定の感性が増大したり減少したりするように、周辺環境の温度、湿度、明るさ等を調節してもよい。

これらの制御プログラムは、感性推定システムに付随した制御ソフトウエアで実行するものであるが、「感性増強型制御」または「感性抑制型制御」を単一に適用した場合、繰り返しの使用でユーザ１が制御結果に馴致してしまう問題が予測される。これを回避するには、両者の適用を乱数的に決定すること、または、リアルタイムで推定されるユーザ１の感性情報の結果をその都度参照して固定化した動作を避けることが可能である。また、例えば動画や音響などの刺激要因における特徴量と、リアルタイムの感性情報、および制御パラメータ全体を学習することで、次の回の刺激要因の提示時にユーザ１の感性反応をより強化・改善する制御パラメータの導出を行うことも考えられる。

図１６は、感性推定システム・カメラ搭載型メガネ１０６の模式的斜視図である。感性推定システム・カメラ搭載型メガネ１０６は、機能的且つ外観的に、メガネレンズが屈折力可変レンズであってレンズに透過率可変フィルタが組み込まれている点を除いては、図１４から図１５の実施形態における感性推定システム搭載メガネ型ウェアラブルカメラ１０４と殆ど同じである。ただし、本実施形態では、学習モードおよび推定モードのフローが先の実施形態と異なる。推定モードの概要としては、感性推定システム・カメラ搭載型メガネ１０６を装着したユーザ１が、例えば所定の条件以上に「いいね」という感性を抱いていないと推定した場合に、事前学習した内容に基づいて、ユーザ１がその視認対象３を見ているときに最も強く「いいね」という感性を抱くと考えられるメガネレンズの屈折力・透過率に調整して、ユーザ１の「いいね」という感性を大きくする。

図１７は、感性推定システム・カメラ搭載型メガネ１０６と入出力インタフェース１０５とのブロック図である。本実施形態では、学習モードおよび推定モードの何れにおいても、感性推定システム・カメラ搭載型メガネ１０６を装着したユーザ１は外界の風景などを実際に見て各データを検出することを想定しているので、入出力インタフェース１０５としては、例えばスマートフォンなどの携帯型電子機器が好ましい。

本実施形態の学習モードでは、先ず、感性推定システム・カメラ搭載型メガネ１０６の制御部１５１が、記憶部１１９を参照して、予め定められた調整条件に基づく調整信号を調整部１７１に出力する。調整部１７１は、入力された調整信号に基づいて、屈折力可変レンズ１７２の屈折力を調整し、透過率可変フィルタ１７３の透過率を調整する。屈折力可変レンズ１７２としては、例えば貝塚 卓・谷 泰弘・柳原 聖らによる非特許文献「液圧型可変焦点レンズによる老眼用遠近両用眼鏡の開発」（精密工学会学術講演会講演論文集、Ｐ１８９、２００５年）に掲載の「液体レンズ」といった素子を利用できる。また、透過率可変フィルタ１７３としては、例えば丹羽 達雄による非特許文献「光制御用エレクトロクロミック素子防眩ミラーとメガネへの応用」（テレビジョン学会技術報告、１３（１）、７－１４、１９８９－０１－１２）に掲載の「エレクトロクロミック素子」といった素子を利用できる。

制御部１５１はまた、同様にして、調整信号を推定部１１７にも出力する。推定部１１７は、各検出部から検出された各種データの特徴量を随時入力されている。推定部１１７は、調整信号に基づいてメガネレンズの屈折力・透過率が調整された後の各特徴量を入力されると、入出力インタフェース１０５から受信したユーザ１の感性情報との関連性を学習する。このとき、調整信号に含まれるメガネレンズの屈折力・透過率の各調整値を示す屈折力・透過率情報を関連付けて学習する。同一の視認対象３を同じ環境条件で視認しているときに、調整条件を異ならせてこの学習を繰り返す。これにより、その状況でユーザ１が一番「いいね」と感じた屈折力・透過率を学習することになる。

本実施形態の推定モードでは、ユーザ１が新たな刺激要因として視認対象３という刺激要因を受けると、推定部１１７が、視認対象３を撮影した画像の特徴量と、生体信号の特徴量と、学習モードで学習した関連性とに基づいて、学習モードと同じ手法を用いて、ユーザ１の感性情報を推定し、更に、ユーザ１の特定の感性が一番大きくなる屈折力・透過率情報を推定し、推定した感性情報と屈折力・透過率情報を制御部１５１に出力する。

制御部１５１は、推定された感性情報を入力されると、記憶部１１９を参照して、感性情報が所定の条件を満たすか否かを判断し、所定の条件を満たさない場合には、推定された屈折力・透過率情報に基づく調整信号を調整部１７１に出力する。調整部１７１は、入力された調整信号に基づいて、屈折力可変レンズ１７２の屈折力を調整し、透過率可変フィルタ１７３の透過率を調整する。

本実施形態の一般的な使用方法としては、「気持ち良い」、「快適」などの一般的な種類の感性情報を予め設定しておき、ユーザ１が感性推定システム・カメラ搭載型メガネ１０６を装着中の条件、例えば室内外などの場所、風景や文字などの視認対象などが変化した場合に、感性情報を算出して、「気持ち良い」、「快適」などの反応値が最大になるように屈折力と透過率を制御することが考えられる。この他の感性として、見易い／見難い、快不快なども考えられるが、何れの場合も、メガネの度数や透過率に基づいて発生する感性を想定していて、生体の特定の感性が増大したり減少したりするように、メガネの屈折力および透過率の少なくとも一方を調整する。

図１８は、感性推定システム・カメラ搭載型メガネ１０６の学習モードのフロー図である。学習モードを開始する前準備として、ユーザ１は、入出力インタフェース１０５を携帯した状態で感性推定システム・カメラ搭載型メガネ１０６を装着しておく。学習モードを開始すると先ず、調整部１７１が、制御部１５１から入力された調整信号に基づいて、屈折力可変レンズ１７２の屈折力を調整し、透過率可変フィルタ１７３の透過率を調整する（ステップＳ２１１）。調整信号に基づいてメガネレンズの屈折力・透過率が調整された後に、第１の検出部１５５が視認対象３を撮影した画像を検出し（ステップＳ２１５）、第３の検出部１５７が当該画像上でユーザ１の視点が滞留した注視点を検出し（ステップＳ２１３）、第２の検出部１６０が視認対象３を見ているユーザ１から発せられた複数の生体信号を検出する（ステップＳ２２１）。

そして、先の実施形態と同様に、第１の出力部１２１が注視点を中心に一定範囲を切り取り（ステップＳ２１７）、切り取った画像の特徴量を抽出する（ステップＳ２１９）。また、第２の出力部１２３が、検出された生体信号の特徴量を抽出する（ステップＳ２２３）。第１の出力部１２１および第２の出力部１２３は、それぞれ抽出した特徴量を推定部１１７に出力する。なお、これらのデータ検出、データ切り取り及び特徴量抽出は、上記の通り随時行われている。

ユーザ１は、入出力インタフェース１０５を用いて、表示部１１５の選択画面を見ながら入力部１２５で感性情報を入力し、第３の取得部１２６が、入力部１２５に入力された感性情報を取得し（ステップＳ２２５）、推定部１１７に出力する。

推定部１１７は、画像の特徴量と、生体信号の特徴量と、感性情報との関連性を、制御部１５１からの屈折力・透過率情報と共に学習する（ステップＳ２２７）。ユーザ１の感性情報を推定するには学習が十分ではない場合は（ステップＳ２２９：いいえ）、ステップＳ２１１に戻り、ユーザ１の感性情報を推定するのに学習が十分である場合は（ステップＳ２２９：はい）、学習モードを終了する。ここで、上記のステップＳ２１１でメガネの屈折力が調整される前後のユーザ１の視界の変化を、図１９を用いて説明する。

図１９は、感性推定システム・カメラ搭載型メガネ１０６でレンズ屈折力を調整した場合におけるユーザの視界の変化を説明する図である。図１９に示される通り、レンズ屈折力が調整される前後では、ユーザ１の視界に位置する子供と女性といった２つの視認対象の見え方が異なる。そのため、例えばユーザ１が、子供よりも女性に焦点が合っている状態をより強く「いいね」と感じることを学習しておけば、ユーザ１の視界に同様の光景が入ったときであって「いいね」の強さが予め定められた条件を満たしていない場合に、女性に焦点が合うように自動調整する。

なお、図１９に示されているものは、ステップＳ２１５で検出される２つの画像の一例ともいえる。２つの画像は被写界深度が異なり、これは画像の特徴量も異なることを意味する。

図２０は、感性推定システム・カメラ搭載型メガネ１０６の推定モードのフロー図である。推定モードを開始する前準備として、学習モードと同様に、ユーザ１は、入出力インタフェース１０５を携帯した状態で感性推定システム・カメラ搭載型メガネ１０６を装着しておく。推定モードを開始すると先ず、第１の検出部１５５によって視認対象３が含まれる画像を検出し（ステップＳ２５３）、ユーザ１の視界と見なすことができる第１の検出部１５５の撮影視野の画像上で、ユーザ１の視点が滞留した注視点を第３の検出部１５７で検出し（ステップＳ２５１）、視認対象３を見ているユーザ１から発せられた複数の生体信号を第２の検出部１６０で検出する（ステップＳ２５９）。

第１の出力部１２１は、ステップＳ２５１およびステップＳ２５３で検出されたデータを元に、注視点を中心に画像の一定範囲を切り取り（ステップＳ２５５）、切り取った画像の特徴量を抽出する（ステップＳ２５７）。第２の出力部１２３は、ステップＳ２５９で検出された生体信号の特徴量を抽出する（ステップＳ２６１）。第１の出力部１２１および第２の出力部１２３は、それぞれ抽出した特徴量を推定部１１７に出力する。

推定部１１７は、これらの特徴量と、学習モードで学習した関連性とに基づいて、学習モードと同じ手法を用いて、ユーザ１が視認対象３という新たな刺激要因により刺激されたときの、感性情報と、特定の感性が一番大きくなる屈折力・透過率情報とを推定し（ステップＳ２６３）、推定した感性情報および屈折力・透過率情報を制御部１５１に出力する。制御部１５１は、感性情報を入力されると、記憶部１１９を参照して、感性情報が所定の条件を満たすか否かを判断し、所定の条件を満たす場合には（ステップＳ２６５：はい）、ステップＳ２５１、ステップＳ２５３およびステップＳ２５９に戻り、注視点、画像および生体信号の検出から、各特徴量の抽出、更には感性情報および屈折力・透過率情報の推定までをリアルタイムで繰り返す。所定の条件を満たさない場合には（ステップＳ２６５：いいえ）、調整部１７１に推定された屈折力・透過率情報を出力し、調整部１７１に、屈折力可変レンズ１７２の屈折力を調整させ、透過率可変フィルタ１７３の透過率を調整させて（ステップＳ２６７）、このフローは終了する。もちろん、感性推定システム・カメラ搭載型メガネ１０６は、各装置の電源が入っている限りにおいて、この処理を繰り返し、常にユーザ１の感性情報と屈折力・透過率情報とを推定して、例えば「気持ち良い」、「快適」などの反応値が最大になるように、又は、「不快」、「見難い」などの反応値が最小になるように、屈折力と透過率を制御する。

以上、図１から図２０を用いて、メガネ型の装置またはメガネ自体を用いて、学習モードでの学習の結果として、推定モードで「検出された刺激要因」と「計測された生体信号」から「人間に生じる感性の種類や強度」を推定する構成の一例を説明した。次に、図２１から図２５を用いて、この構成をカメラに適用した例を説明する。

図２１は、一眼レフタイプの感性推定システム搭載カメラ２０１の模式的正面図であり、図２２は、感性推定システム搭載カメラ２０１の模式的背面図である。また、図２３は、感性推定システム搭載カメラ２０１と入出力インタフェース１０５とのブロック図である。

図２１から図２３に示される通り、感性推定システム搭載カメラ２０１は、通常の一眼レフタイプのカメラの構成・機能に加えて、ファインダ接眼窓の近くに取り付けられた複数の接続コード、及び、各接続コードの端部に取り付けられた電極を含む脳波センサ２６１と、撮影時にユーザ１によって把持されるグリップ部分においてユーザ１の複数の指の先が嵌まる窪みの各底に設けられた心拍センサ２６５と、ファインダ接眼窓の周囲に配置された複数の電極を含む眼電センサ２６６と、ファインダ接眼窓が位置する側の反対側であるカメラ底部に取り付けられた呼吸センサ２６９と、を有する第２の検出部２６０を備える。眼電センサ２６６は、ファインダ接眼窓の周囲に複数の電極を有するので、感性推定システム搭載カメラ２０１を縦持ちにしたときも水平眼電位および垂直眼電位等を測定できる。

感性推定システム搭載カメラ２０１は更に、内部の光路内に設けられたハーフミラー、及び、ハーフミラーで反射してきた目の画像を検出する追加の撮像素子を有する第３の検出部２５７と、外部の入出力インタフェース１０５と無線通信するための内蔵型アンテナといった通信部２５３と、先の実施形態と同様の機能を有する、第１の出力部２２１、第２の出力部２２３、第１の取得部２２２、第２の取得部２２４、第３の取得部２２６、推定部２１７、記憶部２１９および制御部２５１とを備える。

感性推定システム搭載カメラ２０１はこれらの構成要素の他に、通常の一眼レフタイプのカメラと同様の構成として、被写体を撮像するための第１の検出部２５５と、ユーザ１がカメラの撮影条件、例えばレンズのＦ値、シャッタースピード、ＩＳＯ感度、アングル、ホワイトバランス、ズーミング、フォーカシングなどを入力するための撮影条件入力部２８１と、制御部２５１からの信号に基づいて撮影条件入力部２８１に入力された撮影条件を設定する撮影条件設定部２８３と、被写体を撮影する操作を実行するための例えばシャッターである操作部２８５と、を備える。

図２４は、感性推定システム搭載カメラ２０１の学習モードのフロー図である。本実施形態の学習モードにおいても、図４を用いて説明した実施形態の学習モードのフローと同様に、撮影条件のみが異なる画像セットを順次画像表示装置１０２に表示して、ユーザ１がこれを見ながら、一番「いいね」と感じた画像を決定し、ユーザ１にそのときの感性情報を入力させることで、各データを収集する構成としてもよい。図２４では、このようなものとは異なる学習手法のフローを説明する。具体的な概要としては、先ず、ユーザ１が視認対象３に感性推定システム搭載カメラ２０１のレンズを向けた状態で撮影条件を段階的に変更し、ユーザ１は一番「いいね」と感じたときにシャッターを切る。そして、ユーザ１にそのときの感性情報を入力させて、各データを収集する。以下、図２４のフローを詳細に説明する。

学習モードを開始する前準備として、ユーザ１は、入出力インタフェース１０５を携帯した状態で、感性推定システム搭載カメラ２０１の脳波センサ２６１を装着し、感性推定システム搭載カメラ２０１のレンズを視認対象３に向けてファインダを覗き込みながら、感性推定システム搭載カメラ２０１を横持ち又は縦持ちで支持しておく。このときの感性推定システム搭載カメラ２０１の撮影条件は、製品出荷時に設定されている条件を使用してもよいし、以前の学習結果を呼び出して設定してもよい。

学習モードを開始すると先ず、ユーザ１が撮影条件入力部２８１で手入力により、又は、制御部２５１がランダムに撮影条件を入力し、制御部２５１からの信号に基づいて撮影条件設定部２８３が撮影条件を設定することで、撮影条件を調整する（ステップＳ３１１）。次の各データを検出するステップから各特徴量を抽出するステップ（ステップＳ３１３からステップＳ３２３）までは、上記のステップＳ２１３からステップＳ２２３までと同様なので、説明を省略する。

続けて、ユーザ１が操作部２８５でシャッター操作を行っていない場合には（ステップＳ３２５：いいえ）、ステップＳ３１１に戻って撮影条件を調整し、シャッター操作を行った場合には（ステップＳ３２５：はい）、推定部２１７は、シャッター操作の前後数秒の画像および生体信号の各特徴量を取得する（ステップＳ３２７）。

ユーザ１は、入出力インタフェース１０５を用いて、表示部１１５の選択画面を見ながら入力部１２５で感性情報を入力し、第３の取得部２２６が、入力部１２５に入力された感性情報を取得し（ステップＳ３２９）、推定部２１７に出力する。

推定部２１７は、画像の特徴量と、生体信号の特徴量と、感性情報との関連性を学習する（ステップＳ３３１）。ユーザ１の感性情報を推定するには学習が十分ではない場合は（ステップＳ３３３：いいえ）、ステップＳ３１１に戻り、ユーザ１の感性情報を推定するのに学習が十分である場合は（ステップＳ３３３：はい）、学習モードを終了する。

図２５は、感性推定システム搭載カメラ２０１の推定モードのフロー図である。推定モードを開始する前準備として、学習モードと同様の状態にしておく。推定モードを開始すると先ず、ユーザ１が撮影条件入力部２８１で手入力により、又は、制御部２５１がランダムに撮影条件を入力して、撮影条件を調整する（ステップＳ３５１）。次の各データを検出するステップから各特徴量を抽出するステップ（ステップＳ３５３からステップＳ３６３）までは、上記のステップＳ２５１からステップＳ２６１までと同様なので、説明を省略する。

ステップＳ３６３に続いて、推定部２１７は、これらの特徴量と、学習モードで学習した関連性とに基づいて、学習モードと同じ手法を用いて、ユーザ１が視認対象３という新たな刺激要因により刺激されたときの感性情報を推定し（ステップＳ３６５）、推定した感性情報を制御部２５１に出力する。制御部２５１は、感性情報を入力されると、記憶部２１９を参照して、感性情報が所定の条件を満たすか否かを判断し、所定の条件を満たさない場合には（ステップＳ３６７：いいえ）、ステップＳ３５１に戻って撮影条件を調整し、所定の条件を満たす場合には（ステップＳ３６７：はい）、操作部２８５に操作信号を出力し、操作部２８５にシャッター操作を実行させて（ステップＳ３６９）、このフローは終了する。もちろん、感性推定システム搭載カメラ２０１は、各装置の電源が入っている限りにおいて、この処理を繰り返し、常にユーザ１の感性情報を推定して、例えば予め定められた強さ以上の「いいね」度が推定された場合にはシャッターを切るよう制御する。このようにして、ユーザ１が「いいね」と思った瞬間に自動でシャッターを切ることができるので、シャッターボタンを押すという操作によって生じるタイムラグを軽減できる。

なお、本実施形態において、撮影した画像の特徴量と、その時の生体信号の特徴量と、「感性」情報とを入力し、推定部２１７に追加学習させてもよい。その場合は、より個人の「感性」に沿った撮影ができるようになる。この機能についても、予め行うか行わないかを設定しておいてもよい。

なお、本実施形態において、注視点を検出するための第３の検出部は、代替的・追加的に、図示した眼電センサ２６６であってもよく、外付けの小型カメラであってもよく、これらの組み合わせであってもよい。また、入出力インタフェース１０５の代わりに、感性推定システム搭載カメラ２０１の背面モニタと操作ボタンとを用いてユーザ１が感性情報を入力できる構成としてもよい。また、脳波センサ２６１の取り付け位置は、カメラ筐体の他の任意の位置にしてもよい。また、呼吸センサ２６９は、取り外し可能な呼吸測定装置としてもよく、その場合には、呼吸測定装置はネジ・クリップなどで取り付け可能であってもよく、カメラ筐体の周囲の任意の位置に、対応する穴・窪みを設ける。

なお、本実施形態では、一眼レフタイプの感性推定システム搭載カメラ２０１を説明したが、上記のユーザ１の感性を推定する構成は、コンパクトデジタルカメラなどにも適用可能である。この場合には、例えばシャッターボタン部にセンサを配置して、心拍信号および呼吸信号を計測してもよく、その他の生体信号は、別個にメガネ型ウェアラブルカメラ１０３のような生体信号計測機器を用いて測定してもよい。

次に、図２６から図２８を用いて、上記の感性情報を推定する構成を画像処理システムに適用した例を説明する。図２６は、感性推定型自動画像処理システム３０のブロック図である。

未処理画像を画像処理する場合、微妙な調整においてはユーザ１が試行錯誤してユーザ１が好ましいと思う調整値を探すことが考えられるが、調整作業を繰り返していくうちに、しばしばユーザ１自身でどこを持って好ましい調整値とするか、わからなくなってしまうことがある。感性推定型自動画像処理システム３０は、ユーザ１がそのような微妙な調整作業中に、ある処理済画像で好ましいと感じたと推定し、そのように推定された幾つかの処理済画像をランキング表示し、ユーザ１に選択させることができる。

感性推定型自動画像処理システム３０は、画像処理装置３０１と、第１の検出部３５５と、脳波センサ３６１、心拍センサ３６５、眼電センサ３６６および呼吸センサ３６９を含む第２の検出部３６０と、第３の検出部３５７とを備える。これらの検出部は、画像処理装置３０１と別個に配置されていてもよく、画像処理装置３０１に取り付けられていてもよい。

感性推定型自動画像処理システム３０は、先の実施形態と同様の構成要素として、第１の出力部３２１、第１の取得部３２２、第２の出力部３２３、第２の取得部３２４および第３の取得部３２６を備え、先の実施形態と異なる構成要素として、ユーザ１によって入力部３２５で入力された、感性の種類を示す情報である感性種類情報と、画像の調整パラメータの種類、調整範囲、及び、調整の単位変化量の少なくとも１つを示す情報である画像調整情報とを取得する第４の取得部３２８と、未処理画像または処理済画像を表示する表示部３９８とを備える。第４の取得部３２８は、感性種類情報および画像調整情報を制御部３５１に出力する。感性推定型自動画像処理システム３０は更に、記憶部３１９から読み出された未処理画像と画像調整情報とを制御部３５１から入力され、その画像調整情報に基づいて、未処理画像から調整条件が互いに異なる複数の処理済画像を生成するために、未処理画像を処理する画像処理部３９１を備える。画像処理部３９１は、複数の処理済画像を生成すると、制御部３５１からの信号に基づいて複数の処理済画像を表示部３９８に表示させる。

感性推定型自動画像処理システム３０は更に、複数の処理済画像ごとに推定部３１７によって推定された複数の感性情報を制御部３５１から入力され、感性種類データに含まれる感性の種類に基づいて複数の感性情報をそれぞれ評価する評価部３９５と、評価部３９５によって評価された複数の感性情報を評価部３９５から入力され、その複数の感性情報のそれぞれ対応する複数の処理済画像を画像処理部３９１から入力され、その評価に従って表示した評価画像を生成する画像生成部３９３とを備える。画像生成部３９３は、評価画像を生成すると、制御部３５１からの信号に基づいて評価画像を表示部３９８に表示させる。

本実施形態における第１の検出部３５５は、表示部３９８に表示された複数の処理済画像を、複数の刺激要因として検出する。また、上記の画像の調整パラメータの種類としては、明るさ・色(ＲＧＢバランス、色相・彩度・明度)、コントラスト、トーンカーブなどが考えられる。この他に、構図の変更や被写体の抽出を行うべく、トリミングなども考えられる。なお、調整の単位変化量とは、調整範囲内での調整ステップを意味する。

図２７は、感性推定型自動画像処理システム３０の学習モードのフロー図である。学習モードを開始する前準備として、ユーザ１は、第２の検出部３６０が各生体信号を検出可能な状態にし、第３の検出部３５７が注視点を検出可能な状態にし、且つ、画像処理装置３０１の入力部３２５を操作できる状態にしておく。学習モードを開始すると先ず、制御部３５１が、記憶部３１９に記憶された調整条件が互いに異なる処理済画像セットの中から１組の処理済画像セットを選択し、表示部３９８に表示させる処理済画像セットを用意する（ステップＳ４１１）。

次に、制御部３５１は用意した処理済画像セットの最初の画像を表示部３９８に表示させ（ステップＳ４１３）、ユーザ１はこの画像を見て、予め設定された方法で、入力部３２５を操作する。「画像進める」操作である場合（ステップＳ４１５：はい）、当該操作データを入力された制御部３５１は、記憶部３１９から調整条件のみが異なる次の処理済画像を読み出し、表示部３９８に表示された処理済画像を切り替えさせて（ステップＳ４１７）、ステップＳ４１３に戻り、次の処理済画像を表示させる。「画像進める」操作ではなく（ステップＳ４１５：いいえ）、「画像戻す」操作である場合（ステップＳ４１９：はい）、前の画像が存在すれば、上記の流れと同様にして、表示部３９８に表示された処理済画像を切り替えさせて（ステップＳ４２１）、ステップＳ４１３に戻り、前の処理済画像を表示させる。更に「画像戻す」操作でもなく（ステップＳ４１９：いいえ）、「画像決定」操作でもない場合（ステップＳ４２３：いいえ）、ステップＳ４１５に戻り、一連の判断を繰り返す。

「画像決定」操作である場合（ステップＳ４２３：はい）、次に続く、第１の検出部３５５による処理済画像の検出および第３の検出部３５７による注視点の検出から、関連性を学習する（ステップＳ４２５からステップＳ４４１）までは、上記のステップＳ１２５からステップＳ１４１までと同様なので、説明を省略する。

ステップＳ４４１に続いて、ユーザ１の感性情報を推定するには学習が十分ではない場合（ステップＳ４４３：いいえ）、表示部３９８に表示させる処理済画像セットを次の処理済画像セットに切り替えるべく（ステップＳ４４５）、記憶部３１９に記憶された複数の処理済画像セットの中から他の１組の処理済画像セットを選択し、ステップＳ４１３に戻る。ユーザ１の感性情報を推定するのに学習が十分である場合（ステップＳ４４３：はい）、学習モードを終了する。

図２８は、感性推定型自動画像処理システム３０の推定モードのフロー図である。推定モードを開始する前準備として、ユーザ１は、第２の検出部３６０が各生体信号を検出可能な状態にし、且つ、第３の検出部３５７が注視点を検出可能な状態にしておく。推定モードを開始すると先ず、制御部３５１が、記憶部３１９に記憶されている複数の未処理画像の中から１つを読み出し、更に、記憶部３１９に記憶されている予め用意された複数の感性種類情報および画像調整情報を読み出して、未処理画像とこれらの情報の一覧とを表示部３９８に表示させる（ステップＳ４５１）。ユーザ１は表示部３９８を見ながら、その未処理画像に対する感性種類情報および画像調整情報を選択し、入力部３２５でその選択内容を入力する。

第４の取得部３２８は、入力部３２５からの入力により、選択された感性種類情報および画像調整情報を取得する（ステップＳ４５３）。制御部３５１は、第４の取得部３２８からこれらの情報を入力されると、表示部３９８に表示させた未処理画像と、画像調整情報とを画像処理部３９１に出力する。画像処理部３９１は、入力された画像調整情報に基づいて未処理画像を画像処理し（ステップＳ４５５）、調整条件が互いに異なる処理済画像セットを用意して（ステップＳ４５７）、表示部３９８に順次表示させる（ステップＳ４５９）。

次に続く、第１の検出部３５５による処理済画像の検出および第３の検出部３５７による注視点の検出から、感性情報を推定する（ステップＳ４６１からステップＳ４７３）までは、上記のステップＳ３５３からステップＳ３６５までと同様なので、説明を省略する。

ステップＳ４７３に続いて、制御部３５１は、全ての処理済画像を表示したか否かを判断し、表示していない場合は（ステップＳ４７５：いいえ）、表示部３９８に表示させる処理済画像を次の処理済画像に切り替えるべく（ステップＳ４７７）、画像処理部３９１に切り替えるための信号を出力し、ステップＳ４５９に戻る。全ての処理済画像を表示した場合（ステップＳ４７５：はい）、制御部３５１は、推定部３１７から入力された、各処理済画像に対して推定された感性情報を、感性種類データと共に評価部３９５に出力する。評価部３９５は、入力された感性種類データに基づいて、各感性情報を評価し（ステップＳ４７９）、評価した複数の感性情報を評価結果データと共に画像生成部３９３に出力する。画像生成部３９３は、評価部３９５からの入力と、画像処理部３９１からの入力により、その複数の感性情報のそれぞれに対応する複数の処理済画像を評価に従って表示したランキング画像を生成して（ステップＳ４８１）、表示部３９８に表示させることで（ステップＳ４８３）、推定モードを終了する。

ユーザ１は、ランキング画像を確認して、結果に満足したら画像を選定・保管してもよく、結果に満足しなかったら画像種類情報および画像調整情報を選択し直してこれらのフローを繰り返させてもよい。

本実施形態において、調整パラメータの設定方法として、ユーザ１が種類、調整範囲、調整ステップを個別に手動入力する「マニュアルモード」を説明したが、予めシステムに標準的な条件を設定した調整パラメータファイルを準備させて自動で設定させる「オートモード」であってもよい。

本実施形態において、例えば２種類以下くらいに、調整パラメータ数が少ない場合は、事前に設定したパラメータの調整範囲について、調整ステップ刻みで実行して想定されるすべての画像を生成することは容易であるが、例えば３種類以上くらいに、調整パラメータ数が多い場合、全条件での画像生成を行っていると、多大な時間を要する。そこで、このような場合には、モンテカルロ法のようにパラメータの調整範囲内で乱数的にパラメータを変化させた画像生成を行うことが好ましい。

次に、図２９から図３０を用いて、上記の感性情報を推定する構成を顕微鏡に適用した例を説明する。図２９は、感性推定システム搭載顕微鏡４０１のブロック図であり、図３０は、感性推定システム搭載顕微鏡４０１によって生成される操作履歴画像の一例を説明する図である。感性推定システム搭載顕微鏡４０１は、ユーザ１が顕微鏡のステージを動かしながらサンプルを観察している時に、一番良いと感じられたサンプル内のＸＹ位置での画像を自動的に保存する。更に、「いいね度」の度合いに合わせて画像の大きさを調整することで、図３０に示されるように、効果的な履歴表示を行うことも可能である。例えば、図３０の履歴表示画面で、「いいね度」が高い画像を、大きくしたり、フラグを立てたりすることで、強調表示ができる。なお、図１１に示したように「いいね」度推定を常に計算してグラフ化しながら、極大点で画像を保存してもよい。また、「いいね」度をメタデータに入れておき、後で時系列上の極大点を抽出して、ランキング表示を行ってもよい。

感性推定システム搭載顕微鏡４０１は、先の実施形態と同様の構成要素として、第１の出力部４２１、第１の取得部４２２、第２の出力部４２３、第２の取得部４２４、入力部４２５、第３の取得部４２６、記憶部４１９、制御部４５１、第１の検出部４５５、第２の検出部４６０、第３の検出部４５７を備える。また、第２の検出部４６０は、脳波センサ４６１、心拍センサ４６５、眼電センサ４６６および呼吸センサ４６９を有する。本実施形態における眼電センサ４６６は、接眼レンズの周囲に設けられた複数の電極を有してもよい。また、心拍センサ４６５は、接眼レンズに配置された、血流計測用の近赤外線光源と小型カメラとを有してもよい。

感性推定システム搭載顕微鏡４０１は、先の実施形態と異なる構成要素として、推定部４１７によって推定された感性情報に基づいて、第１の検出部４５５で検出されている刺激要因としての観察画像中の静止画を記録する記録部４５９と、推定部４１７によって推定された感性情報に基づいて、記録部４５９で記録された画像から、図３０に示されるような画像を生成する画像生成部４９３とを備える。画像生成部４９３は、生成した画像を表示部４９８に表示させる。

なお、顕微鏡はフォーカスの調整により見る対象が変わるので、本実施形態において追加的に又は代替的に、フォーカスのオートスキャン時に、「いいね度」を推定し、観察したい対象が見えるフォーカス面に自動で合わせてもよい。また、ユーザ１毎のキャリブレーション（学習）を行うときは、普段の操作の中で、凝視の具合や観察時間から興味のある画像とランキング情報を抽出しておき、それを、そのまま学習に使ったり、それを候補リストとして用いて良い画像を選択させたりすることで、キャリブレーション作業を簡便化することができる。

以上、複数の実施形態を用いて、主に「いいね」という感性の種類と、「いいね」度という感性の強度とを推定する構成を説明した。感性の種類としては、ラッセルの感情円環モデルを示す図３１に示されるように、他にも複数考えられる。以上の複数の実施形態は、ラッセルの感情円環モデルに示されるような複数の感性も適用可能である。

以上の実施形態では、第２の出力部に入力された複数の種類の生体信号は、例えば１つのＲＮＮを用いて、生体信号の統合的な特徴量として出力される構成として説明した。また、刺激要因の一例として画像を用いた。そして、第１の出力部に入力された画像は、例えば１つのＣＮＮを用いて、画像の特徴量として出力される構成として説明した。これらの構成の変形例を、図３２を用いて説明する。

図３２は、感性推定システム７０を模式的に説明する図である。感性推定システム７０は、これまでの実施形態と異なる構成要素として、画像を検出する画像センサ７５６、及び、音声を検出する音声センサ７５７を含む第１の検出部７５５と、画像センサ７５６で検出された画像が入力されると、例えばＣＮＮを用いて画像の特徴量を抽出して出力する画像特徴量出力部７２６、及び、音声センサ７５７で検出された音声が入力されると、例えばＲＮＮを用いて音声の特徴量を抽出して出力する音声特徴量出力部７２７を含む第１の出力部７２１とを備える。

感性推定システム７０は更に、脳波センサ７６１、心拍センサ７６５、眼電センサ７６６および呼吸センサ７６９を含む第２の検出部７６０からの複数の種類の生体信号が入力されると、図３１のラッセルの感情円環モデルにおける縦軸の覚醒度および横軸の快不快の各特徴量を、ＮＮを用いて生体信号の特徴量としてそれぞれ抽出し、第２の取得部７２４に出力する、覚醒度出力部７２８および快不快出力部７２９を含む、第２の出力部７２３を備える。

ここで、ラッセルの感情円環モデルに示される「覚醒度」は、齋藤正範（北里大学医学部精神科学）による非特許文献「覚醒度を脳波で把握する」（精神神経学雑誌、１１０巻９号、Ｐ．８４３～８４８、２００８年）にも掲載されているように、脳波（α波）や眼球運動（眼電）を用いることで検出できる。そのため、覚醒度出力部７２８が抽出する覚醒度の特徴量を、生体信号の特徴量の１つと考えることができる。また、ラッセルの感情円環モデルに示される「快不快」は、脳波のα波とβ波の比率を用いて検出できる。「不快」はストレス状態でもあるので、心拍の亢進や呼吸の増大によっても検出できる。そのため、快不快出力部７２９が抽出する快不快の特徴量を、生体信号の特徴量の１つと考えることができる。

感性推定システム７０は更に、第２の取得部７２４から入力された覚醒度および快不快の各特徴量、並びに、ユーザ１によって入力部７２５から入力された感性情報の関連性を、ＮＮを用いて学習し、第２の取得部７２４から新たな覚醒度および快不快の各特徴量が入力されると、新たな覚醒度および快不快の各特徴量と学習した関連性とに基づいて、感性情報を推定する第１の推定部７１７を備える。

感性推定システム７０は更に、第１の推定部７１７よりも高精度の感性情報を推定する第２の推定部７１８を備える。第１の推定部７１７は、学習モードでは、入力された新たな覚醒度および快不快の各特徴量をそのまま第２の推定部７１８に出力し、推定モードでは、入力された新たな覚醒度および快不快の各特徴量に加えて、推定した感性情報を第２の推定部７１８に出力する。そして、第２の推定部７１８は、学習モードでは、第１の取得部７２２から画像および音声の各特徴量が入力され、第１の推定部７１７から、ユーザ１がそれらの刺激要因により刺激されたときの覚醒度および快不快の各特徴量と、推定モードの第１の推定部７１７によって推定された感性情報とが入力され、更に、ユーザ１によって入力部７２５から感性情報が入力され、これらの関連性を、ＮＮを用いて学習する。第２の推定部７１８は、推定モードでは、第１の取得部７２２から新たな画像および音声の各特徴量が入力され、第１の推定部７１７から、ユーザ１がこれらの新たな刺激要因により刺激されたときの新たな覚醒度および快不快の各特徴量と、推定モードの第１の推定部７１７によって推定された感性情報とが入力され、これらと学習した関連性とに基づいて、感性情報を出力する。このように、感性推定システム７０は、段階的に感性情報を推定する第１の推定部７１７および第２の推定部７１８を備えるので、第１の推定部７１７で推定した感性情報の推定精度を、第２の推定部７１８で高めることができる。

以上、複数の実施形態を用いて、感性情報を推定する構成の複数の例を説明した。ここで、例えば図１から図１４を用いて説明した感性推定型自動撮影システム１０の変形例を、図３３および図３４を用いて説明する。ここでは、説明の簡略化のため、感性推定型自動撮影システム１０の構成と異なる構成についてのみ説明する。

図３３は、感性推定型自動撮影システム１３のブロック図である。感性推定型自動撮影システム１０においては、検出された刺激要因の特徴量を抽出する処理、及び、計測された生体信号の特徴量を抽出する処理を、感性推定装置１０１が実行する構成として説明した。これに代えて、図３３に示される感性推定型自動撮影システム１３は、各特徴量の抽出をメガネ型ウェアラブルカメラ１０３で実行し、感性推定装置１０１は抽出された各特徴量を取得して上記の学習及び推定を行う。すなわち、感性推定装置１０１は、各特徴量を抽出する処理を実行しない。具体的には、メガネ型ウェアラブルカメラ１０３が、第１の出力部１２１および第２の出力部１２３を備える。メガネ型ウェアラブルカメラ１０３の制御部１５１は、第１の出力部１２１および第２の出力部１２３がそれぞれ抽出した刺激要因の特徴量および生体信号の特徴量を、通信部１５３を介して感性推定装置１０１の通信部１１３に送信する。通信部１１３は、受信した刺激要因の特徴量および生体信号の特徴量を、それぞれ第１の取得部１２２および第２の取得部１２４に出力する。

図３４は、感性推定型自動撮影システム１４のブロック図である。感性推定型自動撮影システム１０においては、ユーザ１に感性情報の選択画面を表示する表示部１１５、ユーザ１によって感性情報が入力される入力部１２５、及び、入力部１２５から入力される感性情報を取得して推定部１１７に出力する第３の取得部１２６を感性推定装置１０１が備える構成として説明した。更に、刺激要因の特徴量と、生体信号の特徴量と、感性情報との関連性を学習する処理を感性推定装置１０１が実行する構成として説明した。これに代えて、図３４に示される感性推定型自動撮影システム１４は、図１４及び図１５の実施形態において説明した入出力インタフェース１０５を更に備え、入出力インタフェース１０５が、表示部１１５、入力部１２５及び第３の取得部１２６を有し、感性推定装置１０１はこれらの構成を有さない。入出力インタフェース１０５は、第３の取得部１２６が取得した感性情報を、通信部１１３を介してメガネ型ウェアラブルカメラ１０３の通信部１５３に送信する。

メガネ型ウェアラブルカメラ１０３は、第１の出力部１２１および第２の出力部１２３がそれぞれ抽出した刺激要因の特徴量および生体信号の特徴量と、通信部１５３を介して入出力インタフェース１０５から受信した感性情報との関連性を学習する学習部１１８を備える。学習部１１８は、感性推定型自動撮影システム１０の推定部１１７と同様の構成を有し、深層学習、機械学習、統計処理などの手法を用いて、上記の関連性を学習し、学習した結果を制御部１５１に出力する。制御部１５１は、学習部１１８が学習した結果を、通信部１５３を介して感性推定装置１０１の通信部１１３に送信する。通信部１１３は受信した学習結果を記憶部１１９に出力し、記憶部１１９は学習結果を記憶する。

感性推定装置１０１の推定部１１７は、記憶部１１９に記憶された上記の学習結果に基づいて、ユーザ１が新たな刺激要因により刺激されたときの感性情報を推定する。すなわち、感性推定装置１０１は、各特徴量を抽出する処理を実行せず、上記の関連性を自ら学習することなく、上記の感性情報を推定する。なお、各特徴量を抽出する処理、及び、上記の関連性を学習する処理は、メガネ型ウェアラブルカメラ１０３以外の別の装置が行ってもよい。

以上、複数の実施形態を用いて、上記の感性情報を推定する構成の複数の例を説明したが、他に双眼鏡にも適用可能である。この場合、双眼鏡は、ユーザが使用するときに、自動的にフォーカスをスキャニングする構成とする。そして、推定部によって推定された感性情報に基づいて、フォーカスを設定するフォーカス設定部を備える。これにより、フォーカスを自動スキャニング中に、ユーザが一番「いいね」と感じたと推定したときに、自動的にフォーカスを設定できる。

更にまた、感性推定装置に、生体の感覚器を刺激する刺激要因の特徴量を取得する手順と、生体が刺激を受けたときに生体から検出される生体信号の特徴量を取得する手順と、刺激要因の特徴量と、生体信号の特徴量と、生体が刺激要因により刺激されたときの生体の感性を示す感性情報との関連性を学習した結果に基づいて、生体が新たな刺激要因により刺激されたときの感性情報を推定する手順とを実行させるためのプログラムも考えられる。

以上の複数の実施形態において、各装置の学習モードおよび推定モードにおけるユーザは同一人物であることを前提として説明したが、学習モードにおいて１人のユーザから得られる各データを用いて学習した関連性に基づいて、判別モードにおいて複数のユーザの感性情報を推定してもよい。この場合、個人毎のチューニングを必要としてもよいが、ＲＮＮの学習において、各ノードの初期値として、製品出荷前の開発時の平均的な学習結果を入れておき、実際のユーザに合わせて学習させることで、学習時間の短縮をしてもよい。一方で、全体を統合するＳＶＭの学習は、ユーザ毎に必ず必要としてもよい。

以上の複数の実施形態において説明したように、ＲＮＮの学習では、学習時に、入力と対応する出力を与えるので、通常の予測では、入力は、同じ変数の時刻ｔと、時刻ｔ＋１の値である。学習が終わり、時刻ｔの値を入力として入れると、時刻ｔ＋１の予測ができるようになる。そこで、入力として、例えば、時刻ｔの脳波の特徴ベクトルを入れて、対応する出力として、時刻ｔ＋１の脳波の特徴ベクトルと同じく時刻ｔ＋１の心拍の特徴量を入れてもよい。この場合、学習がうまくできると、時刻ｔの脳波の特徴ベクトルから、時刻ｔ＋１の脳波と心拍の特徴ベクトルを推定することができる。よって、心拍データは学習時には必要であるが、判別時には不要とすることができる。

以上の複数の実施形態において、学習モードで画像表示装置に表示させる刺激要因の画像として、画角、色の要素（明度・彩度・色相）、ピント、被写界深度、フレーミングなど、写真画像のパラメータのいずれかが連続的に変化する画像群を用いてもよい。

以上の複数の実施形態において、ユーザに感性情報として「いいね」度を１０段階評価で入力してもらう構成を説明した。これに代えて、一対比較表のような形で、ペアの比較を繰り返すことで、全体の順序関係を算出する方法や、提示する複数の刺激要因の間で、変化量に何らかの連続性が仮定できる場合に、最適なところだけ被験者に選んでもらい、選んでもらった刺激要因を基準に全体の順序関係を作るという方法を用いてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態もまた、本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ ユーザ、３ 視認対象、１０、１３、１４ 感性推定型自動撮影システム、３０ 感性推定型自動画像処理システム、７０ 感性推定システム、１０１ 感性推定装置、１０２ 画像表示装置、１０３ メガネ型ウェアラブルカメラ、１０４ 感性推定システム搭載メガネ型ウェアラブルカメラ、１０５ 入出力インタフェース、１０６ 感性推定システム・カメラ搭載型メガネ、１１１ 制御部、１１３ 通信部、１１５ 表示部、１１７、２１７、３１７、４１７ 推定部、１１８ 学習部、１１９、２１９、３１９、４１９ 記憶部、１２１、２２１、３２１、４２１、７２１ 第１の出力部、１２２、２２２、３２２、４２２、７２２ 第１の取得部、１２３、２２３、３２３、４２３、７２３ 第２の出力部、１２４、２２４、３２４、４２４、７２４ 第２の取得部、１２５、３２５、４２５、７２５ 入力部、１２６、２２６、３２６、４２６ 第３の取得部、１３１ 通信部、１３２ 表示部、１３３ 調節部、１３５ スピーカ、１４１ フレーム、１４３ ツル、１５１、２５１、３５１、４５１ 制御部、１５３、２５３ 通信部、１５５、２５５、３５５、４５５、７５５ 第１の検出部、１５７、２５７、３５７、４５７ 第３の検出部、１５９、４５９ 記録部、１６０、２６０、３６０、４６０、７６０ 第２の検出部、１６１、２６１、３６１、４６１、７６１ 脳波センサ、１６２ 右側頭部脳波センサ、１６３ 頭頂部脳波センサ、１６４ 左側頭部脳波センサ、１６５、２６５、３６５、４６５、７６５ 心拍センサ、１６６、２６６、３６６、４６６、７６６ 眼電センサ、１６７ 水平眼電センサ、１６８ 垂直眼電センサ、１６９、２６９、３６９、４６９、７６９ 呼吸センサ、１７１ 調整部、１７２ 屈折力可変レンズ、１７３ 透過率可変フィルタ、２０１ 感性推定システム搭載カメラ、２８１ 撮影条件入力部、２８３ 撮影条件設定部、２８５ 操作部、３０１ 画像処理装置、３２８ 第４の取得部、３９１ 画像処理部、３９３、４９３ 画像生成部、３９５ 評価部、３９８、４９８ 表示部、４０１ 感性推定システム搭載顕微鏡、７２６ 画像特徴量出力部、７２７ 音声特徴量出力部、７２８ 覚醒度出力部、７２９ 快不快出力部、７１７ 第１の推定部、７１８ 第２の推定部

Claims (16)

1. 生体の視点が滞留する注視点を中心とする一定範囲に基づいて前記生体の感覚器を刺激する刺激要因の特徴量を取得する第１の取得部と、
   前記生体から検出される生体信号の特徴量を取得する第２の取得部と、
   前記刺激要因の特徴量と、前記生体が前記刺激要因により刺激されたときの前記生体信号の特徴量と、前記生体が前記刺激要因により刺激されたときの前記生体の感性を示す感性情報との関連性を学習した結果に基づいて、前記生体が新たな刺激要因により刺激されたときの前記感性情報を推定する推定部と
   を備える感性推定装置。
2. 前記感性情報を取得する第３の取得部を更に備え、
   前記推定部は、前記第１の取得部によって取得された前記刺激要因の特徴量と、前記第２の取得部によって取得された前記生体信号の特徴量と、前記第３の取得部によって取得された前記感性情報とを用いて前記関連性を学習し、前記生体が新たな刺激要因により刺激された場合に、前記第１の取得部によって取得された前記新たな刺激要因の特徴量と、前記第２の取得部によって取得された、前記生体が前記新たな刺激要因により刺激されたときの前記生体信号の特徴量と、前記関連性とに基づいて、前記生体が前記新たな刺激要因により刺激されたときの前記感性情報を推定する
   請求項１に記載の感性推定装置。
3. 前記推定部は、
   前記第２の取得部によって取得された、前記生体が前記刺激要因により刺激されたときの前記生体信号の特徴量と、前記第３の取得部によって取得された、前記生体が前記刺激要因により刺激されたときの前記感性情報との関連性を学習し、前記生体が前記新たな刺激要因により刺激された場合に、前記第２の取得部によって取得された、前記生体が前記新たな刺激要因により刺激されたときの前記生体信号の特徴量と、前記関連性とに基づいて、前記生体が前記新たな刺激要因により刺激されたときの前記感性情報を推定する第１の推定部と、
   前記第１の取得部によって取得された前記刺激要因の特徴量と、前記第２の取得部によって取得された、前記生体が前記刺激要因により刺激されたときの前記生体信号の特徴量と、前記第１の推定部によって推定された前記感性情報と、前記第３の取得部によって取得された、前記生体が前記刺激要因により刺激されたときの前記感性情報との関連性を学習し、前記生体が前記新たな刺激要因により刺激された場合に、前記第１の取得部によって取得された前記新たな刺激要因の特徴量と、前記第２の取得部によって取得された、前記生体が前記新たな刺激要因により刺激されたときの前記生体信号の特徴量と、前記第１の推定部によって推定された前記感性情報と、前記関連性とに基づいて、前記生体が前記新たな刺激要因により刺激されたときの前記感性情報を推定する第２の推定部と
   を有する、請求項２に記載の感性推定装置。
4. 前記生体信号は、脳波、及び、脳波以外の少なくとも１種類の生体信号を含み、
   前記脳波以外の少なくとも１種類の生体信号は、心電信号、心拍信号、眼電信号、呼吸信号、発汗に関する信号、血圧に関する信号、血流に関する信号、皮膚電位および筋電信号の少なくとも１つである、
   請求項１から３の何れか一項に記載の感性推定装置。
5. 前記感性情報は、感性の種類および強度を示す情報を含み、
   前記推定部は、前記生体の感性の種類および強度を示す情報を推定する、
   請求項１から４の何れか一項に記載の感性推定装置。
6. 前記推定部は、深層学習、機械学習および統計処理の少なくとも１つの手法を用いて、前記関連性を学習し、前記感性情報を推定する、
   請求項１から５の何れか一項に記載の感性推定装置。
7. 前記推定部は、サポートベクターマシン（ＳＶＭ）、リカレントニューラルネットワーク（ＲＮＮ）およびベイジアンネットワーク（ＢＮ）の少なくとも１つを用いて、前記関連性を学習し、前記感性情報を推定する、
   請求項１から５の何れか一項に記載の感性推定装置。
8. 請求項１から７の何れか一項に記載の感性推定装置と、
   前記刺激要因を検出する第１の検出部と、
   前記第１の検出部で検出された前記刺激要因の特徴量を抽出して前記第１の取得部に出力する第１の出力部と、
   前記生体から前記生体信号を検出する第２の検出部と、
   前記第２の検出部で検出された前記生体信号の特徴量を抽出して前記第２の取得部に出力する第２の出力部と
   を備える、感性推定システム。
9. 前記第１の出力部および前記第２の出力部の少なくとも一方は、深層学習、機械学習および統計処理の少なくとも１つの手法を用いて各特徴量を抽出する、
   請求項８に記載の感性推定システム。
10. 前記第２の出力部は、リカレントニューラルネットワーク（ＲＮＮ）、ロングショートタームメモリネットワーク（ＬＳＴＭ）およびパラメトリックバイアス型リカレントニューラルネットワーク（ＲＮＮＰＢ）の少なくとも１つを用いて前記生体信号の特徴量を抽出する、
    請求項８に記載の感性推定システム。
11. 前記第１の出力部は、コンボリューションニューラルネットワーク（ＣＮＮ）、自己組織化マップ（ＳＯＭ）、リカレントニューラルネットワーク（ＲＮＮ）、およびディープニューラルネットワーク（ＤＮＮ）の少なくとも１つを用いて前記刺激要因の特徴量を抽出する、
    請求項８または１０に記載の感性推定システム。
12. 前記刺激要因は、視覚器を刺激する画像を含み、
    前記生体が前記画像を視認するときに前記生体の視点が滞留する前記注視点を検出する第３の検出部を更に備え、
    前記第１の出力部は、前記第３の検出部によって検出された前記注視点を中心に前記画像の一定範囲を切り取った画像の特徴量を、前記刺激要因の特徴量として、コンボリューションニューラルネットワーク（ＣＮＮ）を用いて抽出する、
    請求項８から１１の何れか一項に記載の感性推定システム。
13. 前記刺激要因を生成する生成部と、
    前記推定部によって推定された前記感性情報に基づいて、前記生体の特定の感性が増大したり減少したりするように、前記生成部により生成される前記刺激要因を調節する調節部と
    を更に備える請求項８から１２の何れか一項に記載の感性推定システム。
14. 前記刺激要因は、視覚器を刺激する画像を含み、
    感性の種類を示す情報である感性種類情報と、画像の調整パラメータの種類、調整範囲、及び、調整の単位変化量の少なくとも１つを示す情報である画像調整情報とを取得する第４の取得部と、
    画像を表示する表示部と、
    未処理画像から調整条件が互いに異なる複数の処理済画像を生成すべく、前記第４の取得部によって取得された前記画像調整情報に基づいて前記未処理画像を処理する画像処理部であって、前記複数の処理済画像を前記表示部に表示させる画像処理部と
    を更に備え、
    前記第１の検出部は、前記表示部に表示された前記複数の処理済画像を、複数の前記刺激要因として検出し、
    前記複数の処理済画像ごとに前記推定部によって推定された複数の前記感性情報を取得し、前記感性種類情報に含まれる感性の種類に基づいて前記複数の感性情報をそれぞれ評価する評価部と、
    前記評価部によって評価された前記複数の感性情報にそれぞれ対応する前記複数の処理済画像を、評価に従って表示した評価画像を生成する画像生成部であって、前記評価画像を前記表示部に表示させる画像生成部と
    を更に備える請求項８から１３の何れか一項に記載の感性推定システム。
15. 生体の視点が滞留する注視点を中心とする一定範囲に基づいて前記生体の感覚器を刺激する刺激要因の特徴量を取得する段階と、
    前記生体が前記刺激を受けたときに前記生体から検出される生体信号の特徴量を取得する段階と、
    前記刺激要因の特徴量と、前記生体信号の特徴量と、前記生体が前記刺激要因により刺激されたときの前記生体の感性を示す感性情報との関連性を学習した結果に基づいて、前記生体が新たな刺激要因により刺激されたときの前記感性情報を推定する段階と
    を備える感性推定方法。
16. 感性推定装置に、
    生体の視点が滞留する注視点を中心とする一定範囲に基づいて前記生体の感覚器を刺激する刺激要因の特徴量を取得する手順と、
    前記生体が前記刺激を受けたときに前記生体から検出される生体信号の特徴量を取得する手順と、
    前記刺激要因の特徴量と、前記生体信号の特徴量と、前記生体が前記刺激要因により刺激されたときの前記生体の感性を示す感性情報との関連性を学習した結果に基づいて、前記生体が新たな刺激要因により刺激されたときの前記感性情報を推定する手順と
    を実行させるためのプログラム。

Images