JP5766119B2 - レンダリング環境のユーザへの影響の制御 - Google Patents

Description

本発明は、レンダリング環境においてユーザに対する影響を制御する方法に関する。本発明は更に、感情適応システムを制御する装置に関する。

本発明は、コンピュータプログラムに関する。

Saari, T他による文献「Emotional regulation system for emotionally adapted games」(Proceedings of FuturePlay 2005 conference, 13.-15.10. 2005, Michigan State University, USA)は、ユーザ制御される感情規制システムに基づいて、感情に関して適応されるゲームを構築するためのアプローチに関する。この文献は、ゲームエンジンに感情規制を含めるためのシステム設計を開示する。

上記エンジンは、ユーザ入力を連続的に監視する。この入力データは、処理され、ゲーム内部の論理状態を扱う層に送られる。提案される感情規制は、実際のゲームエンジンと並行してランするミドルウェアシステムとして実現されることができる。ゲームエンジンの入力処理層は、取得され前処理された生体フィードバックセンサデータのデータフローを受け取ることができる。リアルタイム信号処理は、生体フィードバック信号に対するさまざまな形の増幅、フィルタリング及び特徴選択を含むことができる。このデータフローは、ゲーム世界の状態に直接影響を与えることができ、又はそれは、感情フィードバックエンジンの感情規制サブモジュールによって使用されることができる。このモジュールは、異なるプレーヤプロファイルタイプに関する感情バランスのルール及び「感情ノブ」によって制御されるゲーム関連の明示的に設定される嗜好を含む。感情規制エンジンの出力は、ゲームエンジンのさまざまな異なるレベルのアクションに適用されることができる：
ｉ）ゲーム世界の論理状態が、再方向付けされることができ、
ｉｉ）合成エージェントのアクションが、制御されることができ、
ｉｉｉ）ゲームの動態学が、変更されることができ、
ｉｖ）ゲーム世界のレンダリングが変えられることができる。最初の２つの選択肢は、ゲームのハイレベルのストーリー関連の構造に一層関連し、最後の２つは、仮想環境内のオブジェクトのプレゼンテーションの選択に一層直接的に関連する。

知られているシステムの問題は、どのプレーヤも種々様々であり、プレーヤは、技術、嗜好及び経時的な情緒反応に関して多様であるので、生理的及び性能関連のパラメータに基づいてプレーヤの情緒反応を想定することがあまりに単純すぎることである。

ユーザを所望のメンタル状態にするように、例えば個別のユーザに対してシステムフィードバックのレベルを適応させる感情適応システムを実現する方法、装置及びコンピュータプログラムを提供することが望ましい。

これは、本発明による方法であって、
−レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの１又は複数の生理的条件を表わす信号データを得るステップと、
−ユーザの所望の感情状態に対応するデータを得るステップであって、例えば、ユーザ自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータを得ることを含みうる、ステップと、
−所望の感情状態が達成されているかどうか決定するステップと、
−状態が達成されていない場合、それに応じて、レンダリング環境によって提供されるシステムフィードバックを適応させるステップと、
を含む方法によって達成される。

方法は、それぞれ異なるユーザが、システムフィードバックの特定の見地の特定のレベルによって、それぞれ異なるメンタル状態に導かれ、この関係が更に時間依存であり、特定のメンタル状態が、それぞれ異なるユーザに関する及びある時間にわたるユーザの１又は複数の生理的条件を表わすそれぞれ異なる信号（以下：感情信号）によって特徴付けられることができるという洞察に基づく。ユーザ自己リポート、及び付随する自己リポートの前の直近の期間にわたる付随する感情信号を表わすデータを得ることによって、方法は、メンタル状態を感情信号値にリンクさせるデータを得る。従って、入力として（複数の）感情信号を使用する制御ループは、ユーザの感情状態を制御するように実現されることができる。対照的に、従来の方法は、感情信号自体を単に制御するものであり、従って、ユーザは、（静的な）制限を設定することができる。ゲームドメインにおいて、方法は、ゲーム内の（性能関連の）データに基づいて、ゲームの動作を適応させることは、プレーヤの楽しみを最適化するには、あまりに単純すぎることを認識する。これは、優等生、開拓者、社会主義者及びキラーのような多くの異なるタイプのプレーヤが存在するからである。それぞれ異なるプレーヤは、ゲームをプレイする際、それぞれ異なる技術、嗜好及び情緒反応を有する。すべてのプレーヤが、最適な性能／挑戦レベルを享受するというわけではない。従って、方法は、プレーヤの情緒反応を測定するニーズを認識し、データのプレーヤによる解釈が成功のために必要とされることを認識する。これを行うために、方法は、プレーヤが、情緒性の複数の次元（dimensions）を考慮することを可能にし、１つの一般的なモデルは、誘意性（valence）及び喚起（arousal）の次元に基づく。誘意性情報は、ユーザ自己リポートによって提供され、喚起情報は、感情信号に含まれる。信号データによって決定される１又は複数の次元及びユーザの自己リポートによって決定される１又は複数の次元の二者択一の選択が、可能である。

このコンテクストにおいて、感情信号は、ユーザの生理的状態の推測がなされることを可能にする信号であり、かかる信号は、（ゲーム環境の場合の）性能関連のパラメータ又は概してレンダリング環境を実現するシステムに供給される明示的なユーザ入力情報に依存しない。感情状態は、ストレス及び高い作業負荷を表わすメンタル状態を含む。

方法の一実施形態において、ユーザの所望の感情状態に対応するデータは、ユーザが感情状態間の切り替えをする切り替えポイントに対応する閾値を含む。

効果は、フィードバックレベルに対する感情状態の程度及びロケーションの両方がデータによって表現されることである。このようなデータに基づく閉ループ制御は、より安定している。その理由は、データによって確立される「ユーザのモデル」によって表される状態の範囲内にとどまるために必要な調整がより少なくすむからである。方法は、あるユーザがフィードバックの特定の見地のレベルの変化に対して相対的に無感覚でありうることを考慮する。この場合、当該見地に関するフィードバックレベルの調整が行われることが必要となる頻度が、より少なくなりうる。特に、方法を実現する装置が例えばユーザフィードバックに応じて状態を切り替える実施形態において、フィードバックレベルが、所望の感情状態に対応するレンジの中央に保たれる場合、切り替えの数が、低減されることができる。閾値を確立することは、ユーザがこのレンジの中間を見つけることを可能にする。状態の変化が、実際に望ましい場合、システムフィードバックの各々の見地について閾値を有することは、ユーザが、変化に対する適当な見地を選択し、例えば少なくとも１つの閾値が現在レベルに最も近い見地、を選択することを可能にする。

一実施形態において、少なくとも較正モードでは、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータが得られるとともに、システムフィードバックの少なくとも１つの次元のレベルが、継続的に変更される。

従って、このモードにおいて、ユーザは、所望の感情状態に対応する第１のレベルにとどまるのではなく、フィードバックレベルのレンジ内を進むことよって、感情状態の境界を見つけることが可能である。

この実施形態の変形例において、システムフィードバックの少なくとも１つの次元の次のレベルが、スキャンシーケンスデータベースから選択される。

感情状態に対応するフィードバックレベル値のレンジが決定されるので、効果は、値の繰り返しを回避することである。ユーザは、適切で効率的な検索ストラテジを表わすシーケンスに基づいて、相対的に迅速にレンジを発見することができる。

一実施形態において、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータが、データベースに記憶される。

これは、ユーザが、複数データポイントに基づいて、ユーザの正確なモデルを作ることを可能にするだけでなく、必要に応じて更にこのモデルを作り直すことも可能にする。

一実施形態において、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、較正モードでは、それらが、ユーザの１又は複数の生理的条件を表わす少なくとも１つの信号からユーザの感情状態を予測するための少なくとも１つのクラシファイヤを訓練するために使用される。

効果は、ユーザが多数の自己リポート及び付随する信号セクションを得る必要がないことである。信号レベルが、測定されることができ、感情状態は、測定された特定のレベルに以前に遭遇していない場合であっても、推測されることができる。

一実施形態において、ユーザの自己リポート及び付随する自己リポートの前の直近の期間にわたるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、適応モードへの切り替えが実現され、適応モードでは、所望の感情状態が達成されているかどうか決定するステップ、及び状態が達成されていない場合、それに応じて、レンダリング環境によって供給されるシステムフィードバックを適応させるステップ、が連続的に実施される。

効果は、ユーザが、適応モードにおいて自己リポートを促されないことであり、従って、レンダリング環境におけるシステムフィードバックの経験が中断されない。

この実施形態の変形例は、新しいユーザリポートが供給されない限り、適応モードのままであることを含む。

こうして、システムが、ユーザを所望の感情状態に保つことができる限り、レンダリング環境のユーザ経験は中断されない。システムフィードバックのレベルがもはや正しくないというユーザからの標示は、較正モードへの切り替えをトリガし、較正モードにおいて、所望の感情状態に対応するシステムフィードバックレベルのレンジが、確立しなおされる。この方法は、ゲーム環境のユーザが、時間と共に学習することができ、レンダリング環境のユーザが、概して、フィードバックの特定のレベルに慣れ又は退屈しさえすることがあることを考慮する。ユーザは、これを信号により通知することができ、その結果、環境が適応される。

本発明の別の見地によれば、感情適応システムを制御する装置であって、
−レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの１又は複数の生理的条件を表わす信号データを得るための入力／出力ユニットと、
−アルゴリズムを実現するプロセッサと、
−データベース用のメモリと、
を有し、アルゴリズムは、装置が、
−ユーザの所望の感情状態に対応するデータであって、ユーザの自己リポート、及び付随する自己リポートの前の直近の期間にわたるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータに任意に基づくことができるデータ、を得、
−所望の感情状態が達成されているかどうか決定し、
−状態が達成されていない場合、それに応じて、レンダリング環境によって供給されるシステムフィードバックを適応させる、
ことを可能にする装置が提供される。

装置は、本発明による方法を実施するように構成されることができる。

本発明の別の見地によれば、フィードバック効果をレンダリングする製品及び本発明による装置を有する感情適応システムが提供される。

本発明の別の見地によれば、機械可読媒体に組み込まれるとき、情報処理能力を有するシステムに本発明による方法を実施させることが可能な命令の組を含むコンピュータプログラムが提供される。

フィードバック効果をレンダリングする製品及びシステムを制御する装置を有するシステムの概略ブロック図。 感情適応ループを有するシステムの概念図。 ユーザ−製品対話モデルを示す概略図。 レンダリング環境においてユーザに対する影響を制御する方法のフローチャート。 ゲームスピード対時間の形のユーザ−システム対話モデルの例を示す図。 図５に対応する、より長い時間期間に関する図。 図４の方法を使用して得られるユーザリポート及びフィードバックレベルの経時的な展開を示す図。 アンビエント生成製品にとって一般的なユーザ対話モデルの他の例を示す図。

本発明は、添付の図面を参照してより詳しく説明される。

図１は、１又は複数のレンダリング製品及び制御装置を有する一般的な感情適応システム１を概略的に示している。システムは、プロセッサ２、メインメモリ３、１又は複数のデータベースをホストする他のメモリユニット４、少なくとも１つの入力装置５、少なくとも１つのユーザ入力装置６、表示装置７、及び感情適応システム１によって提供されるレンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの１又は複数の生理的条件を表わす感情信号データを得るための入力／出力ユニット８を有する。システム１は更に、外部レンダリング装置１０−１２に対するインタフェース９を有する。

提案されるシステムアーキテクチャ及び機能は、例えば以下のような広範囲にわたる感情適応製品に適用されることができる：
−コンピュータゲームシステム；
−ホームシアタシステム（映画及びＴＶ番組の両方）；
−アンビエント生成（Atmosphere creation）製品：例えば、Philips Living Colors製品の場合、感情信号は、例えば、（リビング）部屋の家具に組み込まれるセンサによって及びワイヤレス装置（例えばブレスレット測定による心拍及び皮膚コンダクタンス）によって集められることができる；
−フォトフレーム；及び
−音楽プレーヤ。

プロセッサ２は、感情適応システム１を実現し、ここに説明される装置の動作を可能にするように適切に構成されるよく知られた中央処理ユニット（ＣＰＵ）でありうる。

メインメモリ３は、知られているＲＡＭ（ランダムアクセスメモリ）メモリモジュールでありうる。プロセッサ２は、メインメモリ３から、装置１の機能を可能にするための少なくとも１つの命令を読み込むように構成されることができる。

プロセッサ２は、メディアコンテントを記録し、メディアコンテントを受け取る等によってメディアコンテントを得るために入力装置５に結合される。実現例に依存して、入力装置５は、写真を撮るためのフォトカメラ、フィルムを撮影するためのビデオカメラ、パーソナルビデオレコーダ（ＰＶＲ）、ＴＶチューナ、データネットワークにコンピュータを接続するためのネットワークカードを備えたコンピュータ、又はメディアコンテントを得るのに適した任意の他の装置を有する。一実施形態において、例えば入力装置５は、例えばデジタルビデオブロードキャスティング（ＤＶＢ）仕様、ビデオオンデマンドシステム、インターネットラジオシステム、等を使用して、ビデオコンテント放送事業者から知られている態様でビデオデータを受け取る。

ユーザ入力装置６は、概して、よく知られたＱＷＥＲＴＹコンピュータキーボードのようなキーボード、ポインティングデバイス及び可能性として遠隔制御ユニットを少なくとも含む。例えば、ポインティングデバイスは、コンピュータ（ワイヤレス）マウス、ライトペン、タッチパッド、ジョイスティック、ライトペン、トラックボール等の様々な形で利用可能である。

表示装置７は、例えば、ＣＲＴ（陰極線管）、ＬＣＤ（液晶ディスプレイ）、ＬＣＯＳ（液晶オンシリコン）リアプロジェクション技術、ＤＬＰ（デジタル光処理）テレビジョン／プロジェクタ、プラズマ画面表示装置等の、ユーザにビデオ情報を提示するための任意の通常の手段でありうる。

感情適応システム１によって処理されるメディアコンテント／コンテントアイテム／ドキュメントは、視覚情報（例えばビデオ画像、写真又はグラフィクス）、オーディオ情報、テキスト情報、及びＭＰＥＧ−７標準に従うメタデータのような他のデジタルデータのうちの少なくとも１つ又は任意の組み合わせを含む。このようなメタデータは、サンプリングによって及び語彙検索タームを使用することによって、デジタル化された材料を記述し検索するために使用されることができる。メディアコンテントは、オーディオ又はビデオテープ、例えばＣＤ−ＲＯＭディスク（コンパクトディスクリードオンリーメモリ）又はＤＶＤディスク（デジタル多用途ディスク）のような光学記憶ディスク、フロッピー（登録商標）及びハードドライブディスク等のさまざまな異なるデータ担体に、例えばＭＰＥＧ(Motion Picture Experts Group)、ＭＩＤＩ（Musical Instrument Digital Interface)、Ｓｈｏｃｋｗａｖｅ、ＱｕｉｃｋＴｉｍｅ、ＷＡＶ(Waveform Audio)等の任意の形式で記憶されることができる。

プロセッサ２は、ここに概説される方法のステップの実行を可能にするためのソフトウェアプログラムを実行するように構成される。一実施形態において、ソフトウェアは、感情適応システム１に含まれる装置を、それがランされるところに関係なくイネーブルする。装置をイネーブルするために、プロセッサ２は、ソフトウェアプログラムが、他の（外部）装置１０−１２に送信されるようにすることができる。これらの外部の装置１０−１２は、例えばＢｌｕｅｔｏｏｔｈ、ＩＥＥＥ８０２．１１［ａ−ｇ］等の既存の技術を使用して、インタフェース９を通じてプロセッサ２に接続される。一実施形態において、プロセッサ２は、ＵＰｎＰ（汎用プラグアンドプレイ）標準により、外部装置と対話する。

理想的には、エンタテインメント製品は、その動作を現在ユーザに対して連続的に適応させる。感情は、ユーザ−製品対話において重要な役目を果たすので、エンタテインメント製品は、感情に関して適応的になるべきであり、すなわち、経験を最適化するために、それらの動作をユーザの感情状態／応答に対して連続的に調整する。個人化された経験に向かう第１のステップとして、多くの製造業者は、今日、それらの製品をカスタマイズ可能にしている（例えばそのキーパッドカラーがユーザによって容易に変えられることができる移動電話）。論理的な次のステップは、製品−適応性である：

ユーザが、使用前又は後（すなわちオフライン）に製品の挙動（動作、外観、その他）を変更する代わりに、製品は、図２に示すように、使用中（すなわちオンライン）、それ自身の挙動を連続的に変更する。図２において、感情適応システム１は、ユーザ１４に対してレンダリング環境を形成するさまざまな装置の設定の形で、システムフィードバック１３を提供する。このフィードバックは、ユーザの経験、挙動及び感情状態の変化１５をもたらす。変化１５は、本明細書において感情データ１６ともよばれる測定可能なパラメータの変化として現れ、かかるパラメータは、システム１への入力として供給される。感情適応システム１は、データを集め、解析し（ステップ１７）、システムフィードバック１３を供給するために製品の設定の調整の形で、適当なアクションをとる（ステップ１８）。

システムフィードバックに関して、音響、視覚及び触覚効果のような多くの製品特徴が、適応されることができる。感情データに関して、多数の感情測定技法が可能である。

ここに概説される方法において、（連続的に測定される、心拍、皮膚コンダクタンスレベル及びキーボード圧力のような）感情信号と、（ユーザによって時々提供される）ユーザリポートとの間の区別がなされる。感情信号は、それらがユーザからの認知努力を求めないという点で、受動的に測定される。ユーザリポートは、それらがユーザからの認知努力及び能動的入力を求めるという点で、能動的に提供される。

感情適応システム１の特定の実現は、感情に関連する信号の選択及びアプリケーション特有のモデルに基づく。

一実施形態による感情信号は、生理的応答を表わす信号を含む。測定されるパラメータは、血液容積脈波レベル、血液容積脈波振幅、心拍、心拍変動性、呼吸レベル（すなわち相対胸部体積）、呼吸レート、呼吸−心拍コヒーレンス、皮膚コンダクタンスレベル、皮膚コンダクタンス応答（単位時間当たり）の数、及び筋肉アクティビティ又は振幅（例えば皺眉筋又は大頬骨筋）の１又は複数を含む。心拍変動性は、ほとんどの人々の情緒反応に非常に密接に相関付けられる。別の実施形態による感情信号は、付加的に又は代替として、触覚応答を表わすパラメータを含む。測定すべき適切なパラメータは、キーボード圧力である。更に別の実施形態における感情信号は、付加的に又は代替として、例えば具体的にはレンダリングされているシステムフィードバック又はコンテントの背後の論理とは無関係な無意識の動きのような動きを特徴付けるために、例えばビデオ解析によって、挙動反応を測定する。例えば、ユーザによるそわそわした振る舞いの程度が、定量化されることができる。

感情信号の選択は、現在のアプリケーションコンテクストが与えられる場合、ユーザの感情状態をどのように測定するかの問題につながる。感情状態及び応答は、アプリケーションに依存する。それぞれ異なるアプリケーション挙動は、それぞれ異なる情緒反応を引き起こす。それぞれ異なる感情信号の有用性は、開発中のアプリケーションに関して評価されるべきである。例えば、コンピュータゲームにおいて、キーボード圧力は有用でありえるが、ホームエンタテインメントシステムの場合、これは使用されることができない。従って、第１の準備ステップとして、目標とされるアプリケーションコンテクストを与えられる場合、最も見込みのある感情信号が調べられるべきである。更に、ユーザがユーザリポートをシステムにどのように容易に提供することができるかが調査されるべきである（以下に詳しく説明する）。

感情適応システム１の実現の別の見地は、システムフィードバックのタイプに関する：

システム１が、どのように、ユーザの感情状態（の変化）に応答するべきか？

多くのユーザ−製品対話シナリオは、図３に示される一般的な形を有することが期待される。点線は、個人の所望の感情状態（最適製品経験）の境界を表わす。一例として、図３において、システムフィードバックの次元ともよばれる２つのフィードバック特徴Ｆ_１、Ｆ_２が、適応化のために使用される。２つの最適フィードバック設定（エリア１９、２０）が示されている。しかしながら、理論上、適応化されるシステムフィードバックの任意の数の次元がありえ、最適フィードバック設定に対応する異なる数のエリアがありうる。

次の実現ステップとして、この一般的なユーザ−システム対話モデル（図３）からアプリケーション特有の対話モデルを生成する必要がある。アプリケーション特有のモデルを生成するために、システムフィードバックのタイプが決定される必要がある。例えば、ホームシアタ環境において、Ambilight効果のボリューム又は強さを最適化することを考えることが可能である。ゲームの例において、ゲームスピードが、適応化されるべきフィードバックパラメータとして使用されることができる。

準備ステップが行われているとき、適切な感情信号及びアプリケーション特有のモデルが、システムアーキテクチャに組み込まれることができる。提案されるシステムは、図４のフローチャートに関して後述されるように動作する。

製品の使用中、ユーザの感情信号が、連続的に測定される。

最初に、システム１は、較正モードにあり（ステップ２１）、較正モードの間、システムフィードバックのレベルは、継続的に変化し、例えばフォードバックが増加し又は減少する。代替として、システムは、フィードバックの離散的なレベルを提供することができ、複数レベルを通じて離散的（例えば１０、３０、６０、３０、１０）なステップをとり、場合によっては、ランダム（例えば１０、１００、２０、３０、９５）なステップをとりうる。

これらの変化は、システムが受け取る（ステップ２２）ユーザリポートによって制御されることができる。任意の単一のフィードバック次元（例えば図３において述べたような２つの効果）が、他の次元に関係なく変更されることができる。あらゆる次元に関して、これが調べられ、つまり、２つの「明示的な」ユーザ−リポートタイプである「私は、これがあまりに多すぎると感じる」及び「私は、これが十分でないと感じる」が、受け取られることができる。第３の状態である「これはｏｋである」は、２つのユーザリポートから導き出される；あまりに多すぎるリポート及びあまりに少なすぎるリポートの間にある時間中、この状態の存在が想定される。その理由は、ユーザが、おそらくシステムフィードバックレベルを気に入っていたからである。そうでなければ、ユーザは、それを報告していたであろう。代替として、ユーザは、ただ１つの（「経験ＯＫ」又は「経験ＢＡＤ」）フィードバック制御又は多くの制御を提供されることができる。事実、少数のフィードバック制御が有用性に関して好ましいが、任意の数（１又はより大きい）のフィードバック制御が、実現されることができる。

あらゆるユーザリポートの後、このユーザリポート及び付随する感情信号が、データベース２４に記憶される（ステップ２３）（例えば、当該ユーザリポートの前の直近の数秒の間の心拍及びキーボード圧力の平均値が記憶される）。更に、システムフィードバックの方向が、（較正モードで動作するステップ２１の一部として）変更され、例えば、増加するフィードバック強度から減少するフィードバック強度に変更される（この説明は、以下に詳しく記述される図７に示される）。代替として、特に上述したような「連続的なフィードバック無しの選択肢」の場合、次のシステムフィードバックレベルは、ランダムに選ばれ、又は知られている「スキャン」シーケンスを含むデータベースから選択されることができる。場合によって、次のシステムフィードバック設定は、非常に似ている設定又はすでに提供された設定の繰り返しを回避するように、選択されることもできる。

データの記憶を含むステップ２３の後、少なくとも１つの分類アルゴリズムが、データベース２４に以前に入力された最も最近の感情信号及びデータに基づいて、ステップ２２の最も最近のユーザリポートを分類し、すなわち予測することを試みる（ステップ２５）。このクラシファイヤは、当業者に知られている神経ネットワーク原理又は代替マシン学習手法に基づくことができる。

次に（ステップ２６）、システムは、クラシファイヤの最も最近の予測（例えば最も最近の５つの予測）をチェックする。クラシファイヤが、最小閾値を満足する正確さを有する（例えば、最近の５つの予測のうちの４つが正しい）場合、次のシステムモードは、適応モードである（ステップ２７）。そうでない場合、システムは、較正モードのままである。このチェックは、多くのやり方で実現されることができる：
−上で示唆したように、直前のＸトライアルがＹ成功を示す場合（ＹはＸより小さい）；
−特定量の時間又は対話イベントの後、適応モードへの自動的な切り替え；
−代替として、システムは、周期的な、プリセットされた又はランダムに選択された時間に、較正モードと適応モードとの間で周期的に切り替わることができる。

適応モードにおいて、システムフィードバックは、ユーザの現在感情信号に連続的に適応される。ユーザが、新しいユーザリポートを提供しない限り、システムは、適応モードのままである。新しいユーザリポートがシステムに入力される場合、システムが十分な予測パワーを有するかどうか調べるために、すべての上述のステップ２２、２３、２５、２６が再び行われる。任意には、記憶された分類予測成功の組は、適応モード中のユーザフィードバックの受け取り時に空にされることができ、その理由は、これが、（ユーザ嗜好の変化又は他の原因により）適応が明らかに不成功だったことを知らせるものであるからである。

２つの実施形態に対する図４の方法の適用が以下に記述される。

実施形態１：ホームシアタシステム
この実施形態では、Ambilight及び触覚フィードバック（ユーザの椅子の幾つかの小さい振動モータを通じて）を含むホームシアタシステムが想定される。Ambilightは、特に同時にレンダリングされる音響映像コンテントの解析の結果に従って、感情適応システム１がアンビエント照明条件を変えることを可能にする照明技術である。従って、本実施形態において、外部装置１０、１１、１２は、上述した種類の照明装置及び触覚フィードバック装置を有する。

このアプリケーションコンテクストにおいて、ユーザは、テレビジョンの前の椅子に座ることが期待される。従って、感情データを取得する装置８は、椅子（例えば、ユーザの姿勢、皮膚温度及び呼吸パターンを測定する）及びテレビジョン（例えばユーザの表情及び瞳孔径を捕捉するカメラ）に組み込まれることができる。「これは、あまりに多いシステムフィードバックである」及び「これは、あまりに少ないシステムフィードバックである」という２つのユーザリポートは、ホームシアタシステムの遠隔制御装置又は代替として椅子の肘掛けの一方における２つのボタンによって実現されることができる。

Ambilight及び触覚効果のレベルは、適応されるべきシステムフィードバックパラメータとして使用される。これらは、それぞれ異なるパターン（すなわち映画のイベントに対するAmbilight効果及び触覚効果）に分類される。

システムは、較正モードにおいて始まる。これが、ユーザJohnに事前に伝えられる。Johnは、システムフィードバックレベルが最小レベルで始まり、彼が視聴する映画を通じて、彼がフィードバックの現在レベルがあまりに高くなりすぎたと示すまで、増大することを伝えられる。その時点以降、フィードバックレベルは、彼がシステムフィードバックのレベルがあまりに低くなりすぎたことを示すポイントにそれが到達するまで、減少する。

システムフィードバックの１つの次元のレベルＦが、図７に示されている。第１の時間間隔Ｍ１は、ホームシアタシステムにおいてレンダリングされる第１の映画に対応する。第２の時間間隔Ｍ２は、ホームシアタシステムにおいてレンダリングされる第２の映画に対応する。

Johnが視聴する第１の映画は、Ambilight及び触覚システムフィードバックによって増強される幾つかの恐ろしい場面を含む恐怖映画である。第１の「増強される」場面には、レベル１のシステムフィードバックパターンを伴う（すなわち、１＝最低強度及び１００＝最高強度であるので、ほとんどフィードバック無し）。Johnが、彼の遠隔制御装置上の「あまりに多すぎる」ボタンを押す場合、これは、彼がシステムフィードバックの最小レベルが既に「あまりに多すぎる」と感じていることを示す。その場合、Johnは、システムフィードバック機能のオフを確立するように求められる。しかしながら、Johnは、レベル１のシステムフィードバックにほとんど気付かず、従ってボタンを押さない。更なる数個のシーンの後、システムフィードバックレベルは、レベル１５まで増大される。Johnは、システムフィードバックに気付き始めるが、それがなお十分でないと感じる。６０分後、システムフィードバックレベルは、レベル６５にある。「わあ、これはかっこいい！」とJohnは思う。

しかしながら、映画の８０分の時点で、フィードバックは、レベル７６まで増大される。彼は、このフィードバックの量が、あまりに圧倒的（気を狂わせる）であると感じ、従って、「あまりに多すぎる」ボタンを押す。この「あまりに多すぎる」リポート及び期間７９．５０−８０．００（すなわち１０秒）にわたるJohnの平均感情信号が、データベースに記憶される。それ以降の場面は、減少するレベルのシステムフィードバックを伴う。しかしながら、３０分後、システムフィードバックは、レベル５０にあり、Johnは、これが十分でないと感じ、従って、「あまりに少なすぎる」ボタンを押す。この「あまり少なすぎる」リポート及び期間１０９．５０−１１０．００にわたる彼の感情信号が、データベース２４に加えられる（図４）。そのほかに、彼の２つの最も最近のリポートの間（すなわち期間９４．５０−９５．００）の感情データが、「これはｏｋである」としてデータベース２４に記憶される。Johnは、ここでボタンを押さなかったので、彼は、この時点ではシステムフィードバックを気に入っていたものと想定される。その後、システムフィードバックレベルは再び増大し始める。

映画の後、システムは、正確な分類に必要な追加のデータポイントの量を評価する。プログレスバーが、現在のデータ量対必要とされるデータ量の評価を示す。数日（及び数個の映画）後、システムは、正しい分類のために十分なデータを得ている。その時点以降、システムは、Johnの現在感情信号値と合致するフィードバックレベルを適用する。すなわち：
−感情信号が、Johnの一般的な「あまりに多すぎる」リポートと同様である場合、その後の増強される映画シーンは、システムフィードバックの低減されたレベルを伴う。
−Johnの感情信号が、「あまりに少なすぎる」という彼のパターンと合致する場合、次の場面は、フィードバックのより高いレベルを有する。
−彼の感情信号が、「これはｏｋである」というパターンに合致する場合、システムフィードバックの量は不変のままである。

実施形態２：コンピュータゲーム
以下に記述される実施形態は、出願人によって構築され、詳しくテストされた。コンピュータゲームパックマンが、例示の実施形態として使用される。

プレーヤ（Jackとよぶ）は、パーソナルコンピュータモニタの形をした表示装置７の前で、椅子に座っており、入力装置５（キーボード）を使用してパックマンをプレイする。従って、姿勢、皮膚温度、表情、瞳孔径、マウス及びキーボード圧力等の多くの感情信号が、使用されることができる。２つのユーザリポート「これは、あまりに多すぎるシステムフィードバックである」及び「これは、あまりに少なすぎるシステムフィードバックである」は、実際のゲームにおいて使用されない（キーボードの）任意のキーの対によって実現されることができる。この例において、キーパッドの［アップ］及び［ダウン］キーが使用される。

図５及び図６に示されるように、ゲームのスピードＳ（すなわち移動するすべての対象のスピード）が、適応化されるべきシステムフィードバックパラメータとして使用される。パックマンにおいて、ゲームスピードＳは、１（最も遅い）乃至１００（最も速い）のレベルを有する変数である。

Jackは、ゲームが較正モードにおいて開始することをユーザフレンドリなやり方で伝えられる。ゲームの開始前に、Jackは、システムフィードバックレベルＳ（ゲームスピード）が低いレベルで始まり、ゲーム全体を通じて増大することを伝えられる。ゲームがあまりに速すぎるようになるとすぐに、彼は、［ダウン］キーを押すことができ、ゲームがあまりに遅すぎると考えられるとすぐに、Jackは、スピードを上げるために［アップ］キーを押すことができる。

ゲームは、スピードレベル１５で始まり、Jackは、これがあまりに遅すぎると感じ、ゲームのスピードを速めるために［アップ］キーを押す。７．３０分に、ゲームは、スピードレベル８５に達し、Jackは、これがあまりに速すぎると感じる（「私は挑戦的なゲームが好きであるが、これは私にはあまりに多すぎる」）。従って、彼は、［ダウン］キーを押す。「遅くする」ユーザリポート及び７．２０−７．３０分における付随する感情信号が、データベース２４に記憶される。ここで、ゲームは、スピードを徐々に減少し始める。１０．３０分に、ゲームは、レベル５５まで遅くなる。Jackは、これが十分に挑戦的ではないと感じ（「これは、私にとっていくらか退屈である」）、従って、［アップ］キーを押し、これは、ゲームのスピードレベルを再び徐々に増大させる。再び、「速くする」リポート及び１０．２０−１０．３０分における感情信号が、データベース２４に記憶される。その上、「これはｏｋである」リポートが、最後の「遅くする」及び「速くする」時点の間の期間にわたる（すなわち８．５０−９．００分における）感情信号と共に記憶される。この較正はしばらく続く。１９．１０分に、Jackは、［アップ］キーを押す。このユーザリポート及び３つの直前のリポートは、ゲームによって正確に分類される（予測される）。従って、ゲームは、適応モードに入る。このモードにおいて、ゲームのスピードレベルは、Jackの感情信号に適応されている：
−感情信号が、Jackの一般的な「あまりに速すぎる」リポートの感情信号と同様であるとき、ゲームのスピードレベルが徐々に低減される。
−Jackの感情信号が、「あまりに遅すぎる」という彼のパターンと合致する場合、ゲームスピードは、徐々に増大する。
−Jackの感情信号が、「これはｏｋである」パターンと合致する場合、ゲームスピードは不変のままである。

適応モードにおける５分のプレイ後、Jackは、彼がしばらくゲームスピードを変更していないことに気付く。「しかしながら」、Jackは、「私はただこのようなものが気に入っているので、スピードレベルを変更する必要もない」と結論付ける。３０分後、Jackは、ゲームを保存し、終了することを決める。彼は、行うべき作業をなお有する。しかしながら、一日を終える頃、彼は、ゲームを続行し、それは適応モードにおいて直接始まる。

図５及び図６は、実際に、感情適応システム１が、２つのモードで動作することが可能であることによって、システムフィードバックの一層適当なレベルを提供することができることを示す。下側の破線２８は、所望の感情状態に関する低い方の閾値を表し、上側の破線２９は、所望の感情状態に関する高い方の閾値を表わす。実線３０は、実際のゲームスピードＳの経時的な成長を表わす。分かるように、ユーザが、特定のゲームスピードに慣れ、より熟達するにつれて、所望の感情状態に対応するゲームスピードの境界は、時間と共に成長する。図６は、長期的にみて、ほぼ一定のレベルがどのように確立されるかを示す。システム１は、少なくとも較正モードにおいて、システムフィードバックの少なくとも１つの次元のレベルを継続的に変更するので、境界の成長が認められる。従って、システムは、上下の閾値２８、２９の間のレンジの中間を目標とすることが可能であり、それによって、適応モードをより長期にすることができる。より長い時間期間にわたるほど、必要とされる較正モードへの戻りがより少なくなる。その理由は、閾値２８、２９がより少ない変更を受けるからである。

図８は、アンビエント照明システムの例に関してシステムフィードバックのそれぞれ異なる次元の相互関連性を示している。この例では、１つのフィードバックパラメータＦは色であり、色は、緑（レベルＧ）及び赤（レベルＲ）を介して青（レベルＢ）から黄色（レベルＹ）まで及ぶことができる。図示される例において、感情信号データは、心拍値Ｓ_１を含む。より広いエリア３１は、望ましくない感情状態に対応する。より小さいエリア３２−３６は、所望の感情状態に対応する。閾値が、破線で示されている。従って、所望の感情状態に関する閾値は、色によって異なる。システム１は、所望の感情状態の境界内にとどまるように、強度を適応させることができる。これらの境界を発見するために、システム１は、較正モードにおいて、互いに依存することなく色及び強度を変える。ユーザの反応を予測するクラシファイヤを訓練するための自己リポート及び感情信号データの使用は、システム１が単に心拍パラメータＳ_１の特定の値を目標とすることを試みようとする場合よりも、より適応的なシステムを生み出す。

上述の実施形態は、本発明を説明するものであって、制限するものではなく、当業者であれば、添付の請求項の要旨から逸脱することなく多くの代替実施形態を設計することが可能であることに注意すべきである。請求項において、括弧内に配される任意の参照符号は、請求項を制限するものとして解釈されるべきでない。「含む、有する」という語は、請求項に列挙されるもの以外の構成要素又はステップの存在を除外しない。構成要素に先行する「a」又は「an」という語は、このような構成要素の複数の存在を除外しない。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示さない。

一実施形態において、本発明によるシステムは、単一の装置において実現される。別の実施形態において、それは、サービスプロバイダ及びクライアントを含む。代替として、システムは、分散され、互いから遠隔的に位置する装置を含むことができる。

装置は、例えばケーブル、衛星又は他のリンクを有するテレビジョン受信機（ＴＶセット）、ビデオカセット又はＨＤＤレコーダ、ホームシネマシステム、ポータブルＣＤプレーヤ、例えばｉＰｒｏｎｔｏ遠隔制御装置のような遠隔制御装置、セルラ電話等のさまざまなコンシューマエレクトロニクス装置の任意のものでありうる。

一実施形態において、データベース２４は、最初の使用の前に、装置特有のユーザ汎用性のあるデータによって占められる。従って、較正フェーズの間、異なるユーザ又は仮定上の異なるユーザについて確立されたデータは、感情適応システム１の実際の現在ユーザからの自己リポート及び感情データ１６に基づくデータによって、徐々に置き換えられる。

Claims (8)

1. レンダリング環境においてユーザに対する影響を制御する方法であって、
   前記レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの１又は複数の生理的条件を表わす信号データを得るステップであって、ユーザの自己リポート及び付随する自己リポートの前の直近の期間におけるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータが、較正モードにおいて得られ、前記較正モードにおいて、前記ユーザの自己リポート及び前記付随する信号データを表わすデータが、ユーザの１又は複数の生理的条件を表わす少なくとも１つの信号から、ユーザの感情状態を予測するための少なくとも１つのクラシファイヤを訓練するために使用され、前のＸトライアルがＹ成功を示す場合（ＹはＸより小さい）に対応する最小閾値を満足する正確さを有する少なくとも１つのクラシファイヤの最も最近の予測のチェックに応じて、前記較正モードが、適応モードを有する次のシステムモードに切り替わり、ユーザが新しいユーザ自己リポートを提供しない限り、前記適応モードのままでいる、ステップと、
   前記適応モードにおいて、ユーザの所望の感情状態に対応するデータを得るステップと、
   前記適応モードにおいて、前記所望の感情状態が達成されているかどうか決定するステップと、
   前記状態が達成されていない場合、それに応じて、前記レンダリング環境によって提供される前記システムフィードバックを適応させるステップと、
   を含む方法。
2. ユーザの所望の感情状態に対応する前記データは、ユーザが感情状態間の切り替えをする切り替えポイントに対応する閾値を含む、請求項１に記載の方法。
3. 前記システムフィードバックの少なくとも１つの次元の次のレベルが、スキャンシーケンスデータベースから選択される、請求項１に記載の方法。
4. 前記適応モードへの切り替えが行われ、前記適応モードにおいて、
   前記所望の感情状態が達成されているかどうか決定するステップと、
   前記状態が達成されていない場合、それに応じて、前記レンダリング環境によって提供される前記システムフィードバックを適応させるステップと、
   が連続的に実施される、請求項１に記載の方法。
5. 感情適応システムを制御する装置であって、
   レンダリング環境のシステムフィードバックによって引き起こされる影響に応じたユーザの１又は複数の生理的条件を表わす信号データを得るための入力／出力ユニットと、
   アルゴリズムを実現するためのプロセッサと、
   データベース用のメモリと、
   を有し、前記アルゴリズムは、前記装置が、
   較正モードにおいて、ユーザの自己リポート及び付随する自己リポートの前の直近の期間におけるユーザの１又は複数の生理的条件を表わす付随する信号データを表わすデータを得るステップであって、前記較正モードにおいて、前記ユーザの自己リポート及び前記付随する信号データを表わすデータが、ユーザの１又は複数の生理的条件を表わす少なくとも１つの信号から、ユーザの感情状態を予測するための少なくとも１つのクラシファイヤを訓練するために使用され、前のＸトライアルがＹ成功を示す場合（ＹはＸより小さい）に対応する最小閾値を満足する正確さを有する少なくとも１つのクラシファイヤの最も最近の予測のチェックに応じて、前記較正モードが、適応モードを有する次のシステムモードに切り替わり、ユーザが新しいユーザ自己リポートを提供しない限り、前記適応モードのままでいる、ステップと、
   前記適応モードにおいて、ユーザの所望の感情状態に対応するデータを得るステップと、
   前記適応モードにおいて、前記所望の感情状態が達成されているかどうか決定するステップと、
   前記状態が達成されていない場合、それに応じて、前記レンダリング環境によって提供される前記システムフィードバックを適応させるステップとを行うことを可能にする、装置。
6. 請求項１乃至４のいずれか１項に記載の方法を実施するように構成される、請求項５に記載の装置。
7. フィードバック効果をレンダリングする製品及び請求項５又は６に記載の装置を有する感情適応システム。
8. 機械可読媒体に組み込まれるとき、情報処理能力を有するシステムに請求項１乃至４のいずれか１項に記載の方法を実施させることが可能な命令の組を含むコンピュータプログラム。

Images