JP6838135B2 - ユーザの感情状態を用いて仮想画像生成システムを制御するための技術 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１６年７月２１日に出願され“ＴＥＣＨＮＩＱＵＥ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＶＩＲＴＵＡＬ ＩＭＡＧＥ ＧＥＮＥＲＡＴＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＥＭＯＴＩＯＮＡＬ ＳＴＡＴＥＳ ＯＦ ＵＳＥＲ”と題された米国仮特許出願第６２／３６４，９５７号（代理人管理番号ＭＬ．３００４２．００）からの優先権を主張するものである。上記特許出願の内容は、その全体が参照により本明細書中に援用される。

本発明は、概して、１人以上のユーザのための双方向仮想および拡張現実環境を促進するように構成される、システムおよび方法に関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。

例えば、図１を参照すると、拡張現実場面４が、描写されており、ＡＲ技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定６と、コンクリートプラットフォーム８とが見える。これらのアイテムに加え、ＡＲ技術のエンドユーザはまた、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを「見ている」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であって、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、ＶＲまたはＡＲ技術の生成は、困難である。

ＶＲおよびＡＲシステムは、典型的には、エンドユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する、頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイまたはスマートグラス）を採用する。エンドユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢（すなわち、ユーザの頭部の配向および／または場所）の変化を考慮するように更新されることができる。

実施例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが現れる面積の周囲を歩く場合、その３Ｄオブジェクトは、視点毎に再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクト（例えば、豊かな仮想世界）を仮想空間内に提示するために使用される場合、場面を再レンダリングして、エンドユーザの動的に変化する頭部の場所および配向に合致し、仮想空間で増加した没入感を提供するために、頭部の姿勢の測定を使用することができる。

ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重畳し、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見て、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される、透明要素は、実世界のエンドユーザの視点にわたってディスプレイからの光を重畳する。

ＶＲおよびＡＲシステムでは、満足の行く関与を損なわせるかまたは妨害することが見出された要因を排除または強調解除する一方、そのような関与を促すかまたは増加させることが見出された要因を強調することによって、ユーザとＶＲ／ＡＲシステムとの間の体験および／または関与の品質を増加させることが望ましい。従来、ユーザのフォーカスグループが、ＶＲ／ＡＲシステムのハードウェアおよび／またはソフトウェアを試験するために集められる。ユーザは、好きまたは嫌いな特徴に関して尋ねられ得る。その応答は、次いで、分析され、ＶＲ／ＡＲシステムのハードウェア／ソフトウェア特徴をオフラインで再設計または別様に修正するために使用されることができる。オフラインフォーカスグループの使用は、概して、試験されているＶＲ／ＡＲシステムを用いたユーザ体験に改良をもたらすが、本技法は、ＶＲ／ＡＲシステムを特定のユーザに合わせて調整するものではなく、ＶＲ／ＡＲシステムに関与するためのユーザの潜在意識的動機を考慮せず、ＶＲ／ＡＲシステムに改良を反復的にもたらすためのフォーカスグループの繰り返される使用に起因して、比較的にコストおよび時間がかかり得る。

したがって、ユーザとＶＲ／ＡＲシステムとの間の体験および／または関与の品質を増加させる必要がある。

本発明の第１の側面によると、仮想画像生成システムを動作させる方法は、エンドユーザが少なくとも１つの仮想オブジェクトを備える３次元環境と相互作用することを可能にするステップを含む。エンドユーザが３次元環境と相互作用することを可能にするステップは、３次元環境の複数の合成画像フレームをレンダリングし、合成画像フレームをエンドユーザに連続して表示するステップを含んでもよい。合成画像フレームは、エンドユーザの頭部に搭載されるフレーム構造を介して、エンドユーザの視野内に表示されてもよく、エンドユーザによって可視化される実場面にわたって重畳されてもよい。

本方法はさらに、３次元環境の状況下、刺激をエンドユーザに提示するステップ（例えば、視覚的にまたは聴覚的に）と、エンドユーザへの刺激の提示に応答して、エンドユーザの少なくとも１つのバイオメトリックパラメータを感知するステップと、感知されたバイオメトリックパラメータ毎に、バイオメトリックデータを生成するステップとを含む。一実施形態では、エンドユーザのバイオメトリックパラメータは、刺激の提示に応答して、複数の異なる時間に感知され、バイオメトリックデータは、これらの異なる時間に生成される。感知されたバイオメトリックパラメータは、少なくとも１つの表情（例えば、エンドユーザの口角および眼の周囲の目尻の皺の一方または両方）、肩をすぼめること、呼吸数、心拍数、体温、血圧、手の移動の頻度および／または場所、身体がぴくぴくする頻度および／または場所、眼の移動の間の経過時間、および微表情を含んでもよい。

本方法はさらに、感知されたバイオメトリックパラメータ毎のバイオメトリックデータに基づいて、エンドユーザが少なくとも１つの特定の感情状態（例えば、怒り、軽蔑、嫌悪、恐れ、楽しさ、悲しみ、驚き、混乱、羞恥心、警戒心、疲労、リラックス、欲求不満、退屈、当惑のうちの１つ）にあるかどうかを決定するステップを含む。感知されたバイオメトリックパラメータは、複数の異なる感知されるバイオメトリックパラメータを含んでもよく、その場合、エンドユーザが特定の感情状態にあるかどうかを決定するステップは、パターン認識分析を生成されたバイオメトリックデータに実施するステップを含んでもよい。例えば、感知されたバイオメトリックパラメータが、エンドユーザの口角および眼の周囲の目尻の皺を含む場合、特定の感情状態は、楽しさを含むと決定され得る。

エンドユーザが特定の感情状態にあるかどうかを決定するステップは、生成されたバイオメトリックデータと少なくとも１つの特定の感情状態と相関される基準バイオメトリックデータを比較するステップを含んでもよい。例えば、感知されたバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリックスカラーデータ値であってもよく、基準バイオメトリックデータは、基準バイオメトリック値範囲を含んでもよく、その場合、生成されたバイオメトリックデータと基準バイオメトリックデータを比較するステップは、バイオメトリックスカラーデータ値が基準バイオメトリック値範囲内にあるかどうかを決定するステップを含んでもよい。別の実施例として、感知されたバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリック多次元データベクトルであってもよく、基準バイオメトリックデータは、基準バイオメトリック多次元データベクトルを含んでもよく、その場合、生成されたバイオメトリックデータと基準バイオメトリックデータを比較するステップは、生成されたバイオメトリック多次元データベクトルと基準バイオメトリック多次元データベクトルとの間の相関関数を実施するステップを含んでもよい。随意の実施形態では、エンドユーザが特定の感情状態にあるかどうかを決定するステップはさらに、基準バイオメトリックデータをエンドユーザのカスタム感情状態プロファイルから読み出すステップを含んでもよい。

本方法はさらに、少なくとも部分的に、エンドユーザが特定の感情状態にあることが決定されるかどうかに基づいて、エンドユーザに判別可能なアクションを実施し、現在の目標を促進するステップを含む。

一実施形態では、現在の目標は、例えば、関連時間周期にわたって１回、関連時間周期にわたって複数回、または関連時間周期にわたって継続的にである、所望の持続時間にわたって、エンドユーザにおいて所望の感情状態を引き起こす、または所望の持続時間にわたって、エンドユーザにおいて望ましくない感情状態を引き起こさない、または所望の持続時間にわたって、エンドユーザにおいて複数の異なる所望の感情状態を引き起こすことである。

例えば、現在の目標は、所望の持続時間にわたって、エンドユーザにおいて所望の感情状態を引き起こすことであってもよく、特定の感情状態は、所望の感情状態と一致し得る。エンドユーザが、所望の持続時間にわたって、特定の感情状態にあると決定される場合、実施されるアクションは、刺激をエンドユーザに対してより利用可能にするステップを含んでもよく、対照的に、エンドユーザが、所望の持続時間にわたって、特定の感情状態にないと決定される場合、実施されるアクションは、刺激をエンドユーザに対してあまり利用可能にしないステップを含んでもよい。

別の実施例として、現在の目標は、所望の持続時間にわたって、エンドユーザにおいて望ましくない感情状態を引き起こさないことであってもよく、特定の感情状態は、望ましくない感情状態と一致し得る。エンドユーザが、所望の持続時間にわたって、少なくとも１つの特定の感情状態にないと決定される場合、実施されるアクションは、刺激をエンドユーザに対してより利用可能にするステップを含んでもよく、対照的に、エンドユーザが、所望の持続時間にわたって、特定の感情状態にあると決定される場合、実施されるアクションは、刺激をエンドユーザに対してあまり利用可能にしないステップを含んでもよい。

さらに別の実施例として、現在の目標は、所望の持続時間にわたって、エンドユーザにおいて複数の異なる所望の感情状態を引き起こすことであってもよく、複数の異なる感情状態が、複数の所望の感情状態と一致し得る。エンドユーザが、所望の持続時間にわたって、複数の異なる感情状態にあると決定される場合、実施されるアクションは、刺激をエンドユーザに対してより利用可能にするステップを含んでもよく、対照的に、エンドユーザが、所望の持続時間にわたって、複数の異なる感情状態にないと決定される場合、実施されるアクションは、刺激をエンドユーザに対してあまり利用可能にしないステップを含んでもよい。

別の実施形態では、刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートの形態をとり、その場合、実施されるアクションは、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートをエンドユーザに対してより利用可能にする、またはあまり利用可能にしないステップを含んでもよい。さらに別の実施形態では、刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートの特徴の形態をとり、その場合、実施されるアクションは、ビデオゲーム、プログラム、音楽背景曲、報酬、またはアラートをエンドユーザに対してより利用可能にする、またはあまり利用可能にしないステップを含んでもよい。

さらに別の実施形態では、刺激は、戦略的ビデオゲームの形態をとり、現在の目標は、戦略的ビデオゲームにおいてエンドユーザを負かすことであって、その場合、実施されるアクションは、エンドユーザに対する特定の感情状態決定を使用してゲームを進めるステップを含んでもよい。例えば、戦略的ビデオゲームは、エンドユーザと対戦する１人以上のシミュレートされたプレーヤを有する、カードプレービデオゲーム（例えば、ポーカービデオゲーム）であってもよく、特定の感情状態は、エンドユーザがはったりをかけているかどうかを示すものであってもよく、その場合、実施されるアクションは、シミュレートされたプレーヤが、エンドユーザがはったりをかけているかどうかの知識を使用して、エンドユーザとカードをプレーするステップを含んでもよい。

さらに別の実施形態では、刺激は、エンドユーザに提示される質問の形態をとり、現在の目標は、質問に応答して、エンドユーザが嘘をついているかどうかを決定することであって、その場合、実施されるアクションは、特定の感情状態決定を使用して、エンドユーザにエンドユーザが嘘をついているかどうかを知らせるステップを含んでもよい。

さらに別の実施形態では、刺激は、エンドユーザに提示される複数のオプションの形態をとり、現在の目標は、エンドユーザが考えている複数のオブジェクトのうちの１つを決定することであって、その場合、実施されるアクションは、特定の感情状態決定を使用して、エンドユーザにエンドユーザが考えているオブジェクトを知らせるステップを含んでもよい。

さらに別の実施形態では、刺激は、シミュレートされた顔の形態をとり、現在の目標は、エンドユーザを笑わせることであって、その場合、実施されるアクションは、特定の感情状態決定を使用して、エンドユーザが笑いそうであるかどうかを決定し、エンドユーザを笑わせるようにシミュレートされた顔を修正するステップを含んでもよい。

本発明の第２の側面によると、仮想画像生成システムを動作させる方法は、エンドユーザが少なくとも１つの仮想オブジェクトを備える３次元環境と相互作用することを可能にするステップを含む。エンドユーザが３次元環境と相互作用することを可能にするステップは、３次元環境の複数の合成画像フレームをレンダリングし、合成画像フレームをエンドユーザに連続して表示するステップを含んでもよい。合成画像フレームは、エンドユーザの頭部に搭載されるフレーム構造を介して、エンドユーザの視野内に表示されてもよく、エンドユーザによって可視化される実場面にわたって重畳されてもよい。

本方法はさらに、３次元環境の状況下、刺激をエンドユーザに提示するステップ（例えば、視覚的にまたは聴覚的に）を含む。刺激は、例えば、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラート、またはその特徴であってもよい。

本方法はさらに、エンドユーザへの刺激の提示に応答して、エンドユーザの少なくとも１つのバイオメトリックパラメータを感知するステップと、感知されたバイオメトリックパラメータ毎に、バイオメトリックデータを生成するステップとを含む。一実施形態では、エンドユーザのバイオメトリックパラメータは、刺激の提示に応答して、複数の異なる時間に感知され、バイオメトリックデータは、これらの異なる時間に生成される。感知されたバイオメトリックパラメータは、少なくとも１つの表情（例えば、エンドユーザの口角および眼の周囲の目尻の皺の一方または両方）、肩をすぼめること、呼吸数、心拍数、体温、血圧、手の移動の頻度および／または場所、身体がぴくぴくする頻度および／または場所、眼の移動の間の経過時間、および微表情を含んでもよい。

本方法はさらに、生成されたバイオメトリックデータとエンドユーザの特定の感情状態（例えば、怒り、軽蔑、嫌悪、恐れ、楽しさ、悲しみ、驚き、混乱、羞恥心、警戒心、疲労、リラックス、欲求不満、退屈、当惑のうちの少なくとも１つ）を相関させるステップを含む。一実施形態では、生成されたバイオメトリックデータは、特定の信頼度レベルを伴って、特定の感情状態と相関される。一実施形態では、生成されたバイオメトリックデータと特定の感情状態を相関させるステップは、持続時間（例えば、刺激がエンドユーザに提示されている間、エンドユーザが３次元環境と相互作用する、刺激がエンドユーザに提示される時間周期および回数のうちの１つである）を追跡するステップと、追跡された持続時間と閾値持続時間を比較し、比較に基づいて、生成されたバイオメトリックデータと特定の感情状態を相関させるステップとを含む。別の実施形態では、生成されたバイオメトリックデータと特定の感情状態を相関させるステップは、異なる刺激を用いて、刺激提示、バイオメトリックパラメータ感知、およびバイオメトリックデータ生成ステップを数回繰り返し、エンドユーザにおいて異なる感情状態または異なる感情状態の程度を引き起こすステップと、特定の感情状態に最良に合致する、バイオメトリックデータを選択するステップとを含む。

本方法はさらに、基準バイオメトリックデータを相関バイオメトリックデータから導出するステップと、基準バイオメトリックデータを特定の感情状態と相関させてエンドユーザのカスタムプロファイル内に記憶するステップとを含む。一実施形態では、感知されたバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリックスカラーデータ値であって、基準バイオメトリックデータは、基準バイオメトリック値範囲を含む。別の実施形態では、感知されたバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリック多次元データベクトルであって、基準バイオメトリックデータは、基準バイオメトリック多次元データベクトルを含む。

随意の方法はさらに、別の３次元環境の状況下、後続刺激（以前に提示される刺激と異なり得る）をエンドユーザに提示するステップと、続いて提示される刺激に応答して、エンドユーザの少なくとも１つの感知されるバイオメトリックパラメータを感知するステップと、続いて提示される刺激に応答して感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成するステップと、基準バイオメトリックデータをカスタムプロファイルから読み出すステップと、生成されたバイオメトリックデータと読み出された基準バイオメトリックデータを比較するステップと、比較に基づいて、エンドユーザが特定の感情状態にあることを決定するステップとを含む。

本発明の付加的および他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
本発明は、例えば、以下を提供する。
（項目１）
仮想画像生成システムを動作させる方法であって、
エンドユーザが少なくとも１つの仮想オブジェクトを備える３次元環境と相互作用することを可能にするステップと、
前記３次元環境の状況下、刺激を前記エンドユーザに提示するステップと、
前記エンドユーザへの刺激の提示に応答して、前記エンドユーザの少なくとも１つのバイオメトリックパラメータを感知するステップと、
前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成するステップと、
前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記エンドユーザが少なくとも１つの特定の感情状態にあるかどうかを決定するステップと、
少なくとも部分的に、前記エンドユーザが前記少なくとも１つの特定の感情状態にあることが決定されるかどうかに基づいて、前記エンドユーザに判別可能なアクションを実施し、現在の目標を促進するステップと
を含む、方法。
（項目２）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて所望の感情状態を引き起こすこと、または所望の持続時間にわたって、前記エンドユーザにおいて望ましくない感情状態を引き起こさないこと、または所望の持続時間にわたって、前記エンドユーザにおいて複数の異なる所望の感情状態を引き起こすことである、項目１に記載の方法。
（項目３）
前記所望の持続時間は、関連時間周期にわたって１回、関連時間周期にわたって複数回、または関連時間周期にわたって継続的にである、項目２に記載の方法。
（項目４）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて所望の感情状態を引き起こすことであり、前記少なくとも１つの特定の感情状態は、前記所望の感情状態と一致し、前記エンドユーザは、前記所望の持続時間にわたって、前記少なくとも１つの特定の感情状態にあると決定され、前記アクションを実施するステップは、前記刺激を前記エンドユーザに対してより利用可能にするステップを含む、項目２に記載の方法。
（項目５）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて所望の感情状態を引き起こすことであり、前記少なくとも１つの特定の感情状態は、前記所望の感情状態と一致し、前記エンドユーザは、前記所望の持続時間にわたって、前記少なくとも１つの特定の感情状態にないと決定され、前記アクションを実施するステップは、前記刺激を前記エンドユーザに対してあまり利用可能にしないステップを含む、項目２に記載の方法。
（項目６）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて望ましくない感情状態を引き起こさないことであり、前記少なくとも１つの特定の感情状態は、前記望ましくない感情状態と一致し、前記エンドユーザは、前記所望の持続時間にわたって、前記少なくとも１つの特定の感情状態にないと決定され、前記アクションを実施するステップは、前記刺激を前記エンドユーザに対してより利用可能にするステップを含む、項目２に記載の方法。
（項目７）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて望ましくない感情状態を引き起こさないことであり、前記少なくとも１つの特定の感情状態は、前記望ましくない感情状態と一致し、前記エンドユーザは、前記所望の持続時間にわたって、前記少なくとも１つの特定の感情状態にあると決定され、前記アクションを実施するステップは、前記刺激を前記エンドユーザに対してあまり利用可能にしないステップを含む、項目２に記載の方法。
（項目８）
前記少なくとも１つの特定の感情状態は、複数の異なる感情状態を含む、項目２に記載の方法。
（項目９）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて複数の異なる所望の感情状態を引き起こすことであり、前記複数の異なる感情状態は、前記複数の所望の感情状態と一致し、前記エンドユーザは、前記所望の持続時間にわたって、前記複数の異なる感情状態にあると決定され、前記アクションを実施するステップは、前記刺激を前記エンドユーザに対してより利用可能にするステップを含む、項目８に記載の方法。
（項目１０）
前記現在の目標は、所望の持続時間にわたって、前記エンドユーザにおいて複数の異なる所望の感情状態を引き起こすことであり、前記複数の異なる感情状態は、前記複数の所望の感情状態と一致し、前記エンドユーザは、前記所望の持続時間にわたって、前記複数の異なる感情状態にないと決定され、前記アクションを実施するステップは、前記刺激を前記エンドユーザに対してあまり利用可能にしないステップを含む、項目８に記載の方法。
（項目１１）
前記刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートの形態をとり、前記アクションを実施するステップは、前記ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートを前記エンドユーザに対してより利用可能にする、またはあまり利用可能にしないステップを含む、項目２に記載の方法。
（項目１２）
前記刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートの特徴の形態をとり、前記アクションを実施するステップは、前記ビデオゲーム、プログラム、音楽背景曲、報酬、またはアラートを前記エンドユーザに対してより利用可能にする、またはあまり利用可能にしないステップを含む、項目２に記載の方法。
（項目１３）
前記刺激は、戦略的ビデオゲームの形態をとり、前記現在の目標は、前記戦略的ビデオゲームにおいて前記エンドユーザを負かすことであり、前記アクションを実施するステップは、前記エンドユーザに対する特定の感情状態決定を使用してゲームを進めるステップを含む、項目１に記載の方法。
（項目１４）
前記戦略的ビデオゲームは、前記エンドユーザと対戦する１人以上のシミュレートされたプレーヤを有するカードプレービデオゲームであり、前記少なくとも１つの特定の感情状態は、前記エンドユーザがはったりをかけているかどうかを示すものであり、前記アクションを実施するステップは、前記１人以上のシミュレートされたプレーヤが、前記エンドユーザがはったりをかけているかどうかの知識を使用して、前記エンドユーザとカードをプレーするステップを含む、項目１３に記載の方法。
（項目１５）
前記カードプレービデオゲームは、ポーカービデオゲームである、項目１４に記載の方法。
（項目１６）
前記刺激は、前記エンドユーザに提示される質問の形態をとり、前記現在の目標は、前記質問に応答して、前記エンドユーザが嘘をついているかどうかを決定することであり、前記アクションを実施するステップは、特定の感情状態決定を使用して、前記エンドユーザに前記エンドユーザが嘘をついているかどうかを知らせるステップを含む、項目１に記載の方法。
（項目１７）
前記刺激は、前記エンドユーザに提示される複数のオプションの形態をとり、前記現在の目標は、前記エンドユーザが考えている前記複数のオブジェクトのうちの１つを決定することであり、前記アクションを実施するステップは、特定の感情状態決定を使用して、前記エンドユーザに前記エンドユーザが考えているオブジェクトを知らせるステップを含む、項目１に記載の方法。
（項目１８）
前記刺激は、シミュレートされた顔の形態をとり、前記現在の目標は、前記エンドユーザを笑わせることであり、前記アクションを実施するステップは、特定の感情状態決定を使用して、前記エンドユーザが笑いそうであるかどうかを決定し、前記エンドユーザを笑わせるように前記シミュレートされた顔を修正するステップを含む、項目１に記載の方法。
（項目１９）
前記エンドユーザの少なくとも１つのバイオメトリックパラメータは、前記刺激の提示に応答して、複数の異なる時間に感知され、前記バイオメトリックデータは、これらの異なる時間に生成される、項目１に記載の方法。
（項目２０）
前記刺激は、前記エンドユーザに視覚的に提示される、または聴覚的に提示される、項目１に記載の方法。
（項目２１）
前記少なくとも１つの感知されるバイオメトリックパラメータは、複数の異なる感知されるバイオメトリックパラメータを含む、項目１に記載の方法。
（項目２２）
前記エンドユーザが前記少なくとも１つの特定の感情状態にあるかどうかを決定するステップは、パターン認識分析を前記生成されたバイオメトリックデータに実施するステップを含む、項目２１に記載の方法。
（項目２３）
前記少なくとも１つの感知されるバイオメトリックパラメータは、少なくとも１つの表情を含む、項目１に記載の方法。
（項目２４）
前記少なくとも１つの表情は、前記エンドユーザの口角および眼の周囲の目尻の皺の一方または両方である、項目２３に記載の方法。
（項目２５）
前記少なくとも１つの特定の感情状態は、楽しさを含む、項目２４に記載の方法。
（項目２６）
前記少なくとも１つの感知されるバイオメトリックパラメータは、表情、肩をすぼめること、呼吸数、心拍数、体温、血圧、手の移動の頻度および／または場所、身体がぴくぴくする頻度および／または場所、および眼の移動の間の経過時間のうちの少なくとも１つを含む、項目１に記載の方法。
（項目２７）
前記少なくとも１つの感知されるバイオメトリックパラメータは、少なくとも１つの微表情を含む、項目１に記載の方法。
（項目２８）
前記少なくとも１つの特定の感情状態は、怒り、軽蔑、嫌悪、恐れ、楽しさ、悲しみ、驚き、混乱、羞恥心、警戒心、疲労、リラックス、欲求不満、退屈、当惑のうちの少なくとも１つを含む、項目１に記載の方法。
（項目２９）
前記エンドユーザが前記少なくとも１つの特定の感情状態にあるかどうかを決定するステップは、前記生成されたバイオメトリックデータと前記少なくとも１つの特定の感情状態と相関される基準バイオメトリックデータを比較するステップを含む、項目１に記載の方法。
（項目３０）
前記少なくとも１つの感知されるバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリックスカラーデータ値であり、前記基準バイオメトリックデータは、基準バイオメトリック値範囲を含み、前記生成されたバイオメトリックデータと前記基準バイオメトリックデータを比較するステップは、前記バイオメトリックスカラーデータ値が前記基準バイオメトリック値範囲内にあるかどうかを決定するステップを含む、項目２９に記載の方法。
（項目３１）
前記少なくとも１つの感知されるバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリック多次元データベクトルであり、前記基準バイオメトリックデータは、基準バイオメトリック多次元データベクトルを含み、前記生成されたバイオメトリックデータと前記基準バイオメトリックデータを比較するステップは、前記生成されたバイオメトリック多次元データベクトルと前記基準バイオメトリック多次元データベクトルとの間の相関関数を実施するステップを含む、項目２９に記載の方法。
（項目３２）
前記エンドユーザが前記少なくとも１つの特定の感情状態にあるかどうかを決定するステップはさらに、前記基準バイオメトリックデータを前記エンドユーザのカスタム感情状態プロファイルから読み出すステップを含む、項目２９に記載の方法。
（項目３３）
前記エンドユーザが前記３次元環境と相互作用することを可能にするステップは、３次元環境の複数の合成画像フレームをレンダリングし、前記合成画像フレームを前記エンドユーザに連続して表示するステップを含む、項目１に記載の方法。
（項目３４）
前記合成画像フレームは、前記エンドユーザの頭部に搭載されるフレーム構造を介して、前記エンドユーザの視野内に透明ディスプレイ表面から投影される、項目３３に記載の方法。
（項目３５）
前記合成画像フレームは、前記エンドユーザによって可視化される実場面にわたって重畳される、項目３３に記載の方法。
（項目３６）
仮想画像生成システムを動作させる方法であって、
エンドユーザが少なくとも１つの仮想オブジェクトを備える３次元環境と相互作用することを可能にするステップと、
前記３次元環境の状況下、刺激を前記エンドユーザに提示するステップと、
前記提示される刺激に応答して、前記エンドユーザの少なくとも１つの感知されるバイオメトリックパラメータを感知するステップと、
前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成するステップと、
前記生成されたバイオメトリックデータと前記エンドユーザの特定の感情状態を相関させるステップと、
基準バイオメトリックデータを前記相関バイオメトリックデータから導出するステップと、
前記基準バイオメトリックデータを前記特定の感情状態と相関させて前記エンドユーザのカスタムプロファイル内に記憶するステップと
を含む、方法。
（項目３７）
前記生成されたバイオメトリックデータは、特定の信頼度レベルを伴って、前記特定の感情状態と相関される、項目３６に記載の方法。
（項目３８）
前記生成されたバイオメトリックデータと前記特定の感情状態を相関させるステップは、前記刺激が前記エンドユーザに提示されている間、前記エンドユーザが前記３次元環境と相互作用する持続時間を追跡するステップを含む、項目３６に記載の方法。
（項目３９）
前記生成されたバイオメトリックデータと前記特定の感情状態を相関させるステップはさらに、前記追跡された持続時間と閾値持続時間を比較し、前記比較に基づいて、前記生成されたバイオメトリックデータと前記特定の感情状態を相関させるステップを含む、項目３８に記載の方法。
（項目４０）
前記持続時間は、前記刺激が前記エンドユーザに提示される時間周期および回数のうちの１つである、項目３９に記載の方法。
（項目４１）
前記生成されたバイオメトリックデータと前記特定の感情状態を相関させるステップは、
異なる刺激を用いて、刺激提示、バイオメトリックパラメータ感知、およびバイオメトリックデータ生成ステップを数回繰り返し、前記エンドユーザにおいて異なる感情状態または異なる感情状態の程度を引き起こすステップと、
前記特定の感情状態に最良に合致する、バイオメトリックデータを選択するステップと、
を含む、項目３６に記載の方法。
（項目４２）
別の３次元環境の状況において、後続刺激を前記エンドユーザに提示するステップと、
後続して提示される刺激に応答して、前記エンドユーザの少なくとも１つの感知されるバイオメトリックパラメータを感知するステップと、
前記後続して提示される刺激に応答して感知される前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成するステップと、
前記基準バイオメトリックデータを前記カスタムプロファイルから読み出すステップと、
前記生成されたバイオメトリックデータと前記読み出された基準バイオメトリックデータを比較するステップと、
前記比較に基づいて、前記エンドユーザが前記特定の感情状態にあることを決定するステップと
をさらに含む、項目３６に記載の方法。
（項目４３）
前記後続刺激は、以前に提示される刺激と異なる、項目４２に記載の方法。
（項目４４）
前記刺激は、前記エンドユーザに視覚的に提示される、または聴覚的に提示される、項目３６に記載の方法。
（項目４５）
前記刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートである、項目３６に記載の方法。
（項目４６）
前記刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートの特徴である、項目３６に記載の方法。
（項目４７）
前記少なくとも１つの感知されるバイオメトリックパラメータは、複数の異なる感知されるバイオメトリックパラメータを含む、項目３６に記載の方法。
（項目４８）
前記少なくとも１つの感知されるバイオメトリックパラメータは、少なくとも１つの表情を含む、項目３６に記載の方法。
（項目４９）
前記少なくとも１つの表情は、前記エンドユーザの口角および眼の周囲の目尻の皺の一方または両方である、項目４８に記載の方法。
（項目５０）
前記少なくとも１つの特定の感情状態は、楽しさを含む、項目４９に記載の方法。
（項目５１）
前記少なくとも１つの感知されるバイオメトリックパラメータは、表情、肩をすぼめること、呼吸数、心拍数、体温、血圧、手の移動の頻度および／または場所、身体がぴくぴくする頻度および／または場所、および眼の移動の間の経過時間のうちの少なくとも１つを含む、項目３６に記載の方法。
（項目５２）
前記少なくとも１つの感知されるバイオメトリックパラメータは、少なくとも１つの微表情を含む、項目３６に記載の方法。
（項目５３）
前記少なくとも１つの特定の感情状態は、怒り、軽蔑、嫌悪、恐れ、楽しさ、悲しみ、驚き、混乱、羞恥心、警戒心、疲労、リラックス、欲求不満、退屈、当惑のうちの少なくとも１つを含む、項目３６に記載の方法。
（項目５４）
前記少なくとも１つの感知されるバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリックスカラーデータ値であり、前記基準バイオメトリックデータは、基準バイオメトリック値範囲を含む、項目３６に記載の方法。
（項目５５）
前記少なくとも１つの感知されるバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータは、バイオメトリック多次元データベクトルであり、前記基準バイオメトリックデータは、基準バイオメトリック多次元データベクトルを含む、項目３６に記載の方法。
（項目５６）
前記エンドユーザが前記３次元環境と相互作用することを可能にするステップは、３次元環境の複数の合成画像フレームをレンダリングし、前記合成画像フレームを前記エンドユーザに連続して表示するステップを含む、項目３６に記載の方法。
（項目５７）
前記合成画像フレームは、前記エンドユーザの頭部に搭載されるフレーム構造を介して、前記エンドユーザの視野内に位置付けられるディスプレイ表面上に表示される、項目５６に記載の方法。
（項目５８）
前記合成画像フレームは、前記エンドユーザによって可視化される実場面にわたって重畳される、項目５６に記載の方法。

図面は、本発明の好ましい実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点および目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその特定の実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに説明および記載されるであろう。

図１は、先行技術の拡張現実生成デバイスによってエンドユーザに表示され得る、３次元拡張現実場面の写真である。 図２は、本発明の一実施形態に従って構築される、拡張現実システムのブロック図である。 図３ａは、図２の拡張現実システムを装着するために使用され得る、１つの技法の図である。 図３ｂは、図２の拡張現実システムを装着するために使用され得る、別の技法の図である。 図３ｃは、図２の拡張現実システムを装着するために使用され得る、さらに別の１つの技法の図である。 図３ｄは、図２の拡張現実システムを装着するために使用され得る、さらに別の１つの技法の図である。 図４は、図２の拡張現実システムを動作させ、エンドユーザに関するカスタム感情状態プロファイルを生成する方法を図示する、フロー図である。 図５は、図２の拡張現実システムを動作させ、エンドユーザにおける感情状態の感知に基づいて、アクションを実施する方法を図示する、フロー図である。

続く説明は、拡張現実システムにおいて使用されるべきディスプレイシステムおよび方法に関する。しかしながら、本発明は、拡張現実における用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されない場合があることを理解されたい。例えば、本発明は、仮想現実システムを含む、任意の仮想画像生成システムに適用されることができる。したがって、多くの場合、拡張現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。

図２を参照して、本発明に従って構築された拡張現実システム１００の一実施形態が、ここで説明されるであろう。拡張現実システム１００は、エンドユーザ５０の視野内の実際のオブジェクトと混合された仮想オブジェクトの画像を提供する。拡張現実システム１００および本明細書に教示される種々の技法は、拡張現実以外の用途で採用されてもよい。例えば、種々の技法は、任意の投影またはディスプレイシステムに適用されてもよい。または、本明細書に説明される種々の技法は、移動が、頭部ではなく、エンドユーザの手によって行われ得る、ピコプロジェクタに適用されてもよい。したがって、多くの場合、拡張現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。

拡張現実システム１００を動作させるときの２つの基本アプローチが存在する。「ビデオシースルー」と称される、第１のアプローチでは、拡張現実システム１００は、実場面の要素を捕捉し、仮想オブジェクトを捕捉された実場面上に重畳し、複合画像をエンドユーザ５０にディスプレイ上で提示する。「光学シースルー」と称される、第２のアプローチでは、エンドユーザ５０には、直接、透明または半透明ディスプレイを通して、実場面が見え、拡張現実システム１００は、仮想オブジェクトをディスプレイ上で実場面のエンドユーザのビューにわたって重畳する。

本発明により関連して、拡張現実システム１００は、以下にさらに詳細に説明されるであろうように、３次元環境の状況下、エンドユーザへの刺激の提示に応答して、エンドユーザの感情状態を決定し、拡張現実システム１００の現在の目標に従って、決定された感情状態に応答して、エンドユーザ５０に判別可能なアクションを実施する。本明細書では、用語「感情状態」は、限定ではないが、「楽しさ」、「悲しみ」、「欲求不満」等の一般に静的感情状態と称されるものを網羅すると意味するように使用される。

拡張現実システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、ディスプレイシステム１０４がエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって担持されるディスプレイシステム１０４と、スピーカ１０６がエンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）ように、フレーム構造１０２によって担持されるスピーカ１０６とを備える。ディスプレイシステム１０４は、合成画像フレームをエンドユーザ５０に順次表示し、図示される実施形態では、エンドユーザ５０の眼５２に、高レベルの画質および３次元知覚を伴って、物理的的現実に対する仮想コンテンツ拡張として快適に知覚され、かつ２次元コンテンツを提示可能であり得る、画像毎に変調される光を提示するように設計される。ディスプレイシステム１０４は、フレームのシーケンスを高周波数で提示し、単一コヒーレント場面の知覚を提供する。

図示される実施形態では、ディスプレイシステム１０４は、投影サブシステム１０８と、それを通して投影サブシステム１０８が画像をユーザ５０の視野内に投影する、部分的に透明なアイピース１１０とを備える。アイピース１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。図示される実施形態では、投影サブシステム１０８は、１つ以上の光ファイバ１１２（例えば、単一モード光ファイバ）を含み、それぞれ、その中に光が受信される一端１１２ａと、そこから光が部分的に透明なアイピース１１０に提供される別の端部１１２ｂとを有する。投影サブシステム１０８はまた、光を生成し（例えば、異なる色の光を定義されたパターンで放出し）、光を光ファイバ１１２の他端１１２ａに通信可能に結合する、１つ以上の光源１１４を含んでもよい。光源１１４は、それぞれ、ピクセル情報またはデータの個別のフレーム内に規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光を生成するように動作可能な多種多様な形態、例えば、ＲＧＢレーザのセット（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード）のいずれかをとることができる。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。

ディスプレイシステム１０４はさらに、制御信号に応答して所定のパターンで光ファイバ１１２を走査する、走査デバイス１１６を備えてもよい。ディスプレイシステム１０４の実施例を説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許出願第１４／２１２，９６１号（参照することによって明示的に本明細書に組み込まれる）に提供される。ディスプレイシステム１０４は、走査ファイバ技術を用いて実装されるものとして説明されるが、ディスプレイシステム１０４は、任意のディスプレイ技術、例えば、液晶ディスプレイ（ＬＣＤ）、デジタル光処理（ＤＬＰ）ディスプレイ等に基づいてもよいことを理解されたい。

図２に戻って参照すると、拡張現実システム１００はさらに、１つ以上のセンサ１２６を備える。センサ１２６は、エンドユーザ５０の頭部５４の移動（例えば、速度、加速、および位置）および／またはエンドユーザ５０の眼位置および眼球間距離（移動、瞬目、および焦点深度）についての情報を感知、測定、または収集し、エンドユーザ５０が３次元環境に没入するように、エンドユーザ５０の視点から、３次元環境の画像のレンダリングを促進する。

本発明により重要なこととして、エンドユーザ５０に提示される刺激に応答して、センサ１２６は、エンドユーザ５０のバイオメトリックパラメータを感知し、これらの感知されるバイオメトリックパラメータを表すバイオメトリックデータを生成するために構成される。拡張現実システム１００によって生成された刺激は、エンドユーザ５０によって物理的反応を引き起こし得る、任意の刺激であることができる。刺激は、ディスプレイシステム１０４を介して、エンドユーザ５０に視覚的に提示される、および／またはスピーカ１０６を介して、エンドユーザ５０に聴覚的に提示されてもよい。刺激はさらに、機械的アクチュエータ（図示せず）を介して、エンドユーザ５０に触覚的に提示されてもよい。各バイオメトリックパラメータは、特定の刺激の提示に応答して、１回のみまたは複数の異なる時間に感知されることができ、バイオメトリックデータは、個別のバイオメトリックパラメータが感知される度に生成される。感知されるバイオメトリックパラメータ毎のバイオメトリックデータは、１つ以上の値の形態をとってもよい。例えば、バイオメトリックデータは、感知されるバイオメトリックパラメータ毎に、単一データ値（例えば、スカラーデータ値の形態）、１次元アレイのデータ値（例えば、特徴ベクトル）、または２次元アレイのデータ値（例えば、画像データの形態）であってもよい。

ある場合では、刺激は、ある仮想オブジェクト（例えば、画面）が別の仮想オブジェクト（例えば、別の画面）に遷移する様式に関連してもよい。例えば、ある画面は、別の画面に瞬間的に遷移してもよい、またはある画面は、別の画面の中に消失してもよい。この場合、異なる刺激は、ある画面が別の画面に遷移する方法であって、これは、エンドユーザ５０において異なる感情を引き起こし得る。例えば、エンドユーザ５０は、画面間の瞬間遷移に対して満足を体験するが、画面間で消失する遷移に対して欲求不満を体験し得る。

別の場合では、刺激は、仮想オブジェクト（例えば、メニュー）の構成に関連してもよい。例えば、あるタイプのメニューは、正方形ボタンを有してもよく、別のタイプのメニューは、円形ボタンを有してもよい。この場合、異なる刺激は、メニューの異なる構成であって、これは、エンドユーザ５０において異なる感情を引き起こし得る。例えば、エンドユーザ５０は、正方形ボタンを有するメニューに対してリラックスを体験するが、円形ボタンを有するメニューに対して退屈を体験し得る。

さらに別の場合では、刺激は、背景楽曲またはその特徴のジャンルに関連してもよい。例えば、あるタイプの音楽（例えば、ロック）が、背景で再生されることができる、または別のタイプの音楽（例えば、クラッシック）が、背景で再生されてもよい。この場合、異なる刺激は、異なるタイプの音楽であって、これは、エンドユーザ５０において異なる感情を引き起こし得る。例えば、エンドユーザ５０は、ロック音楽に対して不安を体験するが、クラシック音楽に対して喜びを体験し得る。

さらに別の場合では、刺激は、アラートの性質に関連してもよい。例えば、あるタイプのアラート（例えば、フープ音（ｗｈｏｏｐｉｎｇ ｓｏｕｎｄ））が、エンドユーザ５０に発報されることができる、または別のタイプのアラート（例えば、点滅光）が、エンドユーザ５０に表示されることができる。この場合、異なる刺激は、異なるタイプのアラートであって、これは、エンドユーザ５０において異なる感情を引き起こし得る。例えば、エンドユーザ５０は、フープ音に対して警戒心を体験し得るが、点滅光に対して注意散漫を体験し得る。

さらに別の場合では、刺激は、ビデオゲームまたはプログラムまたはその特徴に関連してもよい。例えば、あるタイプのビデオゲーム（例えば、アクションビデオゲーム）が、エンドユーザ５０に提示されることができる、または別のタイプのビデオゲーム（例えば、戦略的ビデオゲーム）が、エンドユーザ５０に提示されることができる。この場合、異なる刺激は、異なるビデオゲームであって、これは、エンドユーザ５０において異なる感情を引き起こし得る。例えば、エンドユーザ５０は、アクションビデオゲームに対して興奮またはある範囲の異なる感情を体験するが、知的ビデオゲームに対して退屈を体験し得る。

さらに別の場合では、刺激は、３次元環境と相互作用するエンドユーザ５０の成功結果に応答してエンドユーザ５０に提示される視聴覚報酬（例えば、ビデオゲームをプレーしているとき）、またはさらに、３次元環境と相互作用するエンドユーザ５０の不成功結果に応答してエンドユーザ５０に提示される視聴覚ペナルティに関連してもよい。これらの報酬／ペナルティは、単純オーディオビープ音から精巧な動画まで、長さ、持続時間、コンテンツ等が変動してもよい。報酬／ペナルティは、例えば、イヌ、ペーパークリップ、ダンスするゴブリンの群れ、フィストバンプまたはハイタッチ、スロットマシン雑音、映画からの場面等を特徴としてもよい。

さらに別の場合では、刺激はさらに、３次元環境から生じる周囲光またはユーザ５０の視野内の３次元環境のビデオであることができる。後者の場合では、前向きに面したカメラ（図示せず）が、フレーム構造１０２に搭載され、ユーザ５０の視野内の３次元環境の画像を捕捉してもよい。

生成されたバイオメトリックデータは、エンドユーザ５０が刺激を提示されるにつれて、エンドユーザ５０の感情状態を決定するために使用されるであろう。そのような感情状態は、限定ではないが、怒り、軽蔑、嫌悪、恐れ、楽しさ、悲しみ、および驚き等の７つの基本感情を含んでもよいが、混乱、羞恥心、警戒心、疲労、リラックス、欲求不満、退屈、当惑等の他の感情状態が存在してもよい。

各バイオメトリックパラメータは、エンドユーザ５０の感情状態を示す物理的反応に関連する、任意のパラメータの形態をとってもよい。エンドユーザ５０の感情状態の最良の物理的インジケータは、エンドユーザ５０の表情である。ヒトの表情は、顔の皮膚および筋膜を接続する、筋肉の移動によって生じる。これらの筋肉は、皮膚を移動させ、線および皺を作成し、口および眉毛等の顔特徴の移動を生じさせる。

恐れの感情は、典型的には、眉毛を寄せて形成された皺、こわばり、引きつった眼瞼、および若干うなだれた頭部と顰められた眉毛から覗く眼によって表される。表情は、緊張し、歪んでいる。軽蔑の感情は、典型的には、一方の口角が引きつり、中立位置の眼を伴う、一方向（片側）の表情によって表される。嫌悪の感情は、顰められた眉毛、皺を寄せた鼻、および唇が緩んだまま引き上げられた上唇によって表され得る。恐れの感情は、典型的には、見開かれた眼、上向きに傾いた眉毛、および若干開いた口によって表される。楽しさの感情は、典型的には、笑顔（上向きに持ち上げられた口角）、上を向いた頬、三日月形状の眼、見えている歯、および眼の周囲の目尻の皺によって表される。悲しみの感情は、典型的には、顰めっ面、上向きに傾いた眉毛、および下向きに弛んだ顔によって表される。驚きの感情は、典型的には、見開いた眼とぽっかり開いた口およびより大きな瞳孔によって表される。混乱の感情は、典型的には、皺の寄った前額および鼻、片方が上がった眉毛、およびすぼめた唇によって表される。羞恥心の感情は、典型的には、下向きに向いた眼、うなだれた頭部、および顰めっ面または中立口（下がったまたは持ち上げられていない口角）によって表される。警戒心の感情は、典型的には、人物があるオブジェクトに集中している場合の眼の凝視、または人物がある考えに集中している場合の瞬目の殆どない上向きの眼または片側に逸れた眼によって表される。疲労の感情は、典型的には、半開きの眼瞼であるが、持ち上げられた眉毛によって表される。リラックスの感情は、典型的には、若干の笑顔および若干閉鎖された眼瞼によって表される。欲求不満の感情は、典型的には、皺が形成された内向きに傾いた眉毛、持ち上げられた顎、すぼめた唇、片側に捻れた口、および頬の皺によって表される。退屈の感情は、典型的には、半開きの眼瞼、持ち上げられた眉毛、および若干片側にすぼめた口によって表される。当惑の感情は、典型的には、口角を持ち上げずに作られた笑みである引きつった笑顔および赤面によって表される。

したがって、各バイオメトリックパラメータは、限定ではないが、口角（または形状）、眼の周囲の目尻の皺、眉毛の角度、および眼の移動を含む、表情に関わる身体特徴に関連するが、肩をすぼめること、呼吸数、心拍数、体温、血圧、手の移動の頻度および／または場所、および身体がぴくぴくする頻度および／または場所等の表情に関わらない身体特徴に関連するバイオメトリックパラメータも、使用されてもよい。

微表情は、数分の１秒にわたって人物の顔上によぎる表情であって、ヒトの真の気持ちまたは感情を決定することに役立つことができる。微表情の基本特性は、口、眼の移動、および眉毛を通した不随意的漏出であって、高速であって、多くの場合、人物が誠実であるかどうかを決定するために使用される。典型的には、嘘をついている人物の感情状態は、前額の隙間に向かって上向きに引き上げられた眉毛、前額の皮膚を横断して表れる短線、唇のこわばり、すぼめられた唇、上方および左または右への眼の移動、高速眼瞬目等によって特徴付けられる、苦悩状態のうちの１つとなるであろう。

センサ１２６は、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープを含んでもよい。例えば、センサ１２６は、口角、眼の周囲の目尻の皺を含む顔の皺、眉毛の角度、および眼の移動の間の経過時間を含む、エンドユーザ５０の物理的顔反応を追跡するためのフレーム構造１０２に搭載される、一対の後ろ向きに面したカメラを含んでもよい。エンドユーザ５０の眼５２の移動、瞬目、および焦点深度は、光を眼５２に投影させ、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別されることができる。眼追跡デバイスについて議論するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許出願第ｘｘ／ｘｘｘ，ｘｘｘ号（弁理士整理番号ＭＬ−３０００６−ＵＳ）、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｃｒｅａｔｉｎｇ Ｆｏｃａｌ Ｐｌａｎｅｓ ｉｎ Ｖｉｒｔｕａｌ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」と題された米国特許出願第ｘｘ／ｘｘｘ，ｘｘｘ号（弁理士整理番号ＭＬ−３００１７−ＵＳ）、および「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｇｍｅｎｔｅｄ ａｎｄ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」と題された米国特許出願第ｘｘ／ｘｘｘ，ｘｘｘ号（弁理士整理番号ＭＬ−３０００５−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に提供される。センサ１２６は、手の移動の頻度および／または場所、身体がぴくぴくする頻度および／または場所、およびすくめられた肩を追跡するためのエンドユーザ５０の関連身体部分に搭載される、加速度計を含んでもよい。センサ１２６は、エンドユーザ５０の呼吸数、心拍数、体温、および血圧を感知するための従来のバイタルサインセンサを含んでもよい。

拡張現実システム１００は、センサ１２６によって生成されたバイオメトリックデータに基づいて、エンドユーザ５０の感情状態を決定し、特に、生成されたバイオメトリックデータを特定の感情状態として解釈するために構成される、感情状態決定モジュール１２８を備える。感情状態決定モジュール１２８を補助するために、拡張現実システム１００はさらに、図示される実施形態では、センサ１２６によって感知される関連バイオメトリックパラメータに関する基準バイオメトリックデータと１つ以上の感情状態を相関させる、エンドユーザ５０に関する感情状態プロファイルを記憶するために構成される、感情状態データベース１３０を備える。図示される実施形態では、感情状態決定モジュール１２８は、例えば、パターン認識分析を使用して、現在生成されているバイオメトリックデータとエンドユーザ５０の感情状態プロファイル内の特定の着目感情状態と相関された基準バイオメトリックデータを比較することによって、センサ１２６によって生成されたバイオメトリックデータを特定の着目感情状態として解釈する。

例えば、喜びの感情に関して、特定のエンドユーザ５０による楽しさを示すことが既知の基準バイオメトリックデータ（例えば、エンドユーザ５０の口角およびエンドユーザ５０の眼５２の周囲の目尻の皺に関連するバイオメトリックデータ）が、感情状態データベース１３０内に記憶されてもよい。エンドユーザ５０の他の感情状態と相関される基準バイオメトリックデータもまた、感情状態データベース１３０内に記憶されてもよい。したがって、感情状態決定モジュール１２８は、現在生成されているバイオメトリックデータと感情状態データベース１３０内に記憶される対応する基準バイオメトリックデータを比較し、合致が存在する場合、エンドユーザ５０が本基準バイオメトリックデータと相関される感情状態にあることを決定し、合致が存在しない場合、エンドユーザ５０が本感情状態にないことを決定してもよい。

以下にさらに詳細に説明されるであろうように、感情状態プロファイルは、例えば、エンドユーザ５０によって被られる感情状態に一意のバイオメトリックデータを習得するために、いくつかの異なるタイプの刺激がエンドユーザ５０に提示され得、着目感情状態に関連するバイオメトリックパラメータが感知され得る訓練セッションの間、エンドユーザ５０に対して経時的にカスタマイズされることができる。したがって、バイオメトリックデータが、経時的に集められるにつれて、感情状態プロファイルが、エンドユーザ５０に関して構築され、これは、その個人的かつ個々の身体表現とそれらによって反映される可能性が高い感情状態に合致させ、したがって、エンドユーザ５０に関する感情状態のより正確な分析を徐々に有効にする。カスタム感情状態プロファイルは、エンドユーザ５０が任意の刺激に応答する感情状態を決定するために使用されることができる。例えば、カスタム感情状態プロファイルは、エンドユーザ５０がビデオゲームをプレーするにつれて、構築され、次いで、完全に異なるビデオゲームをプレーするとき、またはさらに非ビデオゲーム刺激に応答した、エンドユーザ５０の感情状態を続いて決定するために使用されてもよい。

バイオメトリックデータの使用に加え、感情状態決定モジュール１２６は、非バイオメトリックデータを使用して、刺激に応答したエンドユーザ５０の感情状態を決定することを補助してもよい。例えば、エンドユーザ５０が３次元環境と相互作用する持続時間（例えば、刺激がエンドユーザに提示される時間周期または回数）が、刺激がエンドユーザ５０に提示される間、追跡されてもよい。エンドユーザ５０が、長時間にわたって、ビデオゲームをプレーしている場合、本時間の間に生成されたバイオメトリックデータは、エンドユーザ５０の感情状態が楽しさであることの非常に良好なインジケーションである。本バイオメトリックデータは、次いで、カスタム感情状態プロファイル内に記憶され、楽しさの感情状態と相関されることができる。対照的に、エンドユーザ５０が、短時間にわたって、ビデオゲームをプレーする場合、本時間の間に生成されたバイオメトリックデータは、エンドユーザ５０の感情状態が退屈であることの非常に良好なインジケーションである。本バイオメトリックデータは、次いで、無視される、またはカスタム感情状態プロファイル内に記憶され、退屈の感情状態と相関されることができる。

生成されたバイオメトリックデータのパターン認識分析が特定の感情状態を明らかにするために、複数のバイオメトリックパラメータが、感知される必要があり得ることを理解されたい。例えば、楽しさを体験している人物は、笑っているであろうことが公知である。また、楽しさを体験していない人物は、愛想笑いをし得ることが公知である。しかしながら、楽しさを真に体験している人物は、目尻の皺を眼の周囲に有するであろう。したがって、センサ１２６から取得されるバイオメトリックデータが、エンドユーザ５０が笑っており、目尻の皺を有することを示す場合、感情状態決定モジュール１２８は、エンドユーザ５０が実際に楽しさを体験していることを決定し得る。しかしながら、センサ１２６から取得されるバイオメトリックデータが、エンドユーザ５０が笑っているが、目尻の皺を有していないことを示す場合、感情状態決定モジュール１２８は、エンドユーザ５０が実際には楽しさを体験してはいないことを決定し得る。

感情状態決定モジュール１２８が現在生成されているバイオメトリックデータと基準バイオメトリックデータを比較する、様式は、バイオメトリックデータの性質に依存するであろう。

特定のバイオメトリックパラメータに関して現在生成されているデータが、スカラーデータ値の形態をとる場合、その特定のバイオメトリックパラメータに対応する基準バイオメトリックデータは、１つ以上の値範囲の形態をとってもよい。例えば、バイオメトリックパラメータが、エンドユーザ５０の口角であって、楽しさが、関連感情状態である場合、値範囲は、楽しいことが既知であるときのエンドユーザ５０に関する笑顔を示すために、口角が上に向けられなければならないミリメートル単位に対応する距離範囲であってもよい。笑顔の程度を示す、複数の距離範囲が、使用されてもよい。例えば、距離範囲５〜１０ｍｍは、若干の笑顔を示し得、距離範囲１０〜２０ｍｍは、中間笑顔を示し得、２０ｍｍを上回る範囲は、満面の笑顔を示し得る。現在生成されているバイオメトリックデータ値は、次いで、バイオメトリックデータ値が基準バイオメトリック値範囲内にあるかどうか、または複数の基準メトリック値範囲が存在するかどうか、該当する場合、バイオメトリックデータ値が当てはまる範囲を決定することによって、その特定のバイオメトリックパラメータに関する基準バイオメトリック値範囲と比較されてもよい。したがって、バイオメトリックデータ値が特定の基準バイオメトリック値範囲内にあるかどうかは、少なくとも部分的に、現在生成されているバイオメトリックデータと基準バイオメトリックデータとの間の合致を決定付けるであろう。

特定のバイオメトリックパラメータに関して現在生成されているデータが、多次元データベクトル（例えば、画像データ）の形態をとる場合、その特定のバイオメトリックパラメータに対応する基準バイオメトリックデータは、多次元アレイのデータおよび１つ以上の相関データ範囲の形態をとってもよい。例えば、バイオメトリックパラメータが、エンドユーザ５０の眼の周囲の目尻の皺であって、楽しさが、関連感情状態である場合、目尻の皺と一致する基準データアレイの関連部分は、楽しいことが既知であるときのエンドユーザ５０の画像データを備えてもよい。現在生成されているバイオメトリックデータベクトルは、次いで、係数（例えば、−１〜１の範囲内である）をもたらす、ピアソンの相関係数関数または最小２乗ベースの関数等の好適なデータアレイ比較関数を使用して、基準データアレイと比較されてもよい。本係数は、次いで、基準相関データ範囲と比較され、基準相関範囲内にあるかどうかを決定することができる。目尻の皺の程度を示す、複数の係数範囲が、使用されてもよく、その場合、係数は、複数の基準相関データ範囲と比較され、該当する場合、係数が当てはまる範囲を決定することができる。例えば、係数０．５〜０．７は、若干の目尻の皺を示し得、係数０．７〜０．８５は、中間の目尻の皺を示し得、０．８５を上回る係数は、完全な目尻の皺を示し得る。したがって、係数が特定の基準相関データ範囲内にあるかどうかは、少なくとも部分的に、現在生成されているバイオメトリックデータと基準バイオメトリックデータとの間の合致を決定付けるであろう。

複数のバイオメトリックパラメータが、エンドユーザ５０が特定の感情状態にあるかどうかを決定するために使用される場合、現在生成されているバイオメトリックデータと個別のバイオメトリックパラメータに関する個別の基準バイオメトリックデータの間の比較の関数が、感情状態決定モジュール１２８によって、エンドユーザ５０が対応する感情状態にあるかどうかを決定するために使用されることができる。この場合、複数のバイオメトリックパラメータに関する現在生成されているデータは、１次元アレイ（例えば、特徴ベクトル）の形態をとってもよい。例えば、特徴ベクトル内のあるスカラー要素は、笑顔の生物学的パラメータであってもよく、特徴ベクトル内の別のスカラー要素は、目尻の皺の生物学的パラメータであってもよい。

一実施例では、現在生成されているバイオメトリックデータは、エンドユーザ５０が対応する感情状態にあることの決定をトリガするために、関連バイオメトリックパラメータの全てに関して基準バイオメトリックデータに合致しなければならない（例えば、現在生成されているデータ値は、関連バイオメトリックパラメータ毎に、基準データ範囲内になければならない）。別の実施例では、現在生成されているバイオメトリックデータは、エンドユーザ５０が対応する感情状態にあることの決定をトリガするために、関連バイオメトリックパラメータの大部分にのみ関して基準バイオメトリックデータに合致しなければならない（例えば、現在生成されているデータ値は、関連バイオメトリックパラメータの大部分毎に、基準データ範囲内になければならない）。特定のバイオメトリックパラメータに関して生成されたバイオメトリックデータが個別の基準バイオメトリックデータに合致する、程度は、他のバイオメトリックパラメータに関して生成されたバイオメトリックデータが個別の基準バイオメトリックデータに合致する程度を含む、種々の要因に依存し得る。パターン認識の分類技法が、ユーザから取得される特定のバイオメトリックデータのセットが１つ以上の感情状態に対応する１つ以上の基準バイオメトリックデータセットに合致するかどうかを決定するために使用されてもよい。パターン認識分類子の実施例は、非限定的実施例として、混合ガウスモデルおよび人工ニューラルネットワークを含む。さらに、特定の感情状態に関する各関連バイオメトリックパラメータは、本感情状態に関する他の関連バイオメトリックパラメータより加重されてもよい。

例えば、目尻の皺の存在は、楽しさの感情状態を決定するとき、笑顔の存在より大きく加重されてもよい。例えば、現在生成されているバイオメトリックデータベクトルと目尻の皺を示す基準データアレイの比較から生じる係数が、中央または最高範囲（例えば、０．７０を上回る）内にある場合、笑顔を示す現在生成されているバイオメトリックデータと基準バイオメトリックデータとの間の合致は、笑顔を示す現在生成されているバイオメトリック値が基準データ範囲のいずれか（例えば、５ｍｍを上回る値）内にある場合に生じ、それによって、感情状態が楽しさであることの決定をトリガし得る。対照的に、現在生成されているバイオメトリックデータベクトルと目尻の皺を示す基準データアレイの比較から生じる係数が、最低範囲内にある（例えば、０．５〜０．７を上回る）場合、笑顔を示す現在生成されているバイオメトリックデータと基準バイオメトリックデータとの間の合致は、笑顔を示す現在生成されているバイオメトリック値が最高基準データ範囲（例えば、２０ｍｍを上回る値）内にある場合のみ生じ、それによって、感情状態が楽しさであることの決定をトリガし得る。

拡張現実システム１００はさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを備える。制御サブシステムは、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。

図示される実施形態では、拡張現実システム１００は、中央処理ユニット（ＣＰＵ）１３２と、グラフィック処理ユニット（ＧＰＵ）１３４と、１つ以上のフレームバッファ１３６とを備える。ＣＰＵ１３２は、全体的動作を制御する一方、ＧＰＵ１３４は、遠隔データリポジトリ１５０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元環境を左および右眼画像に変換し）、これらのフレームをフレームバッファ１３６内に記憶する。図示されないが、１つ以上の付加的集積回路が、フレームのフレームバッファ１３６の中への読込および／またはそこからの読取およびディスプレイシステム１０４の走査デバイスの動作を制御してもよい。フレームバッファ１４６の中への読込および／またはそこからの読取は、動的アドレス指定を採用してもよく、例えば、フレームは、オーバーレンダリングされる。拡張現実システム１００はさらに、読取専用メモリ（ＲＯＭ）１３８と、ランダムアクセスメモリ（ＲＡＭ）１４０とを備える。拡張現実システム１００はさらに、３次元データベース１４２を備え、そこからＧＰＵ１３４は、フレームをレンダリングするための１つ以上の場面の３次元データにアクセスすることができる。

本発明に重要なこととして、ＣＰＵ１３２は、ディスプレイシステム１０４および／またはスピーカ１０６に、拡張現実システム１００の現在の目標に従って、３次元環境の状況下、前述の刺激をエンドユーザ５０に提示し、決定された感情状態に応答して、エンドユーザ５０に判別可能な後続アクションを実施するように命令する。

一実施形態では、拡張現実システム１００の現在の目標は、所望の持続時間にわたって、エンドユーザ５０における所望の感情状態を引き起こすことであってもよい。別の実施形態では、拡張現実システム１００の現在の目標は、所望の持続時間にわたって、エンドユーザ５０において望ましくない感情状態を引き起こさないことであってもよい。さらに別の実施形態では、拡張現実システム１００の現在の目標は、所望の持続時間にわたって、エンドユーザ５０における複数の異なる所望の感情状態を引き起こすことであってもよい。所望の持続時間は、例えば、関連時間周期にわたって１回、関連時間周期にわたって複数回、または関連時間周期にわたって継続的にであってもよい。例えば、拡張現実システム１００の現在の目標は、関連時間周期にわたって１回、エンドユーザ５０において楽しさを引き起こす、関連時間周期にわたって数回、エンドユーザ５０において楽しさを引き起こす、または関連時間周期にわたって継続的に、エンドユーザ５０において楽しさを引き起こすことであってもよい。または、拡張現実システム１００の現在の目標は、関連時間周期にわたって１回でも、エンドユーザ５０において退屈を引き起こさない、関連時間周期にわたって数回、エンドユーザ５０において退屈を引き起こさない、または関連時間周期にわたって継続的に、エンドユーザ５０において退屈を引き起こさないことであってもよい。または、拡張現実システム１００の現在の目標は、代替として、関連時間周期にわたって、エンドユーザ５０において楽しさおよび驚きを引き起こすことであってもよい。

拡張現実システム１００によって実施されるアクションは、エンドユーザ５０が関連感情状態にあると決定されるかまたは関連感情状態にないと決定されるかと、本関連感情状態が拡張現実システム１００の現在の目標と一致するかどうかとに依存するであろう。

例えば、エンドユーザ５０が、特定の感情状態が所望の感情状態（例えば、楽しさまたは驚き）と一致する、所望の持続時間にわたって、特定の感情状態（例えば、楽しんでいるまたは驚いている）にあると決定される（例えば、エンドユーザ５０が、関連時間周期にわたって数回、楽しんでいるまたは驚いていると決定される）場合、拡張現実システム１００によって実施されるアクションは、続いて、本感情状態を引き起こした刺激をエンドユーザ５０に対してより利用可能にすることであってもよい。対照的に、エンドユーザ５０が、所望の持続時間にわたって、本特定の感情状態にないと決定される（例えば、エンドユーザ５０が、関連時間周期にわたって数回、楽しんでいないまたは驚いていないと決定される）場合、拡張現実システム１００によって実施されるアクションは、続いて、本感情状態を引き起こさなかった刺激をエンドユーザ５０に対してあまり利用可能にしないことであってもよい。

別の実施例として、エンドユーザ５０が、特定の感情状態が望ましくない感情状態（例えば、悲しみまたは欲求不満）と一致する、所望の持続時間にわたって、特定の感情状態（例えば、悲しみまたは欲求不満）にないと決定される（例えば、エンドユーザ５０が、関連時間周期にわたって、任意の時間に悲しみまたは欲求不満にないと決定される）場合、拡張現実システム１００によって実施されるアクションは、続いて、本感情状態を引き起こした刺激をエンドユーザ５０に対してより利用可能にすることであってもよい。対照的に、エンドユーザ５０が、所望の持続時間にわたって、本特定の感情状態にあると決定される（例えば、エンドユーザ５０が、関連時間周期にわたって少なくとも１回、悲しみまたは欲求不満にあると決定される）場合、拡張現実システム１００によって実施されるアクションは、続いて、本感情状態を引き起こさなかった刺激をエンドユーザ５０に対してあまり利用可能にしないことであってもよい。

さらに別の実施例として、エンドユーザ５０が、異なる感情状態が所望の感情状態（例えば、交互する楽しさおよび驚き）と一致する、所望の持続時間にわたって（例えば、関連時間周期にわたってこれらの感情状態毎に数回）、複数の異なる感情状態（例えば、交互する楽しさおよび驚き）にあると決定される場合、拡張現実システム１００によって実施されるアクションは、続いて、本感情状態を引き起こした刺激をエンドユーザ５０に対してより利用可能にすることであってもよい。対照的に、エンドユーザ５０が、所望の持続時間にわたって、これらの異なる感情状態にないと決定される場合、拡張現実システム１００によって実施されるアクションは、続いて、本感情状態を引き起こさなかった刺激をエンドユーザ５０に対してあまり利用可能にしないことであってもよい。

したがって、ビデオゲーム、プログラム、背景音楽、報酬、アラート、その特徴等の刺激が、最適化され、それによって、拡張現実システム１００の使用増加を助長し得る。

例えば、拡張現実システム１００の現在の目標が、ビデオゲームに対するエンドユーザ５０の楽しさを最大限にすることであると仮定する。ビデオゲームの形態で提示される刺激に応答して、エンドユーザ５０の感情状態が、ビデオゲームの関連部分の間、十分な回数、楽しさまたは興奮にあると決定される場合、ＣＰＵ１３２によって実施される後続アクションは、例えば、続いて、同一ビデオゲームをエンドユーザ５０に提示する、または別様に、そのビデオゲームをビデオゲーム選択メニュー構造の上位に維持する（例えば、ビデオゲームをお気に入りのリストに入れることによって）ことによって、続いて、ビデオゲームをエンドユーザ５０に対してより利用可能にすることであってもよい。対照的に、エンドユーザ５０の感情状態が、ビデオゲームの関連部分の間、単一インスタンスにおいて、欲求不満または退屈にあると決定される場合、ＣＰＵ１３２によって実施される後続アクションは、例えば、続いて、異なるビデオゲームをエンドユーザ５０に提示することによって、または別様に、そのビデオゲームをビデオゲーム選択メニュー構造内のより下位に置くことによって、続いて、ビデオゲームをエンドユーザ５０に対してあまり利用可能にしないことであってもよい。

同様に、拡張現実システム１００の現在の目標が、特定のビデオゲームに対するエンドユーザ５０の楽しさを最大限にすることであると仮定する。ビデオゲームの特徴の形態で提示される刺激に応答して、エンドユーザ５０の感情状態が、特徴の提示の間、継続的に、楽しさまたは興奮にあると決定される場合、ＣＰＵ１３２によって実施される後続アクションは、例えば、続いて、同一特徴をエンドユーザ５０に提示する、または別様に、本同一特徴が、ビデオゲームの間、エンドユーザ５０に提示されるであろう確率を増加させることによって、続いて、本ビデオゲームの特徴をエンドユーザ５０に対してより利用可能にすることであってもよい。対照的に、エンドユーザ５０の感情状態が、特徴の提示の間、単一インスタンスにおいて、欲求不満または退屈にあると決定される場合、ＣＰＵ１３２によって実施される後続アクションは、例えば、本特徴をビデオゲームから排除する、または別様に、本同一特徴が、ビデオゲームの間、エンドユーザ５０に提示されるであろう確率を減少させることによって、続いて、本ビデオゲームの特徴をエンドユーザ５０に対してあまり利用可能にしないことであってもよい。

拡張現実システム１００の現在の目標が、ビデオゲームに対するサウンドトラックを最適化することによって、ビデオゲームの関連部分の間、エンドユーザ５０において所望の感情状態を引き起こすことであると仮定する。目標は、ビデオゲームの選択された部分の間、エンドユーザ５０に緊張感を感じさせること、または不思議な感覚またはあらゆる異なるタイプの感情を感じさせることであってもよい。テンポ、ピッチ、リズム、楽器、特定の楽器（例えば、ギター）を含むべきかどうか、特定の楽器の音（例えば、ドラムビート）、セグメントが再生される順序等が、最適化され得る。例えば、サウンドトラックの形態で提示される刺激に応答して、エンドユーザ５０の感情状態が、エンドユーザ５０における興奮が意図される、ビデオゲームの一部の間、興奮にあると決定される場合、ＣＰＵ１３２は、次回、エンドユーザ５０がビデオゲームの本部分に遭遇する際、サウンドトラックの本部分を維持し得る。対照的に、エンドユーザ５０の感情状態が、ビデオゲームのその部分の間、退屈にあると決定される場合、ＣＰＵ１３２は、次回、エンドユーザ５０がビデオゲームの本部分に遭遇する際、サウンドトラックのその部分を修正してもよい。本プロセスが何回も生じるにつれて、ビデオゲームの間、サウンドトラックが再生される状態にわずかな変化が、導入される。サウンドトラックの変化およびエンドユーザ５０の対応する感情状態は、ビデオゲームの間のエンドユーザ５０の実際の感情状態とエンドユーザ５０の所望の感情状態との間の最良合致のために、サウンドトラックの変化が徐々に最適化されるように、追跡されてもよい。

拡張現実システム１００の現在の目標が、エンドユーザ５０がビデオゲームと相互作用する結果としての成功結果に関して与えられる報酬に対してエンドユーザ５０の楽しさを最大限にすることであると仮定する。動画化された報酬の形態で提示される刺激に応答して、エンドユーザ５０の感情状態が、単一インスタンスにおいて、楽しんでいると決定される場合、ＣＰＵ１３２は、例えば、ビデオゲームと相互作用する際の次の成功結果に応答して、同一動画をエンドユーザ５０に提示する、または別様に、同一動画がエンドユーザ５０に提示されるであろう可能性を増加させることによって、続いて、同一動画をエンドユーザ５０により利用可能にしてもよい。対照的に、エンドユーザ５０の感情状態が、単一インスタンスにおいて、欲求不満または退屈にあると決定される場合、ＣＰＵ１３２は、例えば、ビデオゲームと相互作用する際の次の成功結果に応答して、異なる動画を報酬として提示する、または別様に、同一報酬がエンドユーザ５０に提示されるであろう可能性を減少させることによって、続いて、同一動画をエンドユーザ５０にあまり利用可能にしなくてもよい。このように、報酬は、エンドユーザ５０が、所与の報酬が与えられるとき、最大限の楽しさを体験するまで、それを修正することによって最適化されてもよい。

拡張現実システム１００の現在の目標が、背景音楽に対する楽しさまたはリラックスを最大限にすることであると仮定する。音楽は、好みの問題であるため、異なる音楽に対する反応は、変動するであろう。すなわち、楽曲は、異なる感情を種々の聴取者から誘発させ得る。特定の楽曲の形態で提示される刺激に応答して、エンドユーザ５０の感情状態が、楽曲の間、継続的に楽しんでいるまたはリラックスしていると決定される場合、ＣＰＵ１３２は、例えば、その楽曲を順番に再生されるリストに含めることによって、続いて、その楽曲をエンドユーザ５０により利用可能にしてもよい。ＣＰＵ１３２はさらに、楽曲をエンドユーザ５０を楽しませたまたはリラックスさせた楽曲と同一ジャンル内のリストに含めてもよい。例えば、楽曲がクラシックであった場合、ＣＰＵ１３２は、他のクラシック音楽もリストに含んでもよい。対照的に、エンドユーザ５０の感情状態が、単一インスタンスにおいて、悲しみ、欲求不満、または退屈にあると決定される場合、ＣＰＵ１３２は、例えば、その楽曲を順番に再生されるリストから除外することによって、続いて、その楽曲をエンドユーザ５０にあまり利用可能にしなくてもよい。ＣＰＵ１３２はさらに、楽曲をエンドユーザ５０を悲しませた、欲求不満にさせた、または退屈させた楽曲と同一ジャンル内のリストから除外してもよい。例えば、楽曲がロックであった場合、ＣＰＵ１３２は、全てのロックをリストから除外してもよい。

拡張現実システム１００の現在の目標が、映画に対して種々の広く異なる感情をエンドユーザ５０において引き起こすことであると仮定する。特定のコメディ／サスペンス映画の形態の刺激に応答して、エンドユーザ５０が、楽しさ、悲しみ、驚き等のある範囲の異なる感情を体験していると決定される場合、ＣＰＵ１３０は、続いて、その映画または類似映画をエンドユーザ５０により利用可能にしてもよい。対照的に、エンドユーザ５０が、ある範囲の異なる感情を体験しておらず、むしろ、退屈を体験していると決定される場合、ＣＰＵ１３０は、続いて、その映画または類似映画をエンドユーザ５０にあまり利用可能にしなくてもよく、さらに、完全に異なる映画をエンドユーザ５０に提示してもよい。

したがって、ＣＰＵ１３２は、エンドユーザ５０に好むものを自動的に提示し、好まないものをあまり提示しなくなり得る。ＣＰＵ１３２は、「楽しくない」体験を「楽しんでいない」エンドユーザ５０から隠し、他の体験を、これらの体験が楽しませる程度に従って、エンドユーザ５０に対してより利用可能にする。

拡張現実システム１００の現在の目標は、３次元環境と相互作用するとき、エンドユーザ５０により楽しい体験を提供する、感情状態を引き起こすことに限定され得ない。例えば、拡張現実システム１００の現在の目標は、アラート信号を介して、エンドユーザ５０を迅速に注意状態にさせることであってもよい。特定のアラート信号（点滅光等）の形態の刺激に応答して、エンドユーザ５０が、迅速に注意した状態になる場合、ＣＰＵ１３０は、例えば、エンドユーザ５０にアラートすることが所望される度に、続いて、点滅光をエンドユーザ５０に提示する、または別様に、点滅光がエンドユーザ５０に提示されるであろう可能性を増加させることによって、続いて、同一アラート信号をエンドユーザ５０により利用可能にしてもよい。対照的に、エンドユーザ５０が、迅速に注意した状態にならない、または全く注意した状態にならない場合、ＣＰＵ１３０は、例えば、次回、エンドユーザ５０をアラートすることが所望される際、続いて、異なるアラート信号（例えば、フープ音）を提示すること、または別様に、点滅光がエンドユーザ５０に提示されるであろう可能性を減少させることによって、続いて、同一アラート信号をエンドユーザ５０にあまり利用可能にしなくてもよい。

拡張現実システム１００の現在の目標は、３次元環境と相互作用するとき、エンドユーザ５０において１つ以上の特定の感情状態を引き起こすことに限定されない。例えば、拡張現実システム１００の現在の目標は、エンドユーザ５０と対戦する１人以上のシミュレートされたプレーヤを有する、戦略的ビデオゲーム、例えば、ビデオポーカーゲームにおいて、エンドユーザ５０を負かすことであってもよい。ビデオポーカーゲームの間、例えば、カードが、最初に、エンドユーザ５０およびシミュレートされたプレーヤに配られた直後、エンドユーザ５０の特定の感情状態が、決定されてもよく、ＣＰＵ１３０は、エンドユーザ５０に対する特定の感情状態決定を使用して、ゲームを進めてもよい。この場合、決定されるエンドユーザ５０の特定の感情状態は、エンドユーザ５０がはったりをかけているかどうかを示すものであって、ゲームは、ＣＰＵ１３０が、エンドユーザ５０がはったりをかけているかどうかのエンドユーザ５０に対する決定を使用して、エンドユーザ５０とカードをプレーすることによって進められる。したがって、シミュレートされたプレーヤは、エンドユーザ５０がはったりをかけているとき、それを感知するという利点を有する。ポーカーゲームシミュレータと相互作用することによって、エンドユーザ５０は、実際のポーカーゲームをプレーするとき、より説得力のある「ポーカーフェイス」をするように習得するであろう。

拡張現実システム１００の現在の目標は、エンドユーザ５０が嘘をついているかどうかを決定するような単純な試みであってもよい。例えば、質問の形態の刺激に応答して、エンドユーザ５０が、エンドユーザ５０が嘘をついていることを示す感情状態を体験していると決定される場合、ＣＰＵ１３２は、エンドユーザ５０に、嘘をついていることを知らせてもよい。対照的に、エンドユーザ５０が、エンドユーザ５０が誠実であることを示す感情状態を体験していると決定される場合、ＣＰＵ１３２は、エンドユーザ５０に、真実を話していることを知らせるであろう。ゲームまたは訓練デバイスとして、エンドユーザ５０は、嘘検出器を騙す試みにおいて、意図的に嘘をついてもよい。

拡張現実システム１００の現在の目標が、エンドユーザ５０が考えている複数のオブジェクトのうちの１つを決定することであると仮定する。例えば、いくつかのプレー用カード等、種々のオブジェクトを提示する形態の刺激に応答して、エンドユーザ５０が、エンドユーザ５０が特定のプレー用カードに集中していることを示す感情状態を体験していることが決定される場合、ＣＰＵ１３２は、エンドユーザ５０に、エンドユーザ５０が考えているプレー用カードが、例えば、ハートのクイーンであることを知らせるであろう。

拡張現実システム１００の現在の目標が、「にらめっこ」ゲームにおいてエンドユーザ５０を笑わせることであると仮定する。面白い顔等のエンドユーザ５０から笑いを引き起こす可能性が高い、オブジェクトを表示する形態の刺激に応答して、エンドユーザ５０の感情状態が、笑う「傾向にある」と決定される場合、ＣＰＵ１３２は、エンドユーザ５０が満面の笑顔または笑いを体験するまで、面白い顔を修正し、笑いを誘う兆候を最大限にしてもよい。ＣＰＵ１３２は、エンドユーザ５０が笑う傾向にあるときを試験するために、面白い顔を任意の種々の様式で修正してもよい。

拡張現実システム１００の種々の処理コンポーネントは、分散型システム内に物理的的に含有されてもよい。例えば、図３ａ−３ｄに図示されるように、拡張現実システム１００は、有線導線または無線コネクティビティ１４６等によって、ディスプレイシステム１０４およびセンサに動作可能に結合される、ローカル処理およびデータモジュール１４４を備える。ローカル処理およびデータモジュール１４４は、フレーム構造１０２に固定して取り付けられる（図３ａ）、ヘルメットまたは帽子５６に固定して取り付けられる（図３ｂ）、ヘッドホン内に埋設される、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図３ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる（図３ｄ）等、種々の構成で搭載されてもよい。拡張現実システム１００はさらに、有線導線または無線コネクティビティ１５０、１５２等によって、ローカル処理およびデータモジュール１４４に動作可能に結合される、遠隔処理モジュール１４８および遠隔データリポジトリ１５０を備え、これらの遠隔モジュール１４８、１５０が、相互に動作可能に結合され、ローカル処理およびデータモジュール１４４に対してリソースとして利用可能であるようになる。

ローカル処理およびデータモジュール１４４は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、センサから捕捉され、および／または可能性として、処理または読出後、ディスプレイシステム１０４への通過のために、遠隔処理モジュール１４８および／または遠隔データリポジトリ１５０を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１４８は、データおよび／または画像情報を分析および処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。遠隔データリポジトリ１５０は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全データが、記憶され、全算出は、ローカル処理およびデータモジュール１４４において行われ、任意の遠隔モジュールからの完全に自律的使用を可能にする。

前述の種々のコンポーネント間の結合１４６、１５２、１５４は、有線または光学通信を提供するための１つ以上の有線インターフェースまたはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図３ａ−３ｄに図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。

図示される実施形態では、感情状態決定モジュール１２８および感情状態データベース１３０は、ローカル処理およびデータモジュール１４４内に含有される一方、ＣＰＵ１３２およびＧＰＵ１３４は、遠隔処理モジュール１４８内に含有されるが、代替実施形態では、ＣＰＵ１３２、ＧＰＵ１２４、またはその一部は、ローカル処理およびデータモジュール１４４内に含有されてもよい。３Ｄデータベース１４２は、遠隔データリポジトリ１５０と関連付けられることができる。

拡張現実システム１００の構造および機能が説明されたが、エンドユーザ５０に関するカスタム感情プロファイルを構築するための拡張現実システム１００によって実施される１つの方法２００が、ここで図４に関して説明されるであろう。最初に、拡張現実システム１００は、エンドユーザ５０が、例えば、ビデオシースルーアプローチまたは光学シースルーアプローチを使用して、実オブジェクトおよび仮想オブジェクトの両方を含む、３次元環境を可視化することを可能にする（ステップ２０２）。当然ながら、仮想現実システムが、拡張現実システム１００の代わりに使用される場合では、３次元環境全体が、仮想オブジェクトのみから成るであろう。

次に、拡張現実システム１００は、ディスプレイシステム１０４および／またはスピーカ１０６に、３次元環境の状況下、刺激をエンドユーザ５０に視覚的におよび／または聴覚的に提示するように指示する（ステップ２０４）。上記に説明されるように、刺激は、エンドユーザ５０において物理的反応を引き起こし得る任意の刺激、例えば、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラート、またはその任意の特徴であることができ、３次元環境の一部として、または３次元環境の背景内において、エンドユーザ５０に提示されてもよい（例えば、報酬またはペナルティとして）、またはビデオゲームまたは映画等の３次元環境の全体であってもよい。

次に、センサ１２６が、提示される刺激に応答して、エンドユーザ５０の少なくとも１つのバイオメトリックパラメータを感知する（ステップ２０６）。前述のように、各バイオメトリックパラメータは、エンドユーザ５０の感情状態を示す物理的反応に関連する任意のパラメータの形態をとってもよい。センサ１２６は、次いで、感知されたバイオメトリックパラメータ毎に、バイオメトリックデータを生成する（ステップ２０８）。また、前述のように、バイオメトリックデータは、例えば、１つ以上の値の形態をとってもよい。例えば、バイオメトリックデータは、単一スカラーデータ値または多次元データベクトルであってもよい。

感情状態決定モジュール１２８は、次いで、生成されたバイオメトリックデータが、例えば、パターン認識分析を使用して、特定の信頼度レベル（例えば、９５パーセント信頼度）を伴って、着目感情状態と相関されることができるかどうかを決定する（ステップ２１０）。

生成されたバイオメトリックデータが、特定の信頼度レベルを伴って、着目感情状態と相関されることができない場合、ステップ２０４−２１０は、次いで、生成されたバイオメトリックデータが着目感情状態と相関されるまで（ステップ２１４）、同一刺激または異なる刺激に関して繰り返される（ステップ２１２）。

例えば、同一刺激は、バイオメトリックパラメータを感知する間、エンドユーザ５０に繰り返し提示され、バイオメトリックデータを生成することができる。この場合、反復にわたって感知されたバイオメトリックパラメータ毎に生成されたバイオメトリックデータは、概して、ほぼ同一であろう。エンドユーザ５０が３次元環境と相互作用する持続時間（例えば、刺激がエンドユーザに提示される時間周期または回数）は、刺激がエンドユーザ５０に提示されている間、追跡され、閾値持続時間と比較されてもよい。追跡された持続時間が、閾値持続時間を超える場合、そして生成されたバイオメトリックデータが、着目感情状態を示す場合、生成されたバイオメトリックデータは、着目感情状態と相関され得る。

例えば、着目感情状態が、楽しさであって、エンドユーザ５０が、比較的に長い持続時間にわたって、３次元環境と相互作用する場合、生成されたバイオメトリックデータがエンドユーザ５０上の笑顔および目尻の皺を示す場合は、エンドユーザ５０は、刺激によって提供される体験に関して楽しんでいると仮定されることができる。したがって、生成されたバイオメトリックデータは、楽しさの感情状態と相関され得る。

しかしながら、エンドユーザ５０が、比較的に短持続時間にわたって、３次元環境と相互作用した場合、生成されたバイオメトリックデータがエンドユーザ５０上の笑顔および目尻の皺を示す場合であっても、エンドユーザ５０は、刺激によって提供される体験に関して楽しんでいないと仮定されることができる。したがって、生成されたバイオメトリックデータは、楽しさの感情状態と相関されない。エンドユーザ５０が、比較的に長い持続時間にわたって、３次元環境と相互作用した場合でも、生成されたバイオメトリックデータが、笑顔および目尻の皺を示さず、むしろ、内向きに傾いた眉毛、持ち上げられた顎、すぼめられた唇、片側に捩れた口、および頬の皺をエンドユーザ５０上に示す場合、エンドユーザ５０は、刺激によって提供される体験に関して楽しんでおらず、むしろ、欲求不満であると仮定されることができる。したがって、生成されたバイオメトリックデータは、楽しさの感情状態と相関されず、実際には、欲求不満の感情状態と相関され得る。

別の実施例として、エンドユーザ５０が異なる刺激に応答した異なる感情状態または感情状態の程度に基づいて、エンドユーザ５０の感情の起伏を決定するために、異なる刺激が、バイオメトリックパラメータを感知する間、エンドユーザ５０に繰り返し提示され、バイオメトリックデータを生成することができる。この場合、反復にわたって感知されるバイオメトリックパラメータ毎に生成された、バイオメトリックデータは、実質的に相互と異なるであろう。感情状態決定モジュール１２８は、次いで、相関されるべき特定の感情状態に最良に合致する、バイオメトリックデータを選択することができる。

例えば、特定のテンポを伴う音楽が、エンドユーザ５０が３次元環境と相互作用するにつれて、背景においてエンドユーザ５０に再生されてもよい。生成されたバイオメトリックデータが、エンドユーザ５０が、悲しんでいる、欲求不満である、または退屈していることを反映する場合、音楽のテンポは、増加されてもよい。生成されたバイオメトリックデータが、次いで、エンドユーザ５０が、悲しんでいない、欲求不満ではない、または退屈していないことを示す場合、音楽のテンポは、生成されたバイオメトリックデータが、エンドユーザ５０が笑顔および目尻の皺を有し、楽しさを示すことを反映するまで、さらに増加されてもよい。音楽のテンポは、徐々に増加され、エンドユーザ５０の笑顔および目尻の皺を最大限にすることができる。結果として生じるバイオメトリックデータは、次いで、エンドユーザ５０に関する楽しさの感情状態と相関されることができる。類似技法も、同一音楽の異なるテンポの代わりに、異なるタイプまたはスタイルの音楽がエンドユーザ５０に提示され得ることを除き、エンドユーザ５０による最大限の楽しさを示す、バイオメトリックデータを決定するために使用されることができる。

いったんバイオメトリックデータが、ステップ２１４において、着目感情状態と相関されると、感情状態決定モジュール１２８は、基準バイオメトリックデータを相関バイオメトリックデータから導出する（ステップ２１６）。例えば、感知されるバイオメトリックパラメータ毎の１つ以上の基準バイオメトリックデータ範囲、１つ以上のバイオメトリックデータ特徴ベクトル、および／または１つ以上の基準２次元バイオメトリックデータアレイが、着目感情状態と相関されたバイオメトリックデータから導出されることができる。基準バイオメトリックデータは、次いで、着目感情状態と関連付けて、感情状態データベース１３０の感情状態プロファイル内に記憶される（ステップ２１８）。

次に、感情状態決定モジュール１２８は、全ての着目感情状態がバイオメトリックデータと相関され、感情状態プロファイル内に記憶されているかどうかを決定する（ステップ２１８）。該当しない場合、ステップ２０４−２１６は、別の着目感情状態に関して繰り返される（ステップ２２０）。例えば、楽しさの感情を引き起こす可能性が高い刺激が、ステップ２０４−２１８の間、エンドユーザ５０に以前に提示されている場合、悲しみ、欲求不満、または退屈等の異なる着目感情状態が、ステップ２０４−２１８の間、エンドユーザ５０に提示され、対応する基準バイオメトリックデータとともに、感情状態プロファイル内に記憶されることができる。したがって、最終感情状態プロファイルは、複数の感情状態および対応する基準バイオメトリックデータを含有することができ（ステップ２２２）、これは、続いて、感情状態決定モジュール１２８によってアクセスされ、種々の異なる３次元環境のうちの任意の１つの状況下、エンドユーザ５０に提示される異なる刺激に応答して、エンドユーザ５０の感情状態を決定することができる。例えば、音楽の演奏に関連する刺激が、ビデオゲームの状況下、エンドユーザ５０に提示され、感情状態プロファイルを構築する場合でも、感情状態プロファイルは、エンドユーザ５０が、映画の状況下、種々の異なる刺激のうちの任意の１つに応答して、記憶された感情状態のいずれかを有するかどうかを決定するためにアクセスされることができる。

ここで図５を参照すると、拡張現実システム１００を動作させる１つの方法３００が、ここで説明されるであろう。最初に、拡張現実システム１００は、例えば、ビデオシースルーアプローチまたは光学シースルーアプローチを使用して、エンドユーザ５０が、実オブジェクトおよび仮想オブジェクトの両方から成る３次元環境を可視化することを可能にする（ステップ３０２）。当然ながら、仮想現実システムが、拡張現実システム１００の代わりに使用される場合、３次元環境全体が、仮想オブジェクトのみから成るであろう。

次に、拡張現実システム１００は、ディスプレイシステム１０４および／またはスピーカ１０６に、３次元環境の状況下、刺激をエンドユーザ５０に提示するように指示する（ステップ３０４）。上記に説明されるように、刺激は、３次元環境の一部として、または３次元環境の背景内において、エンドユーザ５０に提示されてもよい（例えば、報酬またはペナルティとして）、またはビデオゲームまたは映画等の３次元環境の全体であってもよい。

次に、センサ１２６は、提示される刺激に応答して、エンドユーザ５０の少なくとも１つのバイオメトリックパラメータを感知する（ステップ３０６）。前述のように、各バイオメトリックパラメータは、エンドユーザ５０の感情状態を示す物理的反応に関連する、任意のパラメータの形態をとってもよい。センサ１２６は、次いで、感知されたバイオメトリックパラメータ毎に、バイオメトリックデータを生成する（ステップ３０８）。また、前述のように、バイオメトリックデータは、例えば、１つ以上の値の形態をとってもよい。例えば、バイオメトリックデータは、単一スカラーデータ値、１次元特徴ベクトル、または多次元データベクトルであってもよい。各バイオメトリックパラメータは、提示される刺激に応答して、複数の異なる時間に感知されてもよく、その場合、バイオメトリックデータは、これらの異なる時間に生成されるであろう。

次に、感情状態決定モジュール１２８は、例えば、パターン認識分析を生成されたバイオメトリックデータに実施することによって（例えば、分類アルゴリズム、例えば、ＡＮＮ、混合ガウス評価等を起動することによって）、生成されたバイオメトリック値に基づいて、エンドユーザ５０が少なくとも１つの特定の感情状態にあるかどうかを決定する（ステップ３１０）。これは、生成されたバイオメトリックデータと特定の感情状態と相関された基準バイオメトリックデータを比較することによって遂行されることができる。例えば、感知されたバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータが、スカラーデータ値であって、基準バイオメトリックデータが、基準値範囲を含む場合、生成されたバイオメトリックデータは、スカラーデータ値が基準バイオメトリック値範囲内にあるかどうかを決定することによって、基準バイオメトリックデータと比較されてもよい。感知されたバイオメトリックパラメータのうちの１つに関して生成されたバイオメトリックデータが、バイオメトリック多次元データベクトルであって、基準バイオメトリックデータが、基準多次元データベクトルを含む場合、生成されたバイオメトリックデータは、生成された多次元データベクトルと基準多次元データベクトルとの間の相関関数を実施することによって、基準バイオメトリックデータと比較されてもよい。

前述の比較関数を実施する際、感情状態決定モジュール１２８は、カスタム（個人化された）感情状態プロファイルにアクセスし、特定の感情状態に対応する基準バイオメトリックデータを読み出し、現在生成されているバイオメトリックデータと基準バイオメトリックデータを比較し、現在生成されているバイオメトリックデータと基準バイオメトリックデータとの間に合致が存在するかどうかを決定してもよい。合致が存在する場合、感情状態決定モジュール１２８は、エンドユーザ５０が特定の感情状態にあることを決定し、合致が存在しない場合、感情状態決定モジュール１２８は、エンドユーザ５０が特定の感情状態にないことを決定する。

次に、ＣＰＵ１３２は、少なくとも部分的に、エンドユーザ５０が特定の感情状態にあることが決定されるかどうかに基づいて、エンドユーザ５０に判別可能なアクションを実施し、現在の目標を促進する（ステップ３１２）。現在の目標は、種々の目的のうちの任意の１つであってもよい。例えば、エンドユーザ５０において物理的反応を引き起こす刺激が、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラート、またはその任意の特徴である場合、現在の目標は、所望の持続時間にわたって、エンドユーザ５０における所望の感情状態を引き起こす、または所望の持続時間にわたって、エンドユーザ５０において望ましくない感情状態を引き起こさない、または所望の持続時間にわたって、エンドユーザ５０における複数の異なる所望の感情状態を引き起こすことであってもよい。所望の持続時間は、例えば、関連時間周期にわたって１回、関連時間周期にわたって複数回、または関連時間周期にわたって継続的にであることができる。

現在の目標が、所望の持続時間にわたって、エンドユーザにおいて所望の感情状態を引き起こすことであって、特定の感情状態が、所望の感情状態と一致すると仮定する。エンドユーザ５０が、所望の持続時間にわたって、特定の感情状態にあると決定される場合、ＣＰＵ１３２は、続いて、刺激をエンドユーザ５０により利用可能にし、エンドユーザ５０が、所望の持続時間にわたって、特定の感情状態にないと決定される場合、ＣＰＵ１３２は、続いて、刺激をエンドユーザ５０に対してあまり利用可能にしないであろう。対照的に、現在の目標が、所望の持続時間にわたって、エンドユーザ５０において望ましくない感情状態を引き起こさないことであって、特定の感情状態が、望ましくない感情状態と一致すると仮定する。エンドユーザ５０が、所望の持続時間にわたって、特定の感情状態にないと決定される場合、ＣＰＵ１３２は、続いて、刺激をエンドユーザ５０により利用可能にし、エンドユーザ５０が、所望の持続時間にわたって、特定の感情状態にあると決定される場合、ＣＰＵ１３２は、続いて、刺激をエンドユーザ５０に対してあまり利用可能にしないであろう。さらに対照的に、現在の目標が、所望の持続時間にわたって、エンドユーザにおいて複数の異なる所望の感情状態を引き起こすことであって、特定の感情状態が、複数の所望の感情状態と一致すると仮定する。エンドユーザ５０が、所望の持続時間にわたって、複数の異なる感情状態にあると決定される場合、ＣＰＵ１３２は、続いて、刺激をエンドユーザ５０により利用可能にし、エンドユーザ５０が、所望の持続時間にわたって、複数の異なる感情状態にないと決定される場合、ＣＰＵ１３２は、続いて、刺激をエンドユーザ５０に対してあまり利用可能にしないであろう。

当然ながら、現在の目標は、エンドユーザ５０における所望または望ましくない感情状態を引き起こす、または引き起こさないことと異なってもよい。例えば、刺激が、戦略的ビデオゲームの形態をとり、現在の目標が、戦略的ビデオゲームにおいてエンドユーザを負かすことである場合、ＣＰＵは、続いて、エンドユーザ５０に対して特定の感情状態決定を使用して、ゲームを進めてもよい。例えば、戦略的ビデオゲームが、エンドユーザと対戦する１人以上のシミュレートされたプレーヤを有する、カードプレービデオゲームである場合、特定の感情状態は、エンドユーザがはったりをかけているかどうかを示すものであってもよく、その場合、シミュレートされたプレーヤは、エンドユーザ５０がはったりをかけているかどうかに関する知識を使用して、エンドユーザ５０とカードをプレーしてもよい。別の実施例として、刺激が、エンドユーザ５０に提示される質問の形態をとり、現在の目標が、質問に応答して、エンドユーザが嘘をついているかどうかを決定することである場合、ＣＰＵ１３２は、続いて、エンドユーザ５０に、特定の感情状態決定を使用して、エンドユーザ５０が嘘をついているかどうかを知らせてもよい。さらに別の実施例として、刺激が、エンドユーザ５０に提示される複数のオプションの形態をとり、現在の目標が、エンドユーザ５０が考えているオブジェクトのうちの１つを決定することである場合、ＣＰＵ１３２は、続いて、エンドユーザ５０に、特定の感情状態決定を使用して、エンドユーザ５０が考えているオブジェクトを知らせてもよい。さらに別の実施例として、刺激が、シミュレートされた顔の形態をとり、現在の目標が、エンドユーザ５０を笑わせることである場合、ＣＰＵ１３２は、続いて、特定の感情状態決定を使用して、エンドユーザ５０が笑いそうであるかどうかを決定し、エンドユーザ５０を笑わせるようにシミュレートされた顔を修正してもよい。

前述の明細書では、本発明は、その特定の実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、本明細書に成され得ることが明白となるであろう。例えば、前述のプロセスフローは、特定の順序のプロセスアクションを参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるものとする。

Claims (33)

1. ウェアラブルディスプレイデバイスを含む拡張現実（ＡＲ）ディスプレイシステムを動作させる方法であって、前記方法は、
   前記ウェアラブルディスプレイデバイスを通してユーザに双方向３次元環境を提示することであって、前記双方向３次元環境は、実世界場面と、前記ＡＲディスプレイシステムによって生成されて前記実世界場面内に提示される少なくとも１つの仮想オブジェクトとを含む、ことと、
   前記３次元環境における刺激の提示に応答して、前記ユーザの少なくとも１つのバイオメトリックパラメータを感知することであって、前記少なくとも１つのバイオメトリックパラメータは、前記ウェアラブルディスプレイデバイスに取り付けられている少なくとも１つのセンサを使用して感知される、ことと、
   前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成することと、
   前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記ユーザの少なくとも１つの感情状態を決定することと、
   前記ユーザが前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通してアクションを実施することであって、前記アクションは、前記少なくとも１つの仮想オブジェクトが前記ウェアラブルディスプレイデバイスを通して前記ユーザに提示されている間における前記少なくとも１つの仮想オブジェクトの修正を含み、前記少なくとも１つの仮想オブジェクトの前記修正は、前記ユーザの前記少なくとも１つの感情状態を変えるように選択される、ことと
   を含み、
   前記少なくとも１つの感知されるバイオメトリックパラメータは、複数の異なる感知されるバイオメトリックパラメータを含み、
   前記ユーザの少なくとも１つの特定の感情状態を決定することは、パターン認識分析を前記生成されたバイオメトリックデータに実施することを含む、方法。
2. ある持続時間にわたって、前記ユーザの前記少なくとも１つの感情状態を決定することをさらに含み、前記アクションは、前記ユーザが前記ある持続時間にわたって前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通して実施される、請求項１に記載の方法。
3. 前記少なくとも１つの感情状態は、複数の異なる感情状態を含む、請求項２に記載の方法。
4. 前記刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートを含み、前記アクションを実施することは、前記ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートを前記ユーザに対してより利用可能にする、またはあまり利用可能にしないことを含む、請求項１に記載の方法。
5. 前記刺激は、ビデオゲーム、プログラム、音楽背景曲、報酬、仮想オブジェクト、またはアラートの特徴を含み、前記アクションを実施することは、前記ビデオゲーム、プログラム、音楽背景曲、報酬、またはアラートを前記ユーザに対してより利用可能にする、またはあまり利用可能にしないことを含む、請求項１に記載の方法。
6. ウェアラブルディスプレイデバイスを含む拡張現実（ＡＲ）ディスプレイシステムを動作させる方法であって、前記方法は、
   前記ウェアラブルディスプレイデバイスを通してユーザに双方向３次元環境を提示することであって、前記双方向３次元環境は、実世界場面と、前記ＡＲディスプレイシステムによって生成されて前記実世界場面内に提示される少なくとも１つの仮想オブジェクトとを含む、ことと、
   前記３次元環境における刺激の提示に応答して、前記ユーザの少なくとも１つのバイオメトリックパラメータを感知することであって、前記少なくとも１つのバイオメトリックパラメータは、前記ウェアラブルディスプレイデバイスに取り付けられている少なくとも１つのセンサを使用して感知される、ことと、
   前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成することと、
   前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記ユーザの少なくとも１つの感情状態を決定することと、
   前記ユーザが前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通してアクションを実施することであって、前記アクションは、前記少なくとも１つの仮想オブジェクトが前記ウェアラブルディスプレイデバイスを通して前記ユーザに提示されている間における前記少なくとも１つの仮想オブジェクトの修正を含み、前記少なくとも１つの仮想オブジェクトの前記修正は、前記ユーザの前記少なくとも１つの感情状態を変えるように選択される、ことと
   を含み、
   前記刺激は、戦略的ビデオゲームを含み、前記アクションを実施することは、前記ユーザの前記少なくとも１つの感情状態を使用してゲームを進めることを含む、方法。
7. 前記戦略的ビデオゲームは、前記ユーザと対戦する１人以上のシミュレートされたプレーヤを有するカードプレービデオゲームであり、前記少なくとも１つの感情状態は、前記ユーザがはったりをかけているかどうかを示すものであり、前記アクションを実施することは、前記１人以上のシミュレートされたプレーヤが、前記ユーザがはったりをかけているかどうかの知識を使用して、前記ユーザとカードをプレーすることを含む、請求項６に記載の方法。
8. 前記カードプレービデオゲームは、ポーカービデオゲームである、請求項７に記載の方法。
9. ウェアラブルディスプレイデバイスを含む拡張現実（ＡＲ）ディスプレイシステムを動作させる方法であって、前記方法は、
   前記ウェアラブルディスプレイデバイスを通してユーザに双方向３次元環境を提示することであって、前記双方向３次元環境は、実世界場面と、前記ＡＲディスプレイシステムによって生成されて前記実世界場面内に提示される少なくとも１つの仮想オブジェクトとを含む、ことと、
   前記３次元環境における刺激の提示に応答して、前記ユーザの少なくとも１つのバイオメトリックパラメータを感知することであって、前記少なくとも１つのバイオメトリックパラメータは、前記ウェアラブルディスプレイデバイスに取り付けられている少なくとも１つのセンサを使用して感知される、ことと、
   前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成することと、
   前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記ユーザの少なくとも１つの感情状態を決定することと、
   前記ユーザが前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通してアクションを実施することであって、前記アクションは、前記少なくとも１つの仮想オブジェクトが前記ウェアラブルディスプレイデバイスを通して前記ユーザに提示されている間における前記少なくとも１つの仮想オブジェクトの修正を含み、前記少なくとも１つの仮想オブジェクトの前記修正は、前記ユーザの前記少なくとも１つの感情状態を変えるように選択される、ことと
   を含み、
   前記刺激は、前記ユーザに提示される質問を含み、前記アクションを実施することは、前記少なくとも１つの感情状態を使用して、前記ユーザが嘘をついているかどうかを前記ユーザに知らせることを含む、方法。
10. 前記刺激は、エンドユーザに提示される複数のオプションを含み、前記アクションを実施することは、前記少なくとも１つの感情状態を使用して、前記ユーザが好むオプションを前記ユーザに知らせることを含む、請求項１に記載の方法。
11. ウェアラブルディスプレイデバイスを含む拡張現実（ＡＲ）ディスプレイシステムを動作させる方法であって、前記方法は、
    前記ウェアラブルディスプレイデバイスを通してユーザに双方向３次元環境を提示することであって、前記双方向３次元環境は、実世界場面と、前記ＡＲディスプレイシステムによって生成されて前記実世界場面内に提示される少なくとも１つの仮想オブジェクトとを含む、ことと、
    前記３次元環境における刺激の提示に応答して、前記ユーザの少なくとも１つのバイオメトリックパラメータを感知することであって、前記少なくとも１つのバイオメトリックパラメータは、前記ウェアラブルディスプレイデバイスに取り付けられている少なくとも１つのセンサを使用して感知される、ことと、
    前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成することと、
    前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記ユーザの少なくとも１つの感情状態を決定することと、
    前記ユーザが前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通してアクションを実施することであって、前記アクションは、前記少なくとも１つの仮想オブジェクトが前記ウェアラブルディスプレイデバイスを通して前記ユーザに提示されている間における前記少なくとも１つの仮想オブジェクトの修正を含み、前記少なくとも１つの仮想オブジェクトの前記修正は、前記ユーザの前記少なくとも１つの感情状態を変えるように選択される、ことと
    を含み、
    前記刺激は、シミュレートされた顔を含み、前記アクションを実施することは、特定の感情状態決定を使用して、エンドユーザが笑いそうであるかどうかを決定し、前記ユーザを笑わせるように前記シミュレートされた顔を修正することを含む、方法。
12. 前記ユーザの前記少なくとも１つのバイオメトリックパラメータは、前記刺激の提示に応答して、複数の異なる時間に感知され、前記バイオメトリックデータは、これらの異なる時間に生成される、請求項１に記載の方法。
13. 前記刺激は、前記ウェアラブルディスプレイデバイスを通して前記ユーザに視覚的に提示される、請求項１に記載の方法。
14. 前記少なくとも１つの感知されるバイオメトリックパラメータは、少なくとも１つの表情を含む、請求項１に記載の方法。
15. 前記少なくとも１つの表情は、エンドユーザの口角および眼の周囲の目尻の皺の一方または両方である、請求項１４に記載の方法。
16. 前記少なくとも１つの感情状態は、楽しさを含む、請求項１５に記載の方法。
17. 前記少なくとも１つの感知されるバイオメトリックパラメータは、表情、肩をすぼめること、呼吸数、心拍数、体温、血圧、手の移動の頻度および／または場所、身体がぴくぴくする頻度および／または場所、および眼の移動の間の経過時間のうちの少なくとも１つを含む、請求項１に記載の方法。
18. 前記少なくとも１つの感知されるバイオメトリックパラメータは、少なくとも１つの微表情を含む、請求項１に記載の方法。
19. 前記少なくとも１つの感情状態は、怒り、軽蔑、嫌悪、恐れ、楽しさ、悲しみ、驚き、混乱、羞恥心、警戒心、疲労、リラックス、欲求不満、退屈、当惑のうちの少なくとも１つを含む、請求項１に記載の方法。
20. 前記ユーザの少なくとも１つの感情状態を決定することは、前記生成されたバイオメトリックデータを、前記少なくとも１つの感情状態と相関される基準バイオメトリックデータと比較することを含む、請求項１に記載の方法。
21. ウェアラブルディスプレイデバイスを含む拡張現実（ＡＲ）ディスプレイシステムを動作させる方法であって、前記方法は、
    前記ウェアラブルディスプレイデバイスを通してユーザに双方向３次元環境を提示することであって、前記双方向３次元環境は、実世界場面と、前記ＡＲディスプレイシステムによって生成されて前記実世界場面内に提示される少なくとも１つの仮想オブジェクトとを含む、ことと、
    前記３次元環境における刺激の提示に応答して、前記ユーザの少なくとも１つのバイオメトリックパラメータを感知することであって、前記少なくとも１つのバイオメトリックパラメータは、前記ウェアラブルディスプレイデバイスに取り付けられている少なくとも１つのセンサを使用して感知される、ことと、
    前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成することと、
    前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記ユーザの少なくとも１つの感情状態を決定することと、
    前記ユーザが前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通してアクションを実施することであって、前記アクションは、前記少なくとも１つの仮想オブジェクトが前記ウェアラブルディスプレイデバイスを通して前記ユーザに提示されている間における前記少なくとも１つの仮想オブジェクトの修正を含み、前記少なくとも１つの仮想オブジェクトの前記修正は、前記ユーザの前記少なくとも１つの感情状態を変えるように選択される、ことと
    を含み、
    前記ユーザの少なくとも１つの感情状態を決定することは、前記生成されたバイオメトリックデータを、前記少なくとも１つの感情状態と相関される基準バイオメトリックデータと比較することを含み、
    前記少なくとも１つの感知されるバイオメトリックパラメータのうちの１つに関する前記生成されたバイオメトリックデータは、バイオメトリックスカラーデータ値であり、前記基準バイオメトリックデータは、基準バイオメトリック値範囲を含み、前記生成されたバイオメトリックデータを前記基準バイオメトリックデータと比較することは、前記バイオメトリックスカラーデータ値が前記基準バイオメトリック値範囲内にあるかどうかを決定することを含む、方法。
22. ウェアラブルディスプレイデバイスを含む拡張現実（ＡＲ）ディスプレイシステムを動作させる方法であって、前記方法は、
    前記ウェアラブルディスプレイデバイスを通してユーザに双方向３次元環境を提示することであって、前記双方向３次元環境は、実世界場面と、前記ＡＲディスプレイシステムによって生成されて前記実世界場面内に提示される少なくとも１つの仮想オブジェクトとを含む、ことと、
    前記３次元環境における刺激の提示に応答して、前記ユーザの少なくとも１つのバイオメトリックパラメータを感知することであって、前記少なくとも１つのバイオメトリックパラメータは、前記ウェアラブルディスプレイデバイスに取り付けられている少なくとも１つのセンサを使用して感知される、ことと、
    前記少なくとも１つの感知されるバイオメトリックパラメータ毎に、バイオメトリックデータを生成することと、
    前記少なくとも１つの感知されるバイオメトリックパラメータ毎の前記バイオメトリックデータに基づいて、前記ユーザの少なくとも１つの感情状態を決定することと、
    前記ユーザが前記少なくとも１つの感情状態にあることの決定に少なくとも部分的に基づいて、前記ＡＲディスプレイシステムを通してアクションを実施することであって、前記アクションは、前記少なくとも１つの仮想オブジェクトが前記ウェアラブルディスプレイデバイスを通して前記ユーザに提示されている間における前記少なくとも１つの仮想オブジェクトの修正を含み、前記少なくとも１つの仮想オブジェクトの前記修正は、前記ユーザの前記少なくとも１つの感情状態を変えるように選択される、ことと
    を含み、
    前記ユーザの少なくとも１つの感情状態を決定することは、前記生成されたバイオメトリックデータを、前記少なくとも１つの感情状態と相関される基準バイオメトリックデータと比較することを含み、
    前記少なくとも１つの感知されるバイオメトリックパラメータのうちの１つに関する前記生成されたバイオメトリックデータは、バイオメトリック多次元データベクトルであり、前記基準バイオメトリックデータは、基準バイオメトリック多次元データベクトルを含み、前記生成されたバイオメトリックデータを前記基準バイオメトリックデータと比較することは、前記生成されたバイオメトリック多次元データベクトルと前記基準バイオメトリック多次元データベクトルとの間の相関関数を実施することを含む、方法。
23. 前記ユーザの前記少なくとも１つの感情状態を決定することは、前記基準バイオメトリックデータをエンドユーザのカスタム感情状態プロファイルから読み出すことをさらに含む、請求項２０に記載の方法。
24. 前記ウェアラブルディスプレイデバイスを通して前記ユーザに前記３次元環境を提示することは、３次元環境の複数の合成画像フレームをレンダリングし、前記ウェアラブルディスプレイデバイスを通して前記合成画像フレームを前記ユーザに連続して表示することを含む、請求項１に記載の方法。
25. 前記合成画像フレームは、前記ユーザの頭部に搭載されるフレーム構造を介して、前記ユーザの視野内に透明ディスプレイ表面から投影される、請求項２４に記載の方法。
26. 前記合成画像フレームは、前記ユーザによって可視化される実場面にわたって重畳される、請求項２４に記載の方法。
27. 前記ＡＲディスプレイシステムはまた、前記ウェアラブルディスプレイデバイスに結合されるスピーカを含み、
    前記刺激は、前記スピーカを通して聴覚的に提示される、請求項１に記載の方法。
28. 前記ＡＲディスプレイシステムはまた、機械的アクチュエータを含み、
    前記刺激は、前記機械的アクチュエータを通して触覚的に提示される、請求項１に記載の方法。
29. 前記少なくとも１つのセンサは、前記ウェアラブルディスプレイデバイスに結合される後ろ向きに面したカメラを備え、
    前記少なくとも１つのバイオメトリックパラメータは、前記ユーザの顔の移動を含む、請求項１に記載の方法。
30. 前記少なくとも１つのセンサは、前記ウェアラブルディスプレイデバイスに結合されるマイクロホンを含む、請求項１に記載の方法。
31. 前記少なくとも１つのセンサは、前記ユーザの身体部分に結合される加速度計を含み、
    前記少なくとも１つのバイオメトリックパラメータは、前記ユーザの前記身体部分の移動を含む、請求項１の記載の方法。
32. 前記ユーザの前記決定された少なくとも１つの感情状態が楽しさまたは興奮であるとき、前記少なくとも１つの仮想オブジェクトの前記修正は、前記提示された刺激を増加させる、請求項１に記載の方法。
33. 前記ユーザの前記決定された少なくとも１つの感情状態が欲求不満または退屈であるとき、前記少なくとも１つの仮想オブジェクトの前記修正は、前記提示された刺激を減少させる、請求項１に記載の方法。