JP6062547B2 - 拡張現実を制御するための方法および装置 - Google Patents

Description

関連出願の相互参照
本出願は、2013年3月15日に出願した、「Method and apparatus for controlling augmented reality」という表題の米国出願第13/815,820号、2012年7月26日に出願した、「Interactions of Tangible and Augmented Reality Objects」という表題の米国仮出願第61/676,246号、2012年7月26日に出願した、「Maintaining Continuity of Augmentations」という表題の米国仮出願第61/676,249号、2012年7月26日に出願した、「Method and Apparatus for Controlling Augmented Reality」という表題の米国仮出願第61/676,278号、2012年7月26日に出願した、「Interactions of Tangible and Augmented Reality Objects」という表題の米国仮出願第61/676,255号、および2012年7月26日に出願した、「Tangible Items' Effect on Particle System Augmentation in Virtual Spaces」という表題の米国仮出願第61/676,274号の利益を主張するものである。前述の米国出願は、その全体が参照により本明細書に組み込まれている。

本開示は、拡張現実の分野に関する。詳細には、本開示は、拡張現実を制御するための方法および装置に関する。

従来の拡張現実アプリケーションは、その要素が、ビデオ、音声、グラフィックス、またはGPSデータなど、コンピュータ生成の感覚入力(computer-generated sensory input)によって拡張され得る実世界環境のライブビューを提供する。そのようなアプリケーションの場合、現実の視野をコンピューティングデバイスによって修正することが可能であり、そのようなアプリケーションは、ユーザの現実の知覚を拡張して、ユーザの環境に関して、より多くの情報を提供することができる。たとえば、拡張コンテンツは、整合の間のゲーム統計および要約など、環境要素とともに、リアルタイムで、意味的コンテキストで適用され得る。スマートフォンなどのモバイルデバイスの普及に伴い、実世界オブジェクト上に仮想オブジェクトをオーバレイした、環境に関する人工情報など、追加の拡張コンテンツとともに、ユーザを取り巻く実世界に関する情報をモバイルデバイス上に表示することが可能である。

従来のコンピューティングおよびゲームのアプリケーションでは、ユーザは、マウス、タッチパッド、タッチスクリーン、またはジョイスティックのような、ユーザインターフェースデバイスのうちの少なくとも1つを使用することによって、ディスプレイ上の項目を選択することが可能であり得る。しかしながら、従来の拡張現実アプリケーションでは、問題の1つとして、ユーザの両手が占有され得るということがある。たとえば、一方の手が拡張現実対応デバイスを持つために使用されることがあり、もう一方の手が有形なオブジェクトを扱うために使用されることがある。従来の拡張現実アプリケーションについての別の問題として、意図しない拡張のトリガが起きることがあるということがあり、これは再生を妨げユーザを苛立たせることがある。したがって、従来の拡張現実アプリケーション改善できる、方法、コンピュータプログラム製品、および拡張現実対応デバイスに対する需要がある。

本開示は、拡張現実を制御するための方法および装置に関する。本開示のある実施形態によれば、拡張現実対応デバイス(ARD)とともに使用するための方法は、複数のオブジェクトを追跡するための画像データを受信するステップと、複数のオブジェクトから選択されるべきオブジェクトを識別するステップと、オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するステップと、オブジェクトが選択されたと判断される場合に、オブジェクトとともに拡張をレンダリングさせるステップとを備える。

本開示の別の実施形態によれば、ARDは、処理論理を含む制御ユニットを備え、処理論理は、複数のオブジェクトを追跡するための画像データを受信するように構成される論理と、複数のオブジェクトから選択されるべきオブジェクトを識別するように構成される論理と、オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するように構成される論理と、オブジェクトが選択されたと判断される場合に、オブジェクトとともに拡張をレンダリングさせるように構成される論理とを備える。

追跡するステップは3次元追跡を含み、3次元追跡は、ARDに対する複数のオブジェクトの相対的な姿勢を判断するように構成される論理と、ARDに対する複数のオブジェクトの相対的な姿勢を使用して、複数のオブジェクトの状態を更新するように構成される論理とを備え、複数のオブジェクトの状態は複数のオブジェクトの相関情報を含むことに留意されたい。ARDに対する複数のオブジェクトの相対的な姿勢を判断するように構成される論理は、以前に受信された複数のオブジェクトの画像データに対する複数のオブジェクトの姿勢を検出するように構成される論理を備える。相関情報は、ゲームにおける複数のオブジェクトの間の関係、物語における複数のオブジェクトの間の関係、および/または、背景に対する複数のオブジェクトの間の関係のうちの少なくとも1つを備える。

選択されるべきオブジェクトを識別するように構成される論理は、画像データを使用して複数のオブジェクトを分析するように構成される論理と、画像データによって表される画像の中心に最も近いオブジェクトを識別するように構成される論理とを備える。選択されるべきオブジェクトを識別するように構成される論理はさらに、画像データ中の複数のオブジェクトをARDのディスプレイにレンダリングさせるように構成される論理と、ARDのディスプレイの中心部分の画素の大半をカバーするオブジェクトを識別するように構成される論理とを備える。

オブジェクトが選択されたかどうかを判断するように構成される論理はさらに、オブジェクトとARDの相対速度を測定するように構成される論理と、オブジェクトがARDに対して静止している時間の長さを測定するように構成される論理とを備える。オブジェクトが選択されたかどうかを判断するように構成される論理はさらに、音声命令を受け取るように構成される論理と、音声命令の大きさを測定するように構成される論理とを備える。選択基準のセットは、オブジェクトが所定の期間ARDの視野の中にあること、オブジェクトがARDの視野の中にありオブジェクトとARDの相対速度が所定の閾値未満であること、および、オブジェクトがARDの視野の中にあり音声命令の大きさが所定の値を超えることのうちの少なくとも1つを備える。拡張をレンダリングさせるように構成される論理は、ARDのディスプレイにオブジェクトとARDとの相互作用を表示するように構成される論理を備える。識別するように構成される論理は、オブジェクトがズームインされていると判断するように構成される論理を備える。

判断するように構成される論理は、インジケータを表示させるように構成される論理と、オブジェクトがインジケータの表示に応答して選択解除されるかどうかを判断するように構成される論理とを備え、インジケータは、オブジェクトが識別されたことを示す。オブジェクトが選択解除されるかどうかを判断するように構成される論理は、ARDに対するオブジェクトの位置がインジケータの表示からある閾値の長さの時間保たれる場合に、オブジェクトが選択されていると判断するように構成される論理を備える。インジケータは、アイコン、ARDのディスプレイ上でのオブジェクトの振動、オブジェクトがARDのディスプレイ上で中心に置かれたときのARDの振動、および経過時間の表現のうちの少なくとも1つを備える。

拡張現実対応デバイスはさらに、1つまたは複数のオブジェクトを含む場面の画像をARDのディスプレイに表示させるように構成される論理と、複数のオブジェクトから選択されるべきオブジェクトを識別するインジケータにより画像を拡張させるように構成される論理と、画像がインジケータにより拡張された後でオブジェクトが選択解除されたかどうかを判断するように構成される論理とを備える。

本開示のさらに別の実施形態によれば、コンピュータプログラム製品は、1つまたは複数のコンピュータシステムによる実行のための命令を記憶する非一時的媒体を備え、この命令は、複数のオブジェクトを追跡するための画像データを受信するための命令と、複数のオブジェクトから選択されるべきオブジェクトを識別するための命令と、オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するための命令と、オブジェクトが選択されたと判断される場合に、オブジェクトとともに拡張をレンダリングさせるための命令とを備える。

本開示のさらに別の実施形態によれば、装置は、複数のオブジェクトを追跡するための画像データを受信するための手段と、複数のオブジェクトから選択されるべきオブジェクトを識別するための手段と、オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するための手段と、オブジェクトが選択されたと判断される場合に、オブジェクトとともに拡張をレンダリングさせるための手段とを備える。

さらなる実施形態によれば、拡張現実のための、音声のユーザインターフェースおよびタンジブルユーザインターフェースを提供するための技法が提供される。本明細書で示される様々な例示的な実装形態が、拡張現実(AR)対応デバイスで実装され得る。ARDは、機械実行可能命令を実行するためのプロセッサ、現実世界の環境の画像またはビデオを撮影するためのカメラ、および現実世界の環境の拡張現実ビューを表示するためのディスプレイを含む、携帯電話、タブレットコンピュータ、または他のそのようなデバイスであってよい。これらの技法は、従来のARアプリケーションよりもより満足感を与え興味をそそるユーザ体験を生み出すために、多種多様な拡張現実アプリケーションに組み込まれ得る。

本開示の上述の特徴および利点、ならびにその追加の特徴および利点は、以下の図面とともに本開示の実施形態の詳細な説明を読めば、より明確に理解されよう。

本開示のいくつかの態様による拡張現実対応デバイスを例示する図である。 本開示のいくつかの態様による、ある例示的な拡張現実対応デバイスのブロック図である。 本開示のいくつかの態様による、ユーザからのトリガに少なくとも一部基づいて拡張を提供する方法を示す図である。 本開示のいくつかの態様による、拡張現実対応デバイスとターゲットとの相対速度に少なくとも一部基づいて拡張を提供する別の方法を示す図である。 本開示のいくつかの態様による、拡張現実対応デバイスと背景との相対的な動きに少なくとも一部基づいて拡張を提供するさらに別の方法を示す図である。 本開示のいくつかの態様による、拡張現実インターフェースを制御するための流れ図である。 拡張現実対応デバイスが現実世界のオブジェクトと関連付けられる拡張現実コンテンツを提供するために使用されることの例を示す図である。 本開示のある態様による、拡張現実対応デバイスが自動住宅用制御デバイスとして使用されることの例を示す図である。 本開示のある態様による、拡張現実対応デバイスが自動住宅用制御デバイスとして使用されることの例を示す図である。 本開示のある態様による、拡張現実対応デバイスが自動住宅用制御デバイスとして使用されることの例を示す図である。 本開示のある態様による、拡張現実対応デバイスが自動住宅用制御デバイスとして使用されることの例を示す図である。 本開示のいくつかの態様による、拡張現実対応デバイス上で拡張現実コンテンツを提供するための例示的な方法の流れ図である。 本開示のいくつかの態様による、拡張現実対応デバイス上で拡張現実コンテンツを提供するための例示的な方法の流れ図である。 本開示のいくつかの態様による、ユーザから受け取られた音声入力に基づいてキャラクターの拡張現実表現の挙動を制御するために使用される例示的な挙動の方法の流れ図である。 本開示のいくつかの態様による、音声命令を認識する拡張現実対応デバイス上で拡張現実を提供するための例示的な方法の流れ図である。 本開示のいくつかの態様による、拡張現実対応デバイス上で拡張現実を提供するための例示的な方法の流れ図である。 本開示のいくつかの態様による、複数の拡張現実対応デバイスの間で対話を提供する方法を示す図である。 本開示のいくつかの態様による、1つまたは複数の拡張現実対応デバイス上で複数のユーザに拡張現実を提供するための例示的な方法の流れ図である。 本開示のいくつかの態様による、複数の拡張現実対応デバイス上で拡張現実コンテンツを提供するための例示的な方法の流れ図である。 本開示のいくつかの態様による、拡張現実対応技法を実施するために使用され得るデバイスの例を示す図である。

図面を通して同様の番号が使用される。

拡張現実インターフェースを制御する実施形態が開示される。以下の説明は、いかなる当業者でも本開示を実施し、使用することができるようにするために提示される。特定の実施形態およびアプリケーションの説明は、例としてのみ提供される。本明細書で説明する例の様々な修正および組合せが当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨および範囲から逸脱することなく他の例およびアプリケーションに適用できる。したがって、本開示は、説明され示される例に限定されることが意図されず、本明細書で開示される原理および特徴に一致する最大の範囲を与えられることが意図される。「例示的」または「例」という用語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」もしくは「例」として本明細書に記載される任意の態様または実施形態は、他の態様もしくは実施形態に比べて好ましいか、または有利であると必ずしも解釈されるべきではない。

図1は、本開示のいくつかの態様による拡張現実対応デバイスを例示する図である。図1に示すように、拡張現実対応デバイス(ARD)14は、ハウジング101と、ディスプレイ112と、1つまたは複数のスピーカ118と、マイクロフォン116とを含む。タッチスクリーンディスプレイであってよいディスプレイ112は、カメラ108によって捕捉された画像、または任意の他の所望のユーザインターフェース情報を示すことができる。当然、ARD14は、本開示に関係するとは限らない追加の構成要素を含み得る。

本明細書で使用される場合、ARDデバイスは、セルラーもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、または他の適したモバイルプラットフォームなどの任意のポータブル電子デバイスを指す。モバイルプラットフォームは、航法測位信号など、ワイヤレス通信信号および/またはナビゲーション信号を受信することが可能であり得る。ARDという用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス接続、赤外線接続、有線接続、または他の接続によってなど、PNDと通信するデバイスを含むことが意図される。また、ARDは、ポーズ追跡の際に使用される画像を捕捉することが可能であると同様に、拡張現実ユーザインターフェース機能を実行することも可能な、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータ、スマートフォン、デジタルカメラなどを含めて、すべての電子デバイスを含むことが意図される。

図2は、本開示のいくつかの態様による、ある例示的な拡張現実対応デバイスのブロック図を示す。ARD14のモバイルプラットフォームは、個々の写真またはビデオのフレームのいずれかであってよい、環境の画像を捕捉するためのカメラ108を含む。ARD14のモバイルプラットフォームは、それを用いてARD14のモバイルプラットフォームがその位置および方向、すなわち、ポーズを判断することができるデータを提供するために使用され得るセンサ109を含むことも可能である。ARD14のモバイルプラットフォームとともに使用され得るセンサの例には、線形加速度計として使用される加速度計、水晶センサ、ジャイロ、マイクロ電気機械システム(MEMS)センサ、ならびに磁力計が含まれる。

ARD14のモバイルプラットフォームは、画像を表示することができるディスプレイ112を含むユーザインターフェース110も含み得る。ユーザインターフェース110は、キーパッド114、または、ユーザが情報をARD14のモバイルプラットフォームに入力することができる他の入力デバイスを含むことも可能である。所望される場合、仮想キーパッドをタッチセンサ付きディスプレイ112に組み込むことによってキーパッド114を取り除くことができる。ユーザインターフェース110は、たとえば、モバイルプラットフォームがセルラー電話である場合、マイクロフォン116および1つまたは複数のスピーカ118を含むこともできる。当然、ARD14のモバイルプラットフォームは、本開示に関係しない他の要素を含むことが可能である。

ARD14のモバイルプラットフォームは、任意の他の所望の特徴とともに、カメラ108、およびセンサ109、ならびにユーザインターフェース110に接続可能であり、これらと通信する制御ユニット120をさらに含む。制御ユニット120は、1つまたは複数のプロセッサ122と、関連するメモリ/記憶装置124とによって提供され得る。制御ユニット120は、ソフトウェア126、ならびにハードウェア128、およびファームウェア130を含むことも可能である。制御ユニット120は、ARD14の位置を追跡すると同様に、ARD14によって監視される1つまたは複数のオブジェクトの位置も追跡するように構成された追跡ユニット132を含む。制御ユニット120は、ARD14のディスプレイ112上に拡張現実相互作用を提示するように構成された拡張現実ユーザインターフェースユニット134をさらに含むことが可能である。わかりやすいように、追跡ユニット132および拡張現実ユーザインターフェースユニット134は、プロセッサ122および/またはハードウェア128とは切り離して例示されるが、ソフトウェア126内およびファームウェア130内の命令に基づいて、プロセッサ122内および/もしくはハードウェア128内で組み合わせること、ならびに/または実装することが可能である。

本開示の態様によれば、ARD14は、1つまたは複数の有形インターフェース項目とともに使用され得る。本明細書で説明する例の多くでは、有形インターフェース項目は、「オブジェクト」または「トイ(toys)」と呼ばれる。しかしながら、他のタイプの有形オブジェクトを使用することも可能であり、本明細書で開示する技法はトイに限定されない。たとえば、有形インターフェース項目は、コーラ缶、コーヒーカップ、雑誌、またはARD14のカメラの視野内にあり得る他の有形項目など、ユーザの環境内の1つもしくは複数の項目を含み得る。

ARD14が提供する拡張は、継続的な話の経路(story path)を形成することができる。そのような継続的な話の経路は、本明細書で「シーン」と呼ばれる場合がある。ARD14の拡張論理は、ユーザの注意を監視して、ユーザが特定のシーンに対する関心を失ったと思われる場合、シーンを変更するように構成され得る。ユーザと相互作用するための技法、およびARD14が提供する拡張コンテンツを調整するための技法は、下でより詳細に説明される。

本開示の実施形態によれば、ARDは、表示を妨げユーザを苛立たせることがある、拡張の意図しないトリガを回避するように構成され得る。加えて、ある事象が引き起こされ得る状況を知ることは、さらなる探求および対話を誘発し得るので、ユーザ体験を向上させる。

いくつかの実装形態では、図3に示されるように、ユーザがトリガ動作を実行すると(たとえば、浴槽22をズームインすると)、その品目がトリガする前に、緊急トリガの指示17が時間t(たとえば、0.2〜0.8秒)の間監視され、動作を変更する機会をユーザに与え、したがってトリガを回避することができる。この指示は、1)視覚的インジケータ17(たとえば、視覚的インジケータがより明るくなる、または光る、または揺れ始める)、2)音声(20)(たとえば、魔法の妖精の粉の音)、および3)視覚と音声の組合せの形式であり得る。他の実装形態では、ユーザがトリガ動作を実行するとき、たとえばオブジェクトにズームインするとき、動作がトリガする前に、所定の期間その動作を保つことができる。

1つの手法では、「保つこと」の実施形態は、対象アプリケーションの様々なユーザ因子に、たとえば、就学前の子供向けのものか、ティーンエイジャー向けのものか、または大人向けのものかに少なくとも一部基づいて、判断され得る。この因子は、限定はされないが、自閉症、弱視、パーキンソン病などの、発達状態および条件因子を含み得る。別の手法では、「保つこと」の実施形態は、限定はされないが、1)ある程度(調整可能)静止していること、2)ある時間(調整可能)ターゲットに向くこと、および3)ターゲットの一時的な喪失(調整可能)を許容することを含み得る。

本開示の態様によれば、ある程度(調整可能)静止していることについては、就学前の子供がアプリケーションの利用者である場合には、実施形態は大きな動きを許容し得るが、大人がアプリケーションの利用者である場合には、実施形態は最小限の動きしか許容しなくてよい。ある時間(調整可能)ターゲットに向くことについては、就学前の子供がアプリケーションの利用者である場合には、1秒から3秒の時間が使用され得るが、大人がアプリケーションの利用者である場合には、0.2秒から0.6秒の時間が使用され得る。ターゲットの一時的な喪失(調整可能)を許容することについては、就学前の子供がアプリケーションの利用者である場合には、実施形態は大きな動きの間にターゲットを喪失することを許容し得るが、大人がアプリケーションの利用者である場合には、実施形態はターゲットの喪失を許容しなくてよい。

さらに他の実装形態では、ユーザは、ある事象をトリガするために、音声命令のような二次的な対話方法を使用し得る。加えて、図4に示されるように、新たなターゲットへの動きと「周りを見渡すこと」とを区別するために、ARDのセンサデータを使用して、速度、加速度、および/または減速度を求めることができる。1つの手法では、オブジェクトが視野に入ってきたときに(灰色の矢印および長方形により示される)動きが急激に減速する場合、ARDの制御ユニットは、ユーザがオブジェクトを選択する/オブジェクトと対話することを望んでいるかどうかを判断するように構成され得る。オブジェクトが選択されるという判断が行われると、拡張がトリガされてよく、オーバーシュートおよび揺り戻しが次の状況について登録され得る。その状況は、限定はされないが、1)オブジェクトが視野に入ってきたときにARD14の動きが急激に減速すること、2)ARDが止まる前にターゲットが視野から出ること、3)オブジェクトを視野に戻すためにARDの動きが直ちに逆向きにされる、または修正されること、および4)オブジェクトが視野の中にある状態でARDが止まることを含む。

別の手法では、速度がより緩やかに変化する場合、ARDの制御ユニット120は、ユーザが周りを見渡しているかどうかを判断するように構成され得る。制御ユニットは、限定はされないが、1)拡張を開始しないこと、2)拡張(たとえば、発光、わずかな揺れ、静止した重畳・・・)を有し得るオブジェクトの指示を示すがアニメーション化された拡張を開始しないこと、および、3)a)オブジェクト上で突然止まることによって、b)オブジェクトを所定の期間カメラの視野の中に保つことによって、またはc)速度とは無関係な任意の他の直接的もしくは間接的な手段によって、ユーザがオブジェクトとの対話を開始した場合に拡張を開始することを含む、機能を実行することができる。

さらに他の実装形態では、ARDの制御ユニットは、参照背景12、たとえばマットを使用して、目標を定めることと周りを見渡すこととを区別することと関連付けられる制御論理を適用することによって、ARD14の動きを追跡するように構成され得る。1つの手法では、制御ユニット120は、マット上の副マーキングを使用するように、またはマットの異なる領域を別々に追跡するように構成され得る。さらに他の実装形態では、参照背景12(マットなど)に対するARDの動き(灰色の矢印および長方形により示される)を追跡する方法は、限定はされないが、1)マットの副領域を追跡するステップ、2)マット上のマーキングまたは副特徴を追跡するステップ、3)図5に示されるように、一時的または永続的に結合され得る複数の小型マットを追跡して、大型マット(たとえば、12a〜12eのような浴室の床のタイル)を形成するステップ、および、4)カメラ視野の中に1つの副領域/マーキング/小型マットを有することが、大型マット上のどこをユーザが見ている可能性があるかをARD14が判断するのを可能にし得るように、これらの副領域/マーキング/小型マットとマット全体との関係を追跡するステップとを含み得る。

本開示のいくつかの態様によれば、図2の制御ユニット120によって、図6で説明する機能を実装することができる。いくつかの実装形態では、これらの機能は、追跡ユニット132および拡張現実ユーザインターフェースユニット134によって実行される機能を含めて、上で説明したARDの様々な機能を実行するために、プロセッサ122、ソフトウェア126、ハードウェア128、およびファームウェア130、またはこれらのブロックの組合せによって実行可能である。

図6は、本開示のいくつかの態様による、拡張現実インターフェースを制御するための流れ図を示す。ブロック602において、制御ユニット120は、複数のオブジェクトを追跡するための画像データを受信するように構成され得る。ブロック604において、制御ユニット120は、複数のオブジェクトから選択されるべきオブジェクトを識別するように構成され得る。ブロック606において、制御ユニット120は、オブジェクトが選択基準のセットの少なくとも一部に基づいて選択されたかどうかを判断するように構成され得る。ブロック608において、制御ユニット120は、オブジェクトが選択されたと判断される場合に、オブジェクトとともに拡張をレンダリングさせるように構成され得る。

本開示の実施形態によれば、ブロック602において実行される方法は、ブロック610および622において実行される方法をさらに含んでよい。たとえば、ブロック610で、制御ユニット120は、ARDに対する複数のオブジェクトの相対的なポーズを判断することと、相対的なポーズを使用して、複数のオブジェクトの状態を更新することであって、複数のオブジェクトの状態が複数のオブジェクトの関係情報を含む、更新することとを行うように構成され得る。ブロック610において実行される方法は、制御ユニット120が、複数のオブジェクトの前に受信した画像データに関して、複数のオブジェクトのポーズを検出する、ブロック622において実行される方法をさらに含んでよい。関係情報は、ゲーム内の複数のオブジェクト間の関係、ストーリ内の複数のオブジェクト間の関係、および背景に対する複数のオブジェクト同士の間の関係のうちの少なくとも1つを含むことに留意されたい。

ブロック604において実行される方法はさらに、ブロック612および614において実行される方法を含み得る。ブロック612において、制御ユニット120は、画像データを使用して複数のオブジェクトを分析し、画像データによって表される画像の中心に最も近いオブジェクトを識別する。ブロック614において、制御ユニット120は、画像データ中の複数のオブジェクトをARDのディスプレイにレンダリングさせ、ARDのディスプレイの中心部分の画素の大半をカバーするオブジェクトを識別する。ブロック604において実行される方法はさらに、オブジェクトがズームインされたと判断するステップを含み得る。

ブロック606において実行される方法はさらに、ブロック616および618において実行される方法を含み得る。ブロック616において、制御ユニット120は、オブジェクトとARDの相対速度を測定し、オブジェクトがARDに対して静止している時間の長さを測定する。ブロック618において、制御ユニット120は、音声命令を受信し、音声命令の大きさを測定する。

選択基準のセットは、オブジェクトが所定の期間ARDの視野の中にあること、オブジェクトがARDの視野の中にありオブジェクトとARDの相対速度が所定の閾値未満であること、および、オブジェクトがARDの視野の中にあり音声命令の大きさが所定の値を超えることのうちの少なくとも1つを備える。

ブロック608において実行される方法はさらに、ブロック620において実行される方法を含んでよく、制御ユニット120は、ARDのディスプレイにオブジェクトとARDとの相互作用を表示する。

ブロック606を参照すると、方法はさらに、インジケータを表示させるステップと、オブジェクトがインジケータの表示に応答して選択解除されるかどうかを判断するステップとを含んでよく、インジケータは、オブジェクトが識別されたことを示す。オブジェクトが選択解除されるかどうかを判断するステップは、ARDに対するオブジェクトの位置がインジケータの表示からある閾値の長さの時間保たれる場合に、オブジェクトが選択されていると判断するステップを備える。インジケータは、アイコン、ARDのディスプレイ上でのオブジェクトの振動、および経過時間の表現のうちの少なくとも1つを備える。

本開示のいくつかの態様によれば、ARDとともに使用するための方法は、1つまたは複数のオブジェクトを含む場面の画像をARDのディスプレイに表示させるステップと、複数のオブジェクトから選択されるべきオブジェクトを識別するインジケータにより表示画像を拡張させるステップと、画像がインジケータにより拡張された後でオブジェクトが選択解除されたかどうかを判断するステップとを備える。

拡張現実のための、音声のユーザインターフェースおよびタンジブルユーザインターフェースを提供するための技法が提供される。本明細書で示される様々な例示的な実装形態は、ARD上で実施され得る。ARD14は、機械実行可能命令を実行するためのプロセッサ、現実世界の環境の画像またはビデオを撮るためのカメラ、および現実世界の環境の拡張現実ビューを表示するためのディスプレイを含む、携帯電話、タブレットコンピュータ、または他のそのようなデバイスであってよい。これらの技法は、従来のARアプリケーションよりもより満足感を与え興味をそそるユーザ体験を生み出すために、多種多様な拡張現実アプリケーションに組み込まれ得る。

図7は、改善されたユーザ体験を提供するためにARD14が現実世界の品目とともに使用されている、遊びの環境の例を示す。図7の例では、マットなどの参照背景12は、現実世界とAR環境の両方において、部屋の表現に対する「床」として機能し得る。この例では、ARD14により提供される拡張は、現実世界の環境に存在しない壁および部屋の他の特徴を含む。ARD14はまた、マット上に配置された1つまたは複数のオブジェクトに対する拡張を提供することができる。ARD14はまた、図7に示されるマットのような参照面12にオブジェクトが配置されているかどうかに関係なく、ARD14のカメラの視野の中に存在するオブジェクトを認識するように構成され得る。

図7の例に示されるように、1つまたは複数の玩具がマット上に配置され得る。玩具21は、玩具21により表されるキャラクターの拡張現実表現31として、ARD14に表示されるAR環境において表現される。ユーザは、玩具21と、ARD14上で提供されるキャラクターの拡張現実表現31との両方と、対話することができる。デバイス上で示されるAR環境では、玩具21は、アニメーション化されユーザ対話に応答することができる。たとえば、キャラクター31の拡張現実表現は、AR環境において動き回り(たとえば、踊る、座る、立つなど)、ユーザと対話する(たとえば、歌う、話す、またはユーザの応答を聞く)ことができる。キャラクター31の拡張現実表現はまた、ユーザの発声を分析し拡張を提供することによって、ユーザの発声に対する状況的に関連のある応答を提供することができる。

1つの例示的なアプリケーションでは、制御ユニット120は、デバイスの視野内のラジオを追跡して、ラジオが奏でる歌の拡張を提供して、ラジオが流れているという判断に基づいて、歌の音量を調整するように構成され得る。別の例示的なアプリケーションでは、制御ユニット120は、デバイスの視野内のテレビジョンを追跡して、オブジェクトがテレビジョンの近くに配置されていることを判断して、配置されたオブジェクトに基づいて、テレビジョン上のビデオ再生の拡張をトリガするように構成され得る。さらに別の例示的なアプリケーションでは、制御ユニット120は、TV番組の残りの部分を示すポストイットノート(post-it note)を追跡して、そのTV番組を録画するようにデジタルビデオレコーダの録画設定を変更させるように構成され得る。

図8A、図8B、図8C、および図8Dは、自動ホームコントロールデバイスとして使用されている拡張現実対応デバイスの例を示す。図8A、図8B、図8C、および図8Dに示す例では、家庭用品29、すなわち、コーラ缶、および家庭用品12、すなわち、雑誌が例示され、家庭用品29および12に関する拡張オブジェクト34がARD14上に提供される。他のタイプの家庭用オブジェクトまたは他のタイプのオブジェクトを使用することも可能である。

いくつかの実装形態では、拡張オブジェクト34は、拡張オブジェクト34に関連する(実世界オブジェクトまたは実オブジェクトと呼ばれる場合もある)有形オブジェクトを完全にカバーすることができる。他の実装形態では、拡張オブジェクト34は有形項目の一部だけをカバーすることができる。たとえば、拡張オブジェクト34の一部によってカバーされた有形項目を見ることができるか、または有形項目をフィルタリングして、より微細な外観を提供することができる。適用され得るフィルタのタイプのいくつかの例は、シーンの残りの部分に対する有形項目の輝度、明暗差、および/または彩度を低減するためのフィルタである。いくつかの実装形態では、拡張コンテンツが有形項目の画像よりも小さい場合ですら、環境拡張を使用して、その項目のすべてまたは一部をカバーすることができる。たとえば、図8Aに示す例では、拡張コンテンツ16は、有形項目、すなわち、雑誌12をカバーする。拡張コンテンツ16は、コーラ缶29よりも小さくてよいが、環境拡張は、ARD14が表示する拡張コンテンツ内で缶の明暗差および彩度を低減している。

図8A、図8B、図8C、および図8Dに示す例など、いくつかの実装形態では、有形項目に関して提供される拡張コンテンツは、有形項目とは異なるタイプのオブジェクトのものであり得る。たとえば、図8A、図8B、図8C、および図8Dのコーラ缶29は、テレビジョンセットのように見える拡張オブジェクト34に置換されている。他のタイプの表現を用いることができる。拡張コンテンツと有形項目との関連付けは、(1)有形項目と拡張コンテンツとの間の関連付けが再度割り当てられるまで、複数のARを通した永続的な持続セッション、(2)使用セッションの存続期間にわたる(たとえば、アプリケーションがオンにされている限り)定着的な(sticky)持続、または(3)「シーン」の存続期間にわたる緩やかな持続であり得る。

本開示の態様によれば、ARD14とともに使用され得るある種のオブジェクトは、1つもしくは複数の顔の特徴(たとえば、目、口、または耳)、あるいは他の特徴(たとえば、アニメーション化された動き)など、それらのオブジェクトに関連する擬人化の特徴を有し得る。ARD14の拡張論理は、デバイスのユーザと通信するためのこれらの擬人化の特徴を使用する関連する拡張コンテンツを提供するように構成され得る。たとえば、トイの拡張表現をアニメーション化して、感情を示すこと、シーンの中を移動すること、歌うこと、話すこと、およびユーザに注目する(すなわち、ユーザを「聴取」する)ことができる。

オブジェクトはターゲット参照背景上に常駐し得る。たとえば、トイは、床、テーブルトップ、プレイマット、または他の表面の上に常駐し得る。ARD14は、参照床に加えて、1つまたは複数のトイを追跡するように構成され得る。ARD14は、オプションで、ARD14が提供するAR視野内で、床、および実世界の他の部分の上に背景拡張をオーバレイすることができる。図8A、図8B、図8C、および図8Dは、項目、すなわち、コーラ缶29が、ARD14上に表示される拡張コンテンツに関する参照面として機能し得る、雑誌など、ターゲット参照背景12上に常駐する、ある例を示す。テーブルトップ、書籍、紙切れ、壁、または他の項目など、他のターゲット参照背景は、参照面としても機能し得る。ARD14が提供する拡張コンテンツ内に参照面を含めることは、オプションであってよい。

図8A、図8B、図8C、および図8Dに示される例では、ARD14のユーザのコーヒーテーブルにおいて見出されるオブジェクトが、テレビ34または他の電子デバイスを制御するように構成され得る。この例では、コーラ缶29が、現実世界のテレビと関連付けられ、チャンネルおよび音量のような、テレビセットのいくつかの機能を制御するために使用され得る。図8A、図8B、図8C、および図8Dにおいて理解され得るように、ARD14は、テレビセットの表現を含むコーラ缶29と関連付けられる拡張現実コンテンツ16を表示するように構成され得る。拡張コンテンツ16は、制御されるべきデバイスの表現を含み得る。図8B、図8C、および図8Dは、現実世界の品目であるコーラ缶29が現実世界のテレビセットに対するリモートコントロールとして機能し得る例を示す。ARD14は、テレビのいくつかの機能を制御するために使用され得る制御装置を表す、拡張コンテンツ16を提供する。図8B、図8C、および図8Dに示される例では、ユーザは、現実世界のオブジェクトであるコーラ缶29を動かすことによって、または操作することによって、テレビのいくつかの機能を制御することができる。たとえば、図8Bでは、ユーザは、コーラ缶29を左または右に回転させてテレビの音量を調整し、または、缶を上または下に動かしてテレビのチャンネルを変えることができる。図8Cに示される例では、ユーザは、コーラ缶29を左または右に回転させてテレビの音量を調整することができ、図8Dに示される例では、ユーザは、コーラ缶29を左または右に回転させてテレビのチャンネルを変えることができる。

図8B、図8C、および図8Dに示される例では矢印として制御が表されるが、拡張の使用可能な状態の表現(たとえば、ノブ、ボタン、レバー)、使用の指示(たとえば、音量に影響を与えるために、またはTVのチャンネルを変えるために、どのようにコーラ缶29を回すかまたは持ち上げるかについての矢印およびアイコン)、またはこれらの要素の組合せのような、他のタイプの制御が拡張コンテンツ16の中に含まれてよい。図8B、図8C、および図8Dに示される例では、雑誌12が、ARD14により表示される拡張コンテンツにおける参照面16として機能し得る。この例では、雑誌12は、缶29が動かされたかどうかを判断するための参照面として機能する。

図9は、ARD14上で拡張現実を提供するための例示的な方法の流れ図である。ARD14の制御ユニット120は、拡張現実体験を提供するための拡張論理を含み得る(ブロック905)。拡張論理は、オブジェクト検出を実行して、ARD14のカメラの視野の中のオブジェクトを検出する(ブロック910)。拡張論理はまた、任意選択で、オブジェクト検出のために参照データベースにアクセスすることができる(ブロック915)。参照データベースは、拡張論理によって拡張され得る様々なタイプのオブジェクトの属性を含んでよく、拡張論理は、ARD14のカメラによって撮影されたビデオまたは画像において検出されるオブジェクトの属性を比較することができる。拡張論理は次いで、ARD14のカメラの視野の中の有形なターゲット品目を検出することができる(ブロック920)。オブジェクトは、発見されるオブジェクトのタイプを分類するための参照情報を使用して(参照データベースが利用可能であれば)、検出され得る。オブジェクトが検出されると、拡張論理はオブジェクト拡張を実行することができる(ブロック925)。拡張論理はまた、次いでオブジェクト追跡を実行することができる(ブロック930)。たとえば、図7に戻って参照すると、ユーザが玩具21をカメラの視野に対して異なる位置に動かす場合、または、玩具21がカメラの視野の中に移動するようにユーザがARDを動かす場合、拡張論理は、ARD14に表示される「表示域」内のオブジェクトの位置を追跡し、オブジェクトの新たな位置においてオブジェクトに対する拡張を表示することができる(ブロック935)。拡張論理はまた、新たなオブジェクトがカメラの視野に入ったかどうかの判断を定期的に行うことができる(ブロック940)。新たなオブジェクトが検出されると、オブジェクトが、追跡され拡張されるべきオブジェクトのリストに追加されてよく(ブロック945)、拡張論理は、検出されたオブジェクトに対するオブジェクト拡張を実行し続けることができる(ブロック925)。

次の例は、本明細書で開示される拡張現実技法がどのように拡張現実対応デバイスにおいて実施され得るかを示す。

本開示の態様によれば、ARD14は、社会的遊びのために、拡張現実と、タンジブルユーザインターフェースおよび音声のユーザインターフェースとの組合せを制御するように構成され得る。一実装形態では、ARD14は、社会的遊びの探求および学習を促すように構成され得る。この技法は、言語の発達を促すように発声に対して反応し、脳シミュレーションを実現する。ユーザは、ARD14と対話している間に行われる発声に対して反応を与えられ得る。たとえば、ユーザ30は、キャラクター21との社会的遊びに関与していることがある。ユーザにより保持されるデバイス14に表示されるキャラクター31の拡張現実表現は、ユーザが発声している間に聴取の拡張を表示していてよい。キャラクターと関連付けられる聴取の拡張は、キャラクターが話すのを止めること、デバイスの画面に向かって「見る」ことによってユーザに対面すること、および、注目を示し発声するようにユーザに促す他のそのような動作を含み得る。

デバイスに表示される拡張現実表現におけるキャラクターは、ユーザに応答するように、かつ/またはユーザから応答を引き出すように構成され得る。ARD14は、場面の拡張現実表現にけるキャラクターの挙動を制御するための拡張論理を含み得る。以下の例では、キャラクターと関連付けられる拡張論理は、ARD14のマイクロフォン入力において検出される音声イベントに応答するように構成され得る。

図8A、図8B、図8C、および図8Dに示される例を再び参照すると、音声命令が、ARD14によって表示される拡張ビューと対話するために使用され得る。たとえば、ユーザ30は、コーラ缶29のような品目にカメラを向け、コーラ缶29を現実世界の環境のテレビと関連付けるために、「テレビ」と言うことができる。ARD14は、コーラ缶29の上に、テレビ34と関連付けられる拡張コンテンツ16、たとえば、テレビの表現(図8A)、またはテレビの機能を制御するための制御装置と関連付けられる表現(図8B、図8C、および図8D)を表示するように構成され得る。音声命令はまた、属性をある品目に割り当てるために使用され得る。たとえば、ユーザは、ARD14により表示される場面の中のコーラ缶29と関連付けられる拡張コンテンツ16に音量制御を加えるために「音量」と言うことができ、または、ユーザは、ARD14により表示される場面の中のコーラ缶29と関連付けられる拡張コンテンツ16にチャンネル制御を加えるために「チャンネル」と言うことができる。ユーザは次いで、音声命令を介して拡張コンテンツ16によって提供される制御装置、ARD14のタッチスクリーン、または他のユーザインターフェースと対話することができる。

図10は、ARD14上で拡張現実を提供するための例示的な方法の流れ図である。ARD14は、オブジェクト検出を実行して、視野の中のオブジェクトを検出する(ブロック1005)。上で説明されたように、ARD14は、現実世界の場面の画像またはビデオを撮影できるカメラを含む。ARD14の拡張論理は、場面の画像またはビデオを分析して、拡張されるべきオブジェクトを検出することができる。たとえば、玩具または他の現実世界の品目が、検出されたオブジェクトのために提供される拡張論理および拡張によって検出され得る。ARD14は、ARD14のカメラの視野の中で見える現実世界の環境の少なくとも一部分を表す、「表示域」を表示することができる。拡張論理は、このビューの上の音声および視覚のコンテンツ(「拡張」と本明細書では呼ばれる)を現実世界の環境へと重畳し、現実世界の環境の拡張現実ビューを提供するように構成され得る。拡張論理は、背景、前景、および/または、ARD14の視野の中の1つまたは複数の有形なオブジェクトの上の重畳を提供することができる。

ARD14の拡張論理は、ARD14の視野の中にあり得る有形なオブジェクトを認識することができる(ブロック1010)。拡張論理は、1つまたは複数のオブジェクトの姿勢(位置および向き)をリアルタイムで推定するように構成され得る。拡張論理は、ARD14の視野の中にある有形なオブジェクトを認識するために、現実世界の環境における1つまたは複数のオブジェクト上の基準マーカーを認識するように構成され得る。拡張論理はまた、ARD14の視野の中の有形なオブジェクトを認識するために、自然の地物の追跡を使用するように構成され得る。拡張論理はまた、ARD14の視野の中の有形なオブジェクトを認識するために、他の技法またはこれらの組合せを使用するように構成され得る。ARD14は次いで、認識された品目に対する音声および視覚の拡張を開始することができる(ブロック1015)。たとえば、認識された品目が人形である場合、拡張論理は、ARD14により表示される拡張ビューに、現実世界のオブジェクトの上に重畳された人形のアニメーション化された表現を表示することができる。拡張論理はまた、歌を歌い、話し、ARD14に表示されるAR環境を動き回るように、または他のそのような挙動を行うように、表現をアニメーション化するように構成され得る。

次いで、音声検出が拡張論理によって開始され得る(ブロック1020)。音声が検出されると(ブロック1025)、拡張論理は、キャラクターが聴取の挙動を示すように、キャラクターのための拡張を変更することができる(ブロック1030)。たとえば、キャラクターは、話すのを止めること、ARD14の画面に対面するように回ること、注意深く首を傾けること、およびキャラクターが聞いているという言語的な指示を提供することなどの、1つまたは複数の挙動を示し得る。たとえば、キャラクターは、ユーザが話しているとき、定期的に「うん、うん」と声を発するようにアニメーション化され得る。

図11は、ユーザから受け取られた音声入力に基づくキャラクターの挙動の方法の流れ図を提供する。方法は、ユーザからの音声入力を聴取することを開始する(ブロック1155)。次いで、拡張論理は、ユーザが話しているかどうかの判断を行い得る(ブロック1160)。方法は、ユーザが話しているか、歌っているか、手を叩いているか、口笛を吹いているか、または他のタイプのユーザ入力を提供しているかどうかを認識するように変更され得る(ブロック1162)。ユーザが話していない(または他のタイプの可聴の応答を提供していない)場合、ユーザ応答を引き出すための動作が開始され得る(ブロック1165)。ユーザからの可聴の応答がないことは、ユーザからの注目がないことを示すことができ、これは、ユーザが関心を失ったこと、または現在の場面に飽きたことを示し得る。拡張論理は、キャラクター31の拡張現実表現をトリガして、ユーザの注目を引くために何らかの動作を実行することができる。たとえば、拡張論理は、キャラクター31の拡張現実表現に、歌を歌うこと、踊ること、またはユーザの注目を引き出すための何らかの他の動作を実行することを開始させるように構成され得る。拡張論理はまた、ユーザがある長い期間応答しなかったかどうかを認識するように構成されてよく、応答しなかったことは、ユーザがいなくなったこと、眠ったこと、または別様に拡張現実に関与しておらず、ユーザからの音が再び検出されるまで停止したこと、または「スリープモード」に入ったことを示し得る。

ユーザ入力中のコンテンツがトリガコンテンツとして認識されると(ブロック1170)、ユーザ入力に対する状況的な応答が生成され得る(ブロック1175)。たとえば、「犬」というトリガ言葉をユーザが言うと、拡張論理は、状況的な応答を生成するように、たとえば、「僕は犬が好きだよ!」という応答を与えるようにキャラクターをアニメーション化するように構成され得る。別の例では、笑い声が検出されると、拡張論理は、笑い声がユーザ入力において検出されたことに応答して、笑うようにキャラクターをアニメーション化するように構成され得る。

それ以外の場合、状況的な一致が見出されなければ、または、ユーザにより提供される可聴の応答が理解できなければ、拡張論理は、ユーザからの可聴の入力の内容に基づかない、可聴の入力に対する代替的な応答を生成するように構成され得る(ブロック1180)。たとえば、拡張論理は、「今のは何?」または「知らせてくれてありがとう」と言うように、キャラクター31の拡張現実表現をアニメーション化するように構成され得る。拡張論理は、ブロック1155に戻り、ユーザからの可聴の入力の聴取を継続するように構成され得る。

拡張論理はさらに、ユーザ体験をさらに豊かにするように構成され得る。たとえば、拡張論理は、次の技法の1つまたは複数を使用することでユーザに話すことを促すことによって、言語表現技術を練習することをユーザに促すように構成され得る。

拡張論理は、ユーザが話し始めるときを認識し、次の動作のうちの1つまたは複数を実行するように構成され得る。(a)キャラクター31の拡張現実表現が現在、ユーザの発声に対する関心を引くために話している場合、話すのを止める。(b)キャラクターがユーザに注目しているという印象を与えるように、キャラクター31の拡張現実表現をアニメーション化する。たとえば、キャラクター31の拡張現実表現は、ユーザの方向に向くようにアニメーション化され得る。たとえば、キャラクター31の拡張現実表現は、キャラクター31の拡張現実表現がユーザに対面しているように見えるように、場面の拡張現実表現においてデバイスの画面に向き合うように構成され得る。(c)ユーザが話すのを止めると、アニメーションおよび/または発声によって応答する。

アニメーションおよび/または発声による応答は、異なるレベルの応答を提供するように構成され得る。雑音、笑い声、声、拍手のような単純な音声トリガに応答して、キャラクター31の拡張現実表現によって提供される応答は、より曖昧であり、状況特有の程度が低いことがある。たとえば、キャラクターは、微笑およびうなずきとともに応答するようにアニメーション化されてよく、または、「おお!」のような単純な叫び声をあげてよい。声または音声の認識が拡張論理において実装されており、トリガの音または言葉が認識される場合、より状況に適した応答が提供され得る。たとえば、大きな笑い声が検出されると、拡張論理は、ユーザと一緒に笑うようにキャラクター31の拡張現実表現をアニメーション化するように構成され得る。別の例では、大きな雑音が検出されると、拡張論理は、「今のは何?」と言うようにキャラクター31の拡張現実表現をアニメーション化するように構成され得る。別の例では、声が検出されると、拡張論理は、「知らせてくれてありがとう!」と言うようにキャラクター31の拡張現実表現をアニメーション化するように構成され得る。

いくつかの例では、拡張論理は、音声認識アルゴリズムを利用して、ユーザからの音の中のトリガとなる言葉または語句のセットを認識し、ユーザの入力に対する状況に適した応答を生成するように構成され得る。たとえば、ユーザが「マディソンの家に新しい犬が来て、すごくふわふわなんだ」と大声で言って、拡張が「犬」という言葉を認識するように構成される場合、拡張論理は、「へえ、僕も犬が好きだよ!」と言うようにキャラクター31の拡張論理表現をアニメーション化するように構成され得る。

ユーザからの音声応答の中の特定の言葉を認識することは、ユーザの言語表現技術がまだ十分に発達しておらず、ユーザの発音がまだ理想的ではないことがある場合には、特に困難であり得る。拡張論理は、場面の状況に基づいて、ユーザからの可聴の入力において特定の言葉を探索するように構成され得る。たとえば、ARD14に図示された拡張現実場面が、犬、鉛筆、りんご、およびアヒルを示す場合、拡張論理は、場面の中で見えるオブジェクトと関連付けられる言葉を探索するように構成され得る。たとえば、拡張論理は、犬を、「犬」、「子犬」、および「ワンちゃん」という言葉と関連付け、アヒルを、「アヒル」、「鳥」、および「アヒルちゃん」という言葉と関連付けることができる。

ユーザの可聴の入力に対する応答はまた、ユーザの判断された言語表現レベルに適合され得る。たとえば、拡張論理は、ユーザの応答において識別された言葉に基づいて、ユーザと関連付けられる言語表現レベルを判断するように構成され得る。より複雑な言葉および/または語句は、より高いレベルの言語表現と関連付けられてよく、拡張論理は、ユーザに対する適切なレベルの言語表現によって応答するように構成され得る。拡張論理はまた、ユーザの言語表現技術の成長を促すために、わずかにより高いレベルの言語表現と関連付けられる、ユーザの音声入力に対する応答を選択するように構成され得る。

ARD14により表示される場面の内容も、ユーザにより発せられた1つまたは複数の言葉または語句を場面のより後の部分に含めるように適合され得る。たとえば、ARD14と対話しているときにユーザが犬またはサッカーについて話すと、犬またはサッカーがその場面に組み込まれ得る。たとえば、キャラクター31の拡張論理表現は、場面のより後の部分において、サッカーボールで遊び、犬について話し、または犬と遊び得る。ユーザによって発せられた言葉または語句を場面に組み込むことは、ARD14によって提供されるAR環境とユーザがより十分に関わることの助けとなり得る。

拡張論理はまた、ユーザの音声入力に基づいて、キャラクターおよび/または環境中のオブジェクトのアニメーションを駆動するように構成され得る。たとえば、ユーザがサッカーの試合で勝ったことについて話す場合、場面中のキャラクター31の拡張現実表現は、「君はサッカーが本当に上手だね」と言うことによって応答し、サッカーボールで遊び始めることができる。その場面に関わるあと2人の別のキャラクターがいる場合、キャラクター31の拡張現実表現は、ユーザによる可聴の入力に応答して互いに対話するように構成され得る。たとえば、第1のキャラクターの拡張現実表現が、「君もサッカーが好きかい?」と第2のキャラクターの拡張現実表現に尋ねることができ、2人のキャラクターが次いでサッカーボールの蹴り合いを始めることができる。

拡張論理は、ユーザを関わらせ、ユーザの言語表現技術の発達を促すように会話を続けるように構成され得る。そのような発声を促すための1つの技法は、キャラクターがカメラの視野の外にありしたがってARD14により提供される「表示域」においてもはや見えないようにユーザがデバイスを動かした場合でも、キャラクターと会話を続けることを含む。ユーザからの音声応答が検出され続ける場合、会話に関わる1つまたは複数のキャラクターがARD14の表示域にもはやなくても、会話は続けられるべきである。さらに、ユーザが別のキャラクターをARD14の視野に追加する場合、その拡張論理は、新たに追加されたキャラクターを識別し、新たに追加されたキャラクターのための音声および視覚の拡張を提供するように構成され得る。新たに追加されるキャラクターは、すでに進行中の場面に含まれ得る。

拡張論理は、ユーザによって提供される可聴の応答の識別を試みるために適用する、一連の音声認識方式を含み得る。拡張論理は、ユーザにどのように応答するかを判断するために、グレースフルデグラデーション(graceful degradation)方式を使用するように構成され得る。たとえば、拡張論理は、1つまたは複数の音声認識方式を可聴の入力に適用するように構成されてよく、各方式は、提起された言葉または語句を発声と関連付け、発声がその特定の言葉または語句である百分率の確実さを割り当てる。拡張論理は、確実さの百分率に基づいて、発声に対する応答を選択するように構成され得る。発声と関連付けられる確実さが所定の閾値を下回る場合、ユーザが何を言っていたかが望ましいレベルの確実さで判断され得ない場合でも、発声に応答して単純な音声トリガ応答が発せられてよい。さらに、ユーザの可聴の応答において言葉が識別され得ない場合、拡張論理は、ユーザからの可聴の応答が、言葉であったか、笑い声であったか、泣き声であったか、または発声ではなかった(拍手など)かを判断するために、識別論理を適用するように構成され得る。判断が行われ得る場合、拡張論理は、ユーザに対する適切な応答を選択することができる。ユーザからの可聴の応答が分類され得ない場合、単純な音声トリガ応答が拡張論理によって選択され得る。

本開示の態様によれば、ARD14は、遊びの容易さのために、拡張現実と、タンジブルユーザインターフェースおよび音声のユーザインターフェースとの組合せを制御するように構成され得る。一実装形態では、ARD14は、発声に反応することによって、社会的遊びの探求、言語の発達、脳シミュレーション、および学習を促すように構成され得る。ARD14は、遊びを高度にしてユーザ体験を向上させるためにユーザが使用できる、音声命令を提供するように構成され得る。ある例では、ユーザ30が有形な玩具21で遊び、拡張場面16においてARD14の「中を」見ているとき、図7のように、ユーザの手は、玩具21を操りARD14を持つことにとられていることがある。ユーザは、音声命令をARD14に与えることによって、場面の中のオブジェクトと対話することができる。

図12は、音声命令を認識するARD14上で拡張現実を提供するための例示的な方法の流れ図である。ARD14はオブジェクト検出を実行する(ブロック1205)。上で説明されたように、ARD14は、現実世界の場面の画像またはビデオを撮影できるカメラを含む。ARD14は、場面の画像またはビデオを分析して、ARD14によって提供されるビューにおいて拡張され得る玩具または他の現実世界の品目などのオブジェクトを検出することができる、拡張論理を含み得る。ARD14の拡張論理は次いで、有形なオブジェクトを認識することができる(ブロック1210)。ARD14は次いで、認識された品目に対する音声および視覚の拡張を開始することができる(ブロック1215)。たとえば、認識された品目が人形である場合、拡張論理は、ARD14に表示されるAR表現に人形の漫画バージョンを表示することができる。拡張論理はまた、歌を歌うこと、話すこと、ARD14に表示されるAR環境を動き回ること、または他のそのような挙動をキャラクターに行わせるように構成され得る。

音声検出が次いで、ユーザにより発せられる音声命令を識別するために、拡張論理によって開始され得る(ブロック1220)。音声命令が検出されると(ブロック1225)、拡張論理は、命令と関連付けられる動作を実行するようにキャラクターの拡張を変更することができる(ブロック1230)。たとえば、図14に示される例ではユーザは「おまるを使いなさい」と言うことがあり、拡張論理は、ARD14上で提供される場面のAR表現においてトイレを使用するように、キャラクター31の拡張現実表現をアニメーション化するように構成され得る。音声命令はまた、キャラクター31の拡張現実表現によって与えられる質問に対する応答であってよい。たとえば、キャラクター31の拡張現実表現は、ユーザに「お風呂に入ったほうがいい?」と尋ねることができる。ユーザが「はい」と応答する場合、拡張論理は、AR場面において風呂に入るキャラクター31の拡張現実表現のアニメーションをトリガすることができる。ユーザが「いいえ」と言う場合、または応答しない場合、拡張論理は、トリガ事象が発生していないので、AR場面において風呂に入るキャラクター31の拡張現実表現のアニメーションをトリガしなくてよい。

本開示の態様によれば、ARD14は、継続的な関与のために、拡張現実と、タンジブルユーザインターフェースおよび音声のユーザインターフェースとの組合せを制御するように構成され得る。一実装形態では、ARD14は、言語表現技術の発達を助けるために、関与を促すように構成され得る。言語表現が、関与および学習の深さを判断するための基準として使用され得る。言語表現に反応し、ユーザを関与した状態に保つために、ユーザの言語表現が、ある場面を生じさせるために使用され得る。本開示のこの目的のための場面は、ARD14に表示されるAR環境内での継続的な動作の流れとして定義される。拡張論理は、言語表現に応答して、多数の方法である場面を生じさせるように構成され得る。たとえば、ユーザが現在の場面の間に多くのことを言語表現している場合、拡張論理は、話題と関係がある状態に場面を保ち、または現在の話題を広げ、または現在の目標レベルの内容にとどまるように構成され得る。ユーザが言語表現していない場合、または言語表現を減らした場合、拡張論理は、新たな話題へと場面を移し、または内容の目標レベルを変えるように構成され得る。

図13は、ユーザとの継続的な関与をもたらすように、ARD14上で拡張現実を提供するための例示的な方法の流れ図である。ARD14はオブジェクト検出を実行する(ブロック1305)。上で説明されたように、ARD14は、現実世界の場面の画像またはビデオを撮影できるカメラを含む。ARD14は、場面の画像またはビデオを分析して、ARD14によって提供されるビューにおいて拡張され得る玩具または他の現実世界の品目などのオブジェクトを検出することができる、拡張論理を含み得る。ARD14の拡張論理は次いで、有形なオブジェクトを認識する(ブロック1310)。ARD14は次いで、認識された品目に対する音声および視覚の拡張を開始することができる(ブロック1315)。たとえば、認識された品目が人形である場合、拡張論理は、ARD14に表示されるAR表現に人形の漫画バージョンを表示することができる。拡張論理はまた、歌を歌うこと、話すこと、ARD14に表示されるAR環境を動き回ること、または他のそのような挙動をキャラクターに行わせるように構成され得る。

音声検出が、ユーザによる発声を識別するために、拡張論理によって開始され得る(ブロック1320)。音声検出は、音声打消フィルタリングを使用して、発声について予想される周波数範囲の外側の音を除外し、バックグラウンドノイズなどの、ユーザによる関与を示さない可能性のある望まれない音声入力を除去することができる。いくつかの例では、音声検出論理は、特定の発声を探すように構成され得る。たとえば、ユーザにより発せられる特定の言葉または語句。発声が検出されると(ブロック1325)、拡張論理は、ARD14上で場面の音声および視覚による拡張を提供するように構成され得る(ブロック1330)。拡張論理は、キャラクター31の拡張現実表現がARD14のディスプレイ上で見える表示域の中に残っているかどうかに関係なく、拡張の少なくとも音声部分を提供し続けるように構成され得る。たとえば、ユーザは、デバイスを動かすことがあり、または、場面のビューを「押し流す」ことがある。そのような動きは、ユーザがもはや場面と関わっていない可能性があることと、拡張論理がもはやキャラクター31の拡張現実表現の表現を生成する必要がないこととを示し得る。しかしながら、拡張論理は、ユーザが言語表現を続けている限り、キャラクター31の拡張現実表現と関連付けられる拡張コンテンツの音声部分を再生し続けるように構成されてよく、それは、言語表現の継続は、ユーザがその場面に依然として関わっている可能性があることを示し得るからである。たとえば、ユーザは、キャラクター31の拡張現実表現が歌を歌うことに応答して、歌って踊ることがある。ユーザの動きにより、ARD14が動き、キャラクター31の拡張現実表現と関連付けられる玩具がカメラの視野の外へと出ることがある。拡張論理は、ARD14のディスプレイ上のキャラクターの可視の表現がもはや見えない可能性がある場合であっても、キャラクター31の拡張現実表現のためのコンテンツの少なくとも音声部分を再生し続けるように構成され得る。

本開示の態様によれば、ARD14は、集団の遊びのために、拡張現実と、タンジブルユーザインターフェースおよび音声のユーザインターフェースとの組合せを制御するように構成され得る。一実装形態では、ARD14は、言語表現技術の発達を助けるために、集団の遊びを促すように構成され得る。タンジブルユーザインターフェースは、複数のユーザの対話を誘発し、一緒に遊ぶようにユーザに促すために使用され得る。このような一緒に遊ぶという挙動は、遊んでいるユーザの間の言語表現を刺激し得る。この方法は、集中した拡張により共同的な言語表現に反応することによって、共同的な言語表現を促す。

集団の遊びの間に、拡張論理は、どのユーザが可聴の入力を提供しているか、および、拡張論理がそのユーザに応答できるかどうかを判断するように構成され得る。単一のデバイスが複数のユーザにより使用され得る例では、拡張論理は、検出された最も大きな声をデバイスの主要なユーザであるものとして識別し、その主要なユーザから受け取られた可聴の入力にある方法で応答しながら、二次的なユーザからの可聴の入力に(もしあれば)異なる方法で応答することができる。複数のARDが一緒に使用されている場合、ARDは、他のARD15に近接している可能性があるときを識別するように構成され得る。いくつかの例では、ARD14は、WLAN接続に接続するためのWiFi接続性などのワイヤレス接続性を含んでよく、ARD14は、第2のARD15によって送信されるワイヤレス信号を使用して、第2のARD15の近接を検出することができる。

本開示の態様によれば、2人のユーザ30および32が単一のARD14を共有していることがある。本開示のいくつかの他の態様では、各ユーザ30および32は、図14に示されるように、自身固有のARD14または15を有し得る。両方の例において、両方のユーザが、それぞれのARD14および15によって認識され得る音声命令を提供することができる。本開示の実施形態によれば、複数のARDは、複数のARDにわたる拡張を維持するように構成され得る。図14に示されるように、複数のユーザが対応する拡張現実対応デバイスとともに、同時にまたはほぼ同時に同じ遊びのセットで遊んでいる場合、いくつかの拡張要素は複数のARDにわたって実質的に同一のままであってよく、一方で、他の拡張要素は異なっていてよい。

1つの例示的な実装形態では、ユーザ30が犬25をスーパー犬35に変えると、別のARD15を使っている別のユーザ32も、それぞれの拡張16および17において、犬25をスーパー犬35として見ることができる。各ARDからの音声拡張は、特定のARDが指している可能性がある遊びに関し得ることに留意されたい。

ARD14の拡張論理は、デバイスの主要なユーザを識別するように構成され得る。単一のARD14が複数のユーザによって使用されている場合、ARD14は、デバイスの主要なユーザを識別し、主要なユーザによって提供される音声命令および/または言語表現を優先することができる。たとえば、主要なユーザが現在ARD14と関連付けられない場合、ARD14は、最も声の大きいユーザをデバイスの主要なユーザとして選択するように構成されてよく、それは、このユーザがデバイスの最も近くにいるユーザである見込みが高い可能性があるからである。ユーザの声がARD14と関連付けられた後、ARD14は、その声を主要なユーザとして認識し続けるように構成され得る。ARD14の拡張論理は、主要なユーザからの発声に対して支配的な関心を、他のユーザからの発声に対して二次的な関心を与えるように構成され得る。この手法によって、拡張論理は、デバイスの主要なユーザを優先するように、複数のユーザからの競合する入力を解決することができる。

複数のARD14および15が複数のユーザ(30および32)によって使用されている場合、図14などのように、各ARD14または15は、そのデバイスの主要なユーザを識別し、主要なユーザによって提供される音声命令および/または言語表現を優先することができる。上で説明されたように、主要なユーザが現在ARD14または15と関連付けられない場合、ARD14または15は、最も声の大きいユーザをデバイスの主要なユーザとして選択するように構成されてよく、それは、このユーザがデバイスの最も近くにいるユーザである見込みが高い可能性があるからである。2つ以上のARD14および15が互いに近接している場合、拡張論理は、ARDが同じ場面において使用されているかどうかを判断するように構成され得る。たとえば、ARDが互いに近接していることおよびARDの向きが、ARDが同じ場面で使用されているかどうかを判断するときに考慮され得る。参照背景12または他の有形なターゲット品目が「部屋」を定義するために使用され得る場合、拡張論理は、別のARDの拡張論理と情報を共有して、両方のユーザが同じ場面に参加している可能性があるかどうかを判断するように構成され得る。ARDが異なる場面で使用されている場合、拡張論理は、デバイスの主要なユーザを識別し、そのユーザに応答するように構成され得る。両方のARDが同じ場面で使用されている場合、または、デバイスの1つがある場面に集中していない可能性がある(たとえば、デバイスがユーザにより下に置かれた可能性がある)場合、声は一緒に考慮されてよく、デバイスの主要なユーザが選択されてよい。ARD(14および15)は、ピアツーピア通信を使用して通信するように構成され得る。たとえば、ARDは、Bluetooth(登録商標)、Wi-Fi、または他のワイヤレスプロトコルを使用して通信するように構成され得る。いくつかの実装形態では、ARD(14および15)は、ワイヤレスアクセスポイントまたはワイヤレス基地局と通信するように構成されてよく、または、デバイス間のメッセージは、中間サーバを通じて互いにルーティングされ得る。ARD間で交換されるメッセージは、2つ以上のデバイスによって表示される拡張コンテンツが同期され得るように、ターゲットに対する各オブジェクトの姿勢と、各デバイスによって受け取られる音声
命令とを含み得る。

拡張論理は、複数のユーザと関わるように構成され得る。たとえば、第1のユーザがサッカーについて話し、第2のユーザが犬について話す場合、拡張論理は、サッカーと犬の両方をその場面に組み込むことができる。拡張論理は、「僕は犬とサッカーが好きだよ」と言うように、場面中のキャラクターをアニメーション化するように構成され得る。

拡張論理はまた、各ユーザが参加して発声することを促すように構成され得る。ある声が別の声よりも多く聞こえる場合、拡張論理は、第2のユーザからの応答を促し得る。たとえば、拡張論理は、「それで、君はどう?何が好き?」と言うように、場面中のキャラクターをアニメーション化するように構成され得る。

拡張論理はまた、ユーザ間の対立を軽減または回避するように構成され得る。たとえば、口論の口調または攻撃的な言葉が1つまたは複数の声から検出されると、拡張論理はそれに従って応答するように構成され得る。たとえば、拡張論理は、1人または複数のユーザがその態度を直すことを促すように、または新たな話題を導入するように、キャラクター31の拡張現実表現をアニメーション化するように構成され得る。たとえば、キャラクターは、「おおい!僕がすごく好きなものを知っているかい?アイスクリーム!」と叫んでよく、歌を歌い始め、または、キャラクターは、「ほらみんな聞いて!」と叫び、一緒に行儀よく遊ぶことについての歌を歌うことができる。

拡張論理は、集団の遊びの間に異なるユーザによって与えられる競合する命令を処理するように構成され得る。たとえば、2人のユーザが同じARD14を共有しており、ユーザ1が「バーニーがサッカーをしている」と言い、ユーザ2が「バーニーがお昼寝をしている」と言うことのような、競合する命令が受け取られる場合、拡張論理はこの競合を解決することができる。拡張論理は、1人のユーザにより与えられる命令を、その他の命令に対して優先する(たとえば、最初に来たものが最初に応対される)ように構成され得る。拡張論理は、命令の1つを無視するように、または命令を順番に実行するように構成され得る。各ユーザがARD14または複数のARDを有する実装形態が使用されている場合、拡張論理は、単一のユーザデバイスと同様の方式で、競合を解決するように構成され得る。

図15は、ARD14またはデバイス上で拡張現実を複数のユーザに提供するための例示的な方法の流れ図である。第2のARD15の存在が、第1のARD14で検出され得る(ブロック1505)。第2のARD15が第1のARD14に近接していることを検出したことに応答して、第1のARD14は、第2のARD15が、第1のARD14によって表示されている拡張現実コンテンツと関連付けられる拡張現実コンテンツを表示しているかどうかを判断することができる(ブロック1510)。複数のユーザの発声が第1のARD14において分析されてよく(ブロック1515)、第1のARD14の主要なユーザが発声に基づいて判断されてよい(ブロック1520)。第1のARD14は次いで、そのデバイスによって提供される拡張現実コンテンツをカスタマイズして、発声に応答した、状況的に関連のあるコンテンツを提供することができる。第1のARD14は、ユーザに提供すべき状況的に関連のあるコンテンツを選択するときに、他のユーザによって提供された発声よりも、主要なユーザによって提供された発声により重みを与えることができる(ブロック1525)。

図16は、複数のARD上で拡張現実コンテンツを提供するための例示的な方法の流れ図である。図16に示される方法は、複数のARDが一緒に使用されている場合の、拡張論理を実施するために使用され得る。方法は、ARD14の拡張論理で実施され得る。あるいは、ブロックの一部またはすべてがサーバによって実施され得る。方法は、ARD14のカメラから次の画像を受信するステップ(ブロック1605)と、カメラに対する既知のオブジェクトの位置および向きを判断するステップ(ブロック1610)とを含む。上で説明されたように、拡張論理は、様々な技法を使用して、カメラの視野の中の有形な現実世界のオブジェクトを識別するように構成され得る。場面の現在の状態が次いで更新され得る(ブロック1615)。拡張論理は、場面内のオブジェクトの位置および向きなどの、場面の現在の状態についての情報を保持し得る。1つまたは複数のオブジェクトが動かされると、場面の現在の状態についての情報が、これらの変更を反映するように更新され得る。方法はまた、方法の第1の分岐(ブロック1605、1610、および1615)と実質的に並列に実行され得る、第2の分岐を含む。方法の第2の分岐に含まれるブロックはまた、方法の第1の分岐に含まれるブロックよりも順番的に前に、後に、または混合して実行され得る。第2の分岐は、ARD14のマイクロフォンから来る次の音声サンプルを受け取るステップを含み得る(ブロック1620)。音声入力ストリームは次いで、個々の音、言葉、および/または語句へと分割され得る(ブロック1625)。言葉または語句と関連付けられる話者が識別されてよく、言葉または語句がデータベース中の既知の言葉または語句の辞書と照合されてよい(ブロック1630)。話者が以前に識別されている場合、場面に関する情報が、そのユーザから受け取られた新たな発声を関連付けるように更新され得る。話者が以前に識別されていない場合、拡張論理は、そのユーザから受け取られる発声の追跡を開始することができる。

場面に対する状態の更新に関する情報、ならびに、認識された言葉、語句、および/または音が次いで、ARD14に近接している可能性のある他のARDに送信され得る(ブロック1632)。ARD14または他のARD15の拡張論理はまた、2つ以上のデバイスが同じ場面と対話するために使用されているかどうかの判断を行い、デバイスが同じ場面を表示していない場合、場面の状態についての受信された情報を共有しないように、または廃棄するように構成され得る。状態の更新に関する情報、ならびに、認識された音、言葉、および/または語句はまた、他のARDから受信され得る(ブロック1635)。言葉または語句と関連付けられる話者は、他のARDから受信されたコンテンツにおいて識別されてよく、データベース中の既知の言葉および/または語句に対する照合が行われてよい(ブロック1640)。拡張論理は次いで、場面の状態を表す情報に対して行われる更新に基づいて動作をトリガし(ブロック1645)、場面の更新された状態を反映するように拡張をレンダリングする(ブロック1650)ことができる。

図17は、本明細書で説明されるARDの別の実装形態を示す。本開示の態様によれば、ARD14は、センサ1705(たとえば、ジャイロ、加速度計、慣性測定ユニット(IMU)、および/または他のタイプのセンサ)と、センサ1705によって収集されたデータを処理するためのセンサプロセッサ1710とを含む。ARD14はまた、カメラ1715およびカメラプロセッサ1720を含む。カメラ1715は、上で説明された拡張論理を使用して拡張され得る現実世界の場面の画像および/またはビデオを撮影するように構成され得る。カメラプロセッサ1720は、カメラ1720によって収集されたデータを処理し、カメラによって収集されたデータを、拡張論理によって使用され得るフォーマットへと変換するように構成され得る。カメラプロセッサ1720は、カメラから収集されたデータに対する様々なタイプの画像またはビデオの処理を実行して、ディスプレイ1725に表示するコンテンツを準備するように構成され得る。

ディスプレイ1725は、タッチセンサ1735を含むタッチスクリーンインターフェースであり得る。グラフィックスプロセッサ1730は、ディスプレイ1725に表示するグラフィカルデータを生成するために使用され得る。拡張論理は、命令をグラフィックスプロセッサ1730に送り、拡張された画像またはビデオのコンテンツを表示するように構成され得る。タッチセンサプロセッサ1740は、タッチセンサ1735によって出力されるデータを処理して、ユーザがタッチスクリーンに触れたときを識別することができる。タッチセンサプロセッサ1740は、タッチスクリーンの複数の指によるタッチを含む、様々なタッチジェスチャを識別するように構成され得る。拡張論理は、タッチセンサプロセッサ1740によって判断されるジェスチャ情報を使用して、拡張がユーザ入力に応答してどのように反応すべきかを少なくとも一部判断することができる。通信コントローラ1750は、1つまたは複数のワイヤレスプロトコルを使用してデバイスが通信することを可能にするように構成され得る。通信コントローラ1750は、ワイヤレスアクセスポイントおよび他のARDを含む、近くのワイヤレスデバイスからのデータをデバイスが送信し受信することを可能にするように構成され得る。メモリ1760は、ARD14の様々なコンポーネントによって使用されるデータを記憶するための、非揮発性メモリおよび/または永続性メモリを含み得る。メモリ1760は、デバイスに含まれるプロセッサの1つまたは複数のためのプロセッサ実行可能プログラムコードを記憶するために使用され得る。いくつかの例では、拡張論理は、メモリ1760に記憶されるプロセッサ実行可能命令として実装され得る。プロセッサコントローラ1755は、センサプロセッサ1710、カメラプロセッサ1720、グラフィックスプロセッサ1730、およびタッチセンサプロセッサ1740のうちの1つまたは複数を制御するように構成され得る。センサプロセッサ1710、カメラプロセッサ1720、グラフィックスプロセッサ1730、およびタッチセンサプロセッサ1740の1つまたは複数も、コントローラプロセッサ1755によって実装され得る。図17で説明されたようなARD14のブロックは、システムバス1770を介して互いに通信することができる。

本開示の態様によれば、いくつかの技法を使用して、画像フレーム内の特徴を識別および追跡することが実行され得る。一手法では、特徴を識別する方法は、各2×2勾配行列の最小固有値を検査することによって実行され得る。次いで、2つの窓の間の差を最小化するニュートン・ラフソン法を使用して特徴が追跡される。多重解像度追跡の方法は、画像間の比較的大きな変位を可能にする。あるフレームから次のフレームに特徴を追跡する間、誤差が蓄積し得ることに留意されたい。潜在的に不良な特徴を検出するために、モバイルデバイスは、現在のフレーム内の特徴を囲む窓内の画像信号が、前のフレーム内の特徴を囲む窓内の画像信号に依然として類似するかどうかを監視するように構成され得る。多くのフレームを通して特徴を追跡することができるので、画像コンテンツは変形する場合がある。この課題に対処するために、相似またはアフィンマッピングを用いて、一貫性検査を実行することができる。

本開示の態様によれば、画像内のオブジェクトを識別するために、オブジェクト上の点を抽出して、そのオブジェクトの(キーポイント、特徴点、または略して特徴とも呼ばれる)特徴記述子を提供することができる。次いで、多くの他のオブジェクトを含むテスト画像内のオブジェクトの位置特定を試みるとき、トレーニング画像から抽出されたこの記述子を使用して、そのオブジェクトを識別することができる。信頼性が高い認識を実行するために、トレーニング画像から抽出された特徴は、画像スケール、雑音、および照度の変更下ですら、検出可能であり得る。そのような点は、通常、オブジェクトエッジなど、画像の高コントラスト領域に存在する。

これらの特徴の別の特性は、元のシーン内のこれらの特徴同士の間の相対的な位置は画像ごとに変わらない可能性があるということである。たとえば、扉の四隅だけが特徴として使用される場合、扉の位置にかかわらず、これらの四隅は機能し得るが、フレーム内の点が使用される場合、扉が開かれた場合、または閉じられた場合、認識は失敗する可能性がある。同様に、連結したオブジェクト内またはフレキシブルなオブジェクト内に位置する特徴は、処理されているセット内の2つの画像同士の間でその内部幾何形状に何らかの変更が発生した場合、一般に、機能しない可能性がある。いくつかの実装形態では、SIFTは、画像から多数の特徴を検出および使用し、これは、すべての特徴整合誤差の平均誤差における局所変化によって引き起こされる誤差の寄与を削減し得る。したがって、開示される方法は、クラッタ内ですら、および部分的な遮断を受けてすら、オブジェクトを識別することができるが、これは、SIFT特徴記述子が均一スケーリング、方向に対して不変であり得、アフィン歪み(affine distortion)および照度変化に対して部分的に不変であり得るからである。

たとえば、オブジェクトのキーポイントを、まず参照画像のセットから抽出して、データベース内に記憶することができる。新しい画像からの各特徴をこのデータベースと比較して、それらの特徴ベクトルのユークリッド距離に基づいて、候補整合特徴を見出すことによって、新しい画像内のオブジェクトが認識される。整合の完全セットから、新しい画像内のオブジェクトおよびその位置、スケール、ならびに方向に関して一致したキーポイントのサブセットを識別して、良好な整合をフィルタ除去することができる。一貫性のあるクラスタの判断は、生成されたハフ変換のハッシュ表実装形態を使用することによって実行され得る。オブジェクトおよびそのポーズに関して一致した、3つ以上の特徴の各クラスタは、次いで、さらに詳細なモデル検証を受けることが可能であり、その後、異常値が廃棄され得る。次いで、適合の精度と推定誤整合の数とに基づいて、特徴の特定のセットがオブジェクトの存在を示す確率を計算することが可能である。テストに合格するオブジェクト整合は、高い信頼性で正確として識別され得る。

本開示の態様によれば、画像特徴生成は、画像を、その各々が画像変換、スケーリング、および回転に対して不変であると同様に、照度変更に対しても不変であり得、局所的な幾何学的歪みに対して頑強であり得る特徴ベクトルの大きな収集物に変換する。これらの特徴は、霊長類の視覚内のオブジェクト認識に関して使用される下側頭皮質内の神経細胞と類似の性質を共有する。キー位置は、一連の平滑化および再サンプリングされた画像に対してスケール空間で適用されるガウス関数の差の結果の最大値および最小値として定義され得る。低コントラスト候補点、およびエッジに沿ったエッジ反応点を廃棄することができる。最も頻度の高い方向(dominant orientations)を局在化されたキーポイントに割り当てる。この手法は、整合および認識に関してキーポイントがより安定していることを保証する。次いで、キー位置の半径を囲む画素を考慮して、局所的な画像配向面のぼかしおよび再サンプリングによって、局所的なアフィン歪みに対して頑強なSIFT記述子が取得され得る。

特徴整合および索引付けは、SIFTキーを記憶することと、新しい画像から整合キーを識別することとを含み得る。一手法では、限定された量の計算を使用して、高い確率を有する最近隣を識別するために使用され得るベストビンファースト検索(best-bin-first search)方法とも呼ばれるk-dツリーアルゴリズムの修正。ベストビンファーストアルゴリズムは、特徴空間内のビンをクエリ位置から最近距離の順序で検索することができるように、k-dツリーアルゴリズムに関して、修正された検索順序を使用する。この検索順序は、検索順序を効率的に判断するために、ヒープベースの優先待ち行列(heap-based priority queue)の使用を必要とする。トレーニング画像からキーポイントのデータベース内のその最近隣を識別することによって、各キーポイントに関する最善の候補整合を見出すことができる。最近隣は、所与の記述子ベクトルから最小ユークリッド距離を有するキーポイントとして定義され得る。整合が正確である確率は、最近隣から第2の最近隣までの距離の率をとることによって判断され得る。

1つの例示的な実装形態では、距離比が0.8を超える整合は拒否されてよく、これは誤整合の90%を排除するのに対して、正確な整合の5%未満を廃棄する。ベストビンファーストアルゴリズムの効率をさらに改善するために、所定の数(たとえば、100個)の最近隣候補を検査した後、検索を止めることができる。100,000個のキーポイントのデータベースの場合、これは、正確な最近隣検索に関しておよそ2桁の加速を実現し得、さらに、正確な整合の数において5%未満の損失をもたらす。

この例示的な実装形態の場合、ハフ変換を使用して、信頼性が高いモデル仮説をクラスタ化して、特定のモデルポーズに関して一致するキーに関して検索することができる。その特徴に一致し得るオブジェクトポーズを決定する(vote)ための各特徴を使用することによって、一貫性のある解釈を用いて特徴のクラスタを識別するために、ハフ変換を使用することができる。特徴のクラスタがオブジェクトの同じポーズを決定することが見出されたとき、正確である解釈の確率は任意の単一の特徴に関するよりもより高い可能性がある。整合仮説からモデルの位置、方向、およびスケールを予測するために、ハッシュ表内に記入を生み出すことができる。ビン内の少なくとも3つの記入のクラスタを識別するためにハッシュ表を検索することができ、ビンをサイズの降順にソートすることができる。

本開示の態様によれば、SIFTキーポイントの各々は、2D位置、スケール、および方向を指定することができる。加えて、データベース内の各整合キーポイントは、その整合キーポイントが見出されるトレーニング画像に対するそのパラメータの記録を有し得る。これらの4つのパラメータによって暗示される相似変換は、3Dオブジェクトに関する6自由度のポーズ空間の近似値であり得、また任意の非剛体変形に対応しない。したがって、例示的な実装形態は、方向に関して30度の広いビンサイズ、2倍のスケール、および位置に関して(予測されたスケールを使用して)最大予想トレーニング画像寸法の0.25倍を使用することができる。より大きなスケールで生成されたSIFTキーサンプルには、より小さなスケールのSIFTキーサンプルよりも2倍の重みを与えることができる。この手法を用いると、より大きなスケールは、事実上、より小さなスケールで検査するための可能性が最も高い近隣をフィルタリングすることができる。この手法は、最も雑音の低いスケールにより大きな重みを与えることによって認識性能も改善する。本開示の態様によれば、ビン割当ての境界効果の課題を回避するために、各キーポイント整合は各次元内の2個の近接ビンを決定して、各仮説に関して合計で16個の記入を与えて、ポーズ範囲をさらに広げることができる。

本開示の態様によれば、所与のパラメータ解に関して、各画像特徴とモデルとの間の一致を検査することによって、異常値を除去することができる。たとえば、線形最小二乗解を考慮すると、各整合は、ハフ変換ビン内のパラメータに関して使用される誤差の半分の範囲内で一致することが必要とされ得る。異常値が廃棄されると、残りの点を用いて線形最小二乗解を解くことができ、このプロセスを反復することができる。いくつかの実装形態では、異常値を廃棄した後、所定数未満の点(たとえば、3個の点)が残る場合、整合は拒否され得る。加えて、トップダウン整合段階を使用して、相似変換近似値または他の誤差により、ハフ変換ビンから欠落している可能性がある、予測モデル位置に一致する任意のさらなる整合を追加することができる。

モデル仮説を受け入れるか、または拒否する決定は、詳細な確率モデルに基づくことが可能である。この方法は、まず、モデルの予測されたサイズと、領域内の特徴の数と、整合の精度とを考慮して、モデルポーズに対して予想される誤整合の数を計算する。次いで、ベイズ確率解析は、見出された実際の整合特徴数に基づいて、そのオブジェクトが存在し得る確率を出すことが可能である。正確な解釈に関する最終的な確率が所定の割合(たとえば、95%)を超える場合、モデルを受け入れることができる。

本開示の態様によれば、一手法では、クラッタ状況下または部分的な遮断状況下で対処するために、SIFTの回転不変量汎化(generalization)として、回転不変量特徴変換(RIFT:rotation invariant feature transform)方法を用いることができる。等しい幅の同心リングに分割された円正規化パッチ(circular normalized patches)を使用して、RIFT記述子を構築することが可能であり、各リング内の勾配方向ヒストグラムを計算することが可能である。回転不変を維持するために、中心から外に向かう方向に対して各点における方向を測定することができる。

別の手法では、正規化ロバスト不変特徴(G-RIF:generalized robust invariant feature)方法を使用することができる。G-RIFは、知覚的情報を空間符号化と組み合わせる統一形式でエッジ方向、エッジ密度、および色相情報を符号化する。オブジェクト認識方式は、近接コンテキストベースの決定を使用して、オブジェクトモデルを推定する。

さらに別の手法では、再現性、独自性、および頑強性に関して前に提案された方式をしのぐ可能性があるスケールおよび回転不変関心ポイント検出器(scale and rotation-invariant interest detector)/記述子を使用する高速化ロバスト特徴(SURF:speeded up robust feature)方法を使用することができる。SURFは、計算時間を削減するための画像畳み込み用の積分画像に依存し、(検出器に関する高速ヘシアン行列ベースの測定と、配分ベースの記述子とを使用する)優れた既存の検出器および記述子の強度に基づく。SURF方法は、関心ポイント近隣内のハールウェーブレット応答の配分を記述する。速度に関して積分画像を使用することができ、64次元を使用して、特徴計算および整合に関する時間を削減することができる。索引付けステップは、記述子の整合速度および頑強性を高めるラプラシアンの信号に基づくことが可能である。

さらに別の手法では、主成分分析SIFT(PCA-SIFT:principle component analysis SIFT)方法を使用することができる。いくつかの実装形態では、PCA-SIFT記述子は、サポート領域内で計算されたxおよびy方向の画像勾配のベクトルである。勾配領域は、39×39位置でサンプリングされ得る。したがって、ベクトルは次元3042のものであり得る。PCAを用いて、次元を36に削減することができる。さらに別の手法では、そのロバスト性および独自性を高めるように設計されたSIFT記述子の拡張である勾配位置方向ヒストグラム(GLOH:Gradient location-orientation histogram)方法を用いることができる。いくつかの実装形態では、SIFT記述子は、(半径が6、11、および15に設定される)半径方向に3個のビンと、角度方向に8個のビンとを有し、結果として17個の位置ビンを有するログ極性(log-polar)位置グリッドに関して計算され得る。中央ビンは、角度方向に分割されなくてよい。勾配方向は、16個のビン内で量子化されて、結果として、272ビンヒストグラムをもたらし得る。PCAを用いて、この記述子のサイズを削減することができる。様々な画像から収集された画像パッチに関して、PCAに関する共分散行列を推定することができる。次いで、記述のために128個の最も大きな固有ベクトルを使用することができる。

さらに別の手法では、現在のモバイルデバイス限界範囲内で、2オブジェクト認識アルゴリズム(two-object recognition algorithm)を使用するために用いることができる。典型的なSIFT手法とは対照的に、特徴検出のために、加速セグメントテストからの特徴(FAST:Features from Accelerated Segment Test)コーナー検出器を使用することができる。この手法は、特徴が異なるスケールレベルで作成され得るオフライン準備段階と、特徴が、モバイルデバイスのカメラの画像の現在の固定スケールレベルで作成され得るオンライン段階とを区別する。1つの例示的な実装形態では、特徴は、所定の固定パッチサイズ(たとえば、15×15画素)から作成されることが可能であり、36次元を有するSIFT記述子を形成する。認識パイプライン内にスケーラブルな語彙ツリー(scalable vocabulary tree)を統合することによって、この手法をさらに拡張することが可能である。これは、モバイルデバイス上の多数のオブジェクトの効率的な認識を可能にする。

本開示の態様によれば、局所画像特徴の検出および記述は、オブジェクト認識に役立つ可能性がある。SIFT特徴は、局所的であり得、特定の関心ポイントにおけるオブジェクトの外観に基づくことが可能であり、画像のスケールおよび回転に対して不変であり得る。SIFT特徴は、やはり、照度、雑音の変化、および視野内の微小変化に対して頑強であり得る。これらの特性に加えて、これらの特徴は非常に特徴的であり得、抽出が比較的容易であり得、低い不整合確率で正確なオブジェクト識別を可能にし得る。これらの特徴は、局所特徴の(大型)データベースに対して比較的に容易に整合することができ、ベストビンファースト検索を用いたK次元(k-d)ツリーなど、一般に確率的なアルゴリズムを使用することができる。SIFT特徴のセットによるオブジェクト記述は、部分的な遮断に対しても頑強であり得る。たとえば、オブジェクトからわずか3個のSIFT特徴はその位置およびポーズを計算するのに十分であり得る。いくつかの実装形態では、認識は、小型データベースに関して、現代的なコンピュータハードウェア上で、疑似リアルタイムで実行され得る。

本開示の態様によれば、カメラの視野内のオブジェクトを移動させることによってもたらされる異常値を除去するために、ランダムサンプルコンセンサス(RANSAC)技法を用いることができる。RANSCAは、異常値を含む、観測されたデータのセットから数学モデルのパラメータを推定するために反復方法を使用することに留意されたい。この方法は関連する確率を有する合理的な結果を生み出すため、この方法は非決定論的であり得、より多くの反復が実行されるにつれて、確率を高めることができる。

1つの例示的な実装形態では、観測されたデータ値のセット、対応する信頼性パラメータを有する観測に適合し得るパラメータ化されたモデル。この例示的な実装形態では、この方法は、元のデータのランダムサブセットを反復的に選択する。これらのデータは、仮説的正常値であり得、この仮説は、次いで、次のようにテストされ得る。
1.モデルは仮説的正常値に適合し得、すなわち、モデルのすべての自由パラメータは正常値から再構築される。
2.次いで、適合モデルに対してすべての他のデータをテストすることができ、点が推定モデルに十分適合する場合、その点を仮説的に正常値であると見なすことができる。
3.十分な数の点が仮説的正常値として分類されている場合、推定モデルを許容可能と見なすことができる。
4.モデルは仮説的正常値の初期セットからだけ推定されているので、すべての仮説的正常値からモデルを再度推定することができる。
5.最終的に、モデルに対する正常値の誤差を推定することによって、モデルを評価することができる。

上記の手順を所定回数繰り返し、毎回、あまりにも少ない点が正常値として分類されているので拒否され得るモデル、または対応する誤差測定とともに精緻化されたモデルのいずれかを生み出すことができる。後者の場合、誤差が前に保存されたモデルよりも低い場合、精緻化されたモデルを維持することができる。

別の例示的な実装形態では、モデルベースの動き追跡方法を使用して、カメラの視野内の移動オブジェクトを積極的に識別および除去することができる。一手法では、追跡の対象は、モデル認識の問題として処理され得る。ターゲットの2進表現を追跡することができ、ハウスドルフ距離ベースの検索を使用して、対象物に関する画像の領域を検索することができる。ターゲット(モデル)の2進表現の場合、ガウス平滑化画像の標準キャニーエッジ(canny edge)検出器からの出力は、モデル履歴の概念を用いて拡張され得る。各フレームで、現在の画像および現在のモデルからのキャニーエッジを使用して、各ターゲットに関してハウスドルフ検索を実行することができる。加えて、アフィン推定を実行して、正味背景運動を概算することができる。これらの2つの検索の結果から、ターゲットに関する情報を収集して、ターゲットの動きを概算するため、ならびに、ターゲットの領域内の動きから背景を分離するために、この情報を使用することができる。(オブジェクトが遮断されて影になる、オブジェクトがフレームを離れる、またはカメラ画像の歪みが不良な画像品質をもたらすなど)有害/異常状態に対処することを可能にするために、ターゲットの過去の動きおよびサイズ変更、ターゲットの特徴的視野(ターゲットが追跡されてきた様々な様式の正確な表現を実現する、時間を通じたスナップショット)、および過去の整合品質など、ターゲットに関する履歴データを保持することが可能である。

ターゲットを追跡する履歴は、有害/異常状態を単に補助する以上に有用な可能性があり、固体運動追跡方法の一部は、フレームごとの動き比較方法だけでなく、履歴データを必要とする場合がある。この履歴状態は、何をターゲットの一部と見なすべきであるか(たとえば、同じ速度で移動するオブジェクトに近接して移動する物をオブジェクト内に組み込むべきであること)をどのように決定するかに関する情報を提供することができ、動きおよびサイズに関する情報を用いて、この方法は、失われた対象がどこに行ったか、またはその対象がどこに再現し得るかを予測的に推定することができる(これは、フレームを離れて、後の時点で再現するターゲットを回復する際に有用である)。

動き追跡方法の本質的な課題は、(静的カメラとは対照的に)カメラは任意の動きを有する場合があり、これはカメラの動きの予測不可能な変化に対処し得る追跡システムの開発を困難にすることによってもたらされる場合がある。計算的に効率的なアフィン背景推定方式を使用して、カメラおよびシーンの動きに関する情報を提供することが可能である。

本開示の態様によれば、画像に関するアフィン変換を、時間t+dtの画像に対して、時間tで実行することができ、これは、2つの画像内の動きを相関することを可能にする。この背景情報は、この方法が、時間tの画像から時間t+dtの画像を合成することと、正味シーン動作の近似であり得るアフィン変換とを可能にする。t+dtにおける実際の画像とt+dtにおける生成画像との差を利用して、ターゲットを取り巻く空間から画像特徴を除去することができるので、この合成画像は、新しいモデル情報を生成して、モデル空間から背景クラッタを除去する際に有用であり得る。

検索空間を浄化するためのツールとしてアフィン変換を使用することに加えて、ターゲットの座標移動を正規化するためにこの合成画像を使用することも可能であり、背景がどのように移動し得るかを追跡するためのベクトルと、ターゲットがどのように移動し得るかを追跡するためのベクトルとを有することによって、2つのベクトルの差を利用して、背景に対するターゲットの動きを記述するベクトルを生成することができる。このベクトルは、この方法が、ターゲットがどこにいるべきかを予測的に整合し、有害状態を予期することを可能にする(たとえば、動きの方向を見越すことは、近づきつつある障害に関する手掛かりを提供すると同様に、有害状態の場合、オブジェクトがどこに存在し得るかを追跡することができる)。オブジェクトが有害状態に入ったとき、この方法は、背景運動を推定することが依然として可能であり、モデルの前の動きの知識とともにその推定を使用して、モデルがどこに再現する可能性があるか、またはフレームに再び入る可能性があるかを推測することができる。

背景推定は、オブジェクトの長期的追跡における主な要因であり得る。背景推定なしに、短期的追跡を実行することが可能であるが、ある時間期間後には、背景の良好な推定なしに、オブジェクトの歪みおよび危険に効果的に対処するのは困難な場合があることに留意されたい。

本開示の態様によれば、整合演算子としてハウスドルフ距離を使用することの利点のうちの1つは、ハウスドルフ距離は、整合の間、形状の変化に対して極めて耐性であり得ることであるが、整合演算子としてハウスドルフ距離を使用することは、追跡されているオブジェクトをより正確に定義することを必要とする場合がある。

一手法では、時間t+1画像から新しいモデルを捕える直線膨張(straight dilation)ベースの方法を使用することができる。(発生することが非常に多い)オブジェクトに近接する非オブジェクト特徴が存在し得る、いくつかの状況では、膨張方法はシーン全体をモデル内にゆっくりと組み込むことが可能であるので、この方法は効果的でない場合があることに留意されたい。したがって、モデル形状の変化に対して耐性があり得る、フレームごとにモデルを更新するが、あまり緩やか(relaxed)ではなく、そのため、非モデル画素のモデル内への組込みを採用することができる。1つの例示的な実装形態は、背景除去と、現在のモデル整合窓に前のモデルを追加して、安定した画素と思われるもの、ならびに、安定していない可能性があるので、経時的にモデルから排除される可能性、またはモデル内に組み込まれる可能性のいずれかがある、それらの画素を取り巻く新しい画素の利用との組合せを使用することである。この手法は、画像内のクラッタからモデルを比較的清浄に保つ際に効果的であり得る。たとえば、この手法を用いると、トラックに近接する道路はもはや画素ごとにモデル内に引き込まれない。モデルは膨張しているように見える場合があるが、これはそれらのモデルがどのように構築されているかの履歴的な影響の結果である場合があるが、この方法は、場合によっては、次のフレーム内で整合するより多くのモデル画素を有し得るので、検索結果をより明確にする特徴も有し得ることに留意されたい。

各フレームにおいて、実行されるべきかなりの量の計算が存在し得ることに留意されたい。いくつかの実装形態によれば、モバイルデバイスは、各ターゲットの平滑化/特徴抽出、ハウスドルフ整合(たとえば、モデルごとに1つの整合)、ならびに、アフィン背景推定を実行するように構成され得る。これらの動作の各々は、個々に、非常に計算的に高価であり得る。モバイルデバイス上でリアルタイム性能を達成するために、設計は、可能な限り並行処理を使用するように構成され得る。

本開示のある実施形態によれば、モバイルデバイス上で拡張現実を提供するための方法は、モバイルデバイスのカメラの視野の中の有形な現実世界のオブジェクトを検出するステップと、有形な現実世界のオブジェクトに対応する拡張現実オブジェクトを提供するステップとを備え、拡張現実オブジェクトをアニメーション化するステップが、モバイルデバイスのディスプレイ上に対話型表示成分を、およびモバイルデバイスの音声出力を介して対話型音声成分を提供するステップと、デバイスのユーザの発声を分析してユーザの発声に対する応答を判断するステップと、ユーザの発声に対する応答を提供するように、発声に応答する拡張現実オブジェクトを変更するステップとを含む。

本開示の別の実施形態によれば、モバイルデバイス上で拡張現実を提供するための方法は、モバイルデバイスのカメラの視野の中の有形な現実世界のオブジェクトを検出するステップと、有形な現実世界のオブジェクトに対応する拡張現実オブジェクトを提供するステップとを備え、拡張現実オブジェクトを提供するステップが、モバイルデバイスのディスプレイ上に対話型表示成分を、およびモバイルデバイスの音声出力を介して対話型音声成分を提供するステップと、有形な現実世界のオブジェクトに対するデバイスの動きを追跡するステップと、有形な現実世界のオブジェクトがカメラの視野の中に依然としてあるかどうかを判断するステップと、有形な現実世界のオブジェクトがカメラの視野の中にもはやないことに応答して、デバイスのユーザの発声を分析してユーザの関与のレベルを評価するステップと、モバイルデバイスのディスプレイに表示成分をもはや提供していないが関与のレベルが所定の閾値を超えている場合、拡張現実オブジェクトと関連付けられる対話型音声成分を提供するステップとを含む。モバイルデバイスは携帯電話またはタブレットコンピュータであり得ることに留意されたい。

本開示のさらに別の実施形態によれば、モバイルデバイス上で拡張現実を提供するための方法は、モバイルデバイスのカメラの視野の中の有形な現実世界のオブジェクトを検出するステップと、有形な現実世界のオブジェクトに対応する拡張現実オブジェクトを提供するステップとを備え、拡張現実オブジェクトをアニメーション化するステップが、モバイルデバイスのディスプレイ上に対話型表示成分を、およびモバイルデバイスの音声出力を介して第1の話題と関連付けられる対話型音声成分を提供するステップと、デバイスのユーザの発声を分析してユーザの関与のレベルを評価するステップと、ユーザの関与のレベルが所定の閾値を超えることに応答して、第1の話題と関連付けられる追加の対話型コンテンツを提供するステップとを含む。方法はさらに、ユーザの関与のレベルが所定の閾値を超えないことに応答して、第2の話題と関連付けられる対話型コンテンツを提供するように拡張現実オブジェクトをアニメーション化するステップを備える。

本開示のさらに別の実施形態によれば、モバイルデバイス上で拡張現実を提供するための方法は、モバイルデバイスのカメラの視野の中の有形な現実世界のオブジェクトを検出するステップと、有形な現実世界のオブジェクトに対応する拡張現実オブジェクトをアニメーション化するステップとを備え、拡張現実オブジェクトをアニメーション化するステップが、モバイルデバイスのディスプレイ上に対話型表示成分を、およびモバイルデバイスの音声出力を介して第1の話題と関連付けられる対話型音声成分を提供するステップと、拡張現実オブジェクトと対話する複数のユーザの発声を分析するステップと、発声に基づいて複数のユーザからモバイルデバイスと関連付けられる主要なユーザを判断するステップと、発声に応答して状況的に関連のあるコンテンツを提供するように拡張現実オブジェクトをアニメーション化するステップとを含み、状況的に関連のあるコンテンツを選択するときに、主要なユーザによって提供される発声は、他のユーザによって提供される発声よりも大きな重みを与えられる。モバイルデバイスと関連付けられる主要なユーザを判断する方法は、複数のユーザの発声を分析して最大の発声を有するユーザを識別するステップと、最大の発声を有するユーザをモバイルデバイスと関連付けるステップとを含む。

本開示のさらに別の実施形態によれば、モバイルデバイス上で共有される拡張現実体験を提供するための方法は、第1のモバイルデバイスに近接した第2のモバイルデバイスの存在を第1のモバイルデバイスにおいて検出するステップと、第2のモバイルデバイスが第1のモバイルデバイスに近接していることを検出したことに応答して、第2のモバイルデバイスが第1のモバイルデバイスによって表示されている拡張現実コンテンツと関連付けられる拡張現実コンテンツを表示しているかどうかを判断するステップと、複数のユーザの発声を分析するステップと、発声に基づいて第1のモバイルデバイスと関連付けられる主要なユーザを判断するステップと、発声に応答して状況的に関連のあるコンテンツを提供するように拡張現実コンテンツをカスタマイズするステップとを備え、拡張現実コンテンツをカスタマイズするときに、主要なユーザによって提供される発声が、他のユーザによって提供される発声よりも大きな重みを与えられる。

少なくとも段落[00146]〜[00148]において、図1〜図2、図6、およびそれらの対応する説明は、複数のオブジェクトを追跡するための画像データを受信するための手段と、複数のオブジェクトから選択されるべきオブジェクトを識別するための手段と、オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するための手段と、オブジェクトが選択されたと判断される場合に、オブジェクトとともに拡張をレンダリングさせるための手段とを提供する。

本明細書において説明される方法論およびモバイルデバイスは、アプリケーションに応じて種々の手段によって実施することができる。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実施され得る。ハードウェアの実施態様の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実現することができる。本明細書では、「制御論理回路」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装された論理回路を包含する。

ファームウェアおよび/またはソフトウェアの実施態様の場合、それらの方法論は、本明細書において説明される機能を実行するモジュール(たとえば、手順、関数など)によって実施することができる。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法論の実施において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装され、または処理ユニットの外部に実装される可能性がある。本明細書において用いられるときに、「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかのタイプを指しており、任意の特定のタイプのメモリもしくはメモリの数には限定されず、あるいはメモリが格納される媒体のタイプに関して限定されない。

ファームウェアおよび/またはソフトウェアに実装される場合、機能は、コンピュータ可読媒体に1つまたは複数の命令またはコードとして記憶され得る。例は、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は製造物品の形態をとり得る。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体である可能性がある。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用され、コンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー（登録商標）ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

コンピュータ可読媒体に記憶するのに加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として与えられ得る。たとえば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、少なくとも1つのプロセッサに特許請求の範囲において概説する機能を実施させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を有する伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでよい。

本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの、種々のワイヤレス通信ネットワークとともに実現することができる。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置」および「場所」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE:Long Term Evolution)ネットワーク、WiMAX(IEEE802.16)ネットワークなどとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記述される。3GPPおよび3GPP2の文書は、公的に入手可能である。WLANは、IEEE802.11xネットワークであり得、またWPANはBluetooth(登録商標)ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。また、本技法は、WWAN、WLAN、および/またはWPANの任意の組合せとともに実施することができる。

移動局は、セルラー通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指している。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むことが意図される。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記の任意の動作可能な組合せも「移動局」と見なされる。

何かが「最適化される」、「必要とされる」という指摘または他の指摘は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(または他の指摘に起因する他の制限)を示すものではない。これらの表現は、特定の説明された実装形態のみを指す。当然、多くの実装形態が可能である。本技法は、開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで使用できる。

同じ基本的な根底をなす機構および方法を依然として使用しながら、開示される実施形態の多くの可能な変更および組合せを使用できることを、当業者は認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上で示した論述は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定しようとするものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理およびその実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。

12 参照背景、家庭用品、雑誌
12a、12b、12c、12d、12e 浴室の床のタイル
14 拡張現実対応デバイス(ARD)
15 ARD
16 拡張コンテンツ
17 緊急トリガの指示、視覚的インジケータ
21 玩具
22 浴槽
25 犬
29 家庭用品、コーラ缶
30 ユーザ
31 キャラクターの拡張現実表現、キャラクター
32 ユーザ
34 拡張オブジェクト、テレビ
35 スーパー犬
101 ハウジング
108 カメラ
109 センサ
110 ユーザインターフェース
112 ディスプレイ
114 キーパッド
116 マイクロフォン
118 スピーカ
120 制御ユニット
122 プロセッサ
124 メモリ/記憶装置
126 ソフトウェア
128 ハードウェア
130 ファームウェア
132 追跡ユニット
134 拡張現実ユーザインターフェースユニット
1705 センサ
1710 センサプロセッサ
1715 カメラ
1720 カメラプロセッサ
1725 ディスプレイ
1730 グラフィックスプロセッサ
1735 タッチセンサ
1740 タッチセンサプロセッサ
1750 通信
1755 プロセッサコントローラ
1760 メモリ
1770 システムバス

Claims (38)

1. 拡張現実対応デバイス(ARD)とともに使用するための方法であって、
   複数のオブジェクトを追跡するための画像データを受信するステップと、
   前記複数のオブジェクトから選択されるべきオブジェクトを識別するステップと、
   前記オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するステップであって、前記選択基準のセットは、前記ARDを扱うユーザの能力に少なくとも部分的に基づき、前記ユーザの能力は前記ユーザの発達状態と健康状態を含み、前記オブジェクトが選択されているかどうかを判定するステップは、選択すべきオブジェクトに関する前記ARDの調整可能な度合い、選択すべきオブジェクトに関する前記ARDの調整可能な保持時間、選択すべきオブジェクトに関する前記ARDによるターゲットの一時的な喪失の調整可能な許容を、前記ユーザの発達状態と健康状態に少なくとも部分的に基づいて決定するステップを含む、ステップと、
   前記オブジェクトが選択されたと判断される場合に、前記オブジェクトとともに拡張をレンダリングさせるステップとを備える、方法。
2. 追跡する前記ステップが3次元追跡を備え、前記3次元追跡が、
   前記ARDに対する前記複数のオブジェクトの相対的な姿勢を判断するステップと、
   前記ARDに対する前記複数のオブジェクトの前記相対的な姿勢を使用して、前記複数のオブジェクトの状態を更新するステップとを備え、前記複数のオブジェクトの前記状態が前記複数のオブジェクトの相関情報を含む、請求項1に記載の方法。
3. 前記ARDに対する前記複数のオブジェクトの相対的な姿勢を判断する前記ステップが、
   前記複数のオブジェクトの以前に受信された画像データに対する前記複数のオブジェクトの姿勢を検出するステップを備える、請求項2に記載の方法。
4. 前記相関情報が、
   ゲームにおける前記複数のオブジェクトの間の関係と、
   物語における前記複数のオブジェクトの間の関係と、
   背景に対する前記複数のオブジェクトの間の関係と、または、
   それらの幾つかの組合せを備える、
   請求項2に記載の方法。
5. 選択されるべきオブジェクトを識別するステップが、
   前記画像データを使用して前記複数のオブジェクトを分析するステップと、
   前記画像データによって表される画像の中心に最も近い前記オブジェクトを識別するステップとを備える、請求項1に記載の方法。
6. 選択されるべきオブジェクトを識別するステップがさらに、
   前記画像データ中の前記複数のオブジェクトを前記ARDのディスプレイにレンダリングさせるステップと、
   前記ARDの前記ディスプレイの中心部分の画素の大半をカバーする前記オブジェクトを識別するステップとを備える、請求項1に記載の方法。
7. 前記オブジェクトが選択されたかどうかを判断するステップがさらに、
   前記オブジェクトと前記ARDとの相対速度を測定するステップと、
   前記オブジェクトが前記ARDに対して静止している時間の長さを測定するステップとを備える、請求項1に記載の方法。
8. 前記オブジェクトが選択されたかどうかを判断するステップがさらに、
   音声命令を受け取るステップと、
   前記音声命令の大きさを測定するステップとを備える、請求項1に記載の方法。
9. 選択基準の前記セットが、
   前記オブジェクトが所定の期間前記ARDの視野の中にあることと、
   前記オブジェクトが前記ARDの視野の中にあり前記オブジェクトと前記ARDの相対速度が所定の閾値未満であることと、
   前記オブジェクトが前記ARDの視野の中にあり音声命令の大きさが所定の値を超えること、または、
   それらの幾つかの組合せを備える、請求項1に記載の方法。
10. 前記拡張をレンダリングさせるステップが、
    前記ARDのディスプレイに前記オブジェクトと前記ARDとの相互作用を表示するステップを備える、請求項1に記載の方法。
11. 識別する前記ステップが、前記オブジェクトがズームインされたかどうかを判断するステップを備える、請求項1に記載の方法。
12. 判断する前記ステップが、
    インジケータを表示させるステップであって、前記オブジェクトが識別されたことを前記インジケータが示す、ステップと、
    前記インジケータの表示に応答して前記オブジェクトが選択解除されるかどうかを判断するステップとを備える、請求項1に記載の方法。
13. 前記オブジェクトが選択解除されるかどうかを判断するステップが、
    前記ARDに対する前記オブジェクトの位置が前記インジケータの表示からある閾値の長さの時間保たれる場合に、前記オブジェクトが選択されていると判断するステップを備える、請求項12に記載の方法。
14. 前記インジケータが、
    アイコンと、
    前記ARDのディスプレイ上の前記オブジェクトの振動と、
    前記オブジェクトが前記ARDの前記ディスプレイ上で中心に置かれたときの前記ARDの振動と、
    経過時間の表現と、または、
    それらの幾つかの組合せを備える、請求項12に記載の方法。
15. 1つまたは複数のオブジェクトを含む場面の画像を前記ARDのディスプレイに表示させるステップと、
    前記複数のオブジェクトから選択されるべきオブジェクトを識別するインジケータにより前記画像を拡張させるステップと、
    前記画像が前記インジケータにより拡張された後で、前記オブジェクトが選択解除されたかどうかを判断するステップとをさらに備える、請求項1に記載の方法。
16. 拡張現実対応デバイス(ARD)であって、
    複数のオブジェクトを追跡するための画像データを受信するように構成されるカメラと、
    処理論理を含む制御ユニットであって、
    前記複数のオブジェクトから選択されるべきオブジェクトを識別するように構成されるプロセッサと、
    前記オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するように構成される追跡ユニットであって、前記選択基準のセットは、前記ARDを扱うユーザの能力に少なくとも部分的に基づき、前記ユーザの能力は前記ユーザの発達状態と健康状態を含み、前記追跡ユニットはさらに、選択すべきオブジェクトに関する前記ARDの調整可能な度合い、選択すべきオブジェクトに関する前記ARDの調整可能な保持時間、選択すべきオブジェクトに関する前記ARDによるターゲットの一時的な喪失の調整可能な許容を、前記ユーザの発達状態と健康状態に少なくとも部分的に基づいて決定するように構成される、追跡ユニットと、
    前記オブジェクトが選択されたと判断される場合に、前記オブジェクトとともに拡張をレンダリングさせるように構成される拡張現実ユーザインタフェースユニットとを備える、拡張現実対応デバイス(ARD)。
17. 前記追跡ユニットがさらに3次元追跡を備え、前記3次元追跡が、
    前記ARDに対する前記複数のオブジェクトの相対的な姿勢を判断し、
    前記ARDに対する前記複数のオブジェクトの前記相対的な姿勢を使用して、前記複数のオブジェクトの状態を更新する
    ように構成され、前記複数のオブジェクトの前記状態が前記複数のオブジェクトの相関情報を含む、請求項16に記載の拡張現実対応デバイス。
18. 前記追跡ユニットがさらに、
    前記複数のオブジェクトの以前に受信された画像データに対する前記複数のオブジェクトの姿勢を検出するように構成される、請求項17に記載の拡張現実対応デバイス。
19. 前記相関情報が、
    ゲームにおける前記複数のオブジェクトの間の関係と、
    物語における前記複数のオブジェクトの間の関係と、
    背景に対する前記複数のオブジェクトの間の関係と、または、
    それらの幾つかの組合せを備える、
    請求項17に記載の拡張現実対応デバイス。
20. 前記プロセッサがさらに、
    前記画像データを使用して前記複数のオブジェクトを分析し、
    前記画像データによって表される画像の中心に最も近い前記オブジェクトを識別するように構成される、請求項16に記載の拡張現実対応デバイス。
21. 前記プロセッサがさらに、
    前記画像データ中の前記複数のオブジェクトを前記ARDのディスプレイにレンダリングさせ、
    前記ARDの前記ディスプレイの中心部分の画素の大半をカバーする前記オブジェクトを識別するように構成される、請求項16に記載の拡張現実対応デバイス。
22. 前記追跡ユニットがさらに、
    前記オブジェクトと前記ARDとの相対速度を測定し、
    前記オブジェクトが前記ARDに対して静止している時間の長さを測定するように構成される、請求項16に記載の拡張現実対応デバイス。
23. 前記制御ユニットがさらに、
    音声命令を受け取り、
    前記音声命令の大きさを測定するように構成される、請求項16に記載の拡張現実対応デバイス。
24. 選択基準の前記セットが、
    前記オブジェクトが所定の期間前記ARDの視野の中にあることと、
    前記オブジェクトが前記ARDの視野の中にあり前記オブジェクトと前記ARDの相対速度が所定の閾値未満であることと、
    前記オブジェクトが前記ARDの視野の中にあり音声命令の大きさが所定の値を超えること、または、
    それらの幾つかの組合せを備える、請求項16に記載の拡張現実対応デバイス。
25. 前記拡張現実ユーザインタフェースユニットが、前記ARDのディスプレイに前記オブジェクトと前記ARDとの相互作用を表示するようにさらに構成される、請求項16に記載の拡張現実対応デバイス。
26. 前記プロセッサが、前記オブジェクトがズームインされていると判断するようにさらに構成される、請求項16に記載の拡張現実対応デバイス。
27. 前記プロセッサが、
    インジケータを表示させ、
    前記インジケータの表示に応答して前記オブジェクトが選択解除されるかどうかを判断する
    ようにさらに構成され、
    前記オブジェクトが識別されたことを前記インジケータが示す、
    請求項16に記載の拡張現実対応デバイス。
28. 前記プロセッサが、
    前記ARDに対する前記オブジェクトの位置が前記インジケータの表示からある閾値の長さの時間保たれる場合に、前記オブジェクトが選択されていると判断する
    ようにさらに構成される、請求項27に記載の拡張現実対応デバイス。
29. 前記インジケータが、
    アイコンと、
    前記ARDのディスプレイ上の前記オブジェクトの振動と、
    前記オブジェクトが前記ARDの前記ディスプレイ上で中心に置かれたときの前記ARDの振動と、
    経過時間の表現と、または、
    それらの幾つかの組合せを備える、請求項27に記載の拡張現実対応デバイス。
30. 前記拡張現実ユーザインタフェースユニットが、
    1つまたは複数のオブジェクトを含む場面の画像を前記ARDのディスプレイに表示させ、
    前記複数のオブジェクトから選択されるべきオブジェクトを識別するインジケータにより前記画像を拡張させ、
    前記画像が前記インジケータにより拡張された後で、前記オブジェクトが選択解除されたかどうかを判断する
    ようにさらに構成される、請求項16に記載の拡張現実対応デバイス。
31. 1つまたは複数のコンピュータシステムによって実行される命令を記憶する非一時的記憶媒体であって、前記命令が、
    複数のオブジェクトを追跡するための画像データを受信するための命令と、
    前記複数のオブジェクトから選択されるべきオブジェクトを識別するための命令と、
    前記オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するための命令であって、前記選択基準のセットは、前記ARDを扱うユーザの能力に少なくとも部分的に基づき、前記ユーザの能力は前記ユーザの発達状態と健康状態を含み、前記オブジェクトが選択されているかどうかを判定するための命令は、選択すべきオブジェクトに関する前記ARDの調整可能な度合い、選択すべきオブジェクトに関する前記ARDの調整可能な保持時間、選択すべきオブジェクトに関する前記ARDによるターゲットの一時的な喪失の調整可能な許容を、前記ユーザの発達状態と健康状態に少なくとも部分的に基づいて決定するための命令を含む、判断するための命令と、
    前記オブジェクトが選択されたと判断される場合に、前記オブジェクトとともに拡張をレンダリングさせるための命令とを備える、非一時的記憶媒体。
32. 複数のオブジェクトを追跡するための画像データを受信するための手段と、
    前記複数のオブジェクトから選択されるべきオブジェクトを識別するための手段と、
    前記オブジェクトが選択基準のセットに少なくとも一部基づいて選択されたかどうかを判断するための手段であって、前記選択基準のセットは、前記ARDを扱うユーザの能力に少なくとも部分的に基づき、前記ユーザの能力は前記ユーザの発達状態と健康状態を含み、前記オブジェクトが選択されているかどうかを判定するための手段は、選択すべきオブジェクトに関する前記ARDの調整可能な度合い、選択すべきオブジェクトに関する前記ARDの調整可能な保持時間、選択すべきオブジェクトに関する前記ARDによるターゲットの一時的な喪失の調整可能な許容を、前記ユーザの発達状態と健康状態に少なくとも部分的に基づいて決定するための手段を含む、手段と、
    前記オブジェクトが選択されたと判断される場合に、前記オブジェクトとともに拡張をレンダリングさせるための手段とを備える、装置。
33. 追跡する前記ステップが3次元追跡を備え、前記3次元追跡が、
    前記ARDに対する前記複数のオブジェクトの相対的な姿勢を判断するための手段と、
    前記ARDに対する前記複数のオブジェクトの前記相対的な姿勢を使用して、前記複数のオブジェクトの状態を更新するための手段とを備え、前記複数のオブジェクトの前記状態が前記複数のオブジェクトの相関情報を含む、請求項32に記載の装置。
34. 選択されるべきオブジェクトを識別するための手段が、
    前記画像データを使用して前記複数のオブジェクトを分析するための手段と、
    前記画像データによって表される画像の中心に最も近い前記オブジェクトを識別するための手段とを備える、請求項32に記載の装置。
35. 前記オブジェクトが選択されたかどうかを判断するための手段がさらに、
    前記オブジェクトと前記ARDとの相対速度を測定するための手段と、
    前記オブジェクトが前記ARDに対して静止している時間の長さを測定するための手段とを備える、請求項32に記載の装置。
36. 前記オブジェクトが選択されたかどうかを判断するための手段がさらに、
    音声命令を受け取るための手段と、
    前記音声命令の大きさを測定するための手段とを備える、請求項32に記載の装置。
37. 選択基準の前記セットが、
    前記オブジェクトが所定の期間前記ARDの視野の中にあることと、
    前記オブジェクトが前記ARDの視野の中にあり前記オブジェクトと前記ARDの相対速度が所定の閾値未満であることと、
    前記オブジェクトが前記ARDの視野の中にあり音声命令の大きさが所定の値を超えること、または、
    それらの幾つかの組合せを備える、請求項32に記載の装置。
38. 前記拡張をレンダリングさせるための手段が、
    前記ARDのディスプレイに前記オブジェクトと前記ARDとの相互作用を表示するための手段を備える、請求項32に記載の装置。

Images