JP6826029B2 - 画像を表示するための方法、装置およびコンピュータ・プログラム - Google Patents

Description

本開示の実施例は、画像を表示するための方法、装置およびコンピュータ・プログラムに関する。上述にとらわれることなく、いくつかの実施例は、仮想現実ディスプレイ・デバイス内で実世界の捕捉画像を表示するための方法、装置およびコンピュータ・プログラムに関する。

仮想現実ディスプレイ・デバイス（例えばヘッド・マウント・ディスプレイ（ＨＭＤ）、ニア・アイ・ディスプレイ（ＮＥＤ）、仮想現実ゴーグル／ヘルメット）は、典型的に、仮想現実ディスプレイ・デバイスのユーザーが、仮想現実ディスプレイ・デバイスのディスプレイ上に表示されるもの、例えば仮想世界で起こっていることを見ることしかできない可能性があるという点において、完全に没入型である。しかしながら、このような完全没入型仮想現実ディスプレイ・デバイスは、仮想現実ディスプレイ・デバイスのユーザーが実世界とインタラクトしたいと考えた場合に問題を提起する。

本明細書の中の全ての先行公開文書または全ての背景技術の列挙または論述は、必ずしも、この文書または背景技術が、技術的現状の一部であるかまたは共通の一般的知識であることの承認ととらえられるべきではない。本開示の１つ以上の態様／実施例は、背景にある問題の１つ以上に対処する場合もあれば、そうでない場合もある。

本発明は、独立クレーム中に提示されている通りである。

必ずしも全てではないが、本開示の少なくともいくつかの実施例によると、
ヘッド・マウント・ディスプレイのユーザーの実世界視点内に位置設定された実世界物理オブジェクトを検出し、
前記検出に応答して、検出された実世界物理オブジェクトの少なくとも一部分の少なくとも１つの捕捉画像のヘッド・マウント・ディスプレイ上の表示をトリガーする、
という結果をもたらすアクションを少なくとも一部分行なわせるステップを含む、方法が提供されている。

必ずしも全てではないが、本開示の少なくともいくつかの実施例によると、少なくとも上述の方法を装置が実施できるようにするように構成された手段を備えた装置が提供されている。

必ずしも全てではないが、本開示の少なくともいくつかの実施例によると、少なくとも１つのプロセッサと、コンピュータ・プログラム・コードを含む少なくとも１つのメモリとを含み、少なくとも１つのメモリおよびコンピュータ・プログラム・コードが、少なくとも１つのプロセッサを用いて装置に、少なくとも上述の方法を行なわせるように構成されている装置が提供されている。

必ずしも全てではないが、本開示の少なくともいくつかの実施例によると、少なくとも１つのプロセッサにより実行されたとき、少なくとも上述の方法を実施させるコンピュータ・プログラムが提供されている。

必ずしも全てではないが、本開示の少なくともいくつかの実施例によると、少なくとも１つのプロセッサにより実行されたとき少なくとも上述の方法を実施させる命令がエンコードされた非一時的コンピュータ可読媒体が提供されている。

必ずしも全てではないが、本開示の少なくともいくつかの実施例によると、少なくとも上述の方法を実施させるように構成された処理回路を含むチップセットまたはモジュールが提供されている。

ここで述べられている実施例および添付のクレームは、当業者には明白である任意の方法で好適に組合わせることができる。

本発明の詳細な説明およびいくつかの実施形態を理解するために有用である本開示のさまざまな実施例をより良く把握するために、ここで、単なる一例として、添付図面に言及する。

方法を概略的に例示する。 さらにもう１つの方法を概略的に例示する。 装置を概略的に例示する。 さらなる装置を概略的に例示する。 方法流れ図を概略的に例示する。 図６Ｂと共に使用される装置を概略的に示す。 装置の表示の対応する例示的スクリーン・ショットを示す。 図７Ｂと共に使用される装置を概略的に示す。 装置の表示の対応する例示的スクリーン・ショットを示す。 図８Ｂと共に使用される装置を概略的に示す。 装置の表示の対応する例示的スクリーン・ショットを示す。 図９Ｂと共に装置の将来の使用を概略的に示す。 装置の表示の対応する例示的スクリーン・ショットを示す。 図１０Ｂと共に装置の将来の使用を概略的に示す。 装置の表示の対応する例示的スクリーン・ショットを示す。 装置の表示の例示的スクリーン・ショットを示す。 装置の表示の例示的スクリーン・ショットを示す。 装置の表示の例示的スクリーン・ショットを示す。 装置の表示の例示的スクリーン・ショットを示す。

図１は、ヘッド・マウント・ディスプレイ（６１０）のユーザー（６０３）の実世界視点（６０２）内に位置設定された実世界物理オブジェクト（６０１）を検出し（１０１）、
前記検出に応答して、検出された実世界物理オブジェクト（６０１）の少なくとも一部分の少なくとも１つの捕捉画像（６０１’）のヘッド・マウント・ディスプレイ（６１０）上の表示をトリガーする（１０２）、
という結果をもたらすアクションを少なくとも一部分行なわせるステップを含む方法を概略的に例示している。

クレームの範囲を限定することなく、本開示のいくつかの実施例の１つの利点は、ヘッド・マウント・ディスプレイを装着したときユーザーが実世界オブジェクトの捕捉画像を見ることができ、こうして物理実世界オブジェクトとのユーザー・インタラクションを容易にすることができるという点にあると言うことができる。ある特定の実施例において、ヘッド・マウント・ディスプレイは、仮想現実環境を表示するように構成されており、検出されその捕捉画像が表示されている実世界オブジェクトは、仮想現実環境内での制御または通信のためのユーザー入力デバイスに対応する。いくつかの観点から見て、仮想現実が「現実」すなわち実世界オブジェクトの捕捉画像により拡張されている「拡張仮想現実」（「拡張現実」を参照）を提供する本開示の実施例が着想される可能性もあると考えられる。

ヘッド・マウント・ディスプレイ（ＨＭＤ）は、例えば、ウェアラブル・ディスプレイ・デバイスであることができ、ニア・アイ・ディスプレイ（ＮＥＤ）を含むことができる。ヘッド・マウント・ディスプレイは、例えば、メガネ、ゴーグルまたはヘルメットの形をとることができる。ヘッド・マウント・ディスプレイは、実世界物理オブジェクトの捕捉画像に加えて仮想現実環境を表示するための仮想現実ディスプレイ・デバイスとして構成可能である。

ユーザーの実世界視点は、例えばユーザーの実世界、すなわち視点、視野、パース、視線または基準フレームであることができる。ユーザーの実世界視点は、ユーザーの目および／または頭の向き／方向に依存または関係する。

本開示のさまざまな実施例について、ここで、図を参照しながら説明する。図中では、同様の特徴を示すため、同様の参照番号が使用される。明確さのために、全ての参照番号が必ずしも全ての図に表示されるわけではない。

図１は、本開示の一実施例に係る方法１００の流れ図を概略的に示す。図１のコンポーネントブロックは機能的であり、記載されている機能は、（図３の３００を参考にして説明されている）単一の物理的エンティティによって行なわれる場合もあればそうでない場合もある。

ブロック１０１において、ヘッド・マウント・ディスプレイ（図７Ａの６１０）ユーザー（図７Ａの６０３）の実世界視点（図７Ａの６０２ａ）内に位置設定された実世界物理オブジェクト（例えば図７Ａのキーボード６０１）が選択される。ブロック１０２で、ユーザーの実世界視点（６０２ａ）内の実世界物理オブジェクト（６０１）の検出は、検出された実世界オブジェクトの少なくとも一部分の少なくとも１つの捕捉画像（図７Ａの６０１’）のヘッド・マウント・ディスプレイ（６０１）上での表示の生成をトリガーする。

図２は、本開示の一実施例に係るさらなる方法２００の流れ図を概略的に例示する。図２の流れ図は、数ある中の１つの考えられるシナリオを表わしている。図示されたブロックの順序は、絶対的要件ではなく、原則としてさまざまなブロックを順不同で行なうことができる。同様に全てのブロックが必要不可欠ではない。

方法２００において、ユーザーは、仮想現実環境（例えば図６Ｂの仮想世界６０２’）を視るために、ヘッド・マウント・ディスプレイを使用する。ブロック２０１において、仮想現実環境内に実世界オブジェクトとのユーザー・インタラクションのためのアベイラビリティ／オポチュニティが存在するか否かの決定がなされる。例えば、実世界オブジェクトが、仮想現実環境内にユーザー入力（例えばコマンドまたは通信）を提供するためのユーザー入力デバイスである場合、ユーザー入力デバイスを介したユーザー入力のための適切なオポチュニティが存在するか否かの決定を行なうことができる。例えば図６Ａ〜８Ｂに示されているある特定の実施例においては、これは、ポップ・アップ・チャート・ボックス６０５’またはテキスト入力用の他のオポチュニティに対応することができる。実世界オブジェクトとのユーザー・インタラクションのためのアベイラビリティについてのブロック２０１’での決定に応答して、これにより次に、ブロック１０１のようにユーザーの実世界視点内で実世界物理オブジェクトを検出するためのプロシージャがトリガーされる可能性がある。

実世界オブジェクトの捕捉画像を示すことでヘッド・マウント・ディスプレイ上のスペースが占有されることから、必要なときにだけ捕捉画像を示すことが望ましい。開示のある実施例においては、実世界オブジェクトを介したユーザー・インタラクションのためのオポチュニティの決定後にのみブロック１０１のプロセスを開示することによって、ユーザーが実世界オブジェクトとインタラクトするオポチュニティが全く存在しない場合に不必要にブロック１０１の検出および後続するブロック１０２の表示を回避するという技術的効果を提供することができる。例えば、テキスト入力のオポチュニティが全く存在しない場合、キーボードの不必要な検出および仮想現実環境内でのその捕捉画像の表示が回避されるが、これにより、そうでなければリソース（例えば特に処理および電力）が浪費されるだけでなく仮想現実環境を遮り、ひいては仮想現実環境内でのユーザーの没入レベルに不利な影響を及ぼすことが回避されると思われる。

ブロック２０１の決定プロセスに応答して、ユーザーの実世界視点内の実世界物理オブジェクトの検出が、ブロック１０１で発生し得る。この検出は、ブロック２０２において、ユーザーの実世界視点の少なくとも一部分の１つ以上の画像の捕捉ステップを含むことができる。これは、例えば、ユーザーの実世界視点のオブジェクト・シーンに対応する１つ以上の一人称パース画像を捕捉する、すなわち実際には、ユーザーがヘッド・マウント・ディスプレイを装着していなかった場合に目にすると思われる実世界シーンの１つ以上の画像を捕捉するように、ヘッド・マウント・ディスプレイ上に適切に、位置づけされ整列されている１つ以上の画像捕捉デバイスを含むヘッド・マウント・ディスプレイを介して達成可能である。ブロック２０３では、決定ステップ２０１によりインタラクトするアベイラビリティが存在すると決定された実世界物理オブジェクトなどの実世界物理オブジェクトを特定し検出することを目的として、ブロック２０２内で捕捉された１つ以上の画像について、オブジェクト／画像認識プロセスが行なわれる。オブジェクト／画像認識を介して検出すべき実世界物理オブジェクトは、１つ以上の既定の物理オブジェクト、例えば、キーボード、ゲーム・コントローラ；およびタッチ・センス入力デバイスおよびタッチ・センシティブ・ディスプレイを含めた他の手で操作する入力デバイスに対応する可能性がある。

ユーザーの実世界視点６０２ａ内の実世界物理オブジェクトを検出した後、ブロック１０２においてヘッド・マウント・ディスプレイ上で検出された実世界オブジェクトを表示させる。ブロック２０４に示されているように、これには、クロップされた画像が実質的に検出済み実世界物理オブジェクトのみで構成されるように、ユーザーの実世界視点全体の捕捉画像をクロッピングすることが関与する可能性がある。クロップされた画像（例えば図７Ｂの６０１’）は、次に、仮想現実環境（６０２ａ’）の表示と同時に、ヘッド・マウント・ディスプレイの表示上に表示することができる。こうして、実世界オブジェクトの捕捉画像が仮想環境の表示内に統合される仮想現実と実世界画像のミキシングが提供される。

ブロック２０５では、ユーザーの視点が監視され追跡される。これは、ヘッド・マウント・ディスプレイの向きおよび方向の変化を監視し検出し、こうしてユーザーの頭の検知された方向または向き（例えばヨー、ピッチおよびロール）に基づいてヘッド・マウント・ディスプレイを装着するユーザーの実世界視点を検出することのできる、ヘッド・マウント・ディスプレイ内に組付け可能な１つ以上の向きまたは方向センサーによって、達成可能である。代替的一実施例においては、ユーザーの頭の動きに基づいてユーザーの視点を決定する代りに、ユーザーの視点をユーザーの目の方向および向きに基づいて決定することができる。この実施例において、ユーザーの目のビューの向きおよび方向を検知するための１つ以上のデバイス、例えば、ユーザーの目に面して内部に組付けられて、ユーザーの目の動きを追跡するカメラなどをヘッド・マウント・ディスプレイ上に具備することができる。

ブロック２０６においては、ユーザーの実世界視点との関係における実世界オブジェクトの相対的位置が決定される。これは、例えば、ユーザーの実世界視点から捕捉された画像の分析、および捕捉画像内の検出された実世界オブジェクトの位置の決定に基づいて達成可能である。ブロック２０７において、ユーザーの実世界視点との関係における実世界オブジェクトのこの決定された相対的位置は、ヘッド・マウント・ディスプレイの表示内の実世界オブジェクトの表示された捕捉画像の相対的位置を調整するために使用される。詳細には、表示内の捕捉画像の位置は、ユーザーの仮想視点／仮想環境の表示されたパース内のその相対的位置が、ユーザーの実世界視点との関係における実世界オブジェクトの決定された相対的位置に対応するように調整される。クレームの範囲を限定することなく、本開示のいくつかの実施例の利点は、ユーザーの実世界視点との関係におけるオブジェクトの実世界位置に対応するヘッド・マウント・ディスプレイの表示内に仮想位置で捕捉画像を表示できるようにすることにある可能性がある。ユーザーの実世界視点との関係における実世界オブジェクトの相対的位置を追跡することにより、ユーザーの実世界視点／実世界基準フレームとの関係における実世界オブジェクトの位置と、ユーザーの仮想視点／仮想基準フレームとの関係における実世界オブジェクトの表示された捕捉画像の位置との間の対応を維持することができる。

ブロック２０８においては、例えばヘッド・マウント・ディスプレイの画像捕捉デバイスにより捕捉され認識された既定のジェスチュアなどのユーザー入力を検出でき、このことが、ブロック２０９において捕捉画像の表示を除去させる。こうして、ユーザーは、ユーザーがその表示をもはや所望／要求しない場合の捕捉画像の表示の除去を選択的に制御することができるようになる。例えば、ユーザーは、実世界オブジェクトと自らのインタラクションをすでに完了しており、かつ／または実世界オブジェクトとインタラクトすることを所望せず、したがって実世界オブジェクトの捕捉画像の提示を受ける必要がない場合がある。

上述の方法は、ユーザーの実世界視点の１つ以上の画像を捕捉することおよび、捕捉画像に基づいたヘッド・マウント・ディスプレイの表示内で１つ以上の画像を表示することについて述べている。捕捉された少なくとも１つの画像は、画像シーケンス、ビデオ、実時間画像のいずれかに対応し得ることを認識すべきである。表示されるこの少なくとも１つの捕捉画像は同様に、オブジェクトが検出される領域のライブ・カメラ・フィードに対応する場合もある。クレームの範囲を限定することなく、本開示の一部の実施例の１つの利点は、ユーザーが自身のために、実世界オブジェクトと自らのユーザー・インタラクションを実時間で見ることができるようにし、こうしてヘッド・マウント・ディスプレイを装着したままで仮想現実環境を視る一方で、（例えば図７Ｂに示されているようにキーボード６０１’上のユーザー自身の手６０６’の表示を見ながら）実世界オブジェクトとのユーザー・インタラクションを容易にすることができるという点にある可能性がある。

ある実施例においては、１つ以上のブロックを、異なる順序でまたは時間的に重複して、連続してまたは並行して行なうことができ、１つ以上のブロックを、いくつかの組合せた方法で省略、または追加または変更することができる。例えば、ブロック２０８および２０９を、流れ図のいずれかの部分に、例えばブロック２０１、１０１および１０２のいずれかの前または後に、移動または追加することができる。

本開示の実施例は、方法、装置またはコンピュータ・プログラムの形をとることができる。したがって、実施例はハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組合せの形で実装することができる。

図１および２中に例示されているブロックは、方法内のアクションおよび／またはコンピュータ・プログラム中の命令セクション／コードを表わすことができる。

各ブロックおよびブロック組合せは、さまざまな手段、例えば１つ以上のコンピュータ・プログラム命令を含むハードウェア、ファームウェアおよび／またはソフトウェアによって実装可能であることが理解される。例えば、上述のプロシージャの１つ以上は、コンピュータ・プログラム命令によって具体化することができる。この点において、上述のプロシージャを具体化するコンピュータ・プログラム命令を、メモリ記憶デバイスによって記憶させプロセッサにより実行させることが可能である。

認識されるように、このようなコンピュータ・プログラム命令はいずれもコンピュータまたは他のプログラマブル装置（すなわちハードウェア）上にロードされてマシンを生成でき、こうして、これらの命令は、プログラマブル装置上で実行された場合にブロック中に規定されている機能を実装するための手段を創出することになる。これらのコンピュータ・プログラム命令は同様に、プログラマブル装置に特定の要領で機能するよう指図することのできるコンピュータ可読媒体内に記憶させることもでき、こうしてコンピュータ可読メモリ内に記憶された命令は、ブロック中に規定されている機能を実装する命令手段を含む製造品を生成することになる。コンピュータ・プログラム命令は同様に、プログラマブル装置上で実行される命令がブロック中に規定されている機能を実装するためのアクションを提供するように、コンピュータ実装されるプロセスを生成する目的でプログラマブル装置上において一連の操作アクションを行なわせるために、プログラマブル装置上にロードされることも可能である。

本開示中の一実施例に係る装置３００について、図３との関係においてここで説明する。図３は、装置の動作を説明するために必要な機能的コンポーネントに焦点をあてている。

装置３００は、コントローラ３０１を含む。コントローラ３０１の実装は、ハードウェア単独（例えば１つ以上のプロセッサを含む処理回路、および１つ以上のメモリ・エレメントを含むメモリ回路）の形で行なわれるか、単独でファームウェアを含むソフトウェアの形のいくつかの態様を有するか、またはハードウェアとソフトウェア（ファームウェアを含む）の組合せであることができる。

コントローラ３０１は、例えば、コンピュータ可読記憶媒体（ディスク、メモリなど）上に記憶されるかまたは汎用または専用プロセッサにより実行されるべく信号キャリヤによって搬送され得る実行可能なコンピュータ・プログラム命令をこのようなプロセッサ内で使用することによって、ハードウェア機能性を有効にする命令を用いて実装可能である。

例示された実施例において、装置３００は、プロセッサ３０２およびメモリ３０３により提供されるコントローラ３０１を含む。単一のプロセッサおよび単一のメモリが例示されているものの、他の実装では、多数のプロセッサが存在でき、かつ／または多数のメモリが存在でき、そのいくつかまたは全てが内蔵されているか／取外し可能であり得、かつ／または永久／半永久／動的／キャッシュ記憶を提供できる。

メモリ３０３は、プロセッサ３０２内にロードされた場合に装置の動作を制御するコンピュータ・プログラム命令３０５を含むコンピュータ・プログラム３０４を記憶する。コンピュータ・プログラム命令は、装置がここで説明されている方法を実施できるようにする論理およびルーチンを提供する。

少なくとも１つのメモリ３０３およびコンピュータ・プログラム命令３０５は、少なくとも１つのプロセッサ３０２を用いて、例えば図１および２との関係において説明された方法を装置３００に少なくとも実施させるように構成されている。

プロセッサ３０２は、メモリ３０３から読取りメモリ３０３に書込むように構成されている。プロセッサ３０２は同様に、データ（特に例えば実世界オブジェクトの画像を検出し表示するための画像捕捉データ、ユーザーの視点を決定するためのセンサー・データ、仮想現実環境を表示するための仮想現実環境データ、およびユーザー入力データ）および／またはコマンドをプロセッサ３０２に入力するときに介する入力インターフェース３０６も含むことができる。プロセッサ３０２は同様に、データ（特に実世界オブジェクトの捕捉画像およびヘッド・マウント・ディスプレイ上に表示するための仮想現実環境データ）および／またはコマンドをプロセッサ３０２により出力するときに介する出力インターフェース３０７を含むこともできる。

コンピュータ・プログラムは、任意の好適な配送メカニズム３１１を介して、装置３００に到達することができる。配送メカニズム３１１は、例えば、非一時的コンピュータ可読記憶媒体、コンピュータ・プログラム・プロダクト、メモリ・デバイス、コンパクト・ディスク読取り専用メモリまたはデジタル多用途ディスクなどの記録媒体、またはコンピュータ・プログラム３０４を有形で具体化する製造品であることができる。配送メカニズムは、コンピュータ・プログラム３０４を高い信頼性で転送するように構成された信号であることができる。

装置３００は、コンピュータデータ信号としてコンピュータ・プログラム３０４を受信、伝播または伝送することができる。

「コンピュータ可読記憶媒体」、「コンピュータ・プログラム・プロダクト」、「有形で具体化されたコンピュータ・プログラム」など、または「コントローラ」、「コンピュータ」、「プロセッサ」などへの言及は、単一／多重プロセッサアーキテクチャおよび逐次（フォン・ノイマン）／並行型アーキテクチャなどの異なるアーキテクチャを有するコンピュータのみならず、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け回路（ＡＳＩＣ）などの特殊回路、信号処理デバイスおよび他のデバイスをも含むものとして理解されなければならない。コンピュータ・プログラム、命令、コードなどに対する言及は、プログラマブル・プロセッサ用のソフトウェアまたはファームウェア、例えばプロセッサ用の命令であれ固定機能デバイス、ゲート・アレイまたはプログラマブル論理デバイスなどのための構成設定値であれ、ハードウェアデバイスのプログラマブル・コンテンツを含むものとして理解されるべきである。

装置は、例えば、１つ以上の画像捕捉デバイス３０８、ディスプレイ・デバイス３０９およびユーザーの実世界視点を検出し監視するためのセンサー（図示せず）などの追加のデバイス／コンポーネントを付加的に含む回路、チップセット、モジュールまたはデバイス／システム３１０である場合がある。装置は、ヘッド・マウント・ディスプレイ内に含まれるかまたは、ヘッド・マウント・ディスプレイと別個で、例えば有線または無線通信を介してそれと（直接または他の形で）通信状態にある可能性がある。装置は、ヘッド・マウント・ディスプレイのユーザーの実世界視点内で検出された実世界オブジェクトの少なくとも一部分の少なくとも１つの捕捉画像をヘッド・マウント・ディスプレイ上に表示するためのものであることができる。

図４は、本開示の一実施例に係るさらなる装置４１０を概略的に例示する。装置４１０は、ニア・アイ・ディスプレイ・デバイスを提供するヘッド・マウント・ディスプレイの形、詳細にはユーザーが装着すべきメガネ／ゴーグルの形をしている。ヘッド・マウント・ディスプレイは、不透明／非透明／非シー・スルー型のウェアラブル・ディスプレイを提供できる。

デバイス４１０は、図３の装置３００および、付加的に、ユーザーに対し立体ディスプレイを提供するための２つのディスプレイ・デバイス４０９およびユーザー実世界視点の立体画像捕捉を有効にするための２つの画像捕捉デバイス４０８および４０８を含む。デバイスは、ユーザーの実世界視点を検出し監視するための１つ以上のセンサー４０８’（方向／向きを測定するためのセンサー）を含むことができる。デバイスは同様に、１つ以上の音声出力デバイス４０９’を含むこともできる。さらに、デバイスは、付加的に、例えば、デバイス上に表示された仮想現実環境についてのデータを提供するデータ・ソースなどの遠隔計算デバイスと通信するための通信インターフェース（図示せず）を含むことができる。

装置３００／４１０は、さらに、１つ以上のオーディオ／テキスト／ビデオ通信機能（例えば、遠隔通信、ビデオ通信および／またはテキスト伝送（ショート・メッセージ・サービス（ＳＭＳ）／マルチメディア・メッセージ・サービス（ＭＭＳ）／Ｅメール）機能）、インタラクティブ／非インタラクティブ・ビューイング機能（例えばウェブ−ブラウジング、ナビゲーション、ＴＶ／プログラム・ビューイング機能）、ミュージック録音／再生機能（例えばＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ・１ Ａｕｄｉｏ Ｌａｙｅｒ ３（ＭＰ３）または他のフォーマットおよび／または（周波数変調／振幅変調）ラジオ放送録音／再生）、データのダウンロード／送信機能、画像捕捉機能（例えば（内蔵）デジタルカメラを用いるもの）およびゲーミング機能、を提供することができる。

上述の装置は、さまざまなコンポーネントを含むという観点で以上で説明されているが、コンポーネントを装置の対応する処理要素またはプロセッサとして具体化することあるいはこの要素またはプロセッサにより制御することができる、ということを理解すべきである。この点において、以下で説明するコンポーネントの各々は、以下でより詳細に説明するように、それぞれのコンポーネントの対応する機能を行なうように構成されたハードウェア、ソフトウェアまたはハードウェアとソフトウェアの組合せの形で具体化されるあらゆるデバイス、手段または回路のうちの１つ以上のものであることができる。

本出願中で使用されている「回路」なる用語は、以下の全てを意味する：
（ａ）ハードウェア単独回路実装（例えば、アナログ・および／またはデジタル回路のみでの実装）、および
（ｂ）回路とソフトウェア（および／またはファームウェア）の組合せ、例えば（該当する場合）：（ｉ）プロセッサの組合せ、または（ｉｉ）携帯電話またはサーバーなどの装置にさまざまな機能を行なわせるために協働するプロセッサ／ソフトウェア（デジタル信号プロセッサを含む）ソフトウェアおよびメモリの部分、および
（ｃ）物理的にソフトウェアまたはファームウェアが存在しない場合でも、動作のためにソフトウェアまたはファームウェアを必要とする回路、例えばマイクロプロセッサまたはマイクロプロセッサの一部分。

この「回路」の定義は、任意のクレームを含めた本出願中のこの用語の使用全てに適用される。さらなる例として、本出願中に使用されている「回路」なる用語は、同様に、単に１つのプロセッサ（または多数のプロセッサ）またはプロセッサの一部分およびその（またはそれらの）付随するソフトウェアおよび／またはファームウェアの実装もカバーすると考えられる。「回路」なる用語は同様に、例えば特定のクレーム要素に該当する場合、携帯電話向けのベースバンド集積回路またはアプリケーション・プロセッサ集積回路、またはサーバー、セルラー・ネットワーク・デバイスまたは他のネットワーク・デバイス内の類似の集積回路をもカバーすると考えられる。

本開示の実施例は、方法ならびにこの方法のアクションを行なうための機能性を提供するさまざまなモジュールまたは手段で構成される対応する装置の両方を提供する。これらのモジュールおよび手段は、ハードウェアとして実装可能であり、あるいはコンピュータプロセッサにより実行されるべきソフトウェアまたはファームウェアとして実装することもできる。詳細には、ファームウェアまたはソフトウェアの場合、本開示の実施例は、コンピュータプロセッサによる実行のためにコンピュータ・プログラム命令（すなわちソフトウェアまたはファームウェア）を具体化させるコンピュータ可読記憶構造を含むコンピュータ・プログラム・プロダクトとして提供可能である。

装置を、１つのモジュールの形で提供することができる。ここで使用する「モジュール」なる語は、エンド・メーカーまたはユーザーにより追加されると考えられる一定の部品／コンポーネントを除いたユニットまたは装置を意味する。例えば、装置は、ヘッド・マウント・ディスプレイと併用されるべきモジュールとして提供される可能性がある。

ある実装実施例では、装置をヘッド・マウント・ディスプレイ自体の中に具備することができるものの、例えば非限定的に、持ち運び可能な電子デバイス、タブレット、携帯電話、携帯情報端末（ＰＤＡ）、ポケットベル、モバイル・コンピュータ、デスクトップ・コンピュータ、テレビ、ゲーミング・デバイス、ラップトップ・コンピュータ、カメラ、ビデオレコーダーおよび他のタイプの電子システムなどの他のタイプの電子デバイスに、本開示の実施例に係る装置を具備することも可能である。このような他のデバイスおよび他のタイプのシステムは、ヘッド・マウンタブル・デバイスのディスプレイと通信しそれを制御するように構成されている。

図５は、仮想現実環境／世界におけるキーボードを介したテキスト・エントリの入力に関する本開示の特定の実施例の流れ図５００を示す。

最初に、ブロック５０１において、ユーザーがキーボードを用いて何かを入力できるか否かが決定される。仮想環境／世界ビュー内のユーザーのキーボードを示すことはスクリーンのスペースを占有することから、必要なときにのみキーボードを示すことが望ましい。何かを入力する可能性がない場合には、プロセスの一連の部分は実施されず、キーボードは示されない。テキストを入力する可能性がない場合、システムは、プロシージャを継続する前にテキストを入力する可能性が出て来るまで待機する。

テキストを入力する可能性は、チャット・ウィンドウ・コメント・ボックス６０５’が仮想環境６０２’内に存在する／表示されることに対応し得る。これは、キーボード入力が可能であることを標示し得る。テキストを入力する可能性がある場合、流れ図はブロック５０２へと続行する。

ブロック５０２では、キーボードがヘッド・マウント・ディスプレイ・デバイスのカメラの視点内にあるか否か、ひいてはキーボードがユーザーの実世界視点内にあるか否かが決定される。ユーザーのキーボードがカメラ・フィード内にない場合（すなわち図６Ａの通り）、システムは、キーボードがカメラ・フィード内にあり、および／またはテキストを入力する可能性が出て来る時点まで待機する。図６Ａおよび８Ａにおいて、ユーザーの実世界視点６０２は、キーボード６０１がユーザーの実世界視点６０２内に位置設定されていない状態にある。したがって、仮想世界環境６０２’の表示のみが存在している図６Ｂおよび８Ｂに示されているように、キーボードのいかなる画像も捕捉されずヘッド・マウント・ディスプレイ上に表示されることはない。表示された仮想世界環境６０２ａ’は、ユーザーの実世界視点６０２ａに対応する仮想視点６０２ａ’を有し、例えばユーザーが頭を左、右または上方に回した場合に、表示される仮想環境のパースは、左、右または上方を見る対応する仮想パース／視点を表わすように順応すると考えられる。

キーボードがカメラのビュー内にある場合（例えば、カメラのビューが変化し、今やキーボードを検出できるような形でユーザーが見下しているか、または代替的には、キーボードがカメラのビュー内に入り検出可能となるような形で、ユーザーがキーボードを上に移動させた場合）、流れ図はブロック５０３まで進み、このブロック中でカメラ・フィードがユーザーに表示される。カメラのビューの少なくとも一部分を示すヘッド・マウント・ディスプレイ内で、ビデオ・ウィンドウを表示することができる。キーボードがカメラのビュー内にあるか否かを決定するために、オブジェクト認識方法を捕捉画像上で行なうことができる。ユーザーは、オブジェクト認識およびキーボードの追跡を改善するために自らのキーボードがどのように見えるかをオブジェクト認識システムに教示するように、初期セットアップを行なうことができる。図７Ａでは、ユーザーは、キーボード６０１が今ユーザーの新しい実世界視点６０２ａの中に位置設定されることになるように、下を見ている、すなわち自らの実世界視点６０２ａを順応させている。この視点のカメラのフィードの画像認識の後、キーボードを検出することができ、（ユーザーの実世界視点６０２ａに対応する仮想視点６０２ａ’を有する）仮想現実環境６０２ａ’と共に、キーボード６０１’の画像を表示することができる。キーボードの捕捉画像のライブ・フィードが、仮想現実環境の上に重ね合わさるビデオ・ウィンドウ内でユーザーに提示されることから、ユーザーは、キーボードの近傍にユーザーの手６０６の映像６０６’を見ることができ、こうして、ユーザーは自らがキーボードを操作し所望のタイピング用キーを選択するのを見ることができる。

カメラ・フィードの関連部分のみ、すなわちカメラ・フィードの視野全体ではなくてキーボード自体の関連部分のみが表示されるように、カメラ・フィードをクロップすることができる。ユーザーがキーボードならびに自らの手がキーボードを操作しているのを見ることができる状態で、ユーザーはテキストを入力し、チャット・ウィンドウに応答することができる。ひとたびユーザーがキーボードの使用を終了したならば、ユーザーは、図８Ａに示されているように再度上を見ることができ、こうして図８Ｂに示されているように、ユーザーの視野はもはやキーボードを含まず、キーボードの画像はもはや表示されなくなる。

図９Ａに示されているように、ユーザーの実世界視点６０２ａは、キーボード６０１がユーザーの実世界視点６０２ａの下部部分に位置設定されることになる状態である。キーボード６０１’の捕捉画像は、それがユーザーの仮想環境６０２ａ’の仮想視野の下部部分にくるように、対応して表示される。これとは対照的に、図１０Ａでは、ユーザーの実世界視点６０２ｂは、キーボード６０１がユーザーの実世界視点６０２ｂの上部部分に位置設定されることになる状態であり、これに対応して、キーボード６０１’の捕捉画像は、仮想環境６０２ｂ’のユーザーの仮想視点の上部部分に表示される。したがって、表示されたキーボード画像６０１’は、ユーザーの実世界視点６０２ｂとの関係における実際のキーボードの位置に対応する仮想視点６０２ｂ’との関係における位置に示される。こうして、キーボードの画像は、実生活におけるその真の位置との関係におけるその適切な位置にあるものとして把握されることから、キーボードとのユーザー・インタラクションは容易になる。

図１１Ａは、キーボード上で下を見ているユーザーが、特定の仮想視野を有する仮想世界環境６０２’の表示と併せたキーボード６０１’の捕捉画像の表示と共に提示されている、ヘッド・マウント・ディスプレイの表示のスクリーン・ショットを示す。ユーザーが、キーボード６０１’の表示された捕捉画像を見たいと思わない場合、ユーザーは、例えば掌が上になるように両手を回し互いに離してカメラのビューから出るように移動させて、手１１２を用いたジェスチャを行なうことができる。このような既定のユーザー入力またはジェスチャは、図１１Ｂに示されているようにキーボードの画像を除去させるキーボード６０１’の表示除去制御信号として検出および解釈され得る。ユーザーの手は、ジェスチャを決定するためにオブジェクト認識技術を用いて追跡可能である。

図１２および１２Ｂは、仮想世界環境がキーボードの表示によって遮られる程度を最小限に抑えながら、キーボード６０１’の捕捉画像の表示の内含に適応するように、内部で仮想世界環境７０２ａ’を拡大／圧縮、モーフィングまたは他の形でトランスフォームすることのできる、ヘッド・マウント・ディスプレイのスクリーン・ショットの例を示す。図１２Ａに示されているように、キーボード６０１’の画像は、仮想世界環境７０２ａ’の背景画像の上に単に重ね合わされる。こうして、キーボードの画像は、仮想世界環境の一部の様相、例えば３つの家の低い方の窓を遮っている。本開示のいくつかの実施例では、提示されている仮想世界環境は、仮想世界内の全てをユーザーにとって可視的である状態に保ち続けながらキーボードの画像に適応させるようにトランスフォームされ（例えばその形状、サイズおよびパースを調整する）、例えば図１２Ｂに示されているように、仮想世界７０２ａ’’の画像は、背景現実世界環境を遮るキーボードの重ね合わされた画像を削減／回避するように、キーボードの上方および下方で圧縮され、キーボードの周りで拡大される。こうして、図１２Ｂに示されているように、家の一階の窓は、可視状態にとどまる。本開示のある実施例において、該方法は、キーボードの追加の表示にも関わらずその表示を維持することが望ましいと考えられる何らかの関心あるエリア／ポイント（例えば図１２Ａおよび１２Ｂの実施例中の低い方の窓）が存在するか否かを決定するステップを含むことができ、その場合、仮想世界環境、特に仮想世界環境内に関心あるエリア／ポイントの可視性を最大化するために、仮想現実環境を適切にトランスフォームすることができる。

本開示の実施例は、流れ図による図解および概略的ブロック図を用いて説明されている。（流れ図図解およびブロック図の）各ブロックおよびブロックの組合せがコンピュータ・プログラムのコンピュータ・プログラム命令によって実装可能であることが理解される。これらのプログラム命令は、１つ以上のプロセッサ、処理回路またはコントローラに提供され得、こうして、それらの上で実行する命令は、ブロック中に規定された機能を実装させるための手段を作り出すことになる。コンピュータ・プログラム命令は、プロセッサ上で実行する命令がブロック中に規定された機能を実装するためのステップを提供するようにコンピュータで実装されるプロセスを生成するべく、プロセッサにより一連の動作ステップを行なわせるために、プロセッサによって実行可能である。

したがって、ブロックは、規定された機能を行なうための手段の組合せ、規定された機能を行なうためのアクションの組合せ、および規定された機能を行なうためのコンピュータ・プログラム命令／アルゴリズムをサポートする。各ブロックおよびブロックの組合せは、規定された機能またはステップを行なう専用ハードウェアベースのシステムまたは専用ハードウェアおよびコンピュータ・プログラム命令の組合せによって実装可能であることも同様に理解される。

先行する説明中に記載された特徴を、明示的に説明された組合せ以外の組合せで使用することも可能である。

機能はある特徴を基準にして説明されているが、これらの機能は、記載の有無に関わらず、他の特徴によって行なうことのできるものである。特徴はある実施例を基準にして説明されているが、これらの特徴は同様に、記載の有無に関わらず、他の実施例にも存在する場合がある。

提供された実施例に対する修正を、クレームに明記された本発明の範囲から逸脱することなく行なうことができる、ということを認識すべきである。

「を含む」なる用語は、本明細書中では、排他的ではなく包含的な意味で使用されている。すなわち、Ｙを含むＸという言及は全て、Ｘが唯一のＹを含むことができるかまたは、２つ以上のＹを含むことができる、ということを表わしている。排他的意味で「含む」を使用することが意図されている場合には、それは、「１つのみの．．．を含む」に言及するかまたは「〜で構成される」を使用することにより、文脈中で明らかにされる。

本明細書においては、さまざまな実施例が言及されている。１つの例との関係における特徴または機能の説明は、これらの特徴または機能がその実施例中に存在することを表わす。本文中の「実施例」または「例えば、または「〜できる（ｍａｙ）」なる用語の使用は、明示的に述べられているか否かに関わらず、このような特徴または機能が一例として記載されているか否かに関わらず、少なくとも記載された実施例中に存在すること、およびそれらがいくつかのまたは全ての他の実施例中に存在し得るものの必ずしもそうではないことを意味する。こうして、「実施例」、「例えば」、または「〜できる（ｍａｙ）」は、ある例示群における特定の事例を意味する。事例の特性は、その事例のみの特性またはその例示群の特性またはその例示群の事例の全部ではないがいくつかを含むその例示群に属する一部の群の特性であり得る。

上述の説明において、説明された装置は、代替的にまたは追加として、他のいくつかの実施例中では装置の分散型システム、例えばクライアント／サーバー装置システムを含む装置を含む。提供された装置が分散型システムを形成する（またはシステムがそのように実装されている）実施例においては、システムのコンポーネントおよび／または一部を形成する各装置は、本開示の一実施形態を集合的に実装することのできる１つ以上の特徴を提供する（または実装する）。いくつかの実施例において、装置は、実行されたとき装置に本開示の一実施形態の一実施例を実装させる（このような実装は、完全に装置によるものであるかまたは上述の装置システムの一部としてのものである）追加のソフトウェアが具備されていることによって、例えばユーザーがこのようなソフトウェアをダウンロードすることによって、本開示の一実施形態を実装するために、その当初のメーカー以外のエンティティによって再構成される。

上述の説明は本開示の一部の実施例を説明しているが、当業者であれば、本明細書中で上述された構造および特徴の具体的実施例と等価の機能性を提供し、簡潔さまたは明確さのために以上の説明では省略されている、考えられる代替的な構造および方法特徴に気付くものである。とはいえ、上述の説明は、本開示の実施形態の上述の説明中でそのような代替的構造または方法特徴が明示的に除外されているのでないかぎり、等価の機能を提供するこのような代替的構造および方法特徴に対する言及を暗示的に含むものとして解釈されるべきである。

上述の明細書中では、特に重要なものと考えられている本発明の特徴に注意を引くように努めてきたが、該出願人は、特別に強調されているか否かに関わらず、以上で言及され、および／または図面中に示されているあらゆる特許性ある特徴または特徴の組合せに関する保護を要求しているという点を、理解すべきである。

Claims (14)

1. 少なくとも部分的に、ヘッド・マウント・ディスプレイ上に仮想現実環境を表示するステップと、
   実世界オブジェクトとのユーザ・インタラクションのための前記仮想現実環境の内においてオポチュニティが存在するか否かを決定するステップと、
   前記決定されたオポチュニティに応答して、ヘッド・マウント・ディスプレイのユーザの実世界視点内に位置設定された前記実世界オブジェクトを検出するステップと、
   前記検出された実世界物理オブジェクトの少なくとも一部の１つ以上の画像を、前記ヘッド・マウント・ディスプレイ上に表示するようにさせるステップと、
   ユーザ入力の検出に応答して前記実世界物理オブジェクトの前記少なくとも一部の前記１つ以上の画像の前記表示を除去するステップと、
   を含む方法。
2. 前記ヘッド・マウント・ディスプレイの前記ユーザの前記実世界視点は、前記ユーザが、前記ヘッド・マウント・ディスプレイを装着していなかったならば前記ユーザの視点に対応する、請求項１に記載の方法。
3. 前記実世界オブジェクトの少なくとも１つの捕捉画像が、前記仮想現実環境の前記表示に一体化される、仮想現実と実世界画像のミキシングを提供するステップを更に含む、請求項１または２に記載の方法。
4. 前記実世界オブジェクトがユーザ入力デバイスである、請求項１ないし３のいずれか１項に記載の方法。
5. 前記検出された実世界オブジェクトの前記少なくとも１つの画像は、捕捉画像シーケンス、捕捉ビデオ、実時間で捕捉された画像、および、ライブ・カメラのフィードのうちの１つ以上を含む、請求項１ないし４のいずれか１項に記載の方法。
6. 前記ユーザの実世界視点を監視するステップを更に含む、請求項１ないし５のいずれか１項に記載の方法。
7. 前記監視されるユーザの実世界視点に依存して、前記ヘッド・マウント・ディスプレイ上の前記少なくとも１つの画像の前記表示を配置するステップを更に備える請求項６に記載の方法。
8. 前記ユーザの実世界視点の少なくとも１つの画像を捕捉するステップを更に備える請求項１ないし７のいずれか１項に記載の方法。
9. 前記ユーザの実世界視点内の実世界オブジェクトの検出は、前記ユーザの実世界視点の前記捕捉された少なくとも１つの画像上でオブジェクト認識を行なうことを含む、請求項８に記載の方法。
10. 前記表示された少なくとも１つの画像は、実質的に前記実世界オブジェクトから成る、請求項１ないし９のいずれか１項に記載の方法。
11. 前記実世界物理オブジェクトの捕捉された少なくとも１つの画像の前記表示を収容するために、前記ヘッド・マウント・ディスプレイ上に表示された仮想現実環境の表示をトランスフォームするステップを更に含む、請求項１ないし１０のいずれか１項に記載の方法。
12. 少なくとも、請求項１ないし１１のいずれか１項に記載の方法を、装置が実施可能にするように構成された手段を備える装置。
13. 請求項１２に記載の装置を含む、デバイスであって、該デバイスは、チップセット、モジュール、または、ヘッド・マウント・ディスプレイのいずれかである、デバイス。
14. 少なくとも１つのプロセッサを用いて、少なくとも請求項１ないし１１のいずれか１項に記載の前記方法を実行させるコンピュータ・プログラム。

Images