JP6352426B2 - ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム - Google Patents

Description

本明細書に記載の実施形態は、一般に、マルチディスプレイシステムを使用して情報を表示することに関し、より詳細には、マルチディスプレイシステムの物理ディスプレイと併せて使用されるヘッドマウントディスプレイを含むマルチディスプレイシステムを使用して情報を表示することに関する。

コンピュータ生成情報（computer-generated information）とは、デスクトップコンピュータシステム又はポータブルコンピュータシステムにより、生成、処理、又は、生成及び処理された情報を指す。物理ディスプレイは、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード、ガスプラズマ、又は他の画像投影技術を使用して、テキスト、ビデオ、及びグラフィック画像等のコンピュータ生成情報をコンピュータシステムユーザに表示する、有体のコンピュータ出力面の投影機構である。

マルチディスプレイシステムは、少なくとも２つの物理ディスプレイを使用して、コンピュータ生成情報をユーザに表示するシステムである。詳細には、マルチディスプレイシステムは、複数の物理ディスプレイに、拡張デスクトップ（extended desktop）と呼ばれる単一の物理ディスプレイを模擬するよう協働させる。マルチディスプレイシステムは、増大した表示領域を提供することにより、従来のシングルディスプレイシステムよりも多くのコンピュータ生成情報をユーザに表示することができる。マルチディスプレイシステムの利点は、乱雑さを低減させマルチタスキングを向上させる増大した表示領域を提供することにより、ユーザが作業効率を上げることを可能にすることを含む。

通常、マルチディスプレイシステムの使用は、固定位置の小さなサブセットに制限される。なぜならば、２以上の物理ディスプレイは、容易に持ち運ぶ又は移動させることができないからである。ユーザにポータビリティを提供する２以上の物理ディスプレイを含むいくつかのマルチディスプレイシステムが存在するが、ポータビリティは準最適に留まっている。さらに、いくつかのマルチディスプレイシステムは、ユーザによる大量のリソースの消費を要する。例えば、多数の物理ディスプレイ（例えば、数十から数千に至る１５インチＬＣＤ）を含むマルチディスプレイシステムの使用は、相当量の部屋及びエネルギーを要する。

デスクトップコンピュータシステムのユーザに加えて、ラップトップ、ノートブック、ハンドヘルドデバイス、及び携帯電話機等のポータブルコンピュータシステム上で作業するユーザは、２以上のディスプレイの配備（deployment）を可能にするいくつかのオプションを有する。それでも、上述した準最適のポータビリティに加えて、マルチディスプレイシステムの使用に関連する相当のコストが、残り続ける。

本発明が、限定ではなく例として、添付の図面に示される。図面において、同様の参照符号は、同様の要素を示す。
少なくとも１つの物理ディスプレイとヘッドマウントディスプレイにより提供された少なくとも１つの仮想ディスプレイとを含む例示的なマルチディスプレイシステムの図。 少なくとも１つの物理ディスプレイとヘッドマウントディスプレイにより提供される少なくとも１つの仮想ディスプレイとを使用して、ユーザへのコンピュータ生成情報の表示を実施するための例示的なマルチディスプレイシステムを示す簡略化された概略図。 少なくとも１つの物理ディスプレイとヘッドマウントディスプレイにより提供される少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムを使用して、コンピュータ生成情報をユーザに表示する例示的な方法を示すフローチャート。 少なくとも１つの物理ディスプレイとヘッドマウントディスプレイにより提供される少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムを使用して、コンピュータ生成情報をユーザに表示する上記方法のさらなる特徴を示すフローチャート。 少なくとも１つの物理ディスプレイとヘッドマウントディスプレイにより提供された少なくとも１つの仮想ディスプレイとを含む例示的なマルチディスプレイシステムの図。 少なくとも１つの物理ディスプレイとヘッドマウントディスプレイにより提供される少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムを使用して、コンピュータ生成情報をユーザに表示する例示的な方法を実施するための例示的な処理システムを示すブロック図。

本明細書に記載の実施形態は、物理ディスプレイとヘッドマウントディスプレイにより提供される少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムを使用して、コンピュータ生成情報をユーザに表示する。

例示的な実施形態に関して、コンピュータシステムの物理ディスプレイと併せて、コンピュータ生成情報を表示するためのヘッドマウントディスプレイが提供される。本ヘッドマウントディスプレイは、生成ロジック、シースルーディスプレイ、及び提示ユニットを含む。生成ロジックは、少なくとも１つの仮想ディスプレイを生成するために使用される。提示ユニットは、シースルーディスプレイ上で少なくとも１つの仮想ディスプレイを提示するために使用される。シースルーディスプレイは、ヘッドマウントディスプレイのユーザが、実世界シーンにおいて、少なくとも１つの仮想ディスプレイ及び物理ディスプレイを見ることを可能にするよう構成されている。少なくとも１つの仮想ディスプレイは、実世界シーンにおける追加のオブジェクトとして、シースルーディスプレイ上で提示され、少なくとも１つの仮想ディスプレイは、ユーザの視覚的視点（visual perspective）から、拡張デスクトップ内でコンピュータ生成情報を提示するために、物理ディスプレイと併せて使用される。

物理ディスプレイとヘッドマウントディスプレイにより提供される少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムの１以上の実施形態の利点は、２以上の物理ディスプレイを使用する従来のマルチディスプレイシステムに関連するポータビリティの低下及びリソース消費の増大に対するソリューションということである。

本明細書で使用される「コンピュータ生成情報」という用語は、コンピュータシステムにより生成及び／又は処理された情報を指す。

本明細書で使用される「デスクトップ」という用語は、ヒューマンインタフェース環境であって、ユーザが、該ヒューマンインタフェース環境を介して、アプリケーション、設定、及び／又はデータ等を起動し、アプリケーション、設定、及び／又はデータ等とインタラクトし、アプリケーション、設定、及び／又はデータ等を管理することができる、ヒューマンインタフェース環境を指す。デスクトップは、コンピュータ生成情報をコンピュータシステムのユーザに提示するために使用される。本明細書で使用される「拡張デスクトップ」という用語は、２以上の物理ディスプレイ及び／又は仮想ディスプレイに及ぶ単一のデスクトップを指す。

本明細書で使用される「物理ディスプレイ」という用語は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、ＬＣＯＳ（liquid crystal on silicon）、ガスプラズマ、網膜投影、又は他の画像投影技術を使用して、デスクトップ上で、テキスト、ビデオ、及びグラフィック画像等のコンピュータ生成情報をコンピュータシステムユーザに表示するコンピュータ出力及び投影機構を指す。

本明細書で使用される「仮想ディスプレイ」という用語は、物理ディスプレイの外観及び挙動を模擬する、コンピュータグラフィックスで作成された仮想オブジェクトを指す。仮想ディスプレイは、デスクトップとして動作し、エンドユーザは、コンピュータシステム及び／又はヘッドマウントディスプレイのソフトウェア及び／又はハードウェアを使用して、このデスクトップとインタラクトすることができる。

本明細書で使用される「シースルーディスプレイ」という用語は、ユーザが、ディスプレイ上で表示されているものを見ることを可能にしながら、さらに、ユーザが、ディスプレイの奥まで見ることを可能にする物理ディスプレイを指すことを含む。シースルーディスプレイは、ＣＲＴ、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＬＣＯＳ、ガスプラズマ、網膜投影技術、又は他の画像投影技術等の画像投影技術を利用する透明ディスプレイ又は半透明ディスプレイであり得る。本明細書で使用される「シースルーディスプレイ」という用語はまた、人間の眼の前方に配置される又は人間の眼の上に直接配置される、ガラス、プラスチック、又は他の透明物質のレンズ又はピース（piece）を指すこともあり、光線を集中させる、変更する、投射する、又は分散させるために使用される。本明細書で使用される「シースルーディスプレイ」という用語はまた、人間の眼の前方に配置される又は人間の眼の上に直接配置される、ガラス、プラスチック、又は他の透明物質のレンズ又はピースであって、画像投影技術を利用する（上述した）透明ディスプレイ又は半透明ディスプレイの組合せ及び／又は変形を含む、ガラス、プラスチック、又は他の透明物質のレンズ又はピースを指すこともある。

「ヘッドマウントディスプレイ」という用語は、コンピュータ生成情報（画像及び／又はビデオ等）をユーザに提示する能力を有するウェアラブルデバイスであって、ユーザが該ウェアラブルデバイスの奥まで見ることを可能にする能力も有するウェアラブルデバイスを指す。ヘッドマウントディスプレイは、仮想オブジェクトをユーザに提示しながら、さらに、実世界におけるシーンを見る機能をユーザに提供するために使用される。ヘッドマウントディスプレイは、少なくとも３つの異なる方法で、コンピュータ生成情報をユーザに提示する。第１のタイプのヘッドマウントディスプレイは、ユーザの眼の前方に配置される１つ又は２つの半透明レンズにコンピュータ生成情報を投影するプロジェクトを含む。第２のタイプのヘッドマウントディスプレイは、ユーザの眼の前方に配置される１つ又は２つのレンズであって、コンピュータ生成情報をユーザに提示するために該レンズ内に半透明物理ディスプレイを含む１つ又は２つのレンズを含む。このタイプのヘッドマウントディスプレイに含められる半透明物理ディスプレイは、ＣＲＴ、ＬＣＤ、ＬＥＤ、ＯＬＥＤ、ＬＣＯＳ、ガスプラズマ、又は他の画像投影技術を含む。他のタイプのヘッドマウントディスプレイは、光学系構成に応じて、直接網膜投影技術、拡大レンズ、及び光学リレーレンズのうちの少なくとも１つを使用して、コンピュータ生成情報を提示するヘッドマウントディスプレイを含む。

ヘッドマウントディスプレイは、ユーザの頭に装着され得る、又は、ユーザにより装着されるヘルメットの一部であり得る。１つの眼の前方にディスプレイオプティック（display optic）を有するヘッドマウントディスプレイは、単眼ヘッドマウントディスプレイとして知られており、各眼の前方にディスプレイオプティックを有するヘッドマウントディスプレイは、両眼ヘッドマウントディスプレイとして知られている。ヘッドマウントディスプレイは、仮想オブジェクトが実世界シーンに重ね合わされることを可能にする。これは、時として、拡張現実又は複合現実と呼ばれる。実世界のユーザの視界と仮想オブジェクトとをリアルタイムで合成することは、ユーザが仮想オブジェクト及び実世界を同時に見ることを可能にすることができる半透明物理ディスプレイを介して仮想オブジェクトを提示することにより、行うことができる。この方法は、しばしば、光学シースルーと呼ばれ、この方法を使用するタイプのヘッドマウントディスプレイは、光学ヘッドマウントディスプレイと呼ばれる。実世界のユーザの視界と仮想オブジェクトとをリアルタイムで合成することは、カメラからビデオを受け取り、このビデオと仮想オブジェクトとを電子的に複合することにより、電子的に行うこともできる。この方法は、しばしば、ビデオシースルーと呼ばれ、この方法を使用するタイプのヘッドマウントディスプレイは、ビデオヘッドマウントディスプレイと呼ばれる。

図１は、物理ディスプレイ１０３と少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂとを含む例示的なマルチディスプレイシステム１００を示している。ヘッドマウントディスプレイ１０５は、ユーザにより装着され、コンピュータシステム１０１と併せて使用される。より詳細には、物理ディスプレイ１０３は、コンピュータシステム１０１に接続され、コンピュータ生成情報をユーザに提示するために、ヘッドマウントディスプレイ１０５と併せて使用される。ヘッドマウントディスプレイ１０５は、物理ディスプレイ１０３と協働して、拡張デスクトップ内でコンピュータ生成情報をユーザに提示する少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂを提供する。詳細には、ヘッドマウントディスプレイ１０５は、ロジックハウジング１０９、シースルーディスプレイ１１１、及びフレーム１１３を含む。ロジックハウジング１０９及びシースルーディスプレイ１１１は、それぞれ、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂを生成及び提示するために使用される。フレーム１１３は、シースルーディスプレイ１１１及びロジックハウジング１０９を保持するために使用される。フレーム１１３は、シースルーディスプレイ１１１及びロジックハウジング１０９を保持するのに十分頑丈な任意のプラスチック、金属、又は他の材料から作成され得る。いくつかの実施形態に関して、フレーム１１３はまた、シースルーディスプレイ１１１とロジックハウジング１０９との間の電子的及び／又は磁気的接続を提供する材料から作成される。

図１のロジックハウジング１０９は、コンピュータ生成情報をヘッドマウントディスプレイ１０５のユーザに提示するために物理ディスプレイ１０３と併用するための少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂを生成、構成、及び提示するために使用される複数の論理ユニットを収容する。ロジックハウジング１０９は、生成ロジック（図示せず）及び提示ユニット（図示せず）を含む
ロジックハウジング１０９により収容される生成ロジックは、グラフィックス処理装置（ＧＰＵ）又はグラフィックスレンダリングを実行する他の回路であり得る。限定ではなく例として、ロジックハウジング１０９内の生成ロジックは、物理ディスプレイ１０３の（以下で説明する）位置情報、（以下で説明する）スクリーン面積、及び（以下で説明する）面位置（surface position）を使用して、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂをレンダリング及び生成するＧＰＵである。生成される仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３のコンピュータグラフィックス表現である。一実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、ロジックハウジング１０９内で見つけられ得る（以下で説明する）算出ロジックにより決定された、物理ディスプレイの位置情報、スクリーン面積、及び面位置に基づいて、ロジックハウジング１０９内の生成ロジックにより生成される。

図１のシースルーディスプレイ１１１は、ロジックハウジング１０９内の生成ロジックにより生成された少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂをヘッドマウントディスプレイ１０５のユーザに提示するために、提示ユニットと併せて、ヘッドマウントディスプレイ１０５により使用される。シースルーディスプレイ１１１は、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂをユーザに提示しながら、さらに、ユーザが物理ディスプレイ１０３を見ることを可能にする。仮想ディスプレイ１０７Ａ〜１０７Ｂのうちの少なくとも１つは、物理ディスプレイ１０３と協働して、コンピュータシステム１０１からのコンピュータ生成情報を拡張デスクトップ内で提示する。この拡張デスクトップは、仮想ディスプレイ１０７Ａ〜１０７Ｂ及び物理ディスプレイ１０３に及ぶ単一のデスクトップである。

上述したように、図１のロジックハウジング１０９は提示ユニットも含む。ロジックハウジング１０９の提示ユニットは、ハードウェア、ソフトウェア、又はこれらの組合せであり得る。ロジックハウジング１０９の提示ユニットは、ロジックハウジング１０９内に存在する他の論理ユニットからの全てのデータを融合し、融合されたデータから、コンピュータ生成情報及び仮想ディスプレイ１０７Ａ〜１０７Ｂのうちの少なくとも１つの最終的な視覚的表現を作成する。提示ユニットにより作成された、コンピュータ生成情報及び仮想ディスプレイ１０７Ａ〜１０７Ｂの最終的な視覚的表現が、シースルーディスプレイ１１１上で、ヘッドマウントディスプレイ１０５のユーザに提示される。

限定ではなく例として、ロジックハウジング１０９の提示ユニットは、人間の眼の前方に配置される又は人間の眼の上に直接配置される、ガラス、プラスチック、又は他の透明物質のレンズ又はピースから作成され、光線を集中させる、変更する、投射する、又は分散させるために使用されるシースルーディスプレイ１１１上に少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂを投影するプロジェクタであり得る。この例において、投影される仮想ディスプレイ１０７Ａ〜１０７Ｂは、ロジックハウジング１０９内の生成ロジックにより生成される。

さらなる非限定的な例に関して、ロジックハウジング１０９の提示ユニットは、ロジックハウジング１０９の生成ロジックにより生成された仮想ディスプレイのうちの少なくとも１つを処理し、仮想網膜ディスプレイ（ＶＲＤ）、網膜スキャンディスプレイ（ＲＳＤ）、又は網膜プロジェクタ（ＲＰ）等のシースルーディスプレイ１１１を使用して、処理結果を出力して、生成された仮想ディスプレイのうちの少なくとも１つをヘッドマウントディスプレイ１０５のユーザの眼の網膜上に直接表示するディスプレイコントローラであり得る。

別の非限定的な例に関して、提示ユニットは、ロジックハウジング１０９の生成ロジックにより生成された仮想ディスプレイ１０７Ａ〜１０７Ｂを処理し、ヘッドマウントディスプレイ１０５のユーザに、仮想ディスプレイ１０７Ａ〜１０７Ｂの視覚的表現が提示されるように、処理結果を使用して、シースルーディスプレイ１１１上にフレームバッファを出力するビデオディスプレイコントローラ（ＶＤＣ）であり得る。さらに別の非限定的な例に関して、提示ユニットは、ロジックハウジング１０９の生成ロジックにより生成された仮想ディスプレイ１０７Ａ〜１０７Ｂのうちの少なくとも１つを処理し、処理された情報を使用して、シースルーディスプレイ１１１上でヘッドマウントディスプレイ１０５のユーザに表示される仮想ディスプレイ１０７Ａ〜１０７Ｂのうちの少なくとも１つの視覚的表現を出力するビデオディスプレイプロセッサ（ＶＤＰ）であり得る。代替例に関して、ロジックハウジング１０９の提示ユニットは、ヘッドマウントディスプレイ１０５のユーザへのコンピュータ生成情報の提示のために、仮想ディスプレイ１０７Ａ〜１０７Ｂのうちの少なくとも１つの視覚的表現をシースルーディスプレイ１１１に出力するビデオ信号生成器であってもよい。

いくつかの実施形態に関して、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂは、ユーザの視覚的視点から、ユーザにより見られている実世界シーンにおける追加のオブジェクトとして、シースルーディスプレイ１１１上で、ヘッドマウントディスプレイ１０５を装着しているユーザに提示される。これらの実施形態に関して、物理ディスプレイ１０３は、ユーザにより見られている実世界シーンにおいて配置されている。例えば、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂは、ユーザの視覚的視点から、実世界シーンにおける物理ディスプレイ１０３に隣接して配置される追加のオブジェクトとして、シースルーディスプレイ１１１上で提示され得る。代替的に、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂは、ユーザの視覚的視点から、実世界シーンにおける物理ディスプレイ１０３の上に重ね合わされる追加のオブジェクトとして、シースルーディスプレイ１１１上で提示されてもよい。

いくつかの実施形態に関して、コンピュータ生成情報は、物理ディスプレイ１０３がヘッドマウントディスプレイ１０５の視野内にある間に限り、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂ及び物理ディスプレイ１０３上の拡張ディスプレイ内でユーザに表示される。これらの実施形態に関して、ヘッドマウントディスプレイ１０５の視野は、加速度計、デジタルコンパス、視覚カメラ、赤外線カメラ、及び、ヘッドマウントディスプレイ１０５及び／又は物理ディスプレイ１０３の物理的操作及び／又は向きコンテキスト（orientation context）に関連するデータを収集する且つ／又はそのような物理的操作及び／又は向きコンテキストに関連するパラメータを測定するのに適した他の物理センサのうちの少なくとも１つにより決定され得る。他の実施形態に関して、物理ディスプレイ１０３は、物理ディスプレイ１０３の位置情報、面位置、及びスクリーン面積が（以下で説明する）算出ロジックにより決定された後に、ヘッドマウントディスプレイ１０５の視野内にあると判定される。

図２は、少なくとも１つの物理ディスプレイとヘッドマウントディスプレイ２２０により提供される少なくとも１つの仮想ディスプレイとを使用して、ユーザへのコンピュータ生成情報の表示を実施するための例示的なマルチディスプレイシステム２００を、概略図で示している。

マルチディスプレイシステム２００は、ヘッドマウントディスプレイ２２０及びコンピュータシステム２２２を含む。図２のコンピュータシステム２２２は、物理ディスプレイ２０２を含む。単純さの目的のため、コンピュータシステム２２２の他の要素は図示されていない。物理ディスプレイ２０２は、コンピュータシステム２２２のコンピュータ生成情報を提示するために使用される物理ディスプレイである。

図２のヘッドマウントディスプレイ２２０は、ヘッドマウントディスプレイ２２０の位置を決定し、ヘッドマウントディスプレイ２２０の決定された位置に少なくとも基づいて、物理ディスプレイ２０２の位置を決定し、物理ディスプレイ２０２の決定された位置に少なくとも基づいて、物理ディスプレイ２０２の面位置及びスクリーン面積を決定し、ヘッドマウントディスプレイ２２０の決定された位置と、物理ディスプレイ２０２の決定された位置と、物理ディスプレイ２０２の決定された面位置と、物理ディスプレイ２０２の決定されたスクリーン面積と、を生成ロジック２０６に提供する算出ユニット２０４を含む。

ヘッドマウントディスプレイ２２０はまた、生成ロジック２０６、視点ロジック（perspective logic）２０８、関連付けロジック（association logic）２１０、提示ユニット２１８、シースルーディスプレイ２１２、メモリ２１４、及びセンサ２１６を含む。いくつかの実施形態に関して、図１のロジックハウジング１０９は、算出ロジック２０４、生成ロジック２０６、視点ロジック２０８、関連付けロジック２１０、提示ユニット２１８、シースルーディスプレイ２１２、メモリ２１４、及びセンサ２１６のうちの少なくとも１つを収容するために使用される。

図２の算出ユニット２０４に戻ると、ヘッドマウントディスプレイ２２０の位置、並びに、物理ディスプレイ２０２の位置、面位置、及びスクリーン面積は、センサ２１６から得られたデータ及び／又はパラメータを使用して決定される。一実施形態に関して、センサ２１６は、加速度計、デジタルコンパス、視覚カメラ、赤外線カメラ、及び、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の物理的操作及び／又は向きコンテキストに関連するデータを収集する且つ／又はそのような物理的操作及び／又は向きコンテキストに関連するパラメータを測定するのに適した他の物理センサのうちの少なくとも１つであり得る。

一実施形態に関して、センサ２１６は、ヘッドマウントディスプレイ２２０の位置情報を決定し、物理ディスプレイ２０２の位置情報を決定することにより、ヘッドマウントディスプレイ２２０の位置及び物理ディスプレイ２０２の位置を決定する。位置情報を決定することは、ヘッドマウントディスプレイ２２０の位置を決定すること、ヘッドマウントディスプレイ２２０のユーザの視覚的視点によって決まる、ヘッドマウントディスプレイ２２０の視点向き（viewpoint orientation）を決定すること、ヘッドマウントディスプレイ２２０の決定された位置とヘッドマウントディスプレイ２２０の決定された視点向きとを使用して、物理ディスプレイの複数の頂点（vertices）を決定すること、物理ディスプレイの決定された複数の頂点とヘッドマウントディスプレイ２２０の決定された位置とヘッドマウントディスプレイ２２０の決定された視点向きとを使用して、ヘッドマウントディスプレイ２２０と複数の頂点の各々との間の各距離を決定することを含む。さらに他の実施形態に関して、ヘッドマウントディスプレイ２２０の位置情報を決定することはまた、ヘッドマウントディスプレイ２２０の決定された位置を参照して、物理ディスプレイ２０２の位置を決定することを含む。

一実施形態に関して、センサ２１６は、ヘッドマウントディスプレイ２２０がユーザにより装着されている間に、ヘッドマウントディスプレイ２２０の位置、ヘッドマウントディスプレイ２２０の視点向き、及び物理ディスプレイ２０２の位置を測定するために使用される位置及び方位センサを含む。位置及び方位センサは、ジャイロセンサ、加速度センサ、及び磁気センサのうちの少なくとも１つを含む。

ジャイロセンサは、実世界を近似する平面座標系で測定される、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の３方向（Ｘ、Ｙ、及びＺ）における回転を検出する。加速度センサは、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の３つのＸ方向、Ｙ方向、及びＺ方向における並進動作を検出し、磁気センサは、ヘッドマウントディスプレイ２２０のＸ方向、Ｙ方向、及びＺ方向を使用して、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の３Ｄ位置座標及び視点向きを検出する。いくつかの実施形態に関して、これらのセンサは、それぞれの測定結果をセンサ２１６に出力し、センサ２１６は、この情報を算出ロジック２０４に送信する。これらの実施形態に関して、算出ロジックは、センサ２１６により取得された測定結果を使用して、ヘッドマウントディスプレイ２２０の位置及び視点向き、並びに、物理ディスプレイ２０２の頂点位置を決定する。

さらに他の実施形態に関して、算出ロジックは、センサ２１６により取得された情報を使用して、物理ディスプレイ２０２の各頂点とヘッドマウントディスプレイ２２０との間の各距離を算出する。

いくつかの実施形態に関して、センサ２１６により決定された、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報は、ヘッドマウントディスプレイ２２０の算出ロジック２０４に転送される。別の実施形態に関して、センサ２１６は、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報を決定することに加えて、物理ディスプレイ２０２の頂点の各々の間の各角度を決定することもできる。この実施形態に関して、センサ２１６は、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報に加えて、物理ディスプレイ２０２の頂点の各々の間の各角度も、算出ロジック２０４に転送する。算出ロジック２０４は、物理ディスプレイ２０２の各頂点の間の決定された角度を使用して、センサ２１６により決定された距離の各々を変更する。

センサ２１６は、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報を算出ロジック２０４に転送することに加えて、収集されたデータ及び／又はパラメータを、記憶するためにメモリ２１４に転送する。メモリ２１４については、以下でより詳細に説明する。

図２の算出ロジック２０４に戻ると、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報は、物理ディスプレイ２０２の面位置及びスクリーン面積を算出するために、算出ロジック２０４により使用される。一実施形態に関して、センサ２１６は、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報に加えて、物理ディスプレイ２０２の各頂点の間の角度も、算出ロジック２０４に転送する。この実施形態に関して、算出ロジック２０４は、物理ディスプレイ２０２の各頂点の間の角度を使用して、算出ロジック２０４により算出された面位置及びスクリーン面積のうちの少なくとも１つを変更する。

面位置とは、物理ディスプレイ２０２が存在する平面を指す。この平面は、ヘッドマウントディスプレイ２２０を装着しているユーザにより見られている３次元実世界シーンの２次元アナログ（two-dimensional analogue）である。一実施形態に関して、算出ロジック２０４により算出される面位置は、３次元ユークリッド空間、２次元ユークリッド空間、２次元デカルト座標系、及び３次元デカルト座標系のうちの少なくとも１つに基づく。

スクリーン面積とは、ヘッドマウントディスプレイ２２０を装着しているユーザにより見られている３次元実世界シーンの２次元アナログである平面における物理ディスプレイ２０２の広がりを表現する量を指す。一実施形態に関して、スクリーン面積は、一般的形状の面積を求めるための３次元公式、一般的形状の面積を求めるための２次元公式、及び、面積を求めるために物理ディスプレイ２０２を単位四角形又は単位三角形に分割することのうちの少なくとも１つに基づいて算出される。さらに他の実施形態に関して、物理ディスプレイ２０２が湾曲境界を有する場合、スクリーン面積は、物理ディスプレイ２０２を単位円に分割することに基づいて算出される。物理ディスプレイ２０２のスクリーン面積及び面位置の両方の算出は、当業者により周知であり、したがって、本明細書に記載の技術に限定されるものではないことを理解されたい。

ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報、並びに、物理ディスプレイ２０２の面位置及びスクリーン面積は、算出ロジック２０４により、生成ロジック２０６に転送される。算出ロジック２０４は、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報、並びに、物理ディスプレイ２０２の面位置及びスクリーン面積を生成ロジック２０６に転送することに加えて、収集及び／又は処理されたデータを、記憶するためにメモリ２１４に転送する。メモリ２１４については、以下でより詳細に説明する。

少なくとも１つの仮想ディスプレイ（図１の仮想ディスプレイ１０７Ａ〜１０７Ｂ等）が、算出ロジック２０４から受信されたデータを使用して、生成ロジック２０６により生成される。

生成ロジック２０６は、グラフィックス処理装置（ＧＰＵ）又はグラフィックスレンダリングを実行する他の回路であり得る。一実施形態に関して、生成ロジック２０６は、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報、並びに、物理ディスプレイ２０２の面位置及びスクリーン面積を使用して、グラフィックスレンダリングに必要な複雑な数学的計算及び幾何学的計算を実行する。さらに、生成ロジック２０６は、その計算結果を使用して、少なくとも１つの仮想ディスプレイ（図１の仮想ディスプレイ１０７Ａ〜１０７Ｂ等）をレンダリングする。限定ではなく例として、生成ロジック２０６は、物理ディスプレイ２０２の位置情報、スクリーン面積、及び面位置を使用して、物理ディスプレイ２０２のコンピュータグラフィックス表現である少なくとも１つの仮想ディスプレイを生成及びレンダリングする。

一実施形態に関して、生成ロジック２０６により生成される仮想ディスプレイは、（上述した）センサ２１６及び算出ロジック２０４により決定された、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報に排他的に基づく。他の実施形態に関して、生成ロジック２０６は、ユーザの視覚的視点を決定することができるようにユーザの眼の動きを測定及びトラッキングするためのアイトラッキングセンサ（図示せず）を含む。アイトラッキングセンサから得られたデータは、算出ロジック２０４により収集及び／又は処理されたデータと併せて、生成ロジック２０６により使用されて、個々のユーザの視覚的視点に基づいてヘッドマウントディスプレイ２２０のユーザに提示されることになる少なくとも１つの仮想ディスプレイが生成され得る。アイトラッキングセンサは、組み込みミラー又は磁場センサを有する特別なコンタクトレンズ等の眼取り付け型トラッキング（eye-attached tracking）、又は、瞳孔中心角膜反射技術等の光学的アイトラッキングに基づき得る。ユーザの視覚的視点を決定するためにユーザの眼の動きを算出及び／又はトラッキングする技術は、当業者により周知であり、したがって、本明細書に記載の技術に限定されるものではないことを理解されたい。

いくつかの実施形態に関して、生成ロジック２０６は、アイトラッキングセンサの測定結果、並びに／又は、算出ロジック２０４により収集及び／若しくは処理されたデータに基づいて、物理ディスプレイ２０２のスクリーン面積の倍数であるスクリーン面積を有する仮想ディスプレイを生成する。図４は、生成ロジック（図２の生成ロジック２０６等）により生成された仮想ディスプレイであって、物理ディスプレイのスクリーン面積の倍数であるスクリーン面積を有する仮想ディスプレイの例示的な表現を示している。

図４は、１つの物理ディスプレイ４１３とヘッドマウントディスプレイ４０３により提供された１つの仮想ディスプレイ４１１とを含む例示的なマルチディスプレイシステム４００の図である。マルチディスプレイシステム４００は、物理ディスプレイ４１３を有するコンピュータシステム４０９と、仮想ディスプレイ４１１を提示するヘッドマウントディスプレイ４０３と、を含む。ヘッドマウントディスプレイ４０３を装着しながら、コンピュータシステム４０９の物理ディスプレイ４１３を見ているユーザには、仮想ディスプレイ４１１が提示される。仮想ディスプレイ４１１は、生成ロジック４１３が仮想ディスプレイ４１１を生成した後、提示ユニット（図示せず）により、ヘッドマウントディスプレイ４０３のシースルーディスプレイ４０５上で、ヘッドマウントディスプレイ４０３を装着しているユーザに提示される。仮想ディスプレイ４１１は、算出ユニット（図示せず）及び少なくとも１つのセンサ（図示せず）により取得されたデータに基づいて、生成ロジック４１３により生成される。一実施形態に関して、算出ユニット及び少なくとも１つのセンサは、ヘッドマウントディスプレイ４０３と物理ディスプレイ４１３との間の４つの距離４０７Ａ〜４０７Ｄの各々を決定する。算出ユニット及び少なくとも１つのセンサは、距離４０７Ａ〜４０７Ｄを使用して、ヘッドマウントディスプレイ４０３の位置、物理ディスプレイ４１３の位置、物理ディスプレイ４１３の面位置、及び物理ディスプレイ４１３のスクリーン面積を算出する。他の実施形態に関して、生成される仮想ディスプレイ４１１は、上述したように、算出ユニット及び少なくとも１つのセンサにより収集及び／又は算出されたデータのうちの少なくとも１つを使用して、生成ロジック４１３により生成される。限定ではなく例として、物理ディスプレイ４１３のスクリーン面積が、５４０ｃｍ^２すなわち８３．７平方インチである場合、仮想ディスプレイ４１１は、１０８０ｃｍ^２すなわち１６７．４平方インチのスクリーン面積を有するように、生成ロジック４１３により生成される（これは、物理ディスプレイ４１３の例示的なスクリーン面積を２倍することによって達成される）。

図２に戻ると、生成ロジック２０６により生成された仮想ディスプレイは、視点ロジック２０８に送信される。生成ロジック２０６は、ヘッドマウントディスプレイ２２０の生成された仮想ディスプレイを視点ロジック２０８に転送することに加えて、生成された仮想ディスプレイを、記憶するためにメモリ２１４にも転送する。メモリ２１４については、以下でより詳細に説明する。

視点ロジック２０８は、物理ディスプレイ２０２と生成された仮想ディスプレイとに割り当てられる拡張デスクトップの第１の部分と第２の部分との間の所望相対的ディスプレイ向き（desired relative display orientation）を決定する。ヘッドマウントディスプレイ２２０を装着しているユーザは、自分の頭を動かす又は自分の位置を変えるので、拡張デスクトップの所望相対的ディスプレイ向きが決定される。

この相対的ディスプレイ向きは、マルチディスプレイシステム２００のユーザが、物理ディスプレイ２０２及び少なくとも１つの仮想ディスプレイの拡張デスクトップ内のコンピュータ生成情報を楽に見ることを可能にすることができる。一実施形態に関して、相対的ディスプレイ向きは、（上述した）センサ２１６及び算出ロジック２０４により決定された、ヘッドマウントディスプレイ２２０の位置情報、物理ディスプレイ２０２の位置情報、物理ディスプレイ２０２の面位置、及び物理ディスプレイ２０２のスクリーン面積を使用して、視点ロジック２０８により決定される。相対的ディスプレイ向きは、生成ロジック２０６により生成された少なくとも１つの仮想ディスプレイの実世界位置に対する、実世界における物理ディスプレイ２０２の位置を決定するために使用される。この相対ディスプレイ向きは、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２が、拡張デスクトップを使用して、コンピュータ生成情報をユーザに提示することを可能にする。

さらに他の実施形態に関して、視点ロジック２０８は、例えば、加速度計、デジタルコンパス、視覚カメラ、赤外線カメラ、又は、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の物理的操作及び／又は向きコンテキストに関連するデータを収集する且つ／又はそのような物理的操作及び／又は向きコンテキストに関連するパラメータを測定するのに適した他の物理センサといった物理センサを含む。このような実施形態に関して、この物理センサは、物理ディスプレイ２０２と生成された仮想ディスプレイとに割り当てられる拡張デスクトップの第１の部分と第２の部分との間の所望相対的ディスプレイ向きのインジケーションを提供するために使用される。このインジケーションは、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の傾き、並進、及び回転のうちの少なくとも１つに応じてこの物理センサにより収集されたデータに基づく。

視点ロジック２０８は、所望相対的ディスプレイ向きを関連付けロジック２１０に転送する。視点ロジック２０８は、所望相対的ディスプレイ向きを関連付けロジック２１０に転送することに加えて、所望相対的ディスプレイ向きを、記憶するためにメモリ２１４にも転送する。メモリ２１４については、以下でより詳細に説明する。

関連付けロジック２１０は、物理ディスプレイ２０２、及び生成ロジック２０６により生成された少なくとも１つの仮想ディスプレイ上で提示される拡張デスクトップの第１の部分及び第２の部分を構成する。一実施形態に関して、この構成は、所望相対的ディスプレイ向きを有し、拡張デスクトップが、物理ディスプレイ２０２、及び生成ロジック２０６により生成された仮想ディスプレイ上に同時に一緒になって提供される。別の実施形態に関して、拡張デスクトップは、最初に、物理ディスプレイ２０２上に提供され、次いで、生成ロジック２０６により生成された仮想ディスプレイ上に拡張される。

関連付けロジック２０４による、物理ディスプレイ２０２及び生成された仮想ディスプレイ上の拡張ディスプレイの構成の後、算出ロジック２０４、生成ロジック２０６、視点ロジック２０８、及び関連付けロジック２０４により収集及び／又は処理された全てのデータ及び／又はパラメータが、提示ユニット２１８と、記憶するためにメモリ２１４と、に転送される。メモリ２１４については、以下でより詳細に説明する。

提示ユニット２１８は、ハードウェア、ソフトウェア、又はこれらの組合せであり得る。提示ユニット２１８は、図２の他の論理ユニットにより収集及び／又は取得されたデータを融合し、融合されたデータから、コンピュータ生成情報及び１以上の仮想ディスプレイの最終的な視覚的表現を作成するために使用される。提示ユニット２１８により作成された、コンピュータ生成情報及び１以上の仮想ディスプレイの最終的な視覚的表現が、シースルーディスプレイ２１２上で、ヘッドマウントディスプレイ２２０のユーザに提示される。

限定ではなく例として、提示ユニット２１８は、人間の眼の前方に配置される又は人間の眼の上に直接配置される、ガラス、プラスチック、又は他の透明物質のレンズ又はピースから作成され、光線を集中させる、変更する、投射する、又は分散させるために使用されるシースルーディスプレイ２１２上に少なくとも１つの仮想ディスプレイを投影するプロジェクタであり得る。前述の例に関して、投影される仮想ディスプレイは、生成ロジック２０６により生成され、視点ロジック２０８及び関連付けロジック２１０により、相対的ディスプレイ向きを有するように構成される。

さらなる非限定的な例に関して、提示ユニット２１８は、生成ロジック２０６により生成された仮想ディスプレイのうちの少なくとも１つを処理し、仮想網膜ディスプレイ（ＶＲＤ）、網膜スキャンディスプレイ（ＲＳＤ）、又は網膜プロジェクタ（ＲＰ）等のシースルーディスプレイ２１２を使用して、処理結果を出力して、生成ロジック２０６により生成された仮想ディスプレイのうちの少なくとも１つをヘッドマウントディスプレイ２２０のユーザの眼の網膜上に直接提示するディスプレイコントローラであり得る。

別の非限定的な例に関して、提示ユニット２１８は、生成ロジック２０６により生成された仮想ディスプレイと、視点ロジック２０８及び関連付けロジック２１０の相対的ディスプレイ向きと、を処理し、ヘッドマウントディスプレイ２２０のユーザに、コンピュータ生成情報及び仮想ディスプレイの視覚的表現が提示されるように、処理結果を使用して、シースルーディスプレイ２１２上にフレームバッファを出力するビデオディスプレイコントローラ（ＶＤＣ）であり得る。さらに別の非限定的な例に関して、提示ユニット２１８は、生成ロジック２０６により生成された仮想ディスプレイと、視点ロジック２０８及び関連付けロジック２１０の相対的ディスプレイ向きと、を処理し、処理結果を使用して、シースルーディスプレイ２１２上でヘッドマウントディスプレイ２２０のユーザに表示されるコンピュータ生成情報及び仮想ディスプレイの視覚的表現を出力するビデオディスプレイプロセッサ（ＶＤＰ）であり得る。代替例に関して、提示ユニット２１８は、ヘッドマウントディスプレイ２２０のユーザへのコンピュータ生成情報及び少なくとも１つの仮想ディスプレイの提示のために、生成ロジック２０６、視点ロジック２０８、及び関連付けロジック２１０のうちの少なくとも１つにより生成及び処理された仮想ディスプレイのうちの少なくとも１つの視覚的表現をシースルーディスプレイ２１２に出力するビデオ信号生成器であってもよい。

提示ユニット２１８からの出力は、ヘッドマウントディスプレイ２２０のユーザへの、生成ロジック２０６により生成された少なくとも１つの仮想ディスプレイの提示のために、シースルーディスプレイ２１２に転送される。さらに、提示ユニット２１８の出力は、記憶するためにメモリ２１４にも転送される。メモリ２１４については、以下でより詳細に説明する。

シースルーディスプレイ２１２上で提示される、提示ユニット２１８の出力は、生成ロジック２０６により生成された仮想ディスプレイのうちの少なくとも１つを示す。いくつかの実施形態に関して、生成ロジック２０６により生成された仮想ディスプレイのうちの少なくとも１つは、拡張デスクトップとして物理ディスプレイ２０２と協働するよう構成される。一実施形態に関して、生成ロジック２０６により生成された仮想ディスプレイのうちの少なくとも１つは、視点ロジック２０８及び関連付けロジック２１０によりそれぞれ決定された、相対的ディスプレイ向きの拡張デスクトップの構成された第１の部分と第２の部分とに基づいて、提示ユニット２１８により、シースルーディスプレイ２１２上で提示される。

いくつかの実施形態に関して、生成ユニット２０６により生成された仮想ディスプレイのうちの少なくとも１つは、ユーザにより知覚されている実世界シーンにおける追加のオブジェクトとして、提示ユニット２１８により、シースルーディスプレイ２１２上で、ヘッドマウントディスプレイ２２０を装着しているユーザに提示される。例えば、生成ロジック２０６により生成された仮想ディスプレイは、実世界シーンにおける物理ディスプレイ２０２に隣接して配置される追加のオブジェクトとして、提示ユニット２１８により、シースルーディスプレイ２１２上で提示され得る。代替的に、生成ロジック２０６により生成された仮想ディスプレイは、実世界シーンにおける物理ディスプレイ２０２の上に重ね合わされる追加のオブジェクトとして、提示ユニット２１８により、シースルーディスプレイ２１２上で提示されてもよい。さらに他の実施形態に関して、コンピュータ生成情報は、上述したように、物理ディスプレイ２０２がヘッドマウントディスプレイ２２０の視野内にある間に限り、生成ロジック２０６により生成された仮想ディスプレイ及び物理ディスプレイ２０２に及ぶ拡張デスクトップ内で表示される。

一実施形態に関して、メモリ２１４は、センサ２１６、算出ロジック２０４、生成ロジック２０６、視点ロジック２０８、関連付けロジック２１０、及びシースルーディスプレイ２１２により収集及び／又は処理された全てのデータを記憶するために使用される。

別の実施形態に関して、拡張デスクトップ内でユーザに表示されるコンピュータ生成情報は、ヘッドマウントディスプレイ２２０のメモリ２１４に記憶される。メモリ２１４により記憶されているコンピュータ生成情報は、上述したように、物理ディスプレイ２０２がヘッドマウントディスプレイ２２０の視野内にない場合に限り、提示ユニット２１８により、生成ロジック２０６により生成された少なくとも１つの仮想ディスプレイ（図１の仮想ディスプレイ１０７Ａ〜１０７Ｂ等）内で排他的に提示される。限定ではなく例として、シースルーディスプレイ２１２上で提示されている物理ディスプレイ２０２及び仮想ディスプレイから構成される拡張デスクトップを見ている、ヘッドマウントディスプレイ２２０のユーザが、自分の頭を動かし、物理ディスプレイ２０２が、少なくとも１つの物理センサにより決定された、ユーザの視野内にもはやない場合、メモリ２１４に記憶されている情報が、提示ユニット２１８により、シースルーディスプレイ２１２上で提示されている仮想ディスプレイだけに提示される。メモリ２１４の利点は、物理ディスプレイ２０２がヘッドマウントディスプレイ２２０の視野から除去された後であっても、ヘッドマウントディスプレイ２２０を使用しているユーザが、拡張デスクトップ内でコンピュータ生成情報を見続けることができることである。

ヘッドマウントディスプレイ２２０の算出ロジック２０４は、任意的に、ヘッドマウントディスプレイ２２０の位置情報、物理ディスプレイ２０２の位置情報、物理ディスプレイ２０２の面位置、及び物理ディスプレイ２０２のスクリーン面積を再決定してもよい。この再決定は、物理ディスプレイ２０２の物理的動き、ヘッドマウントディスプレイ２２０の物理的動き、及び、ヘッドマウントディスプレイ２２０の位置情報の前の決定と物理ディスプレイ２０２の位置の前の決定と物理ディスプレイ２０２の面位置の前の決定と物理ディスプレイ２０２のスクリーン面積の前の決定とのうちの少なくとも１つから経過した時間期間のうちの少なくとも１つに応じて実行され得る。

いくつかの実施形態に関して、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の物理的動きは、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の傾き、回転、及び並進のうちの少なくとも１つを含む。これらの実施形態に関して、物理ディスプレイ２０２及びヘッドマウントディスプレイ２２０のうちの少なくとも１つの物理的動きの判定は、加速度計、デジタルコンパス、視覚カメラ、赤外線カメラ、ジャイロセンサ、磁気センサ、加速度センサ、及び、ヘッドマウントディスプレイ２２０及び／又は物理ディスプレイ２０２の物理的操作及び／又は向きコンテキストに関連するデータを収集する且つ／又はそのような物理的操作及び／又は向きコンテキストに関連するパラメータを測定するのに適した他の物理センサのうちの少なくとも１つによる決定に基づき得る。いくつかの実施形態に関して、ヘッドマウントディスプレイ２２０及び物理ディスプレイ２０２の位置情報、物理ディスプレイ２０２の面位置、及び物理ディスプレイ２０２のスクリーン面積の再決定は、上述したように、センサ２１６により測定されたデータ及び／又はパラメータに基づき得る。この実施形態に関して、センサ２１６は、ヘッドマウントディスプレイ２２０の位置情報を再決定し、物理ディスプレイ２０２の位置情報を再決定することにより、ヘッドマウントディスプレイ２２０の位置を再決定し、ヘッドマウントディスプレイ２２０の再決定された位置に基づいて、物理ディスプレイ２０２の位置を再決定することができる。

位置情報を再決定することは、ヘッドマウントディスプレイ２２０の位置を再決定すること、ヘッドマウントディスプレイ２２０のユーザの視覚的視点によって決まる、ヘッドマウントディスプレイ２２０の視点向きを再決定すること、ヘッドマウントディスプレイ２２０の再決定された位置とヘッドマウントディスプレイ２２０の再決定された視点向きとを使用して、物理ディスプレイの複数の頂点を再決定すること、物理ディスプレイの再決定された複数の頂点とヘッドマウントディスプレイ２２０の再決定された位置とヘッドマウントディスプレイ２２０の再決定された視点向きとを使用して、ヘッドマウントディスプレイ２２０と複数の頂点の各々との間の各距離を再決定することを含む。さらに他の実施形態に関して、ヘッドマウントディスプレイ２２０の位置情報を再決定することはまた、ヘッドマウントディスプレイ２２０の再決定された位置を参照して、物理ディスプレイ２０２の位置を再決定することを含む。

図３Ａ及び図３Ｂは、少なくとも１つの物理ディスプレイ（図１の物理ディスプレイ１０３等）とヘッドマウントディスプレイ（図１のヘッドマウントディスプレイ１０５等）により提供される少なくとも１つの仮想ディスプレイ（図１の仮想ディスプレイ１０７Ａ〜１０７Ｂ等）とを含むマルチディスプレイシステム（図１のマルチディスプレイシステム１００等）を使用して、コンピュータ生成情報をユーザに表示する例示的な方法３００を示している。例えば、コンピュータ生成情報は、拡張デスクトップとして協働する物理ディスプレイ１０３及び仮想ディスプレイ１０７Ａ〜１０７Ｂを使用して、ユーザに提示される。表示されるコンピュータ生成情報は、オーディオ出力若しくは視覚的出力（例えば、音、テキスト、グラフィックス、ビデオ等）、又は、ユーザがインタラクトできるコンピューティングシステム上でユーザに提示することができる任意の他のタイプの情報であり得る。

図３Ａのブロック３０２において、ヘッドマウントディスプレイ１０５は、ヘッドマウントディスプレイ１０５の位置情報及び物理ディスプレイ１０３の位置情報を決定する。一実施形態に関して、ヘッドマウントディスプレイ１０５及び物理ディスプレイ１０３の位置情報の決定は、上述したように、図２のセンサ２１６及び算出ロジック２０４により実行される。

図３Ａのブロック３０４において、ヘッドマウントディスプレイ１０５は、物理ディスプレイ１０３の位置、面位置、及びスクリーン面積を算出する。一実施形態に関して、物理ディスプレイ１０３の位置、面位置、及びスクリーン面積の算出は、上述したように、図２のセンサ２１６及び算出ロジック２０４により実行される。

図３Ａのブロック３０６において、ヘッドマウントディスプレイ１０５は、任意的に、物理ディスプレイ１０３の各頂点の間の各角度を決定する。一実施形態に関して、物理ディスプレイ１０３の角度の決定は、上述したように、図２のセンサ２１６により実行される。

図３Ａのブロック３０８において、ヘッドマウントディスプレイ１０５は、任意的に、ブロック３０６において決定された角度を使用して、ブロック３０４において算出された面位置及び／又はスクリーン面積を変更する。例えば、この角度は、物理ディスプレイ１０３の各頂点とヘッドマウントディスプレイ１０５との間の対応する距離値の各々についての乗数（multiplier）又は他の重み付け値として機能することができる。この変更が実行されて、物理ディスプレイ１０３の各頂点とヘッドマウントディスプレイ１０５との間の距離の各々を表す変更された距離値が生成される。次いで、これらの変更された距離値が、物理ディスプレイ１０３の頂点の各々とともに使用されて、物理ディスプレイ１０３の変更されたスクリーン面積及び／又は変更された面位置が算出される。一実施形態に関して、物理ディスプレイ１０３の面位置及びスクリーン面積のうちの少なくとも１つの変更は、上述したように、図２の算出ロジック２０４により実行される。

図３Ａのブロック３１０において、ヘッドマウントディスプレイ１０５は、ヘッドマウントディスプレイ１０５上でユーザに表示される少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂを生成する。一実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、図３Ａのブロック３０２〜ブロック３０８において決定された、ヘッドマウントディスプレイ１０５の位置情報、物理ディスプレイ１０３の位置情報、物理ディスプレイ１０３の面位置、及び物理ディスプレイ１０３のスクリーン面積に基づいて生成される。

別の実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、図３Ａのブロック３０２〜ブロック３０８において収集及び／又は処理されたデータと併せて、アイトラッキングセンサから得られたデータに基づいて、ヘッドマウントディスプレイ１０５により生成される。少なくともいくつかのアイトラッキングデータに基づいて仮想ディスプレイ１０７Ａ〜１０７Ｂを生成する利点は、個々のユーザの視覚的視点に基づいて少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂをヘッドマウントディスプレイ１０５のユーザに提示することを可能にすることである。アイトラッキングセンサは、組み込みミラー又は磁場センサを有する特別なコンタクトレンズ等の眼取り付け型トラッキング、又は、瞳孔中心角膜反射技術等の光学的アイトラッキングに基づき得る。ユーザの視覚的視点を決定するためにユーザの眼の動きを算出及び／又はトラッキングする技術は、当業者により周知であり、したがって、本明細書に記載の技術に限定されるものではないことを理解されたい。

他の例示的な実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３のスクリーン面積の倍数であるスクリーン面積と、物理ディスプレイ１０３の面位置の倍数である面位置と、を有する。いくつかの実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂの生成は、上述したように、図２の生成ロジック２０６により実行される。

図３Ａのブロック３１２において、ヘッドマウントディスプレイ１０５は、物理ディスプレイ１０３と生成された仮想ディスプレイ１０７Ａ〜１０７Ｂとに割り当てられる拡張デスクトップの第１の部分と第２の部分との間の所望相対的ディスプレイ向きを決定する。一実施形態に関して、所望相対的ディスプレイ向きは、図３Ａのブロック３０２〜ブロック３０８において決定された、ヘッドマウントディスプレイ１０５の位置情報、物理ディスプレイ１０３の位置情報、物理ディスプレイ１０３の面位置、及び物理ディスプレイ１０３のスクリーン面積に基づく。別の実施形態に関して、所望相対的ディスプレイ向きは、上述したように、図２の視点ロジック２０８により決定される。

図３Ａのブロック３１４において、ヘッドマウントディスプレイ１０５は、図３Ａのブロック３１２において決定された所望相対的ディスプレイ向きを有するように拡張デスクトップを構成する。一実施形態に関して、この構成は、所望相対的ディスプレイ向きの決定に応じて、自動的に実行される。他の実施形態に関して、拡張デスクトップは、物理ディスプレイ１０３及び仮想ディスプレイ１０７Ａ〜１０７Ｂ上にコンピュータ生成情報を同時に一緒に提供するよう構成される。物理ディスプレイ１０３及び仮想ディスプレイ１０７Ａ〜１０７Ｂ上の拡張デスクトップの構成は、例えば、上述したように、図２の関連付けロジック２１０により実行され得る。

図３Ａのブロック３１６において、ヘッドマウントディスプレイ１０５は、ヘッドマウントディスプレイ１０５を装着しているユーザに、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂを提示する。仮想ディスプレイ１０７Ａ〜１０７Ｂは、ヘッドマウントディスプレイ１０５を装着しているユーザにより見られている実世界シーンにおける追加のオブジェクトとして、ヘッドマウントディスプレイ１０５のシースルーディスプレイ上で提示される。さらに、図３Ａのブロック３１６において、ヘッドマウントディスプレイ１０５はまた、ブロック３１２及びブロック３１４においてそれぞれ決定され構成された拡張デスクトップ内でコンピュータ生成情報を提示する。一実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、ユーザがヘッドマウントディスプレイ１０５のシースルーディスプレイを介して見ている間、ユーザにより見られる実世界シーンにおいて混合されているようにユーザには見える。別の実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、実世界シーンにおける物理ディスプレイ１０３に隣接して配置されているようにユーザには見える。例えば、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３の左側に配置されているスクリーンとしてユーザには見える。別の例に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３の右側に配置されているスクリーンとしてユーザには見える。さらに別の例において、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３の下側に配置されているスクリーンとしてユーザには見える。さらに別の例に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３の上側に配置されているスクリーンとしてユーザには見える。さらなる例に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３の左側、物理ディスプレイ１０３の右側、物理ディスプレイ１０３の上側、物理ディスプレイ１０３の下側、及びこれらの任意の他の組合せ又は変形のうちの少なくとも１つに配置されているスクリーンとしてユーザには見える。

他の実施形態に関して、仮想ディスプレイ１０７Ａ〜１０７Ｂは、仮想ディスプレイ１０７Ａ〜１０７Ｂ上の情報と物理ディスプレイ１０３上の情報とがユーザにより同時に見られるように、物理ディスプレイ１０３の上に重ね合わされているようにユーザには見える。例えば、仮想ディスプレイ１０７Ａ〜１０７Ｂは、物理ディスプレイ１０３上にオーバーレイされているスクリーンとしてユーザには見える。（上述した）図４は、物理ディスプレイ（物理ディスプレイ４１３等）の上に重ね合わされている仮想ディスプレイ（仮想ディスプレイ４１１等）を示す例示的な実施形態を提供している。いくつかの実施形態に関して、ヘッドマウントディスプレイ１０５のユーザへの少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂの提示は、例えば、上述したように、図２のシースルーディスプレイ２１２を使用して実行され得る。

図３Ａに戻ると、ブロック３１８において、ヘッドマウントディスプレイ１０５は、物理ディスプレイ１０３がヘッドマウントディスプレイ１０５の視野内にあるかどうかを判定する。物理ディスプレイ１０３がヘッドマウントディスプレイ１０５の視野内にない場合、方法３００は、（以下で説明する）図３Ｂのブロック３２４に進む。物理ディスプレイ１０３がヘッドマウントディスプレイ１０５の視野内にある場合、ブロック３２０において、ヘッドマウントディスプレイ１０５は、ヘッドマウントディスプレイ１０５及び物理ディスプレイ１０３のうちの少なくとも１つの物理的動きがあったかどうかを判定する。いくつかの実施形態に関して、物理ディスプレイ１０３及びヘッドマウントディスプレイ１０５のうちの少なくとも１つの物理的動きの判定は、加速度計、デジタルコンパス、視覚カメラ、赤外線カメラ、ジャイロセンサ、磁気センサ、加速度センサ、及び、ヘッドマウントディスプレイ１０５及び／又は物理ディスプレイ１０３の物理的操作及び／又は向きコンテキストに関連するデータを収集する且つ／又はそのような物理的操作及び／又は向きコンテキストに関連するパラメータを測定するのに適した他の物理センサのうちの少なくとも１つによる決定に基づき得る。他の実施形態に関して、物理的ディスプレイ１０３及びヘッドマウントディスプレイ１０５のうちの少なくとも１つの物理的動きがあったかどうかの判定は、上述したように、図２のセンサ２１６により収集されたデータに基づき得る。

図３のブロック３２０において、物理ディスプレイ１０３及びヘッドマウントディスプレイ１０５のうちの少なくとも１つの物理的動きがあったと方法３００が判定した場合、方法３００は、ブロック３０２に進み、上述したように、物理的ディスプレイ１０３及びヘッドマウントディスプレイ１０５の位置情報を再決定する。いくつかの実施形態に関して、位置情報の再決定は、上述したように、図２のセンサ２１６及び算出ロジック２０４により実行される。図３Ａのブロック３２０において、物理ディスプレイ１０３及びヘッドマウントディスプレイ１０５の物理的動きはなかったと方法３００が判定した場合、方法３００は、（以下で説明する）図３Ａのブロック３２２に進む。

図３Ａのブロック３２２において、ヘッドマウントディスプレイ１０５は、物理ディスプレイ１０３の位置情報及びヘッドマウントディスプレイ１０５の位置情報のうちの少なくとも１つの前の決定以降に予め定められた時間期間が経過したかどうかを判定する。予め定められた時間期間が経過した場合、方法３００は、図３Ａのブロック３０２に戻り、上述したように、物理ディスプレイ１０３及びヘッドマウントディスプレイ１０５の位置情報を再決定する。いくつかの実施形態に関して、位置情報の再決定は、上述したように、図２のセンサ２１６及び算出ロジック２０４により実行される。他の実施形態に関して、ヘッドマウントディスプレイ１０５は、予め定められた時間期間を記憶するために使用されるとともに、算出ロジック（図２の算出ロジック２０４等）に、上述したように、物理ディスプレイ１０３及びヘッドマウントディスプレイ１０５の位置情報を再決定するようにさせるために使用されるタイマロジック（図示せず）を含み得る。

図３Ａのブロック３２２において、予め定められた時間期間が経過していない場合、方法３００は、図３Ａのブロック３１６に戻り、上述したように、少なくとも１つの仮想ディスプレイ１０７Ａ〜１０７Ｂ及び少なくとも１つの物理ディスプレイ１０３を使用して、拡張デスクトップ内でコンピュータ生成情報を提示し続ける。

上記で示唆されているように、物理ディスプレイ１０３がヘッドマウントディスプレイ１０５の視野内にない場合、方法３００は、図３Ｂのブロック３２４に進む。ブロック３２４において、ヘッドマウントディスプレイ１０５は、拡張デスクトップ内で提示されるコンピュータ生成情報が、メモリ（図２のメモリ２１４等）に記憶されているかどうかを判定する。

拡張デスクトップ内で表示されるコンピュータ生成情報がメモリに記憶されている場合、方法３００は、任意的に、図３Ｂのブロック３２６に進んでもよい。ブロック３２６において、ヘッドマウントディスプレイ１０５は、ヘッドマウントディスプレイ１０５の仮想ディスプレイ１０７Ａ〜１０７Ｂ内で排他的に、記憶されている情報を提示する。

拡張デスクトップ内で表示されるコンピュータ生成情報がメモリに記憶されていない場合、又は、ヘッドマウントディスプレイ１０５が、仮想ディスプレイ１０７Ａ〜１０７Ｂ内で排他的に、記憶されている情報を表示する場合、方法３００は、図３Ａのブロック３０２に戻り、上述したように、物理ディスプレイ１０３及びヘッドマウントディスプレイ１０５の位置情報を決定することを開始する。

図５は、少なくとも１つの物理ディスプレイと少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムを使用して、コンピュータ生成情報をユーザに表示する方法を実施するための例示的な処理システムを、ブロック図の形で示している。

データ処理システム５００は、１以上のマイクロプロセッサ５０５に接続されるメモリ５１０を含む。メモリ５１０は、データ、メタデータ、および、１以上のマイクロプロセッサ５０５により実行されるプログラムを記憶するために使用され得る。メモリ５１０は、ＲＡＭ、ＲＯＭ、ＳＳＤ、Ｆｌａｓｈ、ＰＣＭ等の揮発性メモリ及び不揮発性メモリ、並びに他のタイプのデータストレージのうちの１以上を含み得る。メモリ５１０は、内部メモリであってもよいし分散メモリであってもよい。

データ処理システム５００は、ポート、ドックのためのコネクタ、又は、データ処理システム５００を別のデバイス、外部コンポーネント、又はネットワークに接続するための、ＵＳＢインタフェース、ＦｉｒｅＷｉｒｅ（登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｆｉｂｒｅ Ｃｈａｎｎｅｌ等のためのコネクタといったネットワーク及びポートインタフェース５１５を含む。例示的なネットワーク及びポートインタフェース５１５はまた、ＩＥＥＥ８０２．１１トランシーバ、赤外線トランシーバ、Ｂｌｕｅｔｏｏｔｈ（登録商標）トランシーバ、無線セルラ電話トランシーバ（例えば、２Ｇ、３Ｇ、４Ｇ等）といった無線トランシーバ、又は、データ処理システム５００を別のデバイス、外部コンポーネント、又はネットワークに接続し、記憶される命令、データ、トークン等を受信するための別の無線プロトコルを含む。

データ処理システム５００はまた、ディスプレイコントローラ及びディスプレイデバイス５２０と、１以上の入力／出力（Ｉ／Ｏ）デバイス及びインタフェース５２５と、を含む。ディスプレイコントローラ及びディスプレイデバイス５２０は、ユーザのための視覚的ユーザインタフェースを提供する。Ｉ／Ｏデバイス５２５は、ユーザが、データ処理システム５００への入力を提供し、データ処理システム５００からの出力を受け取り、データ処理システム５００との間でデータを別の形で移動させることを可能にする。Ｉ／Ｏデバイス５２５は、マウス、キーパッド、キーボード、タッチパネル、マルチタッチ入力パネル、カメラ、光学スキャナ、オーディオ入力／出力（例えば、マイクロフォン及び／又はスピーカ等）、他の知られているＩ／Ｏデバイス、又はこのようなＩ／Ｏデバイスの組合せを含み得る。１以上のバスを使用して、図５に示される様々なコンポーネントを相互接続することができることが理解されよう。

データ処理システム５００は、拡張デスクトップをユーザに提供する、少なくとも１つの物理ディスプレイと少なくとも１つの仮想ディスプレイとを含むマルチディスプレイシステムのうちの１以上の例示的な表現である。例示的なデータ処理システム５００は、図１のマルチディスプレイシステム１００又は図４のマルチディスプレイシステム４００、図１のコンピュータシステム１０１、図４のコンピュータシステム４０９、図１のヘッドマウントディスプレイ１０５、及び図４のヘッドマウントディスプレイ４０３である。データ処理システム５００は、ビデオヘッドマウントディスプレイ、光学ヘッドマウントディスプレイ、デスクトップコンピュータ、パーソナルコンピュータ、タブレット型デバイス、携帯情報端末（ＰＤＡ）、ＰＤＡのような機能を有するセルラ電話機、Ｗｉ−Ｆｉ（登録商標）ベースの電話機、セルラ電話機を含むハンドヘルドコンピュータ、メディアプレーヤ、エンターテイメントシステム、又は、これらのデバイスの態様又は機能を組み合わせたデバイス（ＰＤＡ及びセルラ電話機が１つのデバイス内で組み合わされたメディアプレーヤ等）であり得る。他の実施形態において、データ処理システム５００は、ネットワークコンピュータ、サーバ、又は、別のデバイス若しくはコンシューマ電子製品内の組み込み処理デバイスであり得る。本明細書で使用されているとき、コンピュータ、デバイス、システム、処理システム、処理デバイス、コンピュータシステム、及び「処理デバイスを備える装置」という用語は、データ処理システム５００と同義で使用され得、上記でリストした例示的な実施形態を含む。

図示されていないさらなるコンポーネントも、データ処理システム５００の一部であり得、所定の実施形態において、図５に示されるコンポーネントよりも少ないコンポーネントが、データ処理システム５００内で使用されることもある。本説明から、本発明の態様は、ソフトウェアにより少なくとも部分的に具現化され得ることが明らかであろう。すなわち、コンピュータ実装方法３００は、コンピュータシステム又は他のデータ処理システム５００のプロセッサ又は処理システム５０５が、メモリ５１０又は他の非一時的なマシン読み取り可能な記憶媒体に含まれている一連の命令を実行したことに応じて、コンピュータシステム又は他のデータ処理システム５００において実行され得る。ソフトウェアは、さらに、ネットワークインタフェースデバイス５１５を用いて、ネットワーク（図示せず）を介して送信又は受信され得る。様々な実施形態において、本実施形態を実装するために、ハードワイヤード回路が、ソフトウェア命令と組み合わせて使用され得る。したがって、本技術は、ハードウェア回路とソフトウェアとのいかなる特定の組合せにも限定されるものではなく、データ処理システム５００により実行される命令に関するいかなる特定のソースにも限定されるものではない。

上述した実施形態の機能のうちの少なくとも一部を提供するプログラムコードを記憶する製品が使用され得る。さらに、上述した実施形態の機能のうちの少なくとも一部を使用して作成されたプログラムコードを記憶する製品が使用され得る。プログラムコードを記憶する製品は、１以上のメモリ（例えば、１以上のフラッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）−スタティックＲＡＭ、ダイナミックＲＡＭ、又はその他−）、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光カード、又は、電子的命令を記憶するのに適した他のタイプの非一時的なマシン読み取り可能な媒体として具現化され得るが、これらに限定されるものではない。さらに、本発明の実施形態は、ＦＰＧＡ、ＡＳＩＣ、プロセッサ、コンピュータ、又はネットワークを含むコンピュータシステムを利用するファームウェア又はハードウェアにより実装され得るが、これらに限定されるものではない。ハードウェア実装又はソフトウェア実装のモジュール及びコンポーネントは、本発明の実施形態を著しく変更することなく、分割され得る又は組み合わされ得る。

本明細書において、ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するシステム及び方法の特定の実施形態が参照されている。上記説明及び図面は、ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するシステム及び方法の例示であり、ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するシステム及び方法を限定するものとして解釈されるべきではない。ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するシステム及び方法のより広範な主旨及び範囲から逸脱することなく、上記実施形態に対する様々な変更が可能であることが明らかであろう。

Claims (18)

1. ヘッドマウントディスプレイ（ＨＭＤ）であって、
   少なくとも１つの仮想ディスプレイを生成する生成ロジックと、
   シースルーディスプレイと、
   前記シースルーディスプレイ上で前記少なくとも１つの仮想ディスプレイを提示する提示ユニットであって、
   前記シースルーディスプレイは、ユーザが、実世界シーンにおいて、前記少なくとも１つの仮想ディスプレイと、物理ディスプレイと、を見ることを可能にするよう構成されており、
   前記少なくとも１つの仮想ディスプレイは、前記実世界シーンにおける追加のオブジェクトとして、前記シースルーディスプレイ上で提示され、
   前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、拡張デスクトップ内でコンピュータ生成情報を提示するために、前記物理ディスプレイと併せて使用される、
   提示ユニットと、
   前記拡張デスクトップ内で提示される前記コンピュータ生成情報を記憶するメモリであって、前記物理ディスプレイが前記ＨＭＤの視野内にない場合に限り、前記の記憶されているコンピュータ生成情報は、前記少なくとも１つの仮想ディスプレイ内で排他的に提示される、メモリと、
   前記ＨＭＤの位置を決定し、
   前記ＨＭＤの前記の決定された位置に少なくとも基づいて、前記物理ディスプレイの位置を決定し、
   前記物理ディスプレイの前記の決定された位置に少なくとも基づいて、前記物理ディスプレイの面位置及びスクリーン面積を決定し、
   前記ＨＭＤの前記の決定された位置、前記物理ディスプレイの前記の決定された位置、前記物理ディスプレイの前記の決定された面位置、及び前記物理ディスプレイの前記の決定されたスクリーン面積を、前記生成ロジックに提供する
   算出ロジックと、
   を備えたＨＭＤ。
2. 前記物理ディスプレイが前記ＨＭＤの視野内にある場合に限り、前記コンピュータ生成情報は、前記拡張デスクトップ内で提示される、請求項１記載のＨＭＤ。
3. 前記算出ロジックは、
   前記物理ディスプレイの物理的動きと、
   前記ＨＭＤの物理的動きと、
   前記ＨＭＤの前記位置の前の決定、前記物理ディスプレイの前記位置の前の決定、前記物理ディスプレイの前記面位置の前の決定、及び前記物理ディスプレイの前記スクリーン面積の前の決定のうちの少なくとも１つから経過した時間期間と、
   のうちの少なくとも１つに応じて、前記ＨＭＤの前記位置、前記物理ディスプレイの前記位置、前記物理ディスプレイの前記面位置、及び前記物理ディスプレイの前記スクリーン面積を再決定する、請求項１記載のＨＭＤ。
4. 前記算出ロジックは、さらに、前記物理ディスプレイの各頂点の間の各角度を決定し、前記算出ロジックは、前記の決定された角度を使用して、前記物理ディスプレイの前記面位置及び前記スクリーン面積のうちの少なくとも１つを変更する、請求項１又は３記載のＨＭＤ。
5. 前記生成ロジックは、前記物理ディスプレイの前記スクリーン面積の倍数であるスクリーン面積を有する前記少なくとも１つの仮想ディスプレイを生成し、アイトラッキングデータが、少なくとも１つのアイトラッキングセンサにより収集され、前記生成ロジックは、
   前記の収集されたアイトラッキングデータと、
   前記ＨＭＤの前記の決定された位置と、
   前記物理ディスプレイの前記の決定された位置と、
   前記物理ディスプレイの前記の決定された面位置と、
   前記物理ディスプレイの前記の決定されたスクリーン面積と、
   のうちの少なくとも１つに基づいて、前記少なくとも１つの仮想ディスプレイを生成する、請求項４記載のＨＭＤ。
6. 前記物理ディスプレイと前記少なくとも１つの仮想ディスプレイとに割り当てられる前記拡張デスクトップの第１の部分と第２の部分との間の所望相対的ディスプレイ向きを決定する視点ロジックと、
   前記所望相対的ディスプレイ向きを有するように、前記拡張デスクトップの前記第１の部分及び前記第２の部分を構成する関連付けロジックであって、前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、前記拡張デスクトップの前記の構成された第１の部分及び第２の部分を提示するために、前記物理ディスプレイと併せて使用される、関連付けロジックと、
   をさらに備えた請求項１記載のＨＭＤ。
7. 前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、前記実世界シーンにおける前記物理ディスプレイに隣接して配置される追加のオブジェクトとして、前記シースルーディスプレイ上で提示される、請求項１記載のＨＭＤ。
8. 前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、前記実世界シーンにおける前記物理ディスプレイの上に重ね合わされる追加のオブジェクトとして、前記シースルーディスプレイ上で提示される、請求項１記載のＨＭＤ。
9. ヘッドマウントディスプレイ（ＨＭＤ）を使用して、少なくとも１つの仮想ディスプレイを生成するステップと、
   前記ＨＭＤ上で前記少なくとも１つの仮想ディスプレイを提示するステップであって、
   前記ＨＭＤは、ユーザが、実世界シーンにおいて、前記少なくとも１つの仮想ディスプレイと、物理ディスプレイと、を見ることを可能にするよう構成されており、
   前記少なくとも１つの仮想ディスプレイは、前記実世界シーンにおける追加のオブジェクトとして、前記ＨＭＤ上で提示され、
   前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、拡張デスクトップ内でコンピュータ生成情報を提示するために、前記物理ディスプレイと併せて使用される、
   ステップと、
   前記拡張デスクトップ内で提示される前記コンピュータ生成情報を記憶するステップであって、前記物理ディスプレイが前記ＨＭＤの視野内にない場合に限り、前記の記憶されているコンピュータ生成情報は、前記少なくとも１つの仮想ディスプレイ内で排他的に提示される、ステップと、
   前記ＨＭＤの位置を決定するステップと、
   前記ＨＭＤの前記の決定された位置に少なくとも基づいて、前記物理ディスプレイの位置を決定するステップと、
   前記物理ディスプレイの前記の決定された位置に少なくとも基づいて、前記物理ディスプレイの面位置及びスクリーン面積を決定するステップと、
   前記ＨＭＤの前記の決定された位置、前記物理ディスプレイの前記の決定された位置、前記物理ディスプレイの前記の決定された面位置、及び前記物理ディスプレイの前記の決定されたスクリーン面積を、前記ＨＭＤに提供するステップと、
   を含むコンピュータ実装方法。
10. 前記物理ディスプレイが前記ＨＭＤの視野内にある場合に限り、前記コンピュータ生成情報は、前記拡張デスクトップ内で提示される、請求項９記載のコンピュータ実装方法。
11. 前記物理ディスプレイの物理的動きと、
    前記ＨＭＤの物理的動きと、
    前記ＨＭＤの前記位置の前の決定、前記物理ディスプレイの前記位置の前の決定、前記物理ディスプレイの前記面位置の前の決定、及び前記物理ディスプレイの前記スクリーン面積の前の決定のうちの少なくとも１つから経過した時間期間と、
    のうちの少なくとも１つに応じて、前記ＨＭＤの前記位置、前記物理ディスプレイの前記位置、前記物理ディスプレイの前記面位置、及び前記物理ディスプレイの前記スクリーン面積を再決定するステップ
    をさらに含む請求項９記載のコンピュータ実装方法。
12. 前記物理ディスプレイの前記位置を決定する前記ステップは、前記物理ディスプレイの各頂点の間の各角度を決定するステップをさらに含み、前記物理ディスプレイの前記面位置及び前記スクリーン面積のうちの少なくとも１つは、前記の決定された角度を使用して変更される、請求項９又は１１記載のコンピュータ実装方法。
13. 前記生成することは、前記物理ディスプレイの前記スクリーン面積の倍数であるスクリーン面積を有する前記少なくとも１つの仮想ディスプレイを生成することを含み、前記生成することは、アイトラッキングデータを収集することを含み、前記生成することは、
    前記の収集されたアイトラッキングデータと、
    前記ＨＭＤの前記の決定された位置と、
    前記物理ディスプレイの前記の決定された位置と、
    前記物理ディスプレイの前記の決定された面位置と、
    前記物理ディスプレイの前記の決定されたスクリーン面積と、
    のうちの少なくとも１つに基づいて、前記少なくとも１つの仮想ディスプレイを生成することを含む、請求項１２記載のコンピュータ実装方法。
14. 前記物理ディスプレイと前記少なくとも１つの仮想ディスプレイとに割り当てられる前記拡張デスクトップの第１の部分と第２の部分との間の所望相対的ディスプレイ向きを決定するステップと、
    前記所望相対的ディスプレイ向きを有するように、前記拡張デスクトップの前記第１の部分及び前記第２の部分を構成するステップであって、前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、前記拡張デスクトップの前記の構成された第１の部分及び第２の部分を提示するために、前記物理ディスプレイと併せて使用される、ステップと、
    をさらに含む請求項９記載のコンピュータ実装方法。
15. 前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、前記実世界シーンにおける前記物理ディスプレイに隣接して配置される追加のオブジェクトとして、前記ＨＭＤ上で提示される、請求項９記載のコンピュータ実装方法。
16. 前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、前記実世界シーンにおける前記物理ディスプレイの上に重ね合わされる追加のオブジェクトとして、前記ＨＭＤ上で提示される、請求項９記載のコンピュータ実装方法。
17. コンピュータ生成情報をユーザに提示するために使用される物理ディスプレイと、
    少なくとも１つの仮想ディスプレイを生成する生成ロジックと、
    ヘッドマウントディスプレイ（ＨＭＤ）であって、
    シースルーディスプレイと、
    前記シースルーディスプレイ上で前記少なくとも１つの仮想ディスプレイを提示する提示ユニットであって、
    前記シースルーディスプレイは、前記ユーザが、実世界シーンにおいて、前記少なくとも１つの仮想ディスプレイと、前記物理ディスプレイと、を見ることを可能にするよう構成されており、
    前記少なくとも１つの仮想ディスプレイは、前記実世界シーンにおける追加のオブジェクトとして、前記シースルーディスプレイ上で提示され、
    前記少なくとも１つの仮想ディスプレイは、前記ユーザの視覚的視点から、拡張デスクトップ内で前記コンピュータ生成情報を提示するために、前記物理ディスプレイと併せて使用される、
    提示ユニットと、
    を備えたＨＭＤと、
    前記拡張デスクトップ内で提示される前記コンピュータ生成情報を記憶するメモリであって、前記物理ディスプレイが前記ＨＭＤの視野内にない場合に限り、前記の記憶されているコンピュータ生成情報は、前記少なくとも１つの仮想ディスプレイ内で排他的に提示される、メモリと、
    前記ＨＭＤの位置を決定し、
    前記ＨＭＤの前記の決定された位置に少なくとも基づいて、前記物理ディスプレイの位置を決定し、
    前記物理ディスプレイの前記の決定された位置に少なくとも基づいて、前記物理ディスプレイの面位置及びスクリーン面積を決定し、
    前記ＨＭＤの前記の決定された位置、前記物理ディスプレイの前記の決定された位置、前記物理ディスプレイの前記の決定された面位置、及び前記物理ディスプレイの前記の決定されたスクリーン面積を、前記生成ロジックに提供する
    算出ロジックと、
    を有するシステム。
18. 前記算出ロジックは、
    前記物理ディスプレイの物理的動きと、
    前記ＨＭＤの物理的動きと、
    前記ＨＭＤの前記位置の前の決定、前記物理ディスプレイの前記位置の前の決定、前記物理ディスプレイの前記面位置の前の決定、及び前記物理ディスプレイの前記スクリーン面積の前の決定のうちの少なくとも１つから経過した時間期間と、
    のうちの少なくとも１つに応じて、前記ＨＭＤの前記位置、前記物理ディスプレイの前記位置、前記物理ディスプレイの前記面位置、及び前記物理ディスプレイの前記スクリーン面積を再決定するよう構成されている、請求項１７記載のシステム。
    

Images