JP6526054B2 - プライベート追跡ヘッドアップディスプレイとしての第２画面の使用 - Google Patents

Description

本発明は、インタラクティブアプリケーションを提示する追加の画面領域を提供するための方法及びシステムに関する。

コンピューティング世界は、長年にわたって多くの発展を経験してきた。計算能力の拡張に伴い、マルチタスクに対する要求も生じてきた。マルチタスキングの一部として、ユーザは、コンピューティングデバイスに接続されたモニタ上に複数のアプリケーションのウィンドウを開き、さまざまなアプリケーションに同時に作用することができる。別個のウィンドウにおいてますます多くのアプリケーションが開かれているようになっているのに伴い、すべてのウィンドウを同時に表示するのにモニタのディスプレイ範囲が不十分であることが次第に明白になってきている。

モバイルコンピューティングデバイスの計算能力の拡張、かつこれらのデバイス人気の上昇に伴い、モバイルコンピューティングデバイスは、実質的に、さまざまなアプリケーションにアクセスしてそれとインタラクトするための最適なデバイスに次第になってきている。これらのアプリケーションとして、例えば、インタラクティブソーシャルメディアアプリケーション、インタラクティブゲームアプリケーション、検索アプリケーション、電子メールアプリケーションなどがある。

別の成長傾向にあるものとして、テレビゲーム産業がある。計算能力の拡張に伴い、テレビゲームの開発者は、同じように、これらの計算能力の増大を生かすゲームソフトを作り出してきた。この目的を達成するために、テレビゲーム開発者は、高度な演算及び計算を組み込むゲームをコード化して非常に現実的なゲーム体験を生み出すようになってきている。

テレビゲーム産業の発展及びモバイルデバイスを含むさまざまなコンピューティングデバイスの計算能力の拡張に伴い、ユーザは、ますます、モバイルコンピューティングデバイスを使用してテレビゲームとインタラクトすることができるようになった。その結果、テレビゲームの開発者は、ユーザがゲーム機において局所で実行するまたはクラウドゲームシステムを通じてアクセスするゲームサーバにおいて遠隔で実行するテレビゲームにアクセスしてそれとインタラクトできる、モバイルコンピューティングデバイス（または、単に「モバイルデバイス」）内の計算能力の増大を生かすゲームソフトまたはゲームインターフェースをますます開発している。今日のモバイルデバイスは、ユーザがさまざまなアプリケーションとインタラクトできるような、単一デバイスに組み込まれるいくつかの異なるタイプのハードウェアを含む。例えば、モバイルデバイスの多くは、そのようなインタラクションを可能にするための、カラーディスプレイ、カメラ、スピーカ、及び例えば、ボタン、タッチ画面またはスタイラスなどの入力機構を含む。

テレビゲーム産業の成長傾向及び／またはコンピューティングもしくはモバイルデバイスの使用に伴い、ユーザによるマルチタスクを可能にするために、コンピューティングデバイス、モバイルデバイスなどにおいて提供された限定された画面領域を補完することが所望されている。

本発明の実施形態は、このような文脈においてなされたものである。

本発明の実施形態は、コンピューティングデバイスにおいて選択されたコンテンツを表示するディスプレイデバイスの表示領域を拡張するための方法を提供する。プロセス、装置、システム、デバイスまたはコンピュータ可読媒体における方法などの多くの方途で本発明を実施できることを認識すべきである。本発明のいくつかの独創的な実施形態を後述する。

一実施形態において、方法が開示される。この方法は、プライマリディスプレイを有するプライマリコンピューティングデバイスに近接するメガネコンピューティングデバイスの存在を検出することを含む。プライマリコンピューティングデバイスのプライマリディスプレイは、コンテンツを表示するように構成される。メガネコンピューティングデバイスは、セカンダリディスプレイを含む。メガネコンピューティングデバイスは、プライマリコンピューティングデバイスにリンクされる。プライマリディスプレイと相対的なメガネコンピューティングデバイスのビュー方向が検出される。プライマリディスプレイに表示されるコンテンツに加えて、追加のコンテンツが、セカンダリディスプレイに表示される。セカンダリディスプレイは、プライマリディスプレイに表示されたコンテンツの範囲を越えたコンテンツをビューするための、プライマリディスプレイの拡張部としての役目を果たす。

一実施形態において、ビュー方向の変化を検出し、これを使用して、セカンダリディスプレイに提示すべき追加のコンテンツの範囲を画定する。

一実施形態において、プライマリコンピューティングデバイスのカメラを使用してメガネコンピューティングデバイスを追跡することによって、ビュー方向を更新する。

一実施形態において、メガネコンピューティングデバイスは、ユーザの頭部に装着されるように構成され、プライマリコンピューティングデバイスのカメラを使用した頭部追跡によって、ビュー方向を更新する。

一実施形態において、追加のコンテンツの増減に応じて、追加のコンテンツの仮想ディスプレイに対応するセカンダリディスプレイが動的に拡張または収縮する。結果生じたセカンダリディスプレイは、プライマリディスプレイとともに円形の表示領域を形成するように拡張して、コンテンツ及び追加のコンテンツを表示する。

一実施形態において、仮想ディスプレイの増減は、ビュー方向によって画定されたビューオフセット量に基づいて提示される。

一実施形態において、方法が開示される。この方法は、ユーザアカウントに関連する識別子を有するメガネを検出することを含む。メガネは、コンピューティングデバイス及びメガネディスプレイ画面との無線通信を可能にするためのプロセッサを含む。ビュー位置は、メガネがコンピューティングデバイスのメインディスプレイ画面の方を向いているときのメガネに関連する。メガネのビュー位置は、メインディスプレイ画面に関して定められた基準点に関連する。ビュー方向は、基準点に関するメガネについて検出される。検出されたビュー方向に基づいて、追加のコンテンツがメガネディスプレイ画面に表示される。メガネディスプレイ画面は、メインディスプレイ画面の仮想拡張部である。

一実施形態において、コンテンツを表示するためのディスプレイデバイスの表示領域の拡張方法が開示される。この方法によれば、メガネは、コンピューティングデバイスと同期化される。コンピューティングデバイスは、コンピューティングデバイスのメインディスプレイ画面上の別個のウィンドウに表示された複数のアプリケーションを実行し、複数のアイコンを選択するように構成される。同期化によって、コンピューティングデバイスのメインディスプレイ画面と、メガネにおいて画定されたセカンダリディスプレイ画面とをペアリングすることができる。コンピューティングデバイスのメインディスプレイ画面から外に出る一つ以上のアプリケーションウィンドウの動きが検出される。検出に応答して、コンピューティングデバイスのメインディスプレイ画面から外に移動したアプリケーションウィンドウが、メガネのセカンダリディスプレイ画面に自動的に提示される。

一実施形態において、コンピューティングデバイスは、コンピューティングデバイス内において局所でアプリケーションを実行するベースコンピューティングデバイスである。

一実施形態において、コンピューティングデバイスは、クラウドシステム内のクラウドサーバにおいてアプリケーションを実行するように構成される。

一実施形態において、メガネは、コンピューティングデバイスとインタラクトするためのプロセッサ及びネットワーク接続インターフェースを含む。

一実施形態において、メガネのネットワーク接続インターフェースは、コンピューティングデバイスとインタラクトするための無線接続プロトコルを使用する。

一実施形態において、同期化によって、セカンダリディスプレイ画面内に移動したウィンドウとインタラクトするための、コンピューティングデバイスの入力及び出力デバイスの使用が可能になる。

一実施形態において、検出は、メインディスプレイ画面から出た一つ以上のウィンドウの動きの方向及び順序を識別することを含む。方向及び順序は、セカンダリディスプレイ画面内のそれぞれのウィンドウの配置を決める。配置は、配置識別子に関連する。

一実施形態において、メインディスプレイ画面から外に移動したアプリケーションウィンドウは、動きの古い順にセカンダリディスプレイ画面に提示される。

一実施形態において、メインディスプレイ画面から外に移動したアプリケーションウィンドウは、動きの新しい順にセカンダリディスプレイ画面に提示される。

一実施形態において、セカンダリディスプレイ画面に表示されているウィンドウの選択が検出され、それに応答して、選択されたウィンドウが、ユーザのインタラクションのために、セカンダリディスプレイ画面から外に移動して、コンピューティングデバイスのメインディスプレイ画面に戻される。

一実施形態において、セカンダリディスプレイ画面に提示されているウィンドウの選択が検出される。検出に応答して、選択されたウィンドウに表示されたアプリケーションによって、選択されたウィンドウのセカンダリディスプレイ画面内での表示を継続しつつのインタラクションが可能になる。

一実施形態において、セカンダリディスプレイ画面は、レンズ部の一つまたは両方の一部分または全体領域の範囲にわたる。

別の実施形態において、方法が開示される。この方法は、ユーザアカウントに関連する識別子を有するメガネを検出することを含む。メガネは、コンピューティングデバイスとの無線通信を可能にするプロセッサ、及びメガネディスプレイ画面を有する。ビュー位置は、メガネがコンピューティングデバイスのメインディスプレイ画面の方を向いているときのメガネに関連する。メガネのビュー位置は、メインディスプレイ画面に関して提供された基準点に関連する。コンテンツが、メインディスプレイ画面に表示され、追加のコンテンツが、メガネディスプレイ画面に表示される。メガネディスプレイ画面上の追加のコンテンツは、メインディスプレイ画面から離れたメガネのビュー位置の変化が検出されると表示される。メガネディスプレイ画面は、メインディスプレイ画面の仮想拡張部としての役目を果たす。

一実施形態において、メガネの検出が可能になるように、コンピューティングデバイスとメガネとのペアリングが実行される。

一実施形態において、コンピューティングデバイスのメインディスプレイ画面において定められた一つ以上の仮想位置マーカによって基準点が決められる。ビュー位置は、仮想位置マーカの相対座標を使用して決められる。

一実施形態において、ペアリングによって、セカンダリディスプレイ画面に表示されたコンテンツとインタラクトするための、コンピューティングデバイスの入力及び出力デバイスの使用が可能になる。

一実施形態において、コンテンツは、ウィンドウにおいて実行されるアプリケーションのアイコンまたはコンテンツを含む。コンテンツは、別個のウィンドウに表示される。

一実施形態において、メガネディスプレイ画面に表示された追加のコンテンツは、メインディスプレイ画面から移動する。

一実施形態において、追加のコンテンツは、メインディスプレイ画面からの動きの順序及び方向に従いメガネディスプレイ画面上において組織化される。

一実施形態において、セカンダリディスプレイ画面に表示された追加のコンテンツの量に基づいて、セカンダリディスプレイ画面のサイズが動的に調節される。

本発明の他の態様が、本発明の原理の実施例として図示する添付図面と併せて、以下の詳細な説明から明らかになる。

本発明は、以下の添付図面と併せた以下の記述を参照して最もよく理解することができる。

本発明の実施形態による、アプリケーションウィンドウを表示するための追加のディスプレイ領域を提供するのに使用されるコンピューティングシステムの単純なブロック図を図示する。 本発明の種々の実施形態に従う、メガネにおけるセカンダリディスプレイ画面の位置を図示する。 本発明の種々の実施形態に従う、メガネにおけるセカンダリディスプレイ画面の位置を図示する。 本発明の種々の実施形態に従う、メガネにおけるセカンダリディスプレイ画面の位置を図示する。 本発明の種々の実施形態に従う、メガネにおけるセカンダリディスプレイ画面の位置を図示する。 本発明の実施形態に従う、ユーザの視野角及び対応する視線を図示する。 本発明の実施形態に従う、ユーザの視野角及び対応する視線を図示する。 本発明の実施形態に従う、メインディスプレイ画面及びセカンダリディスプレイ画面内のアプリケーションウィンドウの画面表示を図示する。 本発明の実施形態に従う、メインディスプレイ画面及びセカンダリディスプレイ画面内のアプリケーションウィンドウの画面表示を図示する。 本発明の実施形態に従う、メインディスプレイ画面及びセカンダリディスプレイ画面内のアプリケーションウィンドウの画面表示を図示する。 本発明の実施形態による、コンピューティングデバイスに付随するディスプレイデバイスの表示領域を拡張するための、コンピューティングデバイスに通信可能に接続されたメガネ内に追加の画面領域を提供するのに使用される、コンピューティングデバイス内部に配置されたレンダリング領域プロセッサのさまざまなコンポーネントを図示する。 本発明の実施形態による、アプリケーションウィンドウ内にコンテンツを表示するディスプレイデバイスの表示領域を拡張するための、コンピューティングデバイスとメガネとのペアリング中の視野角計算を図示する。 本発明の実施形態による、アプリケーションウィンドウ内にコンテンツを表示するディスプレイデバイスの表示領域を拡張するための、コンピューティングデバイスとメガネとのペアリング中の視野角計算を図示する。 本発明の一実施形態における、仮想画面領域内にかつそこから外に移動するコンテンツに基づく、動的に調節可能なセカンダリディスプレイ画面を図示する。 本発明の一実施形態に従う、メガネを装着しているユーザの視野角に従い表示されるコンテンツを図示する。 本発明の一実施形態に従う、メガネを装着しているユーザの視野角に従い表示されるコンテンツを図示する。 本発明の実施形態による、アプリケーションウィンドウのための追加のレンダリング領域を提供するための、システム内部のプロセスフローを図示する。 本発明の代替的な実施形態による、コンピューティングデバイスのディスプレイ領域から外に移動したアプリケーションウィンドウを表示する仮想画面領域を提供するための、システム内部のプロセスフローを図示する。 本発明の実施形態による、ソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャ、制御デバイス及びハンドヘルデバイスとベースコンピューティングデバイスにおいて実行するコンピュータプログラムとをインターフェース接続するための互換性のあるコンソールを概略的に図示する。

以下の実施形態は、コンピューティングデバイスによって表示のために選択された別個のウィンドウ内にアプリケーションのコンテンツ及びアイコンを表示するためのメガネ内部の追加のディスプレイ領域を提供することによって、ディスプレイデバイスの表示領域を拡張するための方法及びシステムを記述する。本発明の一実施形態において、メガネには、コンピューティングデバイスと接続するためのプロセッサ及びネットワーク相互接続性が装備される。コンピューティングデバイスは、コンピューティングデバイスのユーザによって実行または表示するために選択されたアプリケーションのコンテンツまたはアイコンを表示するためのメインディスプレイ画面を有するモニタを含む。コンテンツは、別個のウィンドウに表示される。接続によって、コンピューティングデバイスに付随するモニタのメインディスプレイ画面と、メガネにおいて画定されたセカンダリディスプレイ画面との同期化が可能になる。選択された一つのウィンドウがコンピューティングデバイスのメインディスプレイ画面から外に移動したときに、コンピューティングデバイスによってその動きが検出され、それに応答して、コンピューティングデバイスは、モニタのメインディスプレイ画面における選択されたウィンドウの表示を停止する。メガネは、モニタのディスプレイ領域から出たウィンドウの動きを検出し、移動したウィンドウをメガネのディスプレイ領域に表示する。メガネ内部に画定されたセカンダリディスプレイ画面は、ユーザのための追加のビューイング及びインタラクション領域を提供することによって、メインディスプレイ画面の仮想拡張部としての役目を果たす。それ故に、本発明の実施形態による方法及び装置を、図面を参照してここに記述する。

しかしながら、これらの具体的な詳細のいくつかまたはすべてを用いずとも本発明を実施できることは当業者には明白であろう。他の例では、本発明を不必要に曖昧にしないように公知のプロセス動作についての詳細には記述しない。

図１は、本発明の一実施形態における、コンピューティングデバイスのモニタのメインディスプレイ画面に追加するアプリケーション（App）またはアイコンウィンドウを表示する追加の領域を提供するためのシステムの単純なブロック図を図示する。システムは、複数のインタラクティブアプリケーションを選択して実行するように構成されたコンピューティングデバイス１０を含む。コンピューティングデバイス１０は、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、またはモバイルコンピューティングデバイスなどのベースコンピューティングデバイスであってもよい。
この実施形態では、コンピューティングデバイスは、コンピューティングデバイス内部の局所でアイコンを選択するまたはインタラクティブアプリケーションを選択して実行することができる。別の実施形態では、コンピューティングデバイス１０は、アプリケーションインターフェース（App i/f）を使用してインターネット２００などのネットワーク上でアクセスされるクラウドサーバ３００においてアイコンを選択するまたは利用できるインタラクティブアプリケーションを実行するように構成される。
一実施形態において、クラウドサーバ３００は、ルータ（図示せず）などのインターネットアクセスポイントを使用してコンピューティングデバイス１０によってアクセスすることができる。一実施形態において、クラウドサーバ３００は、例えば、ゲームサーバ３００ａ、アプリケーションサーバ３００ｂ、コンテンツサーバ３００ｃなどの複数のサーバを含み、複数のアプリケーションを実行し、複数のアイコンを提供することができる。ディスプレイモニタ１００は、有線または無線接続を使用してコンピューティングデバイス１０に通信可能に接続され、メインディスプレイ画面としての役目を果たす。モニタ１００は、テレビ受信機、プロジェクタなどのさまざまなタイプのディスプレイデバイス、または別個のウィンドウ内にインタラクティブアプリケーションを視覚的に表示するのに利用できる任意の他の種類のディスプレイ画面のいずれかであってもよい。

内蔵プロセッサ（図示せず）及び無線相互接続性を持つメガネ１０２が、ペアリングによってコンピューティングデバイス１０に通信可能に接続される。メガネは、セカンダリディスプレイ画面１０２Ａなどのディスプレイ領域を含む。メガネには、メガネ外部の環境を捕捉するためのカメラも装備される。一実施形態において、メガネは、ヘッドアップディスプレイ（ＨＵＤ）であってもよい。別の実施形態では、メガネは、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。なおも別の実施形態では、メガネの代わりに、メガネコンピューティングデバイスを使用して、本明細書に記述するさまざまな実施形態と同じ機能性を提供することができる。
メガネのディスプレイ領域は、レンズ部の一つまたは両方の一部分の範囲にわたることができる。いくつかの実施形態において、メガネのその一部分は、メガネの全体領域の範囲にわたることができる。図１Ａ〜図１Ｄは、セカンダリディスプレイ画面１０２Ａが配置されるメガネ１０２内のさまざまな位置を図示する。例えば、図１Ａに図示するように、セカンダリディスプレイ画面１０２Ａは、ユーザが装着したときに右眼の範囲にわたるレンズ部の右上隅に配置される。代わりに、図１Ｂに図示するように、ディスプレイ領域１０２Ａは、一つの眼（すなわち、右眼）の範囲にわたるレンズ部の中心に、図１Ｃに図示するように、左右のレンズ部（図示せず）の左上隅に、または図１Ｄに図示するように、メガネ１０２の全表面の範囲にわたって配置することができる。
図１Ｄの場合は、ディスプレイ領域は、ユーザが、あるモードにおいて、第二のモードに切り替えることによって、ユーザがその視点から目をそらす必要なく、種々のアプリケーションまたはアイコンウィンドウが提供する画像を視認できる、データを提示する透明なディスプレイであってもよい。この場合は、ユーザは、現実世界と仮想世界との間を移行することによって、メガネのプロセッサによって投影された適切なデータを視認することができる。メガネは、ユーザがあるモードから別のモードに切り替えるまたは移行することができる、メガネの側面に取り付けられたタッチパッドなどの一つ以上の入力デバイスを含むことができる。
タッチパッドは、他のユーザインタラクションにも使用することができる。例えば、タッチパッドを使用して、メガネとコンピューティングデバイスとをペアリングし、メガネとコンピューティングデバイス１０とを同期化することができる。一実施形態において、同期化は、メガネコンピューティングデバイスまたはメガネと、プライマリコンピューティングデバイスとをペアリングして、モニタ１００のメインディスプレイ画面と、メガネにおいて画定されたセカンダリディスプレイ画面１０２Ａとを同期化することを含む。ディスプレイ画面の同期化に加えて、一実施形態において、同期化によって、メガネのセカンダリディスプレイ画面に表示されたコンテンツとのインタラクションのために、コンピューティングデバイス１０の入力デバイスの使用が可能になる。別の実施形態では、同期化は、コンピューティングデバイス１０の入力デバイスとメガネの入力デバイスとの同期化を含むことができる。

コンピューティングデバイス１０に付随する入力デバイスが、実行するための一つ以上のインタラクティブアプリケーション、または表示するためのアイコンを選択するために使用される。アプリケーションの選択または実行に応答して、ユーザがアプリケーションウィンドウに表示されたアプリケーションまたはアイコンのいずれかとインタラクトできるように、一つ以上のアプリケーションのコンテンツまたはアイコンを、モニタ１００のメインディスプレイ画面における別個の「アプリケーション」ウィンドウに表示することができる。各アプリケーションウィンドウは、コンピューティングデバイス１０において実行するために選択されるアイコンのコンテンツまたはアプリケーションのコンテンツを表示するように設計される。
インタラクティブアプリケーションまたはアイコンは、コンピューティングデバイス１０において局所で利用できる、またはクラウドサーバにおいて利用できる。クラウドにおいてアプリケーションを利用できる場合には、コンピューティングデバイス１０は、アプリケーションのコピーを取得し、コンピューティングデバイス内部の局所でそれを実行することができる。代わりに、アプリケーションをクラウドにおいて実行し、そしてコンテンツを表示し、アプリケーションインターフェースを使用したアプリケーションとのインタラクションを可能にするために、アプリケーションウィンドウを、コンピューティングデバイスによってモニタのメインディスプレイ画面に提供することができる。同様に、コンピューティングデバイスは、アイコンのコピーを取得し、モニタのメインディスプレイ画面にそれを表示することができる。

インタラクションの一部として、ユーザは、モニタ１００に表示されたアプリケーションウィンドウを選択し、それをモニタのディスプレイ画面から外に移動させることができる。コンピューティングデバイスは、その動きを検出し、選択されたインタラクティブアプリケーションのアプリケーションウィンドウを、モニタ１００のメインディスプレイ画面から自動的に削除する。同時に、メガネが、メガネのディスプレイ領域（すなわち、セカンダリディスプレイ画面）内へのアプリケーションウィンドウの動きを検出する。セカンダリディスプレイ画面は、アプリケーションウィンドウを表示するための追加のディスプレイ領域を提供することによって、モニタの表示領域の拡張部としての役目を果たす。

ユーザの視点に基づいてユーザに提示されるアプリケーションウィンドウを表示するディスプレイ画面を、図１−１及び図１−２を参照して例証する。図１−１に図示するように、ユーザの視点が通常であるとき（すなわち、ユーザが線「Ａ１」に図示するように真っすぐ前を見ているとき）には、コンピューティングデバイスに付随するモニタ１００のメインディスプレイ画面１００Ａによって画定されるディスプレイ領域は、点線Ａ１’と点線Ａ１’’との間の領域を包含する通常視野角「α」の範囲にわたって提示される。
図１−２の線Ａ２に図示するように、点線Ａ２’と点線Ａ２’’との間の領域を包含する視野角「β」の範囲にわたるように、ユーザの視点が上方にシフトすると、メガネ１０２のディスプレイ範囲において画定されたセカンダリディスプレイ画面１０２Ａがユーザに提示される。ユーザは、モニタ１００のメインディスプレイ領域１００Ａに追加される補助的なセカンダリディスプレイ画面として、メガネ１０２のディスプレイ領域１０２Ａを使用することができる。図１、図１−１及び図１−２に図示する実施形態では、コンピューティングデバイスは、メガネとペアリングされ、適切なディスプレイ画面領域、すなわち、モニタのメインディスプレイ画面領域またはメガネのセカンダリディスプレイ画面領域のいずれかを提示するためにユーザの注視方向が使用される。

モニタのメインディスプレイ画面領域は、主に、実行するためにまたはメガネを装着しているユーザのために選択されたアプリケーションのアイコン及びコンテンツを表示するための別個のアプリケーションウィンドウを提示するのに使用される。ユーザが、ますます多くのアプリケーションを実行し、複数のアイコンを選択すると、アプリケーションの各々のコンテンツ及び／またはアイコンが、モニタのメインディスプレイ画面領域上の別個のウィンドウに提示され、その結果、モニタのメインディスプレイ画面領域でアイコン等が過密となる。
これを緩和するために、ユーザは、メインディスプレイ画面領域から外に出すウィンドウの一つ以上を選択して移動させることができる。その動きに応答して、コンピューティングデバイスが、選択された一つ以上のウィンドウのモニタのメインディスプレイ画面領域における表示を停止し、ペアリングによって、メガネが、その停止動作を検出し、そのウィンドウを、メガネのディスプレイ部において画定されたセカンダリディスプレイ画面に表示する。ユーザは、アプリケーションウィンドウがモニタのメインディスプレイ画面領域に表示されたときのインタラクションと同様の方法で、コンピューティングデバイスに付随する入力デバイスを使用してメガネのセカンダリディスプレイ画面にシフトされたアプリケーションウィンドウとインタラクトすることができる。

図２Ａ〜図２Ｃは、本発明の一実施形態における、モニタのメインディスプレイ画面領域の簡易化したサンプルの画面表示、及びメガネのセカンダリディスプレイ画面を図示する。図２Ａに図示するように、複数のウィンドウ１２０ａ、１２０ｂ、１２０ｃなどが、コンピューティングデバイス１０のモニタ１００のメインディスプレイ画面領域１００Ａに表示される。各ウィンドウは、コンピューティングデバイス１０において局所、またはコンピューティングデバイスによってクラウドサーバにおいてもしくはアイコンのコンテンツにおいて遠隔のいずれかにおいて実行するために選択されたアプリケーションのコンテンツを表示する。
アプリケーションの遠隔実行の場合は、コンピューティングデバイスは、ネットワーク接続性を使用して、インターネットなどのネットワークを通じてクラウドサーバに通信可能に接続される。コンピューティングデバイス１０は、セカンダリディスプレイ画面が配置された、ユーザによって使用されるメガネにも通信可能に接続される。このメガネは、コンピューティングデバイス１０とペアリングするためのプロセッサ及びネットワーク接続性を含む。通信接続の一部として、メガネのディスプレイ部において画定されたセカンダリディスプレイ画面は、コンピューティングデバイスのモニタのメインディスプレイ画面領域と同期化され、これによりそれぞれのディスプレイ画面領域におけるユーザインタラクションが可能になる。

図２Ａに図示するように、ユーザインタラクションの一部として、ウィンドウ１２０ｂが、モニタ１００のメインディスプレイ画面領域１００Ａから外に移動される。コンピューティングデバイス１０において実行されるプログラミング論理が、モニタのメインディスプレイ画面領域から出るウィンドウ１２０ｂの動きを検出し、それに応答して、図２Ｂに図示するように、自動的に、モニタ１００のメインディスプレイ画面領域１００Ａからのウィンドウ１２０ｂの一部分の移動を開始する。同時に、図２Ｂに図示するように、メインディスプレイ画面領域から外に移動したウィンドウの一部分が、メガネ内部の論理によってセカンダリディスプレイ画面に表示するために捕捉される。図２Ｃは、メインディスプレイ画面領域１００Ａにおけるウィンドウ１２０ｂのレンダリングを終了し、同時に、セカンダリディスプレイ画面１０２Ａにおいてウィンドウ１２０ｂをレンダリングすることによる、モニタ領域から出たウィンドウ１２０ｂの動きの完了を図示する。残りのウィンドウ１２０ａ及び１２０ｃは、モニタ１００のメインディスプレイ画面領域１００Ａにおける表示を継続する。

一実施形態において、ユーザの継続的なインタラクションの一部として、ユーザは、メガネのセカンダリディスプレイ画面に表示される特定のウィンドウを選択する。この実施形態では、ユーザ選択によって、選択されたウィンドウは、セカンダリディスプレイ画面における表示を停止し、代わりに、モニタのメインディスプレイ画面領域内での表示を開始する。ウィンドウがモニタのメインディスプレイ画面領域に移動すると、その後のユーザインタラクションは、選択されたウィンドウにおいて実行されるアプリケーション、またはコンテンツ、ディスプレイもしくはその両方に対して変更されるアイコンに対する入力として使用される。別の実施形態では、ユーザの継続的なインタラクションの一部として、特定のアプリケーションまたはアイコンウィンドウのユーザ選択によって、選択されたウィンドウはメガネのセカンダリディスプレイ画面に留まり、ユーザインタラクションは、選択されたウィンドウにおいて実行されるアプリケーション、または選択されたウィンドウにおけるコンテンツ、ディスプレイもしくはその両方における変更を提示するアイコンに対する入力として使用される。

図１、図１−１、図１−２、図２Ａ及び図２Ｂに図示するさまざまな実施形態において、コンピューティングデバイスは、メガネと同期化され、ユーザの眼の動き（メガネにおけるセカンダリディスプレイ画面の配置位置に対して上方、または真っすぐのいずれか）が、適切な画面領域、すなわち、モニタのメインディスプレイ画面領域またはメガネのセカンダリディスプレイ画面領域のいずれかをビューするために使用される。

一実施形態では、ユーザの眼の動きの代わりに、種々の方向を向くユーザの頭部の動きを使用して、モニタのメインディスプレイ画面の一部分、またはメガネにおいて画定されたセカンダリディスプレイ画面の一部分が提供する適切なアプリケーションまたはアイコンウィンドウをユーザに提示することができる。メガネは、第一に、コンピューティングデバイスとペアリングされる。メガネは、ユーザのユーザアカウントに関連する識別子を有する。メガネは、コンピューティングデバイスに無線通信を提供するように構成されたプロセッサを含む。メガネディスプレイ画面が、メガネの少なくとも一部分において画定される。コンピューティングデバイスとユーザのメガネとがペアリングされた後、メガネのビュー位置が確定される。ビュー位置は、ユーザがメガネを装着しているときのユーザの通常視野角を画定する。メガネを装着しているユーザのビュー位置、故に、通常視野角は、メインディスプレイ画面に関して提供された基準点によって確定される。基準点は、メインディスプレイ画面に関して配置された一つ以上の仮想位置マーカによって定められ、メインディスプレイ画面に関する基準点の座標を使用して、メガネについてのビュー位置を確定することができる。次に、通常視野角を使用して、ユーザが頭部をメインディスプレイ画面から離すように移動したときのユーザの視野角のシフトに応答するビューオフセットを計算する。計算したビューオフセットに基づいて、モニタのディスプレイ部のメイン画面領域、またはセカンダリディスプレイ画面によって画定された仮想画面領域のいずれかが提供する適切なコンテンツが提示される。

図３は、本発明の一実施形態による、別個のアプリケーションウィンドウにおけるセカンダリディスプレイ画面において実行するために選択されたアイコンまたはアプリケーションのコンテンツを表示するためのメインディスプレイ画面領域を提示するためにレンダリング領域プロセッサモジュール１５０が実行するコンピューティングデバイスを図示する。別の実施形態では、レンダリング領域プロセッサモジュール１５０は、コンピューティングデバイスに付随するディスプレイデバイスの表示領域を拡張するために、メガネ内部に配置することができる。レンダリング領域プロセッサ１５０は、デバイスシンクロナイザーモジュール１５２、インタラクション検出モジュール１５８、及び視野角計算モジュール１６６などの追加のモジュールを含む。

デバイスシンクロナイザー１５２は、ディスプレイ画面シンクロナイザー１５４、及び入力デバイスシンクロナイザーモジュール１５６を含む。デバイスシンクロナイザー１５２は、第一に、コンピューティングデバイスとメガネとを同期化するのに使用される。メガネにおけるプロセッサ及びインターネット接続性が、コンピューティングデバイスとペアリングするのに使用され、それとの無線通信が可能になる。メガネは、レンズ部範囲の一つまたは両方の一部分において画定されたディスプレイ領域（すなわち、セカンダリディスプレイ画面領域）を含む。ディスプレイ画面シンクロナイザー１５２は、メガネにおいて画定されたセカンダリディスプレイ画面領域と、コンピューティングデバイスに付随するモニタのメインディスプレイ画面領域とを同期化するための必須の構成論理を提供する。同様に、入力デバイスシンクロナイザー１５６は、コンピューティングデバイスの入力デバイスとメガネとを同期化またはペアリングするための構成論理を含む。入力デバイス同期化の一部として、一実施形態において、コンピューティングデバイスの入力デバイスは、メガネのセカンダリディスプレイ画面領域に表示されるウィンドウとインタラクトするために使用することができる。別の実施形態では、同期化またはペアリングの一部として、メガネの入力デバイスは、コンピューティングデバイスの入力デバイスと同期化またはペアリングされる。メガネとコンピューティングデバイスとが同期化またはペアリングされると、レンダリング領域プロセッサが、コンピューティングデバイスのメインディスプレイ画面に関するメガネのビュー位置を計算することによって、メガネを装着しているユーザについての通常視野角を確定する。

一実施形態において、ビュー計算モジュール１６６は、視野角計算モジュール１６８、及び、ある方向に、またはメインディスプレイ画面に関して配置された仮想マーカまたは識別子によって定められた一つ以上の基準点を使用して、ビュー位置を確定する。例えば、視野角計算モジュール１６８内部のディスプレイ基準マーカ処理（または、単に「マーカ処理」）モジュール１６８ａが、コンピューティングデバイスに関連する、中心などの、モニタの画定された部分に関して提供された仮想マーカに関する、メガネを装着しているユーザに関連する初期設定視野角を確定することができる。
別の実施例では、モニタの各々の隅に対応する仮想マーカを使用して、初期設定視野角を確定することができる。モニタの各側面の中心に対応する追加の仮想マーカ、またはモニタの他の部分に対応する仮想マーカをマーカ処理モジュール１６８ａが使用することによって初期設定視野角を確定することができる。マーカ処理モジュール１６８ａは、初期設定視野角の確定において、一つ以上の仮想マーカまたは仮想地点の各座標を使用する。

図４Ａ−１及び図４Ａ−２は、マーカ処理モジュール１６８ａを使用して確定されたビュー位置を計算するための初期設定視野角を図示する。図４Ａ−１に図示するように、マーカ処理モジュール１６８ａは、コンピューティングデバイスのモニタのディスプレイ領域１００Ａの中心に対応する単一の仮想マーカ１００ａに関する初期設定視野角を確定する。代わりに、図４Ａ−２に図示するように、マーカ処理モジュール１６８ａは、複数の仮想マーカまたは仮想ポイントインジケータに関する初期設定視野角を確定することができる。複数の仮想マーカまたは仮想ポイントインジケータを使用する場合には、マーカ処理モジュール１６８ａは、モニタディスプレイ領域の各々の隅に対応する仮想マーカ１００ａ、１００ｂ、１００ｃ及び１００ｄに関する初期設定視野角を確定することができる。例えば、モニタのディスプレイ領域の中心に対応する仮想マーカ１００ｍ、及び／または各側面の中心に対応する仮想マーカ１００ｘ、１００ｘ’、１００ｘ’’などの追加の仮想マーカを初期設定視野角の計算を試みるときに使用しても、メガネを装着しているユーザのビュー位置を確定することができる。メインディスプレイ画面に関する仮想マーカは、ビュー位置の初期設定中にメガネに提供され得る、またはメガネは、メガネを装着しているユーザがメインディスプレイ画面の方を向いているときにコンピューティングデバイスのメインディスプレイ画面の中心または隅を使用することができる。

ユーザは、コンピューティングデバイス内部において局所で、またはクラウドサーバにおいて遠隔で利用できる複数のアプリケーションを実行することを選択できる。各々の選択されたアプリケーションは、モニタのメインディスプレイ画面領域における別個のインタラクティブアプリケーションウィンドウに提示される。ユーザが、実行するためのますます多くのアプリケーションを選択すると、対応するアプリケーションウィンドウが、ユーザのインタラクションのためにメインディスプレイ画面領域に提示される。インタラクションの過程中、ユーザは、アプリケーションウィンドウのいくつかをメインディスプレイ画面領域から外に移動させることを選択できる。この移動によって、選択されたアプリケーションウィンドウのいくつかが、メインディスプレイ画面領域における表示を中断し、代わりに、メガネにおいて画定されたセカンダリディスプレイ画面内での表示を開始する。一実施形態において、図４Ａ−３に図示するように、セカンダリディスプレイ画面は、アプリケーションウィンドウを表示するための、ほぼ３６０度の角度ビュー画面をユーザに提供するレンダリング領域の無限円ループを画定する仮想画面としての役目を果たす。セカンダリディスプレイ画面によって画定された仮想画面のサイズは、メインディスプレイ領域から外に移動したアプリケーションウィンドウに対応するように動的に調節される。実行するために選択されたアプリケーションに加えて、ユーザは、一つ以上のアイコンを表示することも選択できる。選択されたアイコンは、モニタのメインディスプレイ画面領域における別個のアプリケーションウィンドウに表示され、メインディスプレイ画面から外に移動したときに、セカンダリディスプレイ画面領域内での表示を開始する。

モニタのメインディスプレイ画面領域からセカンダリディスプレイ画面へのアプリケーションウィンドウの動きの後に、レンダリング領域プロセッサ１５０は、メインディスプレイ画面領域またはセカンダリディスプレイ画面のいずれかが提供する適切なアプリケーションウィンドウを提示することができる。どのアプリケーションウィンドウをユーザに提示するかを決定するために、視野角計算モジュール１６８内部のビューオフセット計算モジュール１６８ｂが、基準マーカ処理１６８ａによって確定された初期設定視野角に対してユーザの頭部がシフトしたときの、ユーザが装着しているメガネに関連する角度オフセットを確定するのに使用される。
図４Ａ−３に示すように、角度オフセットがゼロであるときには、ユーザのビュー位置は、コンピューティングデバイスのモニタに関する初期設定視野角に位置し、メインディスプレイ画面領域に表示されるアプリケーションウィンドウが、メガネのセカンダリ画面領域に提示される。ユーザが頭部を回転すると、オフセット角度は、それに対応して変化する。視野角計算モジュール１６６が、初期設定視野角に関するオフセット角度「Θ」を計算し、そのオフセット角度Θを使用して、ユーザのためにセカンダリディスプレイ画面に提示するための、仮想画面が提供するウィンドウの対応する部分を決定する。
モニタのメインディスプレイ画面領域に表示された選択されたアプリケーションウィンドウのいくつかが外に移動し、選択されたアプリケーションウィンドウが、仮想画面領域内に移動し、メガネについて記録されたビューオフセットに基づいて、セカンダリディスプレイ画面に表示される。仮想画面によって画定されたレンダリング領域の無限円ループは、メインディスプレイ画面領域及びセカンダリディスプレイ画面領域の両方の範囲にわたり、従って、メインディスプレイ画面において画定された表示領域のシームレス拡張部が提供される。

図４Ｂは、インタラクティブアプリケーションウィンドウを表示するのに使用されるメインディスプレイ画面領域１００Ａ及びセカンダリディスプレイ画面１０２Ａの単純な表示を図示する。メインディスプレイ画面領域１００Ａは、例えば、視野角「α」を包含するユーザの通常初期設定角によって画定された領域を包含する。ユーザの頭部が通常初期設定角「α」から角度「β」、「θ」、「γ」などによって画定されたビューオフセット角度に移動すると、それぞれのビューオフセットに対応する仮想画面が提供するコンテンツが、セカンダリディスプレイ画面においてユーザに提示される。
図４Ｂに図示する実施例において、ビューオフセット「β」では、メインモニタのディスプレイ領域から外に移動したアプリケーションウィンドウ１２０ａを含む仮想画面の一部分を識別することができる。その結果、アプリケーションウィンドウ１２０ａは、ユーザの頭部がビューオフセット「β」の範囲にわたって移動したときには、メガネのディスプレイ画面（すなわち、セカンダリディスプレイ画面領域）においてユーザに提示される。同様に、ユーザの頭部がビューオフセット「θ」の範囲にわたってシフトしたときには、アプリケーションウィンドウ１２０ｂをメガネのディスプレイ画面に表示することができ、以降も同様である。
ユーザの頭部の動きによって確立された視野角に基づいて、適切なアプリケーションウィンドウが、メガネにおいて画定されたディスプレイ画面においてユーザに提示される。実施例として、各々のビューオフセットにおいて一つのみのアプリケーションウィンドウが識別されても、各々のビューオフセットにおいて追加のアプリケーションウィンドウを提示できることに留意すべきである。
対応するディスプレイ領域において表示されたアプリケーションウィンドウは、一つ以上のインタラクティブアプリケーションまたはアイコンが提供するコンテンツを提示する。その結果、適切なアプリケーションウィンドウの表示に加えて、ユーザのインタラクションのために、一つ以上の入力デバイスを利用することができる。例えば、コンピューティングデバイスに関連する、カーソル１２１によって図示されるようなマウス、キーボード（図示せず）などの入力デバイスを、ユーザ選択及びインタラクションのために提供することができる。

ユーザインタラクションは、メインディスプレイ領域または仮想画面領域のいずれかに表示されたアプリケーションウィンドウのユーザ選択を含むことができる。一実施形態において、仮想画面領域におけるアプリケーションウィンドウのユーザ選択によって、矢印１６０に図示するように、選択されたアプリケーションウィンドウが、仮想画面領域からメインモニタのディスプレイ領域に戻るように移動する。選択されたアプリケーションウィンドウにおけるその後のユーザインタラクションは、そこにおいて実行され、コンテンツ及び／またはディスプレイを更新するアプリケーションに対する入力として使用される。そのような更新は、メインモニタのディスプレイ領域においてアプリケーションウィンドウに表示される。

別の実施形態では、ユーザインタラクションによって、選択されたアプリケーションウィンドウを仮想画面領域に維持することができる。この実施形態では、仮想画面領域における特定のアプリケーションウィンドウのユーザ選択及びインタラクションによって、ユーザのプライベートビューイングのために、選択されたアプリケーションウィンドウ（複数可）を保持することができる。その結果、仮想画面領域は、ユーザのためのプライベート画面領域としての役目を果たし、その一方で、メインディスプレイ領域は、公的に見ることができる画面としての役目を果たす。この実施形態では、選択されたアプリケーションウィンドウにおけるさらなるユーザインタラクションが、コンテンツ及び／またはディスプレイを結果として更新する、対応するアプリケーションに対する入力として使用され、そのような更新は、ビューオフセットがそれぞれのアプリケーションウィンドウの位置に対応するときに、メインモニタのディスプレイ領域に表示され、セカンダリディスプレイ画面に提示される。アプリケーションウィンドウは、仮想画面領域における表示を継続し、ユーザインタラクションは、そこにおいて実行されるアプリケーションに対する入力として使用される。更新を含む、アプリケーションまたはアイコンのコンテンツは、メガネのビューオフセットがアプリケーションウィンドウのレンダリング位置に一致したときに、メガネにおいて画定されたセカンダリ画面領域に提示される。

図４Ｃは、一実施形態における、ユーザの頭部の動きに対応するさまざまな視野角における、メインディスプレイ領域及び仮想画面領域の簡易化した画面表示の一つのそのような実施例を図示する。この実施形態では、メガネがユーザの頭部に装着されるように構成され、メガネのビュー方向が、メインディスプレイ画面に付随するコンピューティングデバイスのカメラを使用した頭部追跡によって決定される。仮想画面領域は、ユーザによってメインディスプレイ画面領域から移動された複数のアプリケーションウィンドウを含み、仮想ディスプレイとして提示される。実施形態をインタラクティブアプリケーションの実行に関して記述するが、本教示が、メインまたは仮想ディスプレイ画面領域に表示できるアイコンまたは任意の他のコンテンツに拡大適用できることに留意すべきである。
図４Ｃに図示する実施形態では、例えば、それぞれのアプリケーションウィンドウに表示されるアプリケーションの各々は、テレビゲームに対応する。代わりに、アプリケーションは、ドキュメントレンダリングアプリケーションであってもよい。ユーザ「Ｐ１」は、ユーザの視野角が角度「α」によって画定された初期設定角に対応するときには、ゲーム参加者Ｐ２とテレビゲーム１をプレイする。テレビゲーム１は、コンピューティングデバイスのモニタにおいて画定されたメインディスプレイ領域内のアプリケーションウィンドウ１２０ａに表示される。ユーザの頭部が視野角「β」にシフトすると、ユーザには、テレビゲーム２に対応するアプリケーションウィンドウ１２０ｂが提示され得る。アプリケーションウィンドウ１２０ｂにおいて、ユーザは、ゲーム参加者Ｐ３とテレビゲーム２をプレイし続けることができる。
ユーザの頭部が視野角「θ」にシフトすると、ユーザには、テレビゲーム３を実行しているアプリケーションウィンドウ１２０ｃが提示され得、ユーザは、ゲーム参加者Ｐ４とテレビゲーム３をプレイし続けることができる。テレビゲーム１、２、３などが別個のテレビゲームであってもよいし、種々のプレイヤに対してプレイする同じテレビゲームの異なる事例であってもよいことに留意すべきである。代わりに、各アプリケーションウィンドウが別個のテレビゲームまたは単一のテレビゲームの異なる事例を提示し、ユーザが、一人でインタラクティブテレビゲーム（複数可）をプレイしてもよい。テレビゲーム２、３、４などを仮想画面領域に表示し、その一方で、テレビゲーム１をモニタのメインディスプレイ画面領域に表示することができる。この実施形態では、ユーザは、ゲームが表示される対応するディスプレイ画面領域内部から、（可能な場合は）それぞれのゲーム参加者とインタラクトする。

一実施形態において、ユーザの頭部の動きに基づいてユーザの視野角が変化すると、適切なアプリケーションウィンドウが、メガネのディスプレイ画面領域においてユーザに提示される。一実施形態において、メガネのディスプレイ画面領域は、モニタに提示され、その上、仮想画面領域に移動したアプリケーションウィンドウを提示するのに使用される。ユーザは、例えば、コンピューティングデバイスに付随するマウス、キーボード、コントローラなどの入力デバイスを使用してさまざまなアプリケーションウィンドウとのインタラクトを継続することができる、またはメガネにおいて特徴づけられた入力デバイスを使用することができる。

メインモニタのディスプレイ領域及び仮想画面領域に表示されるアプリケーションウィンドウは、同じサイズであってもよいし、様々なサイズであってもよい。その結果、それぞれのディスプレイ領域におけるアプリケーションウィンドウのレンダリングは、様々なサイズに対応するように調節することができる。さらに、仮想画面領域は、モニタのメインディスプレイ画面領域から移動したアプリケーションウィンドウの数に対応するように調節される。アプリケーションウィンドウの数が増大または減少すると、図４Ａ−３に図示するように、仮想画面領域は、そのサイズを拡張または縮小して、アプリケーションウィンドウを表示するためのディスプレイ領域の無限ループを提供する。

一実施形態において、モニタのメインディスプレイ画面領域から出るアプリケーションウィンドウの動きの方向及び順序が、それらが仮想画面領域に提示されるときの、アプリケーションウィンドウについてのレンダリング順序を決めるために使用される。仮想画面領域におけるウィンドウは、動きの順序及び方向に従いメガネのディスプレイ画面に提示することができる。

図３を再度参照するように、一実施形態において、インタラクション検出モジュール１５８が、アプリケーションウィンドウの特定の一つについてのユーザインタラクションを検出し、モニタのメインディスプレイ画面領域または仮想画面領域のいずれかに表示される特定のアプリケーションウィンドウを更新するのに使用される。選択順序検出器モジュール１６２が、モニタのメインディスプレイ画面領域から仮想画面領域へのアプリケーションウィンドウの動きの順序を識別し、仮想画面領域に移動したアプリケーションウィンドウを動きの順序に従い組織化する。一実施形態において、モニタのメインディスプレイ画面領域から出たアプリケーションウィンドウの動きの順序に基づいて、アプリケーションウィンドウを、古い順に従い仮想画面領域において組織化することができる。別の実施形態では、アプリケーションウィンドウは、新しい順に仮想画面領域内において組織化することができる。

動きの順序に加えて、動きの方向も、アプリケーション仮想画面領域においてウィンドウを組織化及び提示するのに使用できる。インタラクション検出モジュール１５８内の方向検出器モジュール１６０を、動きの方向に基づいて古い順または新しい順のいずれかにおいてアプリケーションウィンドウを組織化するのに使用することができる。
例えば、図４Ｂに図示するように、アプリケーションウィンドウ１２０ａ、１２０ｂ、１２０ｃ、１２０ｋなどは、右側からモニタのメインディスプレイ画面領域から外に移動し、アプリケーションウィンドウ１２０ｆ、１２０ｊ及び１２０ｘは、左側から外に移動し、さらに、アプリケーションウィンドウ１２０ｍ及び１２０ｎは、モニタのメインディスプレイ画面領域内に維持される。それ故に、アプリケーションウィンドウは、横に移動した古い順または新しい順のいずれかに従い、仮想画面領域において組織化され、組織化されたウィンドウが、ビューオフセットに基づいてセカンダリ画面領域に提示される。

仮想画面領域に表示された、及びセカンダリ画面領域にビューされたそれぞれのアプリケーションウィンドウにおけるユーザインタラクションは、ウィンドウ選択検出器モジュール１６４によって検出される。一実施形態において、ユーザインタラクションは、セカンダリディスプレイ画面に提供されたジェスチャの形態であってもよい。例えば、ジェスチャは、１回だけのクリック、ダブルクリック、ドラッグ・アンド・ドロップ・ジェスチャ、音声命令、眼のジェスチャ、視線検出及び選択、またはそれらの二つ以上の組み合わせを含むことができる。ジェスチャのリストは、例示的なものであり、限定的とはみなされないはずである。
追加の選択ジェスチャを、アプリケーション仮想画面領域におけるウィンドウにおいて使用することができる。一実施形態において、ウィンドウ選択検出器モジュール１６４は、ユーザインタラクションに応答して、仮想画面領域における選択されたアプリケーションウィンドウの表示を停止し、モニタのメインディスプレイ画面領域におけるアプリケーションウィンドウの表示を開始し、内部で実行されるアプリケーションに対する入力として、選択されたアプリケーションウィンドウにおけるさらなるインタラクションを使用して、アプリケーションウィンドウに表示されたコンテンツ及び／またはディスプレイを変更するように構成できる。
別の実施形態では、ウィンドウ選択検出器モジュール１６４は、仮想画面領域における特定のアプリケーションウィンドウの選択を検出し、特定のアプリケーションウィンドウに表示されたアプリケーションに対する入力として、その後のユーザインタラクションを使用して、そこに提示されたコンテンツ及び／またはディスプレイを更新するように構成される。この実施形態では、アプリケーションウィンドウは、仮想画面領域内に留まり、モニタのメインディスプレイ画面領域に移動しない。

仮想画面領域内に提示されたアプリケーションウィンドウの各々は、位置インジケータに関連する。位置インジケータは、仮想画面領域について事前に規定された動き順序または位置配置を示すことができる。位置インジケータは、仮想画面領域からメインディスプレイ画面領域にアプリケーションが動いている最中に使用することができる。
例えば、音声認識アプリケーションなどの入力ツールをユーザインタラクションの一部として使用して、位置インジケータを用いて、アプリケーションウィンドウを、仮想画面領域とモニタのメインディスプレイ画面領域との間で移動させることができる。従って、さまざまな実施形態は、ユーザが、メガネの画面領域を最適に使用して、モニタのディスプレイ領域を補完できるように、モニタのメインディスプレイ画面領域の表示領域を拡張するシームレス方式を提供する。

一実施形態において、プライマリコンピューティングデバイスに近接して存在するメガネコンピューティングデバイスが検出される。プライマリコンピューティングデバイスは、コンテンツを表示するための、メインディスプレイ画面などのプライマリディスプレイに付随する。メガネコンピューティングデバイスは、追加のコンテンツを表示するためのセカンダリディスプレイを有する。メガネコンピューティングデバイスは、二つのデバイスをペアリングすることによって、プライマリコンピューティングデバイスにリンクされる。ペアリングによって、プライマリコンピューティングデバイスの入力及び出力デバイスを、メガネコンピューティングデバイスとペアリングすることができる。プライマリコンピューティングデバイスと相対的なメガネコンピューティングデバイスのビュー方向が検出される。ビュー方向を決定するために、メガネコンピューティングデバイスは、プライマリデバイスに関して初期設定される。

初期設定によって、プライマリディスプレイに関して定められた一つ以上の仮想基準点を使用して、プライマリコンピューティングデバイスのプライマリディスプレイの方を向いているときのメガネコンピューティングデバイスの初期視野角またはビュー位置が決定される。次に、ビュー方向が、一つ以上の仮想基準点に関して決定される。
ビュー方向は、メガネコンピューティングデバイスを装着しているユーザの頭部追跡に基づいて、メガネコンピューティングデバイスのビューオフセットを特定する。決定されたビュー方向に基づいて、追加のコンテンツが、メガネコンピューティングデバイスのセカンダリディスプレイに表示され、その一方で、元々のコンテンツは、プライマリコンピューティングデバイスのプライマリディスプレイ内での表示を継続する。
セカンダリ画面は、コンテンツを表示するための増大した領域を提供する、プライマリディスプレイの仮想拡張部としての役目を果たす。いくつかの実施形態において、追加のコンテンツは、ユーザインタラクションを通じてプライマリディスプレイから移動したコンテンツであってもよい。いくつかの実施形態において、セカンダリディスプレイは、ユーザのためのプライベート画面領域としての役目を果たすことができ、追加のコンテンツは、ユーザが公衆の目から隔離されたプライベートを保持することを所望するコンテンツであってもよい。
これらの実施形態では、追加のコンテンツは、プライベート仮想ディスプレイとして表示される。そのコンテンツがプライマリディスプレイまたはセカンダリディスプレイに表示されるアプリケーションは、プライマリコンピューティングデバイス内において局所で、またはアプリケーションサーバにおいて遠隔で実行することができる。アプリケーションサーバは、クラウドシステムの一部であるクラウドサーバであってもよい。いくつかの実施形態において、ビュー方向が連続的な頭部追跡によって更新され、ビュー方向の変化（すなわち、オフセット）を使用して、セカンダリディスプレイに表示する必要がある追加のコンテンツの範囲を決定することができる。頭部追跡は、プライマリコンピューティングデバイスに提供された一つ以上のカメラを使用して実行することができる。

図５は、本発明の実施形態による、インタラクティブアプリケーションのための追加の表示領域を提供するための方法を例証する。この方法は、メガネをコンピューティングデバイスと同期化またはペアリングする工程５１０において開始する。メガネには、コンピューティングデバイスと通信可能に接続するように構成されたプロセッサ及びコネットワーク相互接続性が装備される。コンピューティングデバイスは、別個のアプリケーションウィンドウに表示するための、複数のアイコンまたは他のコンテンツを識別及び選択するように構成される。
コンピューティングデバイスは、コンピューティングデバイス内の局所で利用できる、またはクラウドサーバにおいて遠隔で利用できる複数のアプリケーションであって、その各々が別個のアプリケーションウィンドウに表示されるアプリケーションを実行するようにも構成される。このような目的で、コンピューティングデバイスには、インターネットを通じてクラウドサーバにアクセスするためのインターネット接続性が装備され、そのようなアクセスは、ルータなどのインターネットアクセスポイントを使用して有効にすることができる。
デバイスの同期化またはペアリングは、コンピューティングデバイスのモニタのメインディスプレイ画面領域と、レンズ部の少なくとも一つの一部分において画定されたセカンダリディスプレイ画面とを同期化することを含む。同期化またはペアリングは、モニタのディスプレイ領域またはメガネのセカンダリディスプレイ画面のいずれかに表示される対応するアプリケーションウィンドウ内において実行されるアプリケーションとのインタラクトにコンピューティングデバイスの入力デバイスを使用できるように、入力デバイスを同期化することも含むことができる。

工程５２０において、一つ以上のウィンドウにおけるユーザインタラクションを検出する。ユーザインタラクションは、コンピューティングデバイスのモニタのメインディスプレイ画面から出た一つ以上のウィンドウ領域の動きを含むことができる。一実施形態において、ウィンドウの動きについて、ウィンドウがモニタから移動した動きの順序及び方向または側面も特定することができる。例えば、ユーザインタラクションは、モニタの右側または左側から出た一つ以上のウィンドウの動きを特定することができる。

工程５３０において、コンピューティングデバイスのモニタのメインディスプレイ画面領域から出た一つ以上のウィンドウの動きに応答して、ウィンドウを、コンピューティングデバイスのメインディスプレイ画面領域から削除し、メガネにおいて画定されたセカンダリディスプレイ画面に提示する。一実施形態において、アプリケーションウィンドウがモニタのメインディスプレイ画面領域から外に移動した動きの順序及び側面が、メガネにおいて画定されたセカンダリディスプレイ画面におけるアプリケーションウィンドウの組織化を決定するのに使用される。セカンダリディスプレイ画面は、アプリケーションウィンドウを表示するための、メインディスプレイ画面領域の拡張部としての役目を果たす。

図６は、本発明の実施形態に従う、方法の方法工程を例証する。この方法は、ユーザアカウントに関連する識別子を持つメガネを検出する工程６１０において開始する。メガネは、コンピューティングデバイスと無線で通信できるプロセッサの無線接続性を含む。コンピューティングデバイスは、コンピューティングデバイス内の局所で利用できるまたはクラウドサーバにおいて遠隔で利用できる複数のアイコンを選択し、その上、複数のアプリケーションを実行することができる。遠隔アプリケーションは、インターネットなどのネットワークを通じて検索することができ、局所で、またはアプリケーションインターフェースを使用してクラウドサーバにおいて実行することができる。

工程６２０において、メガネに関連するビュー位置を決定する。ビュー位置は、ユーザがコンピューティングデバイスのメインディスプレイ画面の方を向いているときの、メガネを装着しているユーザの通常視野角を決定することによって計算される。一実施形態において、ビュー位置の初期設定は、メガネに取り付けられたカメラ、またはモニタのメインディスプレイ画面に関して提供された領域である一つ以上の仮想基準点、マーカもしくはインジケータを使用して実行することができる。通常視野角を計算すれば、メガネを装着しているユーザについてのビューオフセットを、通常視野角に関する頭部の位置に基づいて容易に決定することができる。

工程６３０に例証するように、コンテンツを、モニタのメインディスプレイ画面領域に表示し、追加のコンテンツを、メガネにおいて画定されたメガネディスプレイ画面に表示する。メガネディスプレイ画面に表示された追加のコンテンツは、メインディスプレイ画面から離れたメガネのビュー位置の変化の検出に基づいて調節される。一実施形態において、追加のコンテンツは、コンピューティングデバイスのメインディスプレイ画面領域から外に移動し、仮想画面領域に表示されるコンテンツである。仮想画面領域内のコンテンツは、メインディスプレイ画面から離れたメガネのビュー位置の変化を検出したときに、メガネディスプレイ画面に表示される。仮想画面領域は、メインディスプレイ画面の仮想拡張部としての役目を果たし、メガネディスプレイ画面は、仮想画面領域に移動したコンテンツを表示するのに使用される。

前述のさまざまな実施形態は、コンピューティングデバイスによって実行するために選択されたアイコン及びアプリケーションのコンテンツを表示するアプリケーションウィンドウを提示するための仮想ヘッドアップディスプレイ（ＨＵＤ）を画定するための方途を提供する。アプリケーションは、テレビゲーム、ビデオファイル、ワードドキュメントまたは任意の他のアプリケーションであってもよい。セカンダリディスプレイ画面は、頭部の動きを追跡して仮想フローティングＨＵＤを実現できるプライベート画面としての役目を果たすことができる。セカンダリディスプレイ画面は、コンピューティングデバイスのメインディスプレイ画面に画定された表示領域のシームレス拡張部を実現可能である。

図７は、本発明の一実施形態による、インタラクティブアプリケーションを実行及び表示するのに使用できるハードウェア及びユーザインターフェースを図示する。図７は、本発明の実施形態による、ソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスの全体的なシステムアーキテクチャ、制御デバイス及びハンドヘルデバイスとベースコンピューティングデバイスにおいて実行するコンピュータプログラムとをインターフェース接続するための互換性のあるコンソールを概略的に図示する。
プレイステーション３は、インタラクティブアプリケーションを実行及び表示するのに使用されるエンターテイメントデバイスの一実施例であり、例えば、ＰＳ４、ＰＳ Ｖｉｔａなどのより古い及びより新しいバージョンのエンターテイメントデバイス、例えば、パーソナルコンピュータ、スマートフォン、タブレットなどの他のエンターテイメントデバイスを含むインタラクティブアプリケーションの実行及び表示において、他のエンターテイメントデバイスも使用することができる。
システムユニット７００には、システムユニット７００に接続可能なさまざまな周辺デバイスが提供される。システムユニット７００は、セルプロセッサ７２８、ラムバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット７２６、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット７３２を備えたリアリティシンセサイザグラフィックスユニット７３０、及びＩ／Ｏブリッジ７３４を備える。
システムユニット７００は、Ｉ／Ｏブリッジ７３４を通じてアクセスできる、ディスク７４０ａを読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ７４０、及びリムーバブルスロットインハードディスクドライブ（ＨＤＤ）７３６も備える。システムユニット７００は、選択的に、同様に、Ｉ／Ｏブリッジ７３４を通じてアクセスできる、コンパクトフラッシュ(登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ７３８も備える。

Ｉ／Ｏブリッジ７３４は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート７２４、ギガビットイーサネット（登録商標）ポート７２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート７２０、及び最大７つのブルートゥース（登録商標）接続をサポートできるブルートゥース（登録商標）無線リンクポート７１８にも接続される。

動作中、Ｉ／Ｏブリッジ７３４は、すべての無線、ＵＳＢ並びに一つ以上のゲームコントローラ７０２及び７０３からのデータを含むイーサネット（登録商標）データを処理する。例えば、ユーザがゲームをプレイしているときに、Ｉ／Ｏブリッジ７３４は、ブルートゥース（登録商標）リンクを通じてゲームコントローラ７０２及び７０３からのデータを受信し、それ故に、そのデータを、ゲームの現在の状況をそれに応じて更新するセルプロセッサ７２８に導く。

無線、ＵＳＢ及びイーサネット（登録商標）ポートは、ゲームコントローラ７０２及び７０３に加えて、遠隔コントロール７０４、キーボード７０６、マウス７０８、ソニープレイステーションポータブル（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス７１０、アイトイ（登録商標）ビデオカメラ７１２などのビデオカメラ、マイクロホンヘッドセット７１４、及びマイクロホン７１５などの他の周辺デバイスにも接続性を提供する。それ故に、そのような周辺デバイスは、原理上は、システムユニット７００に無線で接続することができる。例えば、ポータブルエンターテイメントデバイス７１０は、Ｗｉ−Ｆｉアドホック接続を通じて通信し、マイクロホンヘッドセット７１４は、ブルートゥース（登録商標）リンクを通じて通信することができる。

これらのインターフェースの提供は、プレイステーション３デバイスも、デジタルビデオレコーダ（ＤＶＲｓ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ボイス・オーバーＩＰ電話、携帯電話、プリンタ及びスキャナなどの他の周辺デバイスと潜在的に互換性があることを意味する。

さらに、レガシーメモリカードリーダ７１６が、ＵＳＢポート７２４を通じてシステムユニットに接続し、プレイステーション（登録商標）またはプレイステーション２（登録商標）デバイスに使用される種類のメモリカード７４８の読み出しを可能にする。

ゲームコントローラ７０２及び７０３は、ブルートゥース（登録商標）リンクを通じてシステムユニット７００に無線で通信する、またはＵＳＢポートに接続することによって、ゲームコントローラ７０２及び７０３の電池を充電するための電力を供給されるようにも動作できる。ゲームコントローラ７０２及び７０３は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永久メモリ、照明球面部、ＬＥＤまたは赤外光などの発光素子、超音波通信のためのマイクロホン及びスピーカ、音響室、デジタルカメラ、内部クロック、ゲーム機と対向する球面部などの認識可能な形状、並びに例えば、ブルートゥース（登録商標）、ＷｉＦｉ（商標）などのプロトコルを使用する無線通信も含むことができる。

ゲームコントローラ７０２は、両手で使用するように設計されたコントローラであり、ゲームコントローラ７０３は、アタッチメントを備えた片手コントローラである。一つ以上のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラは、三次元位置決定に対する感受性を持つ。その結果として、ゲームコントローラのユーザによるジェスチャ及び動きを、従来のボタンまたはジョイスティックでの命令に加えてまたはそれに代えてゲームに対する入力として解釈することができる。選択的に、プレイステーション（商標）ポータブルデバイスなどの、他の無線で実現可能な周辺デバイスをコントローラとして使用することができる。プレイステーション（商標）ポータブルデバイスの場合は、追加のゲームまたはコントロール情報（例えば、制御命令またはライフの数）を、デバイスの画面に提供することができる。他の代替的なまたは補助的な制御デバイス、例えば、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドル及びペダル（図示せず）、または迅速な対応が要求されるクイズゲームのための一つもしくはいくつかの大きなボタン（これも図示せず）などの特注コントローラも使用することができる。

遠隔コントロール７０４も、ブルートゥース（登録商標）リンクを通じてシステムユニット７００と無線で通信するように動作できる。遠隔コントロール７０４は、ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダ７４０の操作、及びディスクコンテンツのナビゲーションに適したコントロールを備える。

ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダ７４０は、従来の録音かつ記録可能なＣＤ、いわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２デバイスと互換性のあるＣＤ−ＲＯＭを読み出すように動作できる。リーダ７４０は、従来の録画かつ記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３デバイスと互換性のあるＤＶＤ−ＲＯＭを読み出すようにも動作できる。リーダ７４０は、さらに、プレイステーション３デバイス、並びに従来の録画かつ記録可能なブルーレイディスクと互換性のあるＢＤ−ＲＯＭを読み出すようにも動作できる。

システムユニット７００は、リアリティシンセサイザグラフィックスユニット７３０を通じて、プレイステーション３デバイスによって生成またはデコードのいずれかをされた音声及び映像を、音声及び映像コネクタを通して、ディスプレイ７４４及び一つ以上のラウドスピーカ７４６を有するモニタまたはテレビ受像機などの音響出力デバイス７４２に供給するように動作できる。音声コネクタ７５０は、従来のアナログ及びデジタル出力を含み、その一方で、映像コネクタ７５２は、コンポーネント映像、Ｓ映像、合成映像、及び一つ以上の高解像度マルチメディア・インターフェース（ＨＤＭＩ（登録商標））出力をさまざまに含むことができる。その結果として、映像出力は、ＰＡＬもしくはＮＴＳＣ、または７２０ｐ、１０８０ｉもしくは１０８０ｐ高解像度などのフォーマットにおけるものであってもよい。

音声処理（生成、デコードなど）は、セルプロセッサ７２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサウンド（ＤＴＳ）、及びブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードをサポートしている。

本実施形態では、ビデオカメラ７１２は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、並びにシステムユニット７００によってデコードするための、イントラ画像ベースのＭＰＥＧ（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）標準などの適切なフォーマットにおいて圧縮されたビデオデータを伝送できるようなハードウェアベースのリアルタイムデータ圧縮及びエンコーディング装置を備える。カメラＬＥＤインジケータが、例えば、悪い照明条件を知らせる、システムユニット７００からの適切な制御データに応答して照射するように配置される。
ビデオカメラ７１２の実施形態は、ＵＳＢ、ブルートゥース（登録商標）またはＷｉ−Ｆｉ通信ポートを通じて、システムユニット７００にさまざまに接続することができる。ビデオカメラの実施形態は、一つ以上の付随するマイクロホンを含み、音声データを伝送することもできる。ビデオカメラの実施形態において、ＣＣＤは、高解像度ビデオキャプチャに適した解像度を有することができる。使用中、ビデオカメラによって捕捉された画像は、例えば、ゲーム内部に組み込むことができる、またはゲームコントロール入力として解釈することができる。別の実施形態では、カメラは、赤外光の検出に適した赤外線カメラである。

通常、システムユニット７００の通信ポートの一つを通じた、ビデオカメラまたは遠隔コントロールなどの周辺デバイスに起こる成功的なデータ通信のために、デバイスドライバなどのソフトウェアの適切なピースを提供する必要がある。デバイスドライバ技術は公知であり、記述した本実施形態にデバイスドライバまたは同様のソフトウェアインターフェースが必要となり得ることを当業者が認識すること以外には、ここには詳細には記述しない。

本発明の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含むさまざまなコンピュータシステム構成とともに実践することができる。本発明は、ネットワークを通じてリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境においても実践することができる。

前述の実施形態を考慮して、本発明を、コンピュータシステムに保存されたデータを伴う、さまざまなコンピュータ実施の工程であって、物理量の物理的処置を必要とする工程に使用できることを理解すべきである。本発明の一部を形成する本明細書に記述する工程のいくつかは、実用的な機械工程である。本発明は、これらの工程を実行するためのデバイスまたは装置にも関連する。装置は、専用コンピュータなどの、要求される目的用に特別に構成することができる。専用コンピュータとして特徴づけられると、コンピュータは、特殊用途の一部ではない他の処理、プログラム実行またはルーチンも実行し、その一方で、依然として特殊用途用に動作することもできる。あるいは、工程は、コンピュータメモリ、キャッシュに保存された、またはネットワークを通じて取得した一つ以上のコンピュータプログラムによって選択的に始動もしくは構成される汎用コンピュータによって処理することができる。データがネットワークを通じて取得されるときには、データは、ネットワーク上の他のコンピュータ、例えば、コンピューティング資源のクラウドによって処理することができる。

本発明の実施形態は、データをある状態から別の状態に変換する機械としても特徴づけることができる。変換データは、ストレージに保存され、その後、プロセッサによって操作することができる。従って、プロセッサは、データをある状況から別の状況に変換する。さらに、方法は、ネットワークを通じて接続できる一つ以上の機械またはプロセッサによって処理することができる。各機械は、データをある状態または状況から別の状態または状況に変換し、そしてデータを処理する、データをストレージに保存する、ネットワークを通じてデータを伝送する、結果を表示する、または結果を別の機械に通信することができる。

一つ以上の本発明の実施形態は、コンピュータ可読媒体に関するコンピュータ可読コードとして組み立てることもできる。コンピュータ可読媒体は、後に、コンピュータシステムによって読み出すことができるようにデータを保存できる任意のデータストレージデバイスである。コンピュータ可読媒体の実施例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的なまたは非光学的なデータストレージデバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分配方式において保存及び実行されるような、ネットワーク結合されたコンピュータシステムを通じて分配されたコンピュータ可読有形媒体を含むことができる。

方法工程を具体的な順序において記述したが、オーバーレイ工程の処理が所望の方途において実行される限り、工程間に他のハウスキーピング動作を実行できること、またはわずかに異なる時間において起こるように工程を調節できること、もしくは処理に関連するさまざまな間隔において処理工程を起こすことができるようにシステムにおいて工程を分配できることを理解すべきである。

前述の発明は、理解を明確にするためにある程度詳細に記述したが、添付の請求項の範囲内においてある程度の変更及び変形が可能なことは明らかであろう。従って、本実施形態は例示的なもので、本発明を限定するものではないと理解されるべきものであり、本発明は本明細書に付与された詳細な説明に限定されず、添付の特許請求の範囲及び均等物内において変更し得るものである。

Claims (31)

1. プライマリディスプレイを有するプライマリコンピューティングデバイスに近接し、ユーザに装着されたメガネコンピューティングデバイスの存在を検出し、前記プライマリコンピューティングデバイスの前記プライマリディスプレイがコンテンツを表示するように構成されており、前記メガネコンピューティングデバイスがセカンダリディスプレイを含み、
   前記メガネコンピューティングデバイスを前記プライマリコンピューティングデバイスにリンクし、このリンクにより前記メガネコンピューティングデバイスの前記セカンダリディスプレイを使用して前記プライマリディスプレイから仮想画面に移動したコンテンツを表示することが可能になり、前記仮想画面のサイズは前記プライマリディスプレイから移動した前記コンテンツに対応して調整され、
   前記メガネコンピューティングデバイスを装着するユーザのビュー方向を前記プライマリディスプレイに対して検出し、前記ビュー方向は、前記ユーザに装着された前記メガネコンピューティングデバイスの前記プライマリディスプレイからの変位オフセットを追跡することで計算され、
   前記コンテンツを前記ユーザの前記検出されたビュー方向に基づいて前記セカンダリディスプレイに表示するために提供し、前記セカンダリディスプレイ上に表示するために提供されるコンテンツが、前記プライマリコンピューティングデバイス上に表示されたコンテンツまたは前記仮想画面内に移動したコンテンツであり、前記セカンダリディスプレイが、前記プライマリディスプレイに表示された前記コンテンツの範囲を越えたコンテンツをビューすることを可能にする前記プライマリディスプレイの拡張部を提供し、
   プロセッサによって実行される、方法。
2. 前記ビュー方向の変化の検出を継続することをさらに含み、前記ビュー方向の変化によって前記セカンダリディスプレイに表示するために提供された前記コンテンツの範囲が変更する、請求項１に記載の方法。
3. 前記ビュー方向が、前記プライマリコンピューティングデバイスのカメラを使用して前記メガネコンピューティングデバイスを追跡することによって更新される、請求項１に記載の方法。
4. 前記メガネコンピューティングデバイスが、ユーザの頭部に装着されるように構成されており、前記ビュー方向が、前記プライマリコンピューティングデバイスのカメラを使用して、前記ユーザが前記メガネコンピューティングデバイスを装着している時の前記ユーザの頭部の動きを追跡することによって更新される、請求項１に記載の方法。
5. 前記仮想画面に移動した前記コンテンツの増減に応じて、前記コンテンツに対応する前記仮想画面が動的に拡張または収縮し、前記仮想画面が、前記プライマリディスプレイとともに円形の表示領域を形成するように拡張する、請求項１に記載の方法。
6. 前記仮想画面に移動した前記コンテンツの一つ以上が、前記ビュー方向によって画定された変位オフセットに基づいて提示される、請求項１に記載の方法。
7. ユーザに装着され、前記ユーザのユーザアカウントに関連する識別子を用いて識別されるメガネを検出し、前記メガネが、コンピューティングデバイスとの無線通信を可能にするためのプロセッサ、及びメガネディスプレイ画面を有し、
   前記コンピューティングデバイスのメインディスプレイ画面の方を向いているときの、前記ユーザに装着された前記メガネの初期ビュー位置を関連付けすることであって、前記メガネの前記初期ビュー位置は前記メインディスプレイ画面に関して定められた基準点に関連付けされ、
   前記メインディスプレイ画面に関連付された前記基準点からの前記メガネの変位オフセットを計算することで、前記基準点に関する使用中の前記メガネのビュー方向を検出し、
   前記検出されたビュー方向に基づいて前記メガネディスプレイ画面上に表示するためのコンテンツを提供することであって、前記メガネディスプレイ画面上に表示するために提供されるコンテンツが、前記メインディスプレイ画面からのコンテンツまたは前記メインディスプレイ画面から仮想画面に移動したコンテンツのいずれかであり、前記メガネディスプレイ画面が前記メインディスプレイ画面の仮想拡張部であり、
   前記プロセッサによって実行される、方法。
8. 前記ビュー方向が、前記コンピューティングデバイスのカメラを使用して、前記基準点に関して、前記ユーザに装着された前記メガネのビュー位置を追跡することによって検出される、請求項７に記載の方法。
9. 前記ユーザに装着された前記メガネのビュー方向の変化の検出を継続することをさらに含み、前記ビュー方向の変化が前記メガネディスプレイ画面に表示するために提供される前記コンテンツにおける変更を生じ、前記コンテンツが現在のビュー方向に対応するように選択される、請求項７に記載の方法。
10. 前記メガネの前記ビュー方向が、前記コンピューティングデバイスのカメラを使用して、前記メガネを前記コンピューティングデバイスに対して追跡することによって決定される、請求項７に記載の方法。
11. 前記メインディスプレイ画面から前記仮想画面に移動した前記コンテンツが、前記メインディスプレイ画面からの動きの方向及び順序に従って前記仮想画面内で別個のウィンドウで組織化される、請求項７に記載の方法。
12. 前記仮想画面が、前記メインディスプレイ画面から移動した前記コンテンツを表示するためのプライベート画面領域を画定し、前記プライベート画面領域内の前記コンテンツには選ばれたユーザアカウントだけにアクセスが提供される、請求項７に記載の方法。
13. 前記仮想画面内に移動したコンテンツの選択を検出することをさらに含み、前記検出によって、前記仮想画面内に維持された前記選択されたコンテンツが前記仮想画面から前記メインディスプレイ画面に自動的に移動し、前記コンピューティングデバイスに提供されたコントロールを使用した前記メインディスプレイ画面における前記選択されたコンテンツとのインタラクションを可能にする、請求項７に記載の方法。
14. コンテンツを表示するためのディスプレイデバイスの表示領域の拡張方法であって、
    メガネとコンピューティングデバイスとを同期化し、前記同期化によって、前記コンピューティングデバイスのメインディスプレイ画面が、前記メガネにおいて画定されたセカンダリディスプレイ画面とペアリングされて前記メインディスプレイ画面から前記セカンダリディスプレイ画面に表示できる仮想画面へのコンテンツの移動が可能となり、前記コンピューティングデバイスが、複数のアプリケーションを実行し、前記コンピューティングデバイスの前記メインディスプレイ画面上に表示する複数のアイコンを選択するように構成され、前記メガネがユーザの頭部に装着されるように構成され、
    前記コンピューティングデバイスの前記メインディスプレイ画面から出るコンテンツの動きを検出し、前記検出によって前記コンテンツが前記メインディスプレイ画面から出て前記メインディスプレイ画面の代わりに前記仮想画面に関連付けられ、
    前記メガネの前記セカンダリディスプレイ画面上に表示するためのコンテンツを提供し、表示するために選択された前記コンテンツが前記ユーザに装着されたメガネに対して検出されたビュー方向に対応しており、前記ビュー方向が前記ユーザに装着されたメガネの前記メインディスプレイ画面からの変位オフセットを決定することにより計算され、前記セカンダリディスプレイ画面上に表示するために提供されたコンテンツが前記メインディスプレイ画面上に表示されたコンテンツまたは前記メインディスプレイ画面から前記仮想画面に移動したコンテンツであり、前記セカンダリディスプレイ画面が前記メインディスプレイ画面の拡張部を提供し、
    プロセッサによって実行される、方法。
15. 前記コンピューティングデバイスが、前記コンピューティングデバイス内部の局所で前記アプリケーションを実行するように構成される、請求項１４に記載の方法。
16. 前記コンピューティングデバイスが、クラウドシステム内のクラウドサーバにおいて前記アプリケーションを実行するように構成される、請求項１４に記載の方法。
17. 前記メガネが、前記コンピューティングデバイスに通信可能に接続するためのプロセッサ及びネットワーク接続インターフェースを含み、前記メガネの前記ネットワーク接続インターフェースが、前記コンピューティングデバイスとインターフェースするための無線接続プロトコルを使用する、請求項１４に記載の方法。
18. 前記同期化によって、前記仮想画面内に移動した前記コンテンツとインタラクトするための、前記コンピューティングデバイスの入力及び出力デバイスの使用が可能になる、請求項１４に記載の方法。
19. 検出が、前記メインディスプレイ画面からの前記コンテンツの動きの方向及び順序を識別することを含み、
    前記方向及び順序を、前記仮想画面において前記コンテンツを組織化するのに使用し、組織化された前記コンテンツが配置識別子に関連する、請求項１４に記載の方法。
20. 前記メインディスプレイ画面から外に移動した前記コンテンツが、前記メインディスプレイ画面からの動きの古い順および新しい順のいずれかに応じて、前記仮想画面において組織化される、請求項１４に記載の方法。
21. 前記仮想画面に表示されているコンテンツの選択を受信することをさらに含み、前記選択によって、前記選択されたコンテンツが、前記仮想画面における表示を停止し、前記コンピューティングデバイスの前記メインディスプレイ画面に表示される、請求項１４に記載の方法。
22. 前記選択が、前記セカンダリディスプレイ画面に関連したコントロールを使用して提供されたジェスチャを通じたものであり、前記ジェスチャが、１回だけのクリック、ダブルクリック、ドラッグ・アンド・ドロップ・ジェスチャ、音声命令、眼のジェスチャ、視線検出及び選択、またはそれらの二つ以上の組み合わせの一つ以上を含む、請求項２１に記載の方法。
23. 前記仮想画面の特定の領域に提示されているコンテンツの選択を受信することをさらに含み、
    前記選択によって、前記仮想画面の前記特定の領域内に表示されたコンテンツに対する更新の提供を継続しつつ、
    前記特定の領域に表示されたコンテンツを提供する前記アプリケーションとのインタラクションを可能にする、請求項１４に記載の方法。
24. 前記セカンダリディスプレイ画面が、前記メガネのレンズ部の一つまたは両方の一部分または全体領域の範囲にわたる、請求項１４に記載の方法。
25. ユーザアカウントに関連する識別子を有するメガネを検出し、前記メガネが、コンピューティングデバイスとの無線通信を可能にするプロセッサ、及びメガネディスプレイ画面を有し、前記メガネがユーザの頭部に装着されるように構成されており、
    前記コンピューティングデバイスのメインディスプレイ画面の方を向いているときの前記メガネの初期ビュー位置を関連付けすることであって、前記メガネの前記初期ビュー位置は前記メインディスプレイに関して定められた基準点に関連付けされ、
    前記メガネディスプレイ画面上に表示するためのコンテンツを提供し、前記メガネディスプレイ画面に表示するために提供された前記コンテンツは、前記ユーザに装着された前記メガネに対して計算されたビュー方向に対応しており、また前記メインディスプレイ画面上に表示されたコンテンツまたは前記メインディスプレイ画面から仮想画面に移動したコンテンツのいずれかであり、前記メガネディスプレイ画面が前記メインディスプレイ画面の仮想拡張部であり、
    前記ビュー方向が前記基準点に対する前記メガネのビュー位置の変更を追跡することにより計算される、方法。
26. 前記メガネの検出が可能になるように、前記コンピューティングデバイスと前記メガネとのペアリングを実行することをさらに含む、請求項２５に記載の方法。
27. 前記ペアリングによって、前記メガネディスプレイ画面に表示された前記コンテンツとインタラクトするための、前記コンピューティングデバイスの入力及び出力デバイスの使用を可能にする、請求項２６に記載の方法。
28. 前記基準点が、前記コンピューティングデバイスの前記メインディスプレイ画面において定められた一つ以上の仮想位置マーカによって決められ、前記初期ビュー位置が、前記一つ以上の仮想位置マーカの相対座標を使用して決められる、請求項２５に記載の方法。
29. 前記コンテンツが、アイコンに関連するコンテンツおよびアプリケーションのコンテンツのいずれかを含み、前記コンテンツが別個のウィンドウに表示される、請求項２５に記載の方法。
30. 前記追加のコンテンツが、前記メインディスプレイ画面からの動きの順序及び方向に従い前記仮想画面内において組織化される、請求項２５に記載の方法。
31. 前記メインディスプレイ画面から移動したコンテンツの量に基づいて、前記仮想画面の表示サイズを動的に調節することをさらに含む、請求項２５に記載の方法。

Images