JP6223965B2 - 立体ビデオ表現のためのコンピュータ・システム及び方法 - Google Patents

Description

本発明は、立体ビデオ表現に関する。

ビデオコンテンツは、２次元又は３次元フォーマットで表現されてよい。３次元ビデオ表現は、視聴者の左目と右目に対して僅かに異なる映像を届けることができるように、しばしばフィルター眼鏡を使用する。そうしたビデオ表現においては、表示された画像が３次元であるように見える一方で、視聴環境の中での視聴者の視点にかかわらず同一の画像が視聴者の目に届くので、ユーザーが視点を変えても視聴されているコンテンツは変化しない。

仮想世界及び他のインタラクティブなコンピューターグラフィック表現により、ユーザーは、ユーザー入力を介してシーン（ｓｃｅｎｅ）の異なる部分を見ることができる。ユーザー入力は、そのシーンを見ている１人称又は３人称の人物の視点を変化させる。ユーザーは、仮想世界及び他のインタラクティブなコンピューターグラフィック環境において見られる視点を、キーボード、ジョイスティック、等といったユーザー入力デバイスからの入力を介してコントロールすることができる。

そうしたビデオ表現においては、表示された画像が３次元であるように見える一方で、視聴環境の中での視聴者の視点にかかわらず同一の画像が視聴者の目に届くので、ユーザーが視点を変えても視聴されているコンテンツは変化しない。

ヘッドマウント（ｈｅａｄ−ｍｏｕｎｔ）ディスプレイを介した表現空間におけるビデオ表現に関する種々の実施例が開示される。ユーザーは、表現空間の中で視点を変更することによって立体画像を異なる視点から見ることができる。例えば、一つの開示された実施例は、位置及び方向検知システムから位置データ及び方向データを受取ることを含み、そして、視聴者の位置データ及び視聴者の方向データから、表現空間の中に視聴者を位置決めし、ユーザーが直面している方向を判断し、ヘッドマウントディスプレイシステムの向きを決定する。決定された位置、方向、および、向きから、ヘッドマウントディスプレイシステムに送付するための表現画像が、表現空間にマップされた立体画像の領域及び向きに基づいて決定される。立体画像は、表現空間における視聴者の視野に基づいて視聴者の視野の中にあるものである。そして、表現画像はヘッドマウントディスプレイに送られる。

本概要は、以降の詳細な説明でより詳しく記述される本発明の概念について、簡素化された形式において代表的な概念の選択を紹介するものである。本概要は、特許請求された技術的事項の主要な特徴または本質的な特徴を特定することを意図するものではなく、また、特許請求された技術的事項の範囲を限定するために使用されることを意図するものでもない。さらに、特許請求された技術的事項は、この発明開示のあらゆる場所において記載されたいかなる又は全ての不利な点を解決する実施例に限定されない。

図１は、表現空間における視聴者を模式的に示している。さらに、本発明開示の一つの実施例に従って、表現空間の中での視聴者の視点の機能としてユーザーに対して表示されるビデオ画像を示している。 図２は、立体ビデオ表現システムの一つの実施例のブロックダイヤグラムである。 図３は、ヘッドマウントディスプレイシステムの一つの実施例を示している。 図４は、視聴者に対して立体ビデオ画像を表示する方法に係る一つの実施例のフローチャートである。 図５は、インタラクティブグラフィックユーザーインターフェイスを表示する方法に係る一つの実施例のフローチャートである。 図６は、ユーザーのインタラクションを受取る以前のインタラクティブなビジュアルインターフェイスの一つの実施例を示している。 図７は、ユーザーのインタラクションを受取った後の、図６に係るユーザーインターフェイスを示している。 図８は、コンピューターデバイスの一つの実施例を示している。

上述のように、視覚世界及び他のコンピューターグラフィック表現により、ユーザー入力を介して、ユーザーは一つのシーンを異なる視点から眺めることができる。ユーザー入力は、その人を通してシーンが眺められている１人称又は３人称の人物の視点を変えるものである。ユーザーは、仮想世界及び他のインタラクティブなコンピューターグラフィック環境において見られる視点を、キーボード、ジョイスティック、等といったユーザー入力デバイスからの入力を介してコントロールすることができる。

しかしながら、現在の仮想世界体験と供にプレーヤーが楽しんでいるインタラクティビティ（ｉｎｔｅｒａｃｔｉｖｉｔｙ）の程度は、仮想世界を通じてユーザーの動作をコントロールするためのメカニズムによって制限されることがある。例えば、仮想世界をナビゲーションするための、キーボード、ジョイスティック、十字キー、等といった手動の入力デバイスを使用することは、ユーザーが、その世界とのよりリアルなインタラクティビティを楽しむことを妨げている。そのシーンを異なる視点で見るために仮想世界シーンの中を歩くことができる、といったことである。

さらに、上述のように、ビデオ表現は、ユーザーに対してビデオコンテンツの中で視点を変更する能力を提供することができない。例えば、コンピューターグラフィック表現とは違って、ビデオ視聴者は、視点を１８０度変更するように選択することでビデオ視聴者の視点の後ろで起こっている行為を眺める能力を有していない。

従って、ビデオコンテンツ表現に関する実施例がここにおいて開示される。ユーザーは、いろいろな視点からビデオコンテンツ表現を眺めるために、ビデオ表現空間の中で動くことができるといったものである。例えば、フットボールの試合を見ている視聴者は、試合のスクリメージライン（ｌｉｎｅ ｏｆ ｓｃｒｉｍｍａｇｅ）をより近くで見るために視聴環境の中を歩くことができる。同様に、ドラマを見ている視聴者は、部屋の中で異なる視点から人物を眺めるために、シーンが起きている部屋の中を歩き回ることができる。

開示される実施例は、視聴者に対して画像を表示するためにヘッドマウントディスプレイを使用し、表現空間の中でのユーザーの位置及び向きをトラック（ｔｒａｃｋ）するために位置及び向きトラッキングシステムを使用する。こうした位置及び向きトラッキングシステムは、例えば、表現空間を捉えるように構成された一つまたはそれ以上のカメラ、及び／又は、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、及び／又は、ヨー（ｙａｗ）軸に沿ったユーザーの頭の向きをトラックするためのヘッドマウント上の一つまたはそれ以上の動作センサー、を含んでよい。

位置及び向きトラッキングシステムは、また、カメラビーコンシステムを含んでもよい。例えば、表現空間における対象物は、参照信号を発するように構成されてよい、参照信号は、ヘッドマウントディスプレイシステム上のカメラが、構成された照明パターンを見てトラックすることができるように空間的に関連付けされて構成されている。さらの他の実施例においては、表現空間の中に一つの広い視野のカメラが備えられ、ユーザーの位置及び向きを判断するために、ヘッドマウントディスプレイシステムは、カメラによって見ることができる構成的、空間的に関連付けられたビーコンを発する。同様にシステムは、ラジオ周波数のビーコンを使用してもよい。こうした位置及び向きトラッキングシステムは、例示目的のために説明されるものであって、いかなるやり方も制限するものではないこと、および、磁気システムといった、あらゆる他の好適な動作トラッキングシステムが使用され得ることが理解されるべきである。

位置及び向きトラッキングシステムから、表現空間における視聴者の目の位置及び向きを表わすデータが得られ、ヘッドマウントディスプレイを介した表示のための画像を計算し表すことができる。こうした位置及び向きの分析は、フレームごとに、または、表現空間におけるユーザーの動作が検知されたときにだけ実行されてよい。いずれの場合でも、ユーザーは、表現空間の中で物理的に動くことによってビデオ表現を幅広い種々の視点から眺めることができる。

こうしたシステムにより、ビデオデータは、表現空間に対して立体ビデオデータをマッピングすることによって、部屋といった、表現空間の中に表示され得る。用語「立体ビデオデータ（“ｖｏｌｕｍｅｔｒｉｃ ｖｉｄｅｏ ｄａｔａ”）」は、ここにおいて使用されるように、複数のビュー（ｖｉｅｗ）からキャプチャーされたビデオデータを表しており、ビデオデータにおける対象物の出現及び空間的な関連付けが、視聴空間の中で種々の視点から好適に表される。より特定的な実施例として、ドラマ表現が複数の異なる角度におけるカメラによって記録されてもよい。例えば、実質的に舞台を取り囲んでいるカメラである。そして、カメラからの画像データは、複数のカメラによってキャプチャーされた視点の範囲の中の全ての画像データを包含するビデオファイルを形成するように一緒に縫い合わされる。そのドラマ表現がビデオでキャプチャーされたコンテンツ制作空間の配置に関する知識によって、製作空間をキャプチャーされたビデオデータに対してマップすることができる。そして、このマッピングは、ビデオデータが表示される表現空間に適用される。このようにして、表現空間の容積はマップされたビデオデータで満たされる。表現空間における視聴者は、ヘッドマウントディスプレイシステムを介して表現空間の中であらゆる好適な視点からビデオコンテンツを眺めることができるようにである。表現空間とビデオデータにおけるキャプチャーされたコンテンツ制作空間容積との間の配置的な不一致を取り扱うことができる。ビデオコンテンツのサイドをクロップ（ｃｒｏｐ）したり、ユーザーがビデオコンテンツを表現空間の中及び外にスクロールできるようにしたり（例えば、イメージセンサーによって検知されたジェスチャー入力による）、ユーザーが移動できる（眺めるのとは反対に）ビデオデータ容積の領域を制限したり、及び／又は、あらゆる他の好適なやり方によって取扱うことができる。

図１は、こうした立体ビデオ表現のシナリオ使用の一つの実施例を示している。視聴者１００が表現空間１０２の中に示されており、表現空間は、部屋の中で様々な位置に配置された複数のカメラ１０４、１０６を含んでいる。カメラ１０４、１０６は、表現空間１０２の中での視聴者１００の位置をトラックするために使用される。説明のために２つのカメラが示されているが、表現空間１０２の中の視聴者１００の位置をトラックするためにあらゆる好適な数量のカメラが使用され得ることが理解されるべきである。さらに、表現空間は、上記に説明されたものに限定されることなく、あらゆる他の好適な位置及び向きトラッキングシステムを含み得ることが理解されるべきである。

さらに、表現空間１０２は、立体映像表現を眺めるために視聴者１００によって装着されたヘッドマウントディスプレイを含んでいる。例示目的のために一人の視聴者１１０が示されているが、複数の視聴者も表現空間１０２の中でビデオ表現を眺めることができることが理解されるべきである。

表現空間１０２は、さらに、ビデオ表現計算デバイス１１２を含んでいる。ビデオ表現計算デバイス１１２は、ビデオ表現のための立体的ビデオデータを受取り、その立体的データを表現空間に対してマップするように構成されている。立体的ビデオデータは、あらゆる好適なソースから受取られ得ることが理解されよう。ソースは、これらに限定されるわけではないが、ＤＶＤプレーヤー、及び／又は、ネットワークを介した離れたソースといったものを含むものである。

ビデオ表現計算デバイス１１２は、さらに、視聴者がトラッキングしているカメラ１０４、１０６からの映像データを、ヘッドマウントディスプレイシステム１００（以下に説明される）上の種々のセンサーからの動作データと同様、受取るように構成されており、表現空間１０２における視聴者１００の目の位置及び向きをトラックすることができる。さらに、いくつかの実施例においては、ヘッドマウントディスプレイシステム１００上の眼球トラッキングカメラからの入力が、視聴者の凝視が向けられている方向に関する入力を提供することができる。こうした入力から、ビデオ表現計算デバイス１１２は、視聴者１００に対する表現のためにヘッドマウントディスプレイシステム１１０に送付する映像を決定することができる。

こうしたプロセスをフレームごとに実行することにより、視聴者が表現空間１０２の中で移動するにつれて、異なる映像を視聴者に対して表わすことができる。例えば、図１は、野球の試合を眺めている視聴者１００を示している。時間ｔ_０における第１の表現において、視聴者１００は、ホームプレートの後ろに視界を置く場所に配置されている。次の、時間ｔ_１において視聴者１００は、表現空間１０２の中で、一塁ベースラインに沿って野球の試合を眺めることができる位置及び向きへ移動している。そして、時間ｔ_２において視聴者１００は、一塁ベースラインに沿ってさらに移動し、ライトへのヒットを見るために向きを変えている。このように、視聴者１００は、表現空間１０２の中を単純に移動することによって、試合を眺める視点を変更することができる。表現空間の立体的ビデオデータへのマッピング及び立体的データにおいて利用可能な視点の範囲に依存するものであるが、視聴者は、ピッチャー又はキャッチャーの後ろ、または、あらゆる他の好適な視点といった野球グラウンド上の視点を変更することができることが理解されるべきである。

図２は、図１に係る視聴環境のブロックダイヤグラムを示している。図１の表現空間１０２は、破線で示されており、ビデオ表現計算デバイス１１２を含んでいる。しかしながら、ビデオ表現計算デバイス１１２と表現空間１０２において使用される種々の入力センサー及び出力デバイスとの間にコミュニケーションチャネルが存在する限りにおいて、ビデオ表現計算デバイス１１２、及び／又は、あらゆる他の好適なコンポーネントは、表現空間１０２から物理的に離れて配置されてもよいことが理解されるべきである。

ヘッドマウントディスプレイシステム１１０は、種々のセンサー及び出力デバイスを含んでよい。例えば、ヘッドマウントディスプレイシステム１１０は、シ−スルー（ｓｅｅ−ｔｈｒｏｕｇｈ）ディスプレイサブシステム２２０を含んでおり、映像がレンズ２０２の上に投射されるか、または、レンズ２０２の中に配置された映像生成エレメント（例えば、シ−スル−ＯＬＥＤディスプレイ）によって生成される。ヘッドマウントディスプレイサブシステム１１は、さらに、一つまたはそれ以上の映像センサー２０４を含んでよい。例えば、映像センサー２０４は、視聴者の眼球をトラックできるようにするための映像データを取得するように構成された眼トラッキング映像センサーを含み得る。同様に、映像センサー２０４は、例えば、ジェスチャーベースのユーザー入力を可能にするための、一つまたはそれ以上の外側に向いた映像センサーを含んでよい。いくつかの実施例において、ジェスチャーベースのユーザー入力は、また、表現空間のカメラ１０４、１０６を介して検知することもできる。一方、他の実施例において、ジェスチャーベースの入力は使用されないこともある。ヘッドマウントディスプレイシステム１１０は、さらに、一つまたはそれ以上のマイクロフォン２０６を含んでよく、ユーザー入力として音声コマンドを使用することができる。代替的または追加的には、視聴者の音声コマンドを検知するために、ヘッドマウントディスプレイシステム１１０から離れた視聴環境のマイクロフォン２０７を使用してもよい。

ヘッドマウントディスプレイシステム１１０は、さらに、視聴者がヘッドマウントディスプレイシステム１１０を装着している場合に、視聴者の頭の動きを検知するための一つまたはそれ以上の動作センサー２０８を含んでよい。動作センサー２０８は、視聴者の頭の動き及び眼の向きをトラッキングするために、ビデオ表現計算デバイス１１２に対して提供するための動作データを出力することができる。こうした動作データは、ユーザーの頭のロール、ピッチ、及び／又は、ヨー軸に沿った傾きの検知を促進し、こうしたデータは、また、向きデータとしても使用することができる。同様に、動作センサー２０８は、また、ユーザー入力デバイスとして使用されてもよく、ユーザーは、首及び頭、もしくは胴体でさえ、のジェスチャーを介してヘッドマウントディスプレイシステム１１０とインタラクションすることができる。図２に示されたセンサーは説明目的のものであり、いかなる方法においても本発明を限定するように意図されたものではなく、あらゆる他の好適なセンサー及び／又はセンサーの組合せが使用され得ることが理解されるべきである。

ヘッドマウントディスプレイシステム１１０は、さらに、コントローラー２１０を含んでおり、ロジックサブシステム２１２、および、データ保持サブシステム２１４を有し、ヘッドマウントディスプレイシステム１１０の種々の入力及び出力とコミュニケーションしている。データ保持サブシステム２１４は、ロジックサブシステム２１２によって実行可能なインストラクションをそこに保管している。例えば、センサーからの入力を受取ってコミュニケーションサブシステム２１６を介して（非処理または処理形式で）ビデオ表現計算デバイス１１２に対して送付し、ビデオ表現計算デバイス１１２から映像データを受取り、かつ、シースルーディスプレイサブシステム２００を介して視聴者に対してそうした映像を表わすためである。音声が、ヘッドマウントディスプレイシステム上の一つまたはそれ以上のスピーカー２１８を介して、または表現空間における別の音声出力２２０を介して提供されてもよい。

ヘッドマウントディスプレイシステム１１０は、あらゆる好適な物理的形状であってよい。例えば、いくつかの実施例において、ヘッドマウントディスプレイシステム１１０は、図３に示されるように、サングラスの形状であってよい。他の実施例において、ヘッドマウントディスプレイシステム１１０は、あらゆる他の好適な形式であってよく、視聴者の眼の前面でシースルーディスプレイシステムが保持されている。図３は、外側に面している映像センサー２０４と同様に、眼トラッキング映像センサー３００の両方を示していることに留意すべきである。

図２に戻ると、図１に係るカメラ１０４、１０６は、カメラ１及び任意のカメラｎとして示されている。あらゆる好適なカメラの数量を示しており、２個に限定されるものではない。カメラは、表現空間１０２におけるユーザー動作をトラックして、ビデオ表現計算デバイスに対して視聴者の位置データを提供するために使用される。さらに、あらゆる他の好適な位置及び向き検知システムが使用され得ることが理解されるべきである。

視聴者位置のトラッキングのために複数のカメラが使用されている場合に、あらゆる好適な方法で表現空間に対して較正され得るいくつかの実施例において、カメラは、カメラ自身で較正するように構成されてもよい。例えば、それぞれのカメラは、表現空間の中に立体照明を投影する立体照明投影システムを含んでもよい。そうした立体照明は、カメラによって検知されて、表現環境に対してカメラ自身を較正する。次に、表現空間において一つのカメラの位置を別のカメラに対して較正するために、一つのカメラは、立体照明パターンを発する一方で、映像を取得することができる。映像における立体照明パターンの外見及び位置は、どのカメラが立体照明パターンを発したかの知識を伴なって、ビデオ表現計算デバイスによって使用され、それぞれのカメラによって取得された映像間のオーバーラップ（ｏｖｅｒｌａｐ）が較正される。

ビデオ表現計算デバイス１１２は、表現空間１０２の中で、ヘッドマウントディスプレイシステム１１０、カメラ１０４、１０６、マイクロフォン２０７、および、音声出力２２０と、コミュニケーションしているように示されている。さらに、ビデオ表現計算デバイス１１２は、複数のコンテンツソースから入力を受取るように図示されている。コンテンツソースは、表現空間１０２の中に位置するコンテンツソース１ ２２２、および、表現空間１０２に対して外側に位置するコンテンツソース２ ２２２、ｎ ２２６を含んでいる。

コンテンツソース２２２は、あらゆる好適なローカルのコンテンツソースを表していいる。ＤＶＤプレーヤー、デジタルビデオレコーダー（ＤＶＲ）といったもの、または、そういったローカルメディアのデータソースである。同様に、コンテンツソース２２４、２２６は、ビデオ表現計算デバイス１１２によってアクセス可能なあらゆるリモートコンテンツソースを表している。例えば、コンテンツソース２及び／又はｎは、そこから立体ビデオデータがストリームされ、または、ダウンロードされるウェブサイトを表してよい。同様に、コンテンツソース２２４、２２６は、あらゆる好適なリモートメディアソースを表してよい。ケーブルテレビのプロバイダー、衛星テレビのプロバイダー、コンピューターでアクセス可能なストーミングメディアプロバイダー、等といったものである。そのようにして、ネットワーク２２８は、リモートソースからコンテンツを受取るあらゆる好適なネットワークを表している。

図４は、ヘッドマウントディスプレイを解して立体ビデオ画像を表示する方法４００に係る一つの実施例のフローチャートである。方法４００を実行する前に、ビデオ表現計算デバイスは、表現空間の中に配置された映像センサーを表現空間に対して較正することが理解されるべきである。こうした構成は、これに限定されるわけではないが、システム設定を含めて、あらゆる好適な方法、あらゆる好適な頻度において実行されてよい。

方法４００は、最初にステップ４０２において、立体映像データを受取り、その立体映像データを表現空間に対してマップすることを含んでいる。こうしたマッピングは、例えば、ユーザーが動き回ることができる立体映像の中の領域を表す立体映像データの部分を決定すること、および、映像のその部分にあるピクセルを表現空間における位置と関連付けることを含んでよい。

いくつかの実施例において、全体の映像量はインタラクティブであってよく、ユーザーは、あらゆる所望の視点からそれぞれの映像における対象物を眺めることができる。より特定的な実施例として、立体ドラマ表現が、十分な数のカメラアングルから記録されてもよく、ユーザーは、表示されたシーンの周囲を、そのシーンの立体全体を通じるのと同様に歩き回ることができ、その領域の中で全ての視点から俳優の映像を眺めることができる。こうした表現の一つの特定の実施例において、シーンにおける壁の映像の配置は、表現空間における実際の壁の位置に対応していてよい。映像は、あらゆる他の好適な境界外見を有し得ることが正しく理解されるべきである。

他の実施例においては、映像量の一部領域だけがインタラティブであり、ユーザーは、その立体ビデオコンテンツの中の対象物及び／又は人間のいくつかの視点を明らかするために移動できないことがある。

立体ビデオデータを表現空間に対してマッピングした後、方法４００は、ステップ４０４において立体ビデオデータのフレームを検索し、そして、視聴者に対する表現のためにヘッドマウントディスプレイに送付する映像を決定するための種々のプロセスを実行する。例えば、ステップ４０８において、方法４００は、表現空間における映像センサーからの視聴者トラッキングデータを受取り、ステップ４１０において、トラッキング映像データを介して表現空間において視聴者を配置する。表現空間における複数の視聴者が、この方法によって特定され得ることが理解されるべきである。同様に、視聴者トラッキングデータも、また、ステップ４１２で示されているように、表現空間においてユーザーが直面している方向を判断するために使用されてもよい。

さらに、ヘッドマウントディスプレイシステム上の動作センサーからのデータは、視聴者に対して表す映像の決定を手助けするために使用されてよい。例えば、ステップ４１４で示されるように、方法４００は、ヘッドマウントディスプレイシステム上の一つまたはそれ以上の動作センサーからの動作データを受取り、そして、ステップ４１６において、ヘッドマウントディスプレイ（従って、ユーザーの眼）の向きを決定する。

いくつかの実施例において、眼球トラッキングデータは、ステップ４１８に示されるように、ヘッドマウントディスプレイシステム上の映像センサーから受取ることができる。そうしたデータは、次に、ステップ４２０で示されるように、視聴者が真直ぐ前を向いていることに対応するヘッドマウントディスプレイシステムの光学軸に関して、視聴者の視点が向けられている方向を決定する。

次に、視聴者トラッキングデータ、向きデータ、及び／又は、眼球トラッキングデータに基づいて、方法４００は、ステップ４２２において、立体ビデオデータの現在のフレームの領域及び向きを決定することを含んでおり、立体ビデオデータは、表現空間のビデオデータに対するマッピングに基づく表現空間における視聴者の視野の中にある。そして、ステップ４２４において、ビデオ表現計算デバイスは、表示のためにヘッドマウントディスプレイシステムに送付する表現映像を決定して、ステップ４２６で、その映像を送付する。立体ビデオデータのそれぞれのフレームに対してステップ４０４から４２６のプロセスを実行することによって、ステップ４２８に示すように、視聴者に対して立体的ビデオ表現を表示することができる。

いくつかの実施例において、インタラクティブグラフィックユーザーインターフェイスも、また、視聴者に対して表示され、例えば、ビデオ表現をコントロールすることができる。図５は、立体的グラフィックユーザーインターフェイスを表示する方法５００を示すフローチャートであり、図６及び図７は、そうしたユーザーインターフェイスの一つの実施例を説明している。方法５００は、ステップ５０２において、グラフィックユーザーインターフェイスに対するユーザーリクエストを検知し、そして、ステップ５０４において、ヘッドマウントディスプレイシステムに対してユーザーインターフェイス映像を送付する。ユーザーは、あらゆる好適な方法で、グラフィックユーザーインターフェイスにリクエストすることができる。例えば、図６を参照すると、ユーザーは、手６０２を所定の姿勢に広げるといった、ジェスチャーを実行することによってユーザーインターフェイスにリクエストする。それに対応して、ユーザーインターフェイス６０４は、ボタン６０６といった、複数のプッシュ可能なエレメントをユーザーの腕が明確に届く範囲内に表示する。あらゆる好適なタイプのユーザーインターフェイスエレメントが表示され得ることが理解されるべきである。これらに限定されるわけではないが、プッシュ可能、プル（ｐｕｌｌ）可能、移動可能、回転可能、等なエレメントを含んでいる。さらに、手６０３は、ヘッドマウントディスプレイシステムを通じて見られるユーザーの実際の手を表してもよく、または、ユーザーインターフェイス映像の一部としてユーザーに対して表示されるアバター（ａｖａｔａｒ）を表してもよいことが理解されるべきである。アバターは、ユーザーの実際の手の動きをトラックするように構成されている。

方法５００は、次に、ステップ５０６において、ユーザーインターフェイス映像とインタラクションしているユーザージェスチャーを検知する。これに応じて、方法５５０は、ステップ５０８において、ユーザージェスチャーの効果を説明する変更されたユーザーインターフェイス映像を送付し、そして、ステップ５１０において、リクエストされたアクションを実行する。例えば、図７を参照すると、ユーザーは、指を伸ばしてボタン６０６を押すことによってユーザーインターフェイス映像とインタラクションしている。これに応じて、そのボタンは動作状態にあるように表示される（例えば、他のボタンと比較して押されているように、または、他のボタンと比べて視覚的に対比するあらゆる他の好適なやり方である）。

いくつかの実施例において、ユーザーは、追加的またはジェスチャーに替えて、音声コマンドを介してビデオ表現計算デバイス１１２とインタラクションすることができる。こうして、方法５００は、ステップ５１２において、音声入力を受取って、音声入力の中の音声コマンドを検知する。そして、ステップ５１４において、音声入力の中でリクエストされたアクションを実行する。音声入力は、ヘッドマウントディスプレイ上に配置されたマイクロフォン、または表現空間の中のどこかに配置されたマイクロフォンを介して受取ることができる。ユーザーは、あらゆる他の好適なやり方でビデオ表現計算デバイスとインタラクションし得ることが、さらに、理解されるべきである。

ユーザーインターフェイスのインタラクションの最中、ビデオ表現は種々の方法で表示され得ることが理解されるべきである。例えば、図６及び図７を参照すると、ユーザーインターフェイスのアクションの最中は、ビデオ表現が停止しているように示されている。他の実施例では、ビデオ表現が続いていてもよいし、または、全く表示されなくてもよい。

ここにおいて説明されたビデオコンテンツの表現により、従って、現在のビデオコンテンツ表現方法よりもイマーシブ（ｉｍｍｅｒｓｉｖｅ）な体験をすることができ、そして、それぞれの視聴者は、その視聴者にとって最も興味のある視界を選定することができる。

いくつかの実施例において、上述の方法及びプロセスは、ビデオ表現計算デバイス１１２といった、一つまたはそれ以上のコンピューターを含むコンピューターシステムと連結されてもよい。特に、ここにおいて説明された方法及びプロセスは、コンピューターアプリケーション、コンピューターサービス、コンピューターＡＰＩ、コンピューターライビラリー、及び／又は、他のコンピュータープログラム製品として実施されてよい。

図８は、上述の一つまたはそれ以上の方法またはプロセスを実行することができる制限のないコンピューターシステム８００を示している。コンピューターシステム８００は、簡素化された形式で示されている。本発明開示の範囲から逸脱することなく仮想的にあらゆるコンピューターアーキテキチャーが使用され得ることが理解されるべきである。異なる実施例において、コンピューターシステム８００は、メインフレームコンピューター、サーバーコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテイメントコンピューター、モバイルコンピューター、モバイル通信デバイス、ゲーム機器、等の形式であってよい。

コンピューターシステム８００は、ロジックサブシステム８０２及びデータ保持サブシステム８０４を含んでいる。コンピューターシステム８００は、任意的に、ディスプレイサブシステム８０６、コミュニケーションシステム８０８、及び／又は、図８に示されていない他のコンポーネントを含んでよい。コンピューターシステム８００は、また、任意的に、例えば、キーボード、マウス、ゲームコントローラー、カメラ、マイクロフォン、及び／又は、タッチスクリーンといったユーザー入力デバイスを含んでもよい。

ロジックサブシステム８０２は、一つまたはそれ以上のインストラクションを実行するように構成された一つまたはそれ以上の物理的デバイスを含み得る。例えば、ロジックサブシステムは、一つまたはそれ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリー、オブジェクト、コンポーネント、データ構造、または、他の論理的構成の一部である一つまたはそれ以上のインストラクションを実行するように構成されてよい。こうしたインストラクションは、タスクを実行し、データタイプを施し、一つまたはそれ以上のデバイスの状態を転換し、または、そうでなければ所望の結果に至るように実施され得る。

ロジックサブシステムは、ソフトウェアインストラクションを実行するように構成された一つまたはそれ以上のプロセッサを含んでよい。追加的または代替的に、ロジックサブシステムは、ハードウェアまたはファームウェアのインストラクションを実行するように構成された一つまたはそれ以上のハードウェアまたはファームウェアのロジックマシン（ｌｏｇｉｃ ｍａｃｈｉｎｅ）を含んでよい。ロジックサブシステムのプログラムは、シングルコア又はマルチコアであってよく、そこで実行されるプログラムは、並行又は分散処理のために構成されてよい。ロジックサブシステムは、任意的に２つ又はそれ以上のデバイスの全てにわたって配置された個々のコンポーネントを含んでよく、コーディネイトされた処理のために離れて配置、及び／又は、構成されている。ロジックサブシステムの一つまたはそれ以上の態様は、クラウドコンピューティングコンフィギュレーション（ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）において構成され、離れてアクセス可能なネットワーク化されたコンピューターデバイスによって、仮想化され実行されてもよい。

データ保持サブシステム８０４は、ここにおいて説明された方法又はプログラムを実施するためのロジックサブシステムによって実行可能なデータ及び／又はインストラクションを保持するように構成された、一つまたはそれ以上の物理的、固定デバイスを含んでよい。こうした方法及びプロセスが実施される場合、データ保持サブシステム８０４の状態は（例えば、異なるデータ保持へと）転換されてよい。

データ保持サブシステム８０４は、リムーバブルメディア及び／又はビルトインデバイスを含んでよい。データ保持サブシステム８０４は、光メモリーデバイス（例えば、ＣＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、等）、半導体メモリーセルデバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、等）、及び／又は、磁気メモリーデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭ、等）、などを含んでいる。データ保持サブシステム８０４は、以下の特性の一つまたはそれ以上を伴なうデバイスを含んでよい。それらは、揮発性、不揮発性、動的、静的、リード／ライト、リードオンリー、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス可能、ファイルアドレス可能、及び、コンテンツアドレス可能、である。いくつかの実施例において、ロジックサブシステム８０２及びデータ保持サブシステム８０４は、特定用途向け集積回路（ＡＳＩＣ）またはシステムオンチップといった、一つまたはそれ以上の共通デバイスの中に統合されてもよい。

図８は、また、リムーバブルなコンピューターで読取り可能な媒体８１０の形式におけるデータ保持サブシステムの態様を示しており、ここにおいて説明された方法及びプロセスを実施するように実行可能なデータ及び／又はインストラクションを保管及び／又は転換するために使用されてもよい。リムーバブルなコンピューターで読取り可能な媒体８１０は、ＣＤ、ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、及び／又は、フロッピー（登録商標）ディスクといった形式であってよい。

データ保持サブシステム８０４は、一つまたはそれ以上の物理的、固定デバイスを含むことが正しく理解されるべきである。対照的に、いくつかの実施例において、ここにおいて説明されたインストラクションの態様は、純粋な信号（例えば、電磁気信号、光信号、等）によって一時的な形式でプロパゲート（ｐｒｏｐａｇａｔｅ）されてもよい。純粋な信号は、物理的デバイスによって、少なくとも有限の持続時間は保持されない。さらに、データ及び／又は本発明開示に適用されている情報の他の形式は、純粋なしんごうによってプロパゲートされ得る。

用語「モジュール」、「プログラム」、および、「エンジン」は、一つまたはそれ以上の所定の機能を実行するために実施されるコンピューターシステム８００の態様を記述するために使用されてよい。いくつかの実施例において、モジュール、プログラム、または、エンジンは、データ保持サブシステム８０４によって保持されているインストラクションを実行するロジックサブシステム８０２を介してインスタンス化（ｉｎｓｔａｎｔｉａｔｅ）されてよい。異なるモジュール、プログラム、及び／又は、エンジンが、同一のアプリケーション、サービス、コードブロック、オブジェクト、ライブラリー、ルーチン、ＡＰＩ、ファンクション、等からインスタンス化されてもよいことが理解されるべきである。同様に、同一のモジュール、プログラム、及び／又は、エンジンは、異なるアプリケーション、サービス、コードブロック、オブジェクト、ライブラリー、ルーチン、ＡＰＩ、ファンクション、等からインスタンス化されてもよい。用語「モジュール」、「プログラム」、および、「エンジン」は、実行可能なファイル、データファイル、ライブラリー、ドライバー、スクリプト、データベースレコード、等のそれぞれ又はグループを包含することを意味している。

ディスプレイサブシステム８０６は、それが含まれる場合に、データ保持サブシステム８０４によって保持されたデータの視覚的表現を表すために使用されてよい。ここにおいて説明されたように、方法およびプロセスは、データ保持サブシステムによって保持されたデータを変更し、従って、データ保持サブシステムの状態を転換する。ディスプレイサブシステム８０６の状態も同様に元となるデータにおける変化を視覚的に表現するように転換され得る。ディスプレイサブシステム８０６は、仮想的にあらゆるタイプの技術を使用している一つまたはそれ以上のディスプレイデバイスを含んでよい。そうしたディスプレイデバイスは、共有のエンクロージャーにおけるロジックサブシステム８０２及び／又はデータ保持サブシステム８０４と組合わされてもよい。または、そうしたディスプレイデバイスは、上述のヘッドマウントディスプレイシステムといった、ペリフェラルディスプレイデバイスであってよい。

コミュニケーションサブシステム８０８は、それが含まれる場合に、コンピューターシステム８００を一つまたはそれ以上の他のコンピューターデバイスと通信可能に接続するよう構成されてよい。コミュニケーションサブシステム８０８は、一つまたはそれ以上の異なる通信プロトコルとコンパチブル（ｃｏｍｐａｔｉｂｌｅ）な有線及び／又は無線のコミュニケーションデバイスを含んでよい。限定されることのない実施例として、コミュニケーションサブシステムは、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク、等を介してコミュニケーションするように構成されてよい。いくつかの実施例においては、コミュニケーションサブシステムにより、コンピューターシステム８００は、インターネットといったネットワークを介して、メッセージを他のデバイスから受取り、及び／又は、他のデバイスへ送付することができる。

ここにおいて説明された構成及び／又はアプローチは、本質的に例示であること、および、これら所定の実施例又は例示は本発明を限定する意味で考慮されるべきものではないことが理解されるべきである。数多くの変形が可能だからである。ここにおいて説明された所定のルーチンまたは方法は、あらゆる数のプロセスストラテジーのうちの一つまたはそれ以上を表すものであってよい。このように、説明された種々のアクトは、説明された順序で、他の順序で、並行に、または、いくつかのケースを省いて、実行されてもよい。同様に、上述のプロセスの順序も変更されてよい。

本発明開示に係る技術的事項は、種々のプロセス、システムと構成、および、他の特徴、機能、アクト、及び／又は、ここにおいて開示された特性の新規で非自明な全ての組合せ及び部分的組合せを含むものであり、これらのあらゆる全ての均等物も同様である。

Claims (9)

1. ロジックサブシステムと、
   保管されたインストラクションを含むデータ保持サブシステムと、
   ヘッドマウントディスプレイシステムであり、
   前記ヘッドマウントディスプレイシステム上の眼球トラッキング映像センサーと、
   を含む、ヘッドマウントディスプレイシステムと、
   位置及び向き検知システムであり、
   前記ヘッドマウントディスプレイシステム上に配置された一つまたはそれ以上の動作センサーと、
   前記ヘッドマウントディスプレイシステム上に配置されたものではない表現空間における一つまたはそれ以上の映像センサーと、含み、
   前記映像センサーは、立体照明投影システムを含む複数のカメラであり、
   前記カメラは、前記表現空間の中に投射された立体照明パターンを使用して、それぞれのカメラによって取得された映像間のオーバーラップを較正する、
   位置及び向き検知システムと、
   を含む、コンピュータ・システムであって、
   インストラクションが前記ロジックサブシステムによって実行されると、前記ロジックサブシステムは、
   表現される現実の空間である前記表現空間において、前記位置及び向き検知システムから視聴者の位置データ及び視聴者の向きデータを受取り、さらに、前記眼球トラッキング映像センサーから、眼球トラッキングデータを受取り、
   前記視聴者の位置データ及び前記視聴者の向きデータから、前記表現空間の中に視聴者を配置し、前記表現空間において前記視聴者が正対している方向を判断し、かつ、前記表現空間における前記ヘッドマウントディスプレイの向きである光学軸を決定し、さらに、前記眼球トラッキングデータに基づいて前記光学軸に関して前記視聴者の視線の方向を決定し、
   前記視聴者の位置及び前記視聴者の視線の方向に基づいて、前記視聴者の視野の中にある前記表現空間の領域における立体映像の領域及び向きを判断することによって、前記ヘッドマウントディスプレイシステムに対して送付する表現映像を決定し、前記表現映像は、前記立体映像における対象物の第１の視点に対応しており、
   前記表現映像を前記ヘッドマウントディスプレイシステムに対して送付し、
   前記視聴者の位置及び前記視聴者の視線の方向における変化を検出し、かつ、
   前記視聴者の位置及び前記視聴者の視線の方向において検出された前記変化に基づいて、前記ヘッドマウントディスプレイシステムに送付するための異なる表現映像を決定し、前記異なる表現映像は、前記立体映像における前記対象物の第２の異なる視点に対応している、
   ことを特徴とするコンピュータ・システム。
2. 前記インストラクションは、さらに、
   前記立体映像の入力を受取り、前記立体映像を前記表現空間に対してマップするように構成されている、
   請求項１に記載のコンピュータ・システム。
3. 前記立体映像データは、複数のアングルからキャプチャーされたシーンのビデオ映像データを含む、
   請求項１に記載のコンピュータ・システム。
4. 前記インストラクションは実行されると、さらに、
   前記向きデータから、前記ヘッドマウントディスプレイシステムのロール、ピッチ、ヨーを検知する、
   請求項１に記載のコンピュータ・システム。
5. 前記インストラクションは実行されると、さらに、
   ユーザーインターフェイスにリクエストしているユーザー入力を検知し；
   表示のために前記ヘッドマウントディスプレイシステムに対して送付するユーザーインターフェイス映像を決定し、前記ユーザーインターフェイス映像はユーザーインターフェイスエレメントを含んでおり；
   前記ユーザーインターフェイス映像とインタラクションしているユーザージェスチャーを検知し；かつ、
   それに応じて、前記ユーザーインターフェイス映像上のユーザージェスチャーの効果を説明する変更されたユーザーインターフェイスを送付する、
   請求項１に記載のコンピュータ・システム。
6. 前記ユーザーインターフェイスエレメントは、プッシュ可能、及び／又は、プル可能なエレメントである、
   請求項５に記載のコンピュータ・システム。
7. 前記インストラクションは実行されると、
   前記表現空間の中の複数の視聴者を検知し、前記表現空間におけるそれぞれの視聴者の位置に基づいて、前記複数の視聴者それぞれに対して送付する異なった映像を決定する、
   請求項１に記載のコンピュータ・システム。
8. 前記インストラクションは実行されると、さらに、
   音声入力を受取り、前記音声入力における音声コマンドを検知し、かつ、前記音声入力に応じた機能を実行する、
   請求項１に記載のコンピュータ・システム。
9. 立体ビデオ映像データを表現する方法であって、前記方法は、
   前記立体ビデオ映像データを受取るステップと、
   前記立体ビデオ映像データのピクセルを表現される現実の空間である表現空間における位置と関連付けることによって、前記立体ビデオ映像データを前記表現空間に対してマッピングするステップと、
   複数の映像キャプチャーデバイスから視聴者トラッキング映像データを受取るステップであり、前記複数の映像キャプチャーデバイスは、立体照明投影システムを含む複数のカメラであり、前記表現空間の中に投射された立体照明パターンを使用して、取得された映像間のオーバーラップを較正する、ステップと、
   ヘッドマウントディスプレイシステム上の一つまたはそれ以上の動作センサーから動作データを受け取るステップと、
   前記視聴者トラッキング映像データを介して前記表現空間の中に視聴者を配置し、前記表現空間の中で前記視聴者が正対している方向を判断するステップと、
   前記動作データから、前記表現空間における前記ヘッドマウントディスプレイシステムの向きである光学軸を決定するステップと、
   前記ヘッドマウントディスプレイシステム上の映像センサーから眼球トラッキングデータを受取るステップと、
   前記眼球トラッキングデータに基づいて前記光学軸に関して前記視聴者の視線の方向を決定するステップと、
   前記視聴者のトラッキング映像データ、前記動作データ、および、前記眼球トラッキングデータによる前記視聴者の位置及び前記視聴者の視線の方向に基づいて、前記視聴者の視野の中にある前記表現空間の領域における立体映像の領域及び向きを判断することによって、前記ヘッドマウントディスプレイシステムに対して送付する表現映像を決定するステップであり、前記表現映像は、前記立体ビデオ映像データにおける対象物の第１の視点に対応している、ステップと、
   前記表現映像を前記ヘッドマウントディスプレイシステムに対して送付するステップと、
   前記視聴者のトラッキング映像データ、前記動作データ、および、前記眼球トラッキングデータによる前記視聴者の位置及び前記視聴者の視線の方向における変化を検出するステップと、
   前記視聴者のトラッキング映像データ、前記動作データ、および、前記眼球トラッキングデータによる前記視聴者の位置及び前記視聴者の視線の方向において検出された前記変化に基づいて、前記ヘッドマウントディスプレイシステムに送付するための異なる表現映像を決定するステップであり、前記異なる表現映像は、前記立体ビデオ映像データにおける前記対象物の第２の異なる視点に対応している、ステップと、を含む、
   ことを特徴とする方法。

Images