JP7048595B2 - ビデオコンテンツの同期の方法および装置 - Google Patents

Description

本発明は、ビデオコンテンツの同期の方法および装置に関する。

従来からのＴＶディスプレイは、ユーザによるビデオコンテンツの視聴を可能にするが、ユーザは、例えば映画スクリーンのサイズと比較して、限られたサイズのスクリーン上で視聴を行われなければならない。これにより、コンテンツのユーザ体験が損なわれる可能性がある。

より最近では、より一般的にはヘッドマウントデバイスまたはＨＭＤと呼ばれるＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ ＶＲ（登録商標）などの仮想現実ヘッドセットが、そのようなビデオコンテンツをユーザの左右の目に別々に表示する手段を提供し、ユーザの目の前の画像の有効サイズおよび左右の画像の間の位置ずれを制御することによって、任意のサイズのスクリーンを所与の距離で見ている錯覚を生み出すことができる。このようにして、映画の体験を取り戻すことが可能である。

しかしながら、コンテンツのユーザ体験をさらに豊かにする余地が、依然として存在する。

本発明は、この問題を解決しようとするものである。

第１の態様において、ビデオコンテンツの同期の方法が、請求項１に従って提供される。

別の態様において、ビデオコンテンツの同期のための装置が、請求項１５に従って提供される。

本発明のさらなるそれぞれの態様および特徴は、添付の特許請求の範囲に定められる。

次に、本発明の実施形態を、添付の図面を参照して、あくまでも例として説明する。

本発明の一実施形態による第１のディスプレイおよび第２のディスプレイの概略図である。 本発明の一実施形態によるエンターテイメント機器の概略図である。 本発明の一実施形態による拡張現実ヘッドセットの概略図である。 本発明の一実施形態による仮想現実ヘッドセットの概略図である。 本発明の一実施形態による仮想ビュー空間における第１のディスプレイ内のビデオコンテンツおよび第２の別個のディスプレイ内の仮想環境コンテンツの説明図である。 本発明の一実施形態によるビデオコンテンツを示す第１のディスプレイおよびビデオコンテンツに視覚的に関連する仮想環境のそれぞれのビューを示す第２のディスプレイの概略図である。 本発明の一実施形態によるビデオコンテンツの同期の方法のフロー図である。

ビデオコンテンツの同期の方法および装置が開示される。以下の説明においては、本発明の実施形態の完全な理解をもたらすために、いくつかの具体的な詳細が提示される。しかしながら、これらの具体的な詳細が、本発明の実施において必ずしも使用されなくてよいことは、当業者にとって明らかであろう。反対に、当業者にとって公知の具体的詳細は、必要に応じて、分かり易さの目的で省略されている。

［概要］
ここで図１を参照すると、本発明の一実施形態において、ビデオコンテンツが、テレビまたは可能性としては仮想現実ヘッドマウントディスプレイによって提示されるビュー空間内の所定の領域を占める仮想スクリーンなどの第１のディスプレイ（１１０）において、ユーザに表示される。ビデオコンテンツは、２Ｄまたは３Ｄであってよく、典型的には事前に記録されているが、ライブ（例えば、ウェブカメラによる）であってもよい。

次に図２も参照すると、例えばＰｌａｙＳｔａｔｉｏｎ ３（登録商標）またはＰｌａｙＳｔａｔｉｏｎ ４（登録商標）などのビデオゲーム機１０または適切なソフトウェア命令のもとで動作する同等の汎用コンピュータによって、ビデオコンテンツとは別の仮想環境も生成される。

本発明の実施形態において、仮想環境は、本明細書においてさらに詳しく後述されるように、ビデオコンテンツの少なくとも一部に視覚的に関連するように設計されている。

次いで、仮想環境の少なくとも一部が、本明細書においてさらに詳しく後述されるように、第１のディスプレイ以外においてユーザに表示される。

一方で、ビデオコンテンツには、ビデオコンテンツの再生の最中のそれぞれの所定の時間に関連する１つ以上の所定のキュー（ｃｕｅ）の発生を示すキュータイミングデータが関連付けられる。エンターテイメント機器は、そのようなキューがいつ生じるかを検出する。

次いで、検出されたキューに応答して、本明細書においてさらに詳しく後述されるように、仮想環境の少なくとも一部の表示の状態が、キュー、したがってビデオコンテンツに同期して変化する。

これは、本明細書においてさらに詳しく後述されるように、上述の技術を実装する機器によって、ビデオコンテンツ内のキューによる瞬間に応答して変化し得る補足的な仮想環境を主ディスプレイの周囲、主ディスプレイの隣、あるいは主ディスプレイとは別に提供することによって、視聴者の体験を従来からの主ディスプレイにおけるビデオコンテンツを超えて拡張することを可能にする。言い換えると、これは、ビデオの再生の最中の適切な瞬間において受動的または対話的な補足モデル（例えば、仮想の教師）などを提示することにより、非対話的な事前に記録されたコンテンツを対話的にすることを可能にでき、あるいは、例えば爆発による破片を、主ディスプレイに示される事前に記録されたビデオにおいて視認することができる破片の軌跡をディスプレイの縁に達したときに引き継ぐように時間設定して仮想環境上にモデル化する形式で、事前に記録されたビデオの選択された態様の到達範囲をテレビを越えて延ばすことができる。本明細書に記載の装置および技術の他の用途は、当業者にとって明らかであろう。

［第２のディスプレイ］
本明細書においてすでに述べたように、仮想環境の少なくとも一部がユーザに表示されるが、ビデオコンテンツに使用される第１のディスプレイに表示されるのではない。

むしろ、他のディスプレイ手段が使用される。第１のディスプレイがテレビなどの物理的なディスプレイである場合、仮想環境の少なくとも一部をテレビとは異なる表面に投影するために、プロジェクタを使用することができる。同様に、図３Ａを参照すると、拡張現実ヘッドセット４０（ユーザ３０は物理的なテレビも視認することができる）を使用して、仮想環境の少なくとも一部を、テレビとは異なる前記表面に対応するように見える位置に表示することができる。

あるいは、図３Ｂを参照すると、第１のディスプレイが仮想現実ヘッドマウントディスプレイ５０によって提示される仮想ビュー空間内の所定の領域である場合、他のディスプレイ手段は、仮想ビュー空間のうちの第１のディスプレイによって占められる所定の領域の外側の領域に相当することができる。

ビデオゲーム機は、仮想環境を生成してビデオ出力ポート１４Ａ（例えば、ＨＤＭＩ（登録商標）ポート）を介して他のディスプレイ手段に供給するように動作することができるプロセッサ１２（典型的には、典型的にはグラフィックプロセッサ（図示せず）と協働する中央プロセッサ）を備える。

随意により、ビデオゲーム機は、ビデオコンテンツのソースでもある。ビデオコンテンツは、ディスク（図示せず）などの物理的な媒体で供給されてよく、あるいはメモリ（図示せず）に記憶されてよく、あるいはＩｎｔｅｒｎｅｔなどのネットワークからＥｔｈｅｒｎｅｔ（登録商標）またはＷｉ－Ｆｉ（登録商標）ポートなどのネットワーク通信入力１６を介してストリーミングされてよい。この場合、ビデオゲーム機は、第２のビデオ出力ポート１４Ｂ（例えば、ＨＤＭＩ（登録商標）ポート）を介してビデオコンテンツを出力することができる。しかしながら、第１のディスプレイと追加のディスプレイとが、ヘッドマウントディスプレイによってアクセスされる共通のビュー空間内の論理的に別個のディスプレイである場合、仮想環境の少なくとも一部およびビデオコンテンツの両方を、同じビデオ出力ポートを介してヘッドマウントディスプレイに出力できることを、理解できるであろう。

物理的なディスプレイの場合、第１のディスプレイと第２のディスプレイとが異なる種類の機器であると仮定することができ、したがって、典型的には、第１のディスプレイがリビングルームのテレビなどであり、第２のディスプレイがプロジェクタ、携帯電話機、またはタブレットである。しかしながら、原理的には、第２のディスプレイもテレビ（例えば、現在の第１のディスプレイによって以前に置き換えられた古いテレビ）であってよい。

［キューの検出］
すでに述べたように、ビデオコンテンツは、対応する所定の時間においてビデオコンテンツに関連付けられた１つ以上の所定のキューを有する。

各々のキューは、ユーザへの仮想環境の表示の状態を変化させるべきであることを示す。

キューデータを、ビデオデータを符号化するために使用される規格に応じて、ビデオデータに埋め込むことができる。したがって、例えば、各々のビデオフレームは、本明細書において総称的に「ユーザフィールド」と呼ばれるコンテンツプロバイダや放送局などによって挿入される非標準データのための空間を、データのヘッダまたは他の部分に含むことができる。ビデオコンテンツの再生時に、連続するフレームがアクセス／復号され、本発明の一実施形態においては、ビデオコンテンツ内の１つ以上のフレームにおいて、１つ以上のそのようなユーザフィールドにキューデータが埋め込まれている。キューデータを含むフレームは、ビデオ再生の所定の時間において発生するため、キューの所定のタイミングは、キューを関連するフレームに埋め込むことによって自動的にもたらされる。

ビデオデータのユーザフィールドにおいて利用することができる空間に応じて、キューデータは、キューに応答して仮想環境においてどのような状態の変化を発生させるべきかについての詳細を含むことができる。しかしながら、典型的には、１つのビデオフレームのユーザフィールドにおいて利用可能なデータ量は、表示された仮想環境の状態をビデオゲーム機がどのように変更すべきかを完全に指定するために必要とされる量よりも少ない。

したがって、随意により、この情報を、一フレームのユーザフィールド内のキュー開始フラグまたはマーカによって通知され、後のフレームのユーザフィールド内のキュー終了フラグまたはマーカで終わる複数のフレームに分配することができる。キュー終了フラグまたはマーカを含むフレームは、表示された仮想環境の状態の変化を生じさせるための所望の時間において発生するように選択される。これにより、ビデオゲーム機は、これらのフレームの過程において表示された仮想環境の状態の変化についての指定を蓄積し、キュー終了フラグに応答し、すなわち適切な時間において、状態の変化を実行することができる。

あるいは、随意により、キューデータは、単にこのフレームにおいてキューが発生する旨のインジケータを提供することができ、したがって所望のタイミングを提示する。インジケータは、例えば何らかの識別コードを使用してキューを明示的に識別でき、あるいはビデオコンテンツを通して各々のキューにおいて増加するキューカウンタを備えることができる。あるいは、インジケータは、単にフラグであってよく、関連付けられたキューのカウントまたはキューの識別はビデオゲーム機において行われる。

あるいは、キューデータは、ビデオデータ内にまったく埋め込まれなくてもよい。代わりに、キューデータを、例えば、ビデオコンテンツと同じディスクに配置し、あるいはビデオデータを含むファイルの組に含ませ、あるいはビデオデータによって示されるＵＲＬに配置し、あるいはビデオデータを識別してエンターテイメント機器による使用のための関連のキューデータを検索するように動作することができるサービスプロバイダに保持させることにより、ビデオコンテンツに関連付けられた別個のファイルとして提供することができる。

そのような場合、キューデータは、１つ以上の所定のキュー時間のリストを、随意によりそれぞれのカウントまたはＩＤと共に含むことができる。したがって、エンターテイメント機器は、現在の再生時間を受信または監視し、あるいは再生の開始からの時間をカウントし、再生中のこの時間をそれぞれの所定のキュー時間と比較してキューの発生を識別するように構成される。

次いで、これらの場合の各々において、個々のキューは、例えば参照テーブルを使用して、表示された仮想環境の状態を変化させるための適切な命令に関連付けられる。

［状態の変化］
各々のキューが固有のＩＤまたはカウントを有する場合、このＩＤまたはカウントを参照テーブルにおいて見つけ、状態を変化させるための対応するための対応する命令データを識別することができる。キューが単にフラグまたは時間スタンプである場合、連続するキューの検出に応答して、参照テーブル内のエントリに順にアクセスすることができる。

参照テーブル内の命令データは、例えば、仮想環境の状態の一連の変化を実施するためのスクリプトデータを含むことができ、あるいはそのようなスクリプトデータをどこで見つけることができるのかを示すことができ、したがって、例えば、参照テーブルのエントリは、スクリプトのＵＲＬもしくはファイル名、あるいは仮想環境を生成するソフトウェアにすでに組み込まれた特定のスクリプト化された動作に対応するものとしてエンターテイメント機器によって認識される識別子を含むことができる。参照テーブルは、これらの組み合わせを含んでもよい。

そのような命令によって指定される状態の変化は、ユーザに対する仮想環境の少なくとも一部の表示の開始または停止、ユーザに対する仮想環境の追加部分の表示の開始または停止（すなわち、第１のディスプレイに加えてディスプレイの複数の別々の領域を有する）、例えば仮想環境においてオブジェクトまたはキャラクタを追加し、さらには／もしくはアニメーションさせ、あるいはそれらの位置の挙動を変更することによる仮想環境のコンテンツの変更、あるいは仮想環境の表示または各々の表示を生成するために使用される仮想カメラの位置／視点の変更の形態をとることができる。

したがって、例えば、第１のキューは、参照テーブルにおいて、エンターテイメント機器に仮想環境の少なくとも一部の表示を開始させるための命令に対応することができ、環境自体はデフォルトの状態で始まる。第２のキューは、参照テーブルにおいて、仮想カメラを仮想環境内の異なる位置に移動させるための命令に対応することができ、したがって、例えば仮想環境内の新たなオブジェクトまたはキャラクタを視認可能にする。第３のキューは、例えばオブジェクトまたはキャラクタの特定の挙動（アニメーションなど）を生じさせ、さらに随意により関連のサウンドも再生する（例えば、キャラクタが手を振って話しかけてくるように見える）（別個のファイルとして、または仮想環境を生成するソフトウェアにすでに組み込まれた）スクリプトを識別する命令データに対応することができる。このようにして、例えば、事前に記録されたビデオコンテンツにおける誘導された対話性を促進することができる。

別の例においては、ビデオコンテンツ内の飛行機を、ビデオコンテンツの範囲外に移動するように見せることができる。これが始まるとき、ビデオコンテンツ内のその瞬間に関連付けられたキューは、参照テーブルにおいて、ユーザにとってあたかも飛行機が第１のディスプレイのビデオコンテンツから仮想環境に飛び出すように見えるようにその飛行機の仮想モデルをアニメーションさせて表示するための命令に対応する。同様の効果を、爆発、カーチェイス、などに使用することが可能である。事前に記録されたビデオ素材に関して、これは、ユーザ体験の予期せぬ楽しい向上をもたらすことができる。

仮想環境の状態の変化が、達成に所定の期間を超える（例えば、Ｎ個のフレーム（ここで、Ｎは必要に応じて１、２、３、４、５、１０、２５、またはそれ以上）を超える）時間を要し得るエンターテイメント機器による動作を必要とする場合、随意により、キューは、２つの部分を含むことができ、第１のキューは、時間の大部分を占めるであろう関連の情報をロードし、さらに／あるいは状態の変化を準備する命令に関連付けられ、第２のキューは、好ましいＮ個のフレームのうちに生じなければならない状態の変化の実行であることを、理解できるであろう。典型的には、仮想環境がすでにエンターテイメント機器内で実行されている状況では、Ｎは１または２になる。Ｎは、状態の変化の性質に依存する可能性があり、例えば、第２のディスプレイのオンまたはオフには数秒が必要であると仮定することができ、したがってＮを５０、１００、またはそれ以上に等しくすることができる一方で、仮想カメラの位置の変更または仮想環境内のエンティティのアニメーションは、同じビデオフレーム内または次のビデオフレーム内で達成できると仮定できることを、理解できるであろう。

［ディスプレイの配置］
本明細書においてすでに述べたように、表示される仮想環境の状態は、典型的には、表示されたビデオコンテンツに視覚的に関連する。例えば、静的、動的、または対話的な壁紙（例えば、２Ｄの場合）または遠景（例えば、３Ｄの場合）の形態で、表示されたビデオコンテンツを囲む背景をもたらすことができる。したがって、より一般的には、仮想環境は、ビデオコンテンツの少なくとも一部に視覚的に関連するように設計された（典型的には、２Ｄまたは３Ｄ仮想空間のいずれかにおける）グラフィカルな環境である。

随意により、そのようなグラフィカルな仮想環境を、ビデオコンテンツアイテムの表示を囲むように配置することができる。効果の実例が、仮想現実ヘッドセットの場合について図４に示されており、恐竜の３Ｄビデオコンテンツが、仮想ビュー空間の所定の領域としての第１のディスプレイに表示され、ジャングルの様子が、仮想ビュー空間の他の領域において見て取ることができる背景として提示されている。同様の効果を、第１のディスプレイであるテレビに向かって画像を投影するが、一次ディスプレイと干渉することがないようにテレビに一致する黒色の長方形を表示するようにプロジェクタを整列させることによって、物理的に提供することができる。黒色の長方形のサイズと位置を、較正段階において決定することができる。したがって、エンターテイメント機器は、黒色の長方形を最終的なオーバーレイとして有する仮想環境を生成し、これをプロジェクタによって表示することができる。結果として、効果は図１に示したものと同様になる。

同様の効果を、ＡＲヘッドマウントディスプレイにおいてもやはりもたらすことができるが、この場合には、テレビスクリーンの明るさを利用することで、ユーザの頭部が動くときにテレビスクリーンの位置を動的に検出することができ（可能性として、機器が提供する任意の他のトラッキング技術と組み合わせられる）、ディスプレイによってユーザに提示されるグラフィカルなオーバーレイが、例えば表示されたＡＲ表示画像のうちのユーザのテレビ視野に現時点において一致する領域の画素について透明度を最大に設定することによって、ＴＶスクリーンを囲むが、ＴＶスクリーンに重なることはないように配置される。

しかしながら、これが唯一の可能な構成ではないことを、理解できるであろう。図５を参照すると、第１のディスプレイ１１０がテレビである本発明の一実施形態において、第２のディスプレイ１２０は、加速度計／ジャイロスコープによる運動の検出および／またはビデオカメラを備える携帯電話機、タブレット、または他の携帯デバイスであってよい。加速度計、ジャイロスコープ、および／またはオプティカルフローによる運動の検出を使用して、そのような機器は、機器が向いている方向を判断することができる。結果として、第２のディスプレイがどこを向いているかをエンターテイメント機器に知らせる適切なアプリを第２のディスプレイ装置上で実行することによって、エンターテイメント機器は、仮想ビュー空間のうちの装置のスクリーンに対応する領域における仮想環境１３０のレンダリングを第２のディスプレイに提供することができる。このようにして、ユーザは、例えば秘密（いわゆる「イースターエッグ」）１３５や、例えば第２のスクリーンにおいて後ろを見ることを選択した場合に限って発見することになるホラー映画においてユーザの背後に立つモンスターなどの他の補完アイテムを見つけるために、第１のディスプレイ装置の周囲のシーンを見回すことができる。

［環境資産］
ビデオコンテンツに関連付けられた仮想環境は、一般的であってよく、あるいは一般的または標準的なオブジェクト、キャラクタ、および／またはエンティティを含むことができ、したがってエンターテイメント機器に事前にロードしておくことができる。これに代え、あるいはこれに加えて、ビデオコンテンツに関連した仮想環境に特有の環境資産が必要とされる可能性があり、例えば、キャラクタのための特定の顔テクスチャ、または背景を、標準的な資産と併せて使用することができ、あるいは自身の資産による完全に新しい仮想環境を提供することができる。

そのような資産を、例えばディスク上またはオンラインのファイル構造内にビデオコンテンツと併せて格納することができ、もしくはビデオストリーミングサービスなどのサービスプロバイダによってビデオコンテンツに関連付けて保持することができ、さらには／あるいは資産の場所を、例えばＵＲＬの形態でビデオコンテンツのユーザフィールドにおいて特定してもよい。

このようにして、ビデオコンテンツは、標準的な仮想環境、修正を加えた標準的な仮想環境、または必要に応じてデザイナーが望むとおりに仕立てられた仮想環境を利用することができ、これらの仮想環境に必要な資産は、ビデオコンテンツと同時に得ることができ、あるいはビデオコンテンツの所定のユーザフィールドを調べることによって得ることができる。

典型的には、環境資産が、仮想環境の状態の変化を指定するために使用される命令データよりも大きいことを、理解できるであろう。したがって、状況により、命令データをビデオコンテンツに含めることはできるが、資産をビデオコンテンツに含めることは不可能かもしれず、あるいは逆もまた然りであり、同様に、異なる解像度／忠実度の資産を異なる再生／ディスプレイ装置についてそれぞれの処理およびグラフィック能力を反映すべく選択できるように、命令をビデオコンテンツに含め、資産をオンラインで提供することが可能である。

同様に、命令データをビデオコンテンツに関連付けることができ、あるいはビデオコンテンツと一緒にパッケージできる一方で、仮想環境の資産を別に保持することにより、例えば同じグラフィックを挙動はそれぞれ異なるが複数のエピソードについて使用することができるテレビシリーズの場合においてストレージのオーバーヘッドを減らすために、１回だけアクセスすればよいようにすることが可能である。

これらの手法の任意の組み合わせを使用することができ、例えばテレビシリーズを、大部分のエピソードに共通の環境資産の基本セット、ならびに個々のエピソードについて用意される補足の環境資産の（相応に小さい）セットと共にパッケージできることを、理解できるであろう。

同様に、新しくリリースされたビデオコンテンツが、キューのタイミング、命令、および仮想環境の資産を必要に応じて含むことができる一方で、以前にリリースされた古いビデオコンテンツは、キューのタイミング、命令データ、および仮想環境の資産を別のダウンロード可能な資料として提供し、そのような資料が本明細書においてすでに述べたようにその資料の再生時間を監視またはカウントすることによって既存のビデオコンテンツと同期可能であることにより、サポート可能である。

［バリエーション］
本発明が、ただ１つの二次ディスプレイに限られるわけではなく、例えばＶＲまたはＡＲの実現において、一次ディスプレイを取り囲む非重なり合い領域に表示される仮想環境を、仮想環境の別のディスプレイまたは一次ディスプレイの反対側（すなわち、ユーザの背後）に位置する補足の仮想環境よりも、高品質に生成することができることを、理解できるであろう。同様に、プロジェクタが物理的なＴＶの周囲の領域を強化するために使用される物理的構成において、電話機またはタブレットなどの携帯デバイスを別途使用して、投影領域の極限の向こう側を探索することができ、あるいは例えば投影領域の一部分のレンダリングを仮想環境の対応する投影部分よりも近い仮想カメラ位置および／または高い解像度として送信することによって、投影領域内の特徴の検査を可能にする拡大鏡として動作させることができる。

同様に、ビデオコンテンツが事前に記録されていることは、本明細書においてすでに述べたとおりである。これにより、キューおよび仮想環境の変化を事前に準備することができる。しかしながら、原理的には、これを例えばビデオチャットなどの際に、ライブビデオで行うことができ、したがって、例えば自身のウェブカムビデオを友人へとストリーミングする第１のユーザが、例えば雰囲気を伝えるためにビデオを囲む日の当たる草原または暗い路地などのシーンを選択することによって、ウェブカムビデオの何らかの強化を指定するビデオに関連したキュー情報を受け手に送信するボタンを押し、あるいはメニュー項目を選択することができる。このようにしてユーザの選択に応じてキューを送信することによって、ユーザは、自身の送信するビデオを動的に強化することができ、例えば放送を終了して「愛してる」と言うときに、受け手のテレビの上方にアニメーションのハートを表示することを選択することができる。

しかしながら、事前に記録されたビデオコンテンツまたはライブビデオコンテンツのいずれの場合でも、第１のディスプレイに表示されるビデオコンテンツが、第２のディスプレイまたは補助ディスプレイに示される仮想環境から生成または導出されることはなく、それらは共通の生成元を持たず、単に同じ環境の２つのビューを表すだけではないことを、理解できるであろう。しかしながら、原理的に、本発明が、すでに述べた第１のディスプレイ上のビデオコンテンツを補う仮想環境の一部またはすべての非重なり合いの表示の提供とは別の追加の工程として、事前に記録されたビデオコンテンツ上に重ね合わせられる別の増強も表示することを、妨げるものは何もない。

したがって、ここで図６を参照すると、本発明の概要の実施形態において、ビデオコンテンツの同期の方法は、
・第１のステップＳ６１において、すでに述べたようにビデオコンテンツアイテムをテレビまたは仮想ビュー空間の所定の領域などの第１のディスプレイ（１１０）に表示することと、
・第２のステップＳ６２において、表示用にビデオコンテンツアイテムとは別の仮想環境（１３０）を生成し、「仮想環境」は、仮想の座標系内の選択された位置の仮想のオブジェクトであって、同じ座標系内に位置する仮想カメラによって眺めることができる仮想のオブジェクトを単に含むことができ、あるいは、随意により、例えばビデオゲームと同様の任意の複雑さおよび／またはサイズの仮想環境であってよいことと、
・第３のステップＳ６３において、ビデオコンテンツアイテムの再生の所定の時間に関連付けられており、例えばビデオフレームのユーザフィールドに埋め込まれたキューデータの形態である所定のキューを検出し、キューデータは、固有の識別子、カウンタ、または単にフラグを含むことができ、あるいはビデオコンテンツの経過した再生と比較するための別に列挙されたキュータイミングの形態であってよいことと、
・第４のステップＳ６４において、仮想環境の少なくとも一部を、例えば本明細書においてすでに述べたようにプロジェクタ、ＡＲヘッドセットまたはＶＲヘッドセット、あるいは電話機またはタブレット（１２０）などのモバイルスクリーンを使用することによって、第１のディスプレイ以外に表示することと、
を含み、
・仮想環境の少なくとも一部の表示の状態が、検出された所定のキューに応答して変化し、例えば仮想環境の表示が開始または停止され、仮想環境の少なくとも一部のコンテンツまたは挙動が変化し、あるいは仮想環境の表示された少なくとも一部をレンダリングするために使用される仮想カメラの視点または視野が変更される。

概要の実施形態の一例において、第１のディスプレイは、現実世界の物理的なディスプレイである。この場合、仮想環境の少なくとも一部は、プロジェクタ、拡張現実ディスプレイ装置、およびモバイルディスプレイ装置（例えば、電話機またはタブレット）からなるリストから選択される１つによって表示される。

概要の実施形態の一例において、ビデオコンテンツアイテムおよび仮想環境の少なくとも一部は、仮想現実ディスプレイ装置によって表示され、第１のディスプレイは、仮想現実ディスプレイによって提示されるビュー空間内の所定の領域を占める。

概要の実施形態の一例において、仮想環境の表示された少なくとも一部は、ビデオコンテンツアイテムに重ならないやり方で表示される。この場合、仮想環境の表示された少なくとも一部は、ビデオコンテンツアイテムの表示を囲むように表示される。

概要の実施形態の一例において、関連付けられたキューは、例えばビデオコンテンツアイテムの現在の再生時間と比較される所定のキュータイミングのリストとして、ビデオコンテンツアイテムとは別にアクセス可能であり、現在の再生時間が対応する所定のキュー時間に一致する特定のキューが識別される。

あるいは、概要の実施形態の一例においては、所定のキューまたは各々の所定のキューが、ビデオコンテンツアイテムに埋め込まれる。

概要の実施形態の一例において、本方法は、それぞれの所定のキューに対応する命令データであって、仮想環境の少なくとも一部の表示の状態をそれぞれの所定のキューに応答して変化させるべきそれぞれのやり方を示す１つ以上の命令を含んでいる命令データにアクセスするステップと、命令または各々の命令に応答して変化を実行するステップとを含む。前述のように、この命令データは、ビデオデータに組み込まれてもよく、あるいはより典型的には別途もたらされ、参照テーブルによってキューデータに関連付けられてもよい。

概要の実施形態の一例において、本方法は、仮想環境の生成に使用される１つ以上の仮想資産を含む資産データにアクセスするステップを含む。前述のように、この資産データは、特定のビデオコンテンツアイテムについての一般的な資産および特注の資産を含むことができ、さらに、特注の資産を、例えばＴＶシリーズについてのリソースの基本セット（例えば、タイトルシーケンスへの装飾、背景としてのシリーズからの特徴的なシーン、および／またはスクリーンを囲むテーマの「額縁」装飾）を各々のエピソードに関する後の別のリソース（例えば、そのエピソード内の特有のシーンまたはイベントに関係する）と共に提供する別個のリソースとして提供することができる。この場合、本明細書においてすでに述べたように、資産データに、それぞれの所定のキューに応答して仮想環境を修正すべきそれぞれのやり方を示す命令データとは別にアクセスすることができる。

最後に、概要の実施形態の一例において、第１のビデオコンテンツアイテムは、事前に記録されたビデオである。しかしながら、本明細書においてすでに述べたように、潜在的に、ビデオコンテンツアイテムは、ライブストリーミングビデオであってもよい。しかしながら、ビデオコンテンツアイテムが、第１のディスプレイの外側に表示される仮想環境内に共通の生成元を持たないことは、想定されていない。

本発明の別の概要の実施形態において、ビデオコンテンツの同期のための装置は、第１のディスプレイ（１１０）のために第１のビデオコンテンツを出力するように構成された出力手段（１４Ｂ）と、第１のビデオコンテンツとは別の表示用の仮想環境（１３０）を生成するように構成されたプロセッサ（１２）と、第２のディスプレイ（１２０）のために仮想環境の少なくとも一部を出力するように構成された出力手段（１４Ａ、１４Ｂ）と、第１のビデオコンテンツの再生における所定の時間に関連付けられた所定のキューを検出するように構成されたキュー検出部（１２）とを備え、プロセッサは、検出された所定のキューに応答して仮想環境の少なくとも一部の表示の状態を変更するように構成されている。

上述の装置における変種が、これらに限られるわけではないが、第１のディスプレイが現実世界の物理的なディスプレイであり；仮想環境の少なくとも一部がプロジェクタ、拡張現実ディスプレイ装置、およびモバイルディスプレイ装置のうちの１つによって表示され；第１のビデオコンテンツおよび仮想環境の少なくとも一部が仮想現実ディスプレイ装置によって表示され、第１のディスプレイが仮想現実ディスプレイによって提示されるビュー空間内の所定の領域を占め；仮想環境の表示された少なくとも一部は、例えばビデオコンテンツアイテムの表示を囲むなど、ビデオコンテンツアイテムに重ならないやり方で表示されており；関連付けられたキューが、例えばビデオコンテンツアイテムの現在の再生時間を検出し、現在の再生時間をそれぞれの所定のキューに関連付けられた１つ以上の所定の時間と比較し、現在の再生時間が対応する所定の時間に一致するときに所定のキューを識別することによって、ビデオコンテンツアイテムとは別にアクセス可能であり；所定のキューまたは各々の所定のキューが、ビデオコンテンツアイテムに埋め込まれ；それぞれの所定のキューに対応する命令データであって、仮想環境の少なくとも一部の表示の状態をそれぞれの所定のキューに応答して変化させるべきそれぞれのやり方を示す１つ以上の命令を含んでいる命令データにアクセスするための手段と、命令または各々の命令に応答して変化を実行する手段とを有し；仮想環境の生成に使用される１つ以上の仮想資産を含む資産データにアクセスするための手段を有し、例えば資産データは、それぞれの所定のキューに応答して仮想環境を修正すべきそれぞれのやり方を示す命令データとは別にアクセス可能であり；第１のビデオコンテンツアイテムは事前に記録されたビデオである；など、本明細書に記載の方法を必要に応じて実行するように想定されることを、理解できるであろう。

したがって、上記の方法を、ソフトウェア命令あるいは専用ハードウェアの包含または置換によって必要に応じて適切に構成される従来からのハードウェア上で実行できることを、理解できるであろう。

したがって、従来からの同等の機器の既存の部分について必要な適応を、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、あるいはこれらの記憶媒体または他の記憶媒体の任意の組み合わせなどの非一時的な機械可読媒体に記憶されたプロセッサ実行可能命令を含むコンピュータプログラム製品の形態で実施でき、あるいはＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）または従来からの同等の機器の適応において使用するために適した他の設定可能回路として、ハードウェアで実現することができる。さらに、そのようなコンピュータプログラムを、Ｅｔｈｅｒｎｅｔ、無線ネットワーク、Ｉｎｔｅｒｎｅｔ、あるいはこれらのネットワークまたは他のネットワークの任意の組み合わせなどのネットワーク上のデータ信号を介して送信することができる。

Claims (14)

1. ビデオコンテンツの同期の方法であって、
   ビデオコンテンツアイテムを第１のディスプレイに表示するステップと、
   表示用に前記ビデオコンテンツアイテムとは別の３Ｄ仮想環境を生成するステップと、
   前記ビデオコンテンツアイテムの再生の所定の時間に関連付けられた所定のキューを検出するステップと、
   前記３Ｄ仮想環境の少なくとも一部を前記第１のディスプレイ以外に表示するステップと
   を含み、
   前記３Ｄ仮想環境の前記少なくとも一部の表示の状態が、前記検出された所定のキューに応答して変化し、
   前記３Ｄ仮想環境の前記表示された少なくとも一部は、前記ビデオコンテンツアイテムに重ならないやり方で表示されている、方法。
2. 前記第１のディスプレイは、現実世界の物理的なディスプレイである、請求項１に記載のコンテンツの同期の方法。
3. 前記３Ｄ仮想環境の前記少なくとも一部は、
   ｉ．プロジェクタ、
   ｉｉ．拡張現実ディスプレイ装置、および
   ｉｉｉ．モバイルディスプレイ装置
   からなるリストから選択される１つによって表示される、請求項２に記載のコンテンツの同期の方法。
4. 前記ビデオコンテンツアイテムおよび前記３Ｄ仮想環境の前記少なくとも一部は、仮想現実ディスプレイ装置によって表示され、前記第１のディスプレイは、仮想現実ディスプレイによって提示されるビュー空間内の所定の領域を占める、請求項１に記載のコンテンツの同期の方法。
5. 前記３Ｄ仮想環境の前記表示された少なくとも一部は、前記ビデオコンテンツアイテムの表示を囲むように表示されている、請求項１に記載の方法。
6. 前記関連付けられたキューは、前記ビデオコンテンツアイテムとは別にアクセス可能である、請求項１～５のいずれか一項に記載の方法。
7. 前記ビデオコンテンツアイテムの現在の再生時間を検出するステップと、
   前記現在の再生時間を、それぞれの所定のキューに関連付けられた１つ以上の所定の時間と比較するステップと、
   前記現在の再生時間が対応する所定の時間に一致するときに所定のキューを識別するステップと
   を含む、請求項６に記載の方法。
8. 前記所定のキューまたは各々の所定のキューは、前記ビデオコンテンツアイテムに埋め込まれている、請求項１～５のいずれか一項に記載の方法。
9. それぞれの所定のキューに対応する命令データであって、前記３Ｄ仮想環境の少なくとも一部の前記表示の状態を前記それぞれの所定のキューに応答して変化させるべきそれぞれのやり方を示す１つ以上の命令を含んでいる命令データにアクセスするステップと、
   前記命令または各々の命令に応答して前記変化を実行するステップと
   を含む、請求項１～８のいずれか一項に記載の方法。
10. 前記３Ｄ仮想環境の生成に使用される１つ以上の仮想資産を含む資産データにアクセスするステップ
    を含む、請求項１～９のいずれか一項に記載の方法。
11. 前記資産データは、前記３Ｄ仮想環境をそれぞれの所定のキューに応答して修正すべきそれぞれのやり方を示す命令データとは別にアクセスされる、請求項１０に記載の方法。
12. 前記ビデオコンテンツアイテムは、事前に記録されたビデオである、請求項１～１１のいずれか一項に記載の方法。
13. コンピュータシステムに請求項１～１２のいずれか一項に記載の方法を実行させるように構成されたコンピュータ実行可能命令を有しているコンピュータ可読媒体。
14. ビデオコンテンツの同期のための装置であって、
    第１のディスプレイのために第１のビデオコンテンツを出力するように構成された出力手段と、
    前記第１のビデオコンテンツとは別の表示用の３Ｄ仮想環境を生成するように構成されたプロセッサと、
    第２のディスプレイのために前記３Ｄ仮想環境の少なくとも一部を出力するように構成された出力手段と、
    前記第１のビデオコンテンツの再生における所定の時間に関連付けられた所定のキューを検出するように構成されたキュー検出部と
    を備え、
    前記プロセッサは、前記検出された所定のキューに応答して前記３Ｄ仮想環境の少なくとも一部の表示の状態を変更するように構成されており、
    前記３Ｄ仮想環境の前記表示された少なくとも一部は、前記第１のビデオコンテンツに重ならないやり方で表示されている、装置。

Images