JP5576561B2 - モバイルデバイスに表示される補足ビデオコンテンツ - Google Patents

Description

概して、本発明はビデオディスプレイに関連し、より詳細にはモバイルデバイスに補足コンテンツを表示することに関連する。

特許協力条約（ＰＣＴ）に基づく本出願は、米国特許出願第12/835,657号（代理人整理番号：90619-781764号（元の整理番号：026340-007200US））（２０１０年７月１３日出願）の利益を主張するものであり、該出願は事実上全体が本明細書に参考のために組み込まれている。

本願は、発明の名称を「OVERLAY VIDEO CONTENT ON A MOBILE DEVICE」とする米国特許出願第12/835,645号（代理人整理番号：90619-781763（元の整理番号：026340-007200US））（２０１０年７月１３日出願）と、発明の名称を「POSITION DEPENDENT GAMING, 3-D CONTROLLER」とする米国特許出願第12/835,671号（代理人整理番号：90619-785201（元の整理番号：026340-007600US））（２０１０年７月１３日出願）に関連し、各出願は事実上全体が本明細書に参考のために組み込まれている。

ビデオディスクに記録された映画やその他のビデオコンテンツの多くは追加コンテンツを含む。この追加コンテンツは多くの場合、舞台裏特集、俳優／監督情報、カットシーン、字幕、などを含む。典型的に、このような追加コンテンツの多くは、ディスクのオープニングメニューからでしかアクセスできない。これらは単独で再生され、映画のコンテンツではないように見える。

現在では、一部のフォーマットでは、ビデオコンテンツの再生中にこの追加コンテンツの一部をビデオコンテンツに重ねて配置できるようになっている（例えば、映画を再生中に字幕を映画にオーバーレイできる）。しかし、このオーバーレイ情報がメイン映像の邪魔をし、このことが他の映画鑑賞者（例えば、家族の他のメンバー）にとっては望ましくない場合もある。

更に、一部のマルチプレーヤゲームでは、ある情報を一部のプレーヤだけにしか表示しないようにすることが望ましい場合もある。しかし、従来、このようなことができるのは、複数のプレーヤが別々の場所でプレイするオンラインゲームか、複数のプレーヤが１つの広い場所でそれぞれ専用のディスプレイとデバイスとを使ってゲームをプレイするローカルネットワークゲームだけであった。しかし、１か所に１つのディスプレイが設置されたマルチプレーヤゲームの場合、グループは同じ画像を見ていることから、プレーヤ全員が見ることができるよう、情報は通常、スクリーンに表示される。

従って、当分野では、ビデオコンテンツに関連する補足コンテンツを、ビデオディスプレイに表示されるビデオコンテンツを見ている全員に補足コンテンツを表示することなく、１以上の個別のビューアに表示できるようにすることが必要とされている。

モバイルデバイスに表示するよう補足コンテンツを提供するための方法、システム、装置、及びソフトウェアが記載されている。一実施形態では、システムはビデオコンテンツ（映画やビデオゲームなど）を表示するビデオディスプレイを含む。統合ディスプレイを備えたモバイルデバイスはこのビデオディスプレイをトラッキングし、更に、トラッキングしたビデオディスプレイ中のビデオコンテンツを識別することもできる。このモバイルデバイスは、識別したビデオコンテンツに関連する補足コンテンツにアクセスし、アクセスした補足コンテンツを統合ディスプレイに表示することもできる。

従って、各ユーザは各々のモバイルデバイスを使って、共通のビデオディスプレイに表示されたビデオコンテンツに関連する別々の補足コンテンツを見ることができる。補足コンテンツとしては俳優情報、スポーツ統計、最新のビデオゲーム情報や特定プレーヤの画像、映画やゲームの別のビューあるいは視点、別のシーン、追加特典やボーナス特典、あるいは同様の情報が挙げられるが、これらに限定されない。

モバイルデバイスには、補足コンテンツとともに統合ディスプレイに表示するためのビデオコンテンツをキャプチャするためのビデオカメラが内蔵されていてもよい。ビデオコンテンツはマーカを含みうる。このマーカは、モバイルデバイスが、内蔵のビデオカメラを使って該マーカをキャプチャすることによってビデオディスプレイをトラッキングできるようにフォーマットされている。更に、マーカの各々はビデオコンテンツと、このビデオコンテンツの時間位置、あるいはテンポラルポジションとを識別するようにフォーマットされていてもよい。更に、ビデオコンテンツの時間位置に応じて補足コンテンツを選択することもできる。

補足コンテンツはモバイルデバイスを持つユーザからリクエストされるコンテンツであってもよい。ビデオコンテンツは、ビデオディスクプレーヤから再生されるビデオであってもよい。更に補足コンテンツはビデオディスクプレーヤに記憶され、ここからアクセスされてもよい。ビデオコンテンツはビデオゲームであってよく、補足コンテンツは、モバイルデバイスのユーザ用のビデオゲームに関するプレーヤ専用情報であってもよい。補足コンテンツはプレーヤ毎に異なるものであってよい。補足コンテンツは補足コンテンツデータストアから遠隔アクセスされてもよいし、（コンソールデバイスなど）ローカルに記憶されてもよい。

モバイルデバイスには補足コンテンツとともに統合ディスプレイに表示するためのビデオコンテンツをキャプチャするためのビデオ入力があってもよい。ある実施形態においては、補足コンテンツを表示するための方法が含まれる。モバイルデバイスに対するビデオディスプレイの位置がトラッキングされ、トラッキングされたビデオディスプレイに表示されるビデオコンテンツが識別されうる。この識別されたビデオコンテンツに基づいて補足コンテンツが選択されうる。補足コンテンツはモバイルデバイスに表示されてもよい。ビデオコンテンツには、ビデオコンテンツをトラッキングし、これを識別するようにフォーマットされたマーカが含まれていてもよい。識別したビデオコンテンツの時間位置に基づいて（例えば、ある映画のシーンやあるゲーム中で発生するイベントに基づいて）補足コンテンツが選択されてもよい。

更に別の実施形態は、マルチプレーヤゲームのプレーヤ毎に補足コンテンツを選択することに関する。ビデオディスプレイに表示されるビデオゲームコンテンツが識別されうる。ビデオディスプレイの相対位置は、第１プレーヤに対応付けられる第１モバイルデバイスと、第２プレーヤに対応付けられる第２モバイルデバイスとによりトラッキングされうる。第１プレーヤ専用ビデオデータは第１プレーヤがアクセスするためのデータであり、ビデオゲームコンテンツを補足しこれに対応付けられるものであってよい。このアクセスした第１プレーヤ専用ビデオデータを第１モバイルデバイスに転送し、表示するようにもできる。第２プレーヤ専用ビデオデータは第２プレーヤがアクセスするためのデータであり、ビデオゲームコンテンツを補足しこれに対応付けられるものであってよい。このアクセスした第２プレーヤ専用ビデオデータを第２モバイルデバイスに転送し、表示するようにもできる。

プレーヤ専用ビデオデータは、例えば、テキスト、動画、あるいはグラフィック強化あるいはグラフィックエンハンスメントなどであってもよい。これらはビデオゲームコンテンツと離れて、あるいはこれと一体となってモバイルデバイスに表示されてもよい。ある実施形態では、プレーヤ専用ビデオデータは、第１プレーヤは入手できるが第２プレーヤは入手できない秘密情報である。プレーヤ専用ビデオデータは、所定のプレーヤにより選択された情報であってよいが、双方のプレーヤが入手できるものである。

本発明の各種実施形態による、モバイルデバイスに補足コンテンツを提供するためのシステムのブロック図。 本発明の各種実施形態による、複数のモバイルデバイスに補足コンテンツを提供するためのシステムのブロック図。 本発明の各種実施形態による、コンソールデバイスから送られた補足コンテンツをモバイルデバイスに提供するためのシステムのブロック図。 本発明の各種実施形態による、補足コンテンツデータストアから送られた補足コンテンツをモバイルデバイスに提供するためのシステムのブロック図。 本発明の各種実施形態による、キャプチャしたビデオコンテンツとともに補足コンテンツを表示するように構成されたモバイルデバイスのブロック図。 本発明の各種実施形態による、補足ビデオコンテンツがモバイルデバイスに表示された画面を例示した説明図。 本発明の各種実施形態による、ビデオゲームにオーバーレイされる補足コンテンツを表示した様々な画面を例示した説明図。 本発明の各種実施形態による、ビデオゲーム用補足コンテンツを表示した画面を例示した説明図。 本発明の各種実施形態による、補足コンテンツをモバイルデバイスに提供するためのプロセスを示すフロー図。 本発明の各種実施形態による、モバイルデバイスに表示するための補足コンテンツを識別するためのプロセスを示すフロー図。 本発明の各種実施形態による、モバイルデバイスに表示するための補足コンテンツを識別するための他のプロセスを示すフロー図。 各種実施形態の態様を実行するために使用できる例示的装置の構成要素を示す図。

本発明の本質及び利点は、以下の図面を参照することで更に理解することができる。添付の図面では、同様の構成要素や特徴には同一の参照ラベルが付されている場合がある。更に、同種の様々な構成要素は、ダッシュによる参照ラベルや同様の構成要素を区別する第２ラベルに従うことにより区別することができる。明細書において第１参照ラベルしか使用していない場合は、第２参照ラベルに関係なく、同一の第１参照ラベルが付された同様の構成要素のいずれについても、その記載を適用することができる。

モバイルデバイスに表示するための補足コンテンツを提供する方法、システム、及び装置が記載されている。一実施形態では、システムは、ビデオソース（ビデオディスクプレーヤやビデオゲームコンソールなど）からのビデオコンテンツ（映画やビデオゲームなど）を表示するビデオディスプレイを含む。統合ディスプレイを備えたモバイルデバイスはこのビデオディスプレイをトラッキングしうる。トラッキングしたビデオディスプレイのビデオコンテンツは識別されうる。このモバイルデバイスは識別したビデオコンテンツに関連する補足コンテンツにアクセスし、アクセスした補足コンテンツを統合ディスプレイに表示しうる。

本明細書は本発明の実施例を記載しているが、本発明の範囲、利用可能性、及び構造を限定することを意図するものではない。むしろ、各実施形態の記載に従うことにより、当業者には本発明の各実施形態を実行するための有益な明細書が提供されることになる。本発明の趣旨及び範囲から逸脱することなく、機能や要素の配列において各種の変更を加えることができる。

従って、各種実施形態においては適宜、各種の手順や構成要素を省略し、代替し、追加している場合がある。例えば、他の実施形態では、記載された順序とは異なる順序で各方法を実施してもよいし、各種のステップを追加し、省略し、組み合わせるようにしてもよいことを理解されたい。更に、ある実施形態について記載した特徴を他の各種実施形態に組み合わせることもできる。各実施形態の異なる態様や要素を同様の方法で組み合わせるようにしてもよい。

更に、以下に記載するシステム、方法及びソフトウェアは個別であれ集合的であれ大規模なシステムの構成要素である場合があり、他の手順がそれらの適用に優先してもよいし、それらの適用を変更してもよいことも理解されるべきである。更に、以下の各種実施形態の前後やこれらと同時にいくつかのステップが必要とされる場合もある。

補足コンテンツを表示するためのシステム、装置及びソフトウェアが記載されている。図１に示す一連の実施形態では、システム１００はビデオソース１０５、ビデオディスプレイ１１０、モバイルデバイス１１５、及びモバイルデバイスコンテンツソース１３０を含む。システム１００のこれらの構成要素の各々は（直接接続、無線接続、無線又は有線ネットワーク経由等により）相互接続された状態であってよい。モバイルデバイス１１５は統合ディスプレイ１２０を含む。

ビデオソース１０５はビデオディスクプレーヤ、ビデオゲームコンソール、インターネット、ケーブルヘッドエンド、あるいは別のビデオソースを含みうる。ビデオソース１０５はビデオディスプレイ１１０にビデオコンテンツを送信する。ある実施形態では、ビデオソース１０５とモバイルデバイスコンテンツソース１３０とは全体あるいは一部が同一の装置かシステムであってよい。上述したように、ビデオソース１０５とビデオディスプレイ１１０の間は直結されていてもよいしネットワーク経由で接続されていてもよい。ビデオディスプレイ１１０はテレビ、ビデオモニタ（液晶ディスプレイやプラズマディスプレイなど）、あるいはその他のビデオディスプレイであってよい。例えば、ビデオコンテンツは、映画、テレビ番組、ビデオゲーム、ウェブコンテンツ、あるいはその他の形態のビデオコンテンツであってよい。

上述したように、モバイルデバイス１１５は統合ディスプレイ１２０を含む。ある実施形態では、モバイルデバイス１１５には、ビデオカメラが内蔵されていてもよい（図１には不図示）。このカメラはディスプレイとは逆方向を向いた、モバイルデバイス１１５に備えられた外向きのカメラであってもよい。更にこのカメラは、ビデオディスプレイ１１０を見ることができるよう、モバイルデバイスとの関連で他の方向を向いていてもよい。このモバイルデバイス１１５は携帯電話、携帯端末（ＰＤＡ）、ポータブルビデオプレーヤ、ポータブルマルチメディアプレーヤ、ポータブルＤＶＤプレーヤ、ノート型ＰＣ、携帯用ゲーム機、ゲームコントローラ、ビデオカメラ、あるいはその他のデジタル電子装置であってもよい。

上述したように、モバイルデバイス１１５は、識別したビデオコンテンツに関連する補足コンテンツにアクセスする。この補足コンテンツはモバイルデバイスディスプレイ１２０に表示されうる。この補足コンテンツには、俳優情報、クイズ番組の問題に対するヒントや答え、スポーツ統計、ファンタジースポーツリーグ情報、あるプレーヤにとっての最新のビデオゲーム情報など、が含まれうる。更にこの補足コンテンツには、他の映画やゲームビュー、別のシーン、追加特典やボーナス特典、販促品、あるいは同様の情報などが含まれうる。ある実施形態では、一部隠しリンク、特別コンテンツを見つけるための課題、ビデオコンテンツに関連する追加のゲーム、報酬などがあってもよい。ある映画に関して、あるユーザが別のユーザに質問することもできた雑学的質問を表示するようにしてもよい。ある実施形態では、複数のユーザは各々コンテンツに投票することができる。あるいはモバイルデバイス１１５にコメントを入力することができる。これらは（ローカルユーザ、遠隔ユーザを問わず）別のユーザのモバイルデバイスでスクロールできるものであり、例えばリアリティテレビ番組の出演者についてのコメントをスクロールできる。更に、補足コンテンツは、その表示や角度が携帯用モバイルデバイスの角度やこのような他の情報に依存するものであってもよい。

更に、観客のいる多人数参加型ビデオゲームやシングルプレイ用ビデオゲーム専用の新規態様が多くある。プレーヤや観客はそれぞれモバイルデバイスを使って別のビューを見ている場合がある。一実施形態では、プレーヤは全員、ビデオディスプレイ１１０で同じビューを見ている。各プレーヤは各々のモバイルデバイス１１５の統合ディスプレイを使ってある特徴を拡大し、付加的情報や秘密情報にアクセスすることもできる。このようにして、各プレーヤはビデオゲームコンテンツに関する、プレーヤ独自の様々なビューを得ることもできる。

ある実施形態では、モバイルデバイスディスプレイ１２０には補足コンテンツしか表示されない。他の実施形態では、内蔵のビデオカメラ（不図示）はビデオディスプレイ１１０からビデオコンテンツをキャプチャすることもできる。更に他の実施形態では、ビデオソース１０５からの（高精細度マルチメディアインターフェース（ＨＤＭＩ：High-Definition Multimedia Interface）ケーブルなどの）出力ケーブルから直接ビデオコンテンツをキャプチャすることもできる。モバイルデバイス１１５は補足コンテンツにアクセスし、アクセスした補足コンテンツを、ビデオディスプレイ１１０からキャプチャしたビデオコンテンツに重ねるかこれに隣接させてモバイルデバイスディスプレイ１２０に表示することができる。

ビデオディスプレイ１１０をトラッキングするために様々な技術を使うことができる。例えば、モバイルデバイス１１５にカメラが内蔵されていれば、モバイルデバイス１１５はビデオコンテンツのサイズを識別できる。更に該モバイルデバイスに対するビデオコンテンツの位置と方向（つまり、ビデオディスプレイ１１０に対するモバイルデバイス１１５の位置及び方向）を識別できる。ある実施形態では、ビデオディスプレイ１１０に表示されるビデオコンテンツは、キャプチャされたビデオデータの範囲内でモバイルデバイス１１５がビデオコンテンツをトラッキングできるように（従って、ビデオカメラを使ってビデオディスプレイ１１０の位置をトラッキングできるように）フォーマットされた複数のマーカを含む。ビデオコンテンツのコーナーにマーカを配置してもよく、これは点や四角のパターン（バーコードと類似するもの）であってもよい。様々なオンスクリーンマーカを使用してもよい（記号、グラフィック、数、文字、電子透かし、符号化画像など）。同様に、マーカとして機能するように符号化音声を用いることもできる。更に、ビデオディスプレイ１１０それ自体を、あるいはそのアタッチメントをマーカとして機能させるようにしてもよい。

各マーカは、トラッキングのアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を有していてもよい。あるマーカのパターンの各々は、異なる２進法表示などの異なる値を示すものであってもよい。ビデオコンテンツには各マーカに対応付けられる１以上の値が含まれていてもよい。モバイルデバイス１１５はビデオコンテンツをキャプチャし、マーカを配置し、値を識別しうる。従って、ビデオディスプレイ１１０に表示されるビデオコンテンツは、ビデオコンテンツを識別するマーカを含む場合がある。モバイルデバイス１１５はマーカに基づいてビデオコンテンツを識別することができる。また補足コンテンツ（テキスト、動画、グラフィック強化（例えば、２Ｄや３Ｄ強化）、広告、ハイパーリンク、及びその他の情報など）はビデオコンテンツのＩＤに基づいて選択されうる。

ビデオコンテンツに対応付けられる値の一部は経時的に所与のマーカに変化するものであってもよい。従って、ビデオディスプレイ１１０に表示されるビデオコンテンツは、特定のビデオコンテンツの時間位置を識別するマーカを含みうる。（この特定のビデオコンテンツとは、例えば、ある映画の経過時間や特定のゲーム状況を示したものである。）映像は経時変化することから、タイムコードを使うことで補足コンテンツを映画やその他のビデオコンテンツと同期させることができる。モバイルデバイス１１５はビデオコンテンツの時間位置を識別するようにマーカを処理することもできる。ビデオコンテンツ（例えば、特定のシーンや俳優などに関係するもの）の時間位置に応じて補足コンテンツを選択することもできる。従って、時間の進行やステータス、ゲーム状況やその他の時間変化インジケータを示すべく、パターンやマーカは経時変化するものであってよい。これにより、モバイルデバイス１１５はビデオディスプレイ１１０に表示されたビデオコンテンツと密に同期することができるようになり、あるいは出力ケーブルを介して直接同期することができるようになる。同期のためにビデオソース１０５とモバイルデバイス１１５とは通信していてもよいし、通信していなくてもよい。コードは様々なレートでアップデートできる。例えば秒間２４フレーム、あるいは０．２５秒毎、３秒毎など、表示される情報の種類に応じて１０〜１５秒までの間隔毎に、あるいはこれ以上の間隔毎に２４フレームをアップデートできる。モバイルデバイス１１５は予めその間隔を把握している場合があり、従って、一旦同期がなされると、モバイルデバイス１１５はその間隔でサーチプロセスを実行するだけでよい。

他の実施形態では、ビデオソース１０５は、ビデオコンテンツ及び／又はビデオコンテンツの時間位置を（マーカを使って送信する代わりに）識別することができる。ビデオソース１０５はこの情報（ビデオコンテンツ及び／又は時間位置を識別する情報）をモバイルデバイス１１５あるいはモバイルデバイスコンテンツソース１３０に送信することもできる。モバイルデバイス１１５、モバイルデバイスコンテンツソース１３０あるいはこの組み合わせがこの情報が利用して、補足コンテンツがビデオディスプレイ１１０に表示されるビデオコンテンツと同期するようにしてもよい。従って、各種実施形態では、識別ソース１３５は、情報の送信及び／又は表示を行い、これを識別レシーバ１４０が受信又はキャプチャするようにしてもよい。識別ソース１３０はビデオソース１０５、ビデオディスプレイ１１０、あるいはこの組み合わせであってよく、識別レシーバ１４０はモバイルデバイス１１５、モバイルデバイスコンテンツソース１３０、あるいはこの組み合わせであってよい。該情報は、ビデオコンテンツ、ビデオコンテンツの時間位置、あるいはこのいずれの組み合わせを識別することができる。

図２に示す別の一連の実施形態では、システム２００はビデオソース１０５、ビデオディスプレイ１１０、及びモバイルデバイス１１５−ａと１１５−ｂ、及びユーザ独自のモバイルデバイスコンテンツソース２０５を含む。システム２００は図１のシステム１００の一例であってもよい。モバイルデバイス１１５はディスプレイ１２０とビデオカメラ２２５とを含む。このユーザ独自のモバイルデバイスコンテンツソース２０５は図１のビデオソース１０５であってもよい。

複数のプレーヤに向けて表示するように、ビデオソース１０５がビデオゲームをビデオディスプレイ１１０に送信している例を検討する。ビデオカメラ２２５は各々ビデオデータをキャプチャする。このビデオデータはビデオディスプレイ１１０からのビデオゲームを含む。モバイルデバイス１１５は各々ビデオゲームコンテンツのマーカを使ってビデオディスプレイをトラッキングする。各モバイルデバイス１１５はユーザ独自のモバイルデバイスコンテンツソース２０５から補足コンテンツを受信する。この補足コンテンツは、各々のプレーヤしか入手できないプレーヤ専用の秘密情報であってもよい。この秘密の補足コンテンツを特定のプレーヤのモバイルデバイス１１５にしか表示しないことで（ビデオディスプレイ１１０には表示しない）この情報の秘密を守ることができる。別の実施形態では、補足コンテンツはモバイルデバイス１１５を介してプレーヤからリクエストされた情報であってもよい。この特別にリクエストされた情報（例えば、ゲームの別のビュー、命令、詳細なプレーヤ専用情報など）は特定のプレーヤのモバイルデバイス１１５に表示される（ビデオディスプレイ１１０には表示されない）。

一実施形態では、ビデオソース１０５及びユーザ独自のモバイルデバイスコンテンツソース２０５は一体となって単一のビデオゲームコンソールデバイスを構成する。他の実施形態では、ビデオソース１０５はコンソールデバイスであってよく、ユーザ独自のモバイルデバイスコンテンツソース２０５は遠隔サーバであってよい。更に別の実施形態では、ビデオソース１０５及びユーザ独自のモバイルデバイスコンテンツソース２０５は各々同一の遠隔サーバであってもよい（あるいは、別々の遠隔サーバであってもよい）。補足情報を、キャプチャしたビデオゲームコンテンツは含まずにモバイルデバイスディスプレイ１２０に表示させるようにしてもよいし、ビデオコンテンツから離れたスクリーンの別の場所に表示させるようにしてもよい。あるいはビデオコンテンツにオーバーレイするかこれと一体化して表示させるようにしてもよい。

ビデオソース１０５が表示のためにテレビ番組をビデオディスプレイ１１０に送信している他の例を検討する。各ビデオカメラ２２５はビデオデータをキャプチャしうる。このビデオデータはビデオディスプレイ１１０からのテレビ番組を含む。モバイルデバイス１１５は各々テレビ番組のコンテンツのマーカを用いてビデオディスプレイをトラッキングする。更に、モバイルデバイス１１５はこのマーカを使ってテレビ番組とテレビ番組中の時間位置とを識別する。各モバイルデバイス１１５のユーザは（例えば、（ローカル、遠隔を問わず）ユーザ独自のモバイルデバイスコンテンツソース２０５と通信するために各々のモバイルデバイス１１５を使って）補足コンテンツをリクエストすることもできる。各モバイルデバイス１１５はこのユーザ独自のモバイルデバイスコンテンツソース２０５から補足コンテンツを受信することもできる。この補足コンテンツは、俳優情報、スポーツ統計、ファンタジースポーツリーグ情報、他のビュー、雑学情報、関連情報を示すためのハイパーリンクなどでありうる。特別にリクエストを出しているユーザのモバイルデバイス１１５にしか補足コンテンツを表示しないようにすることで（ビデオディスプレイ１１０には表示しない）、ビデオディスプレイ１１０が雑然としたものとさせることなく、テレビ番組に関するユーザ独自の情報にアクセス可能となる。キャプチャしたテレビ番組のコンテンツは含まずにモバイルデバイスディスプレイ１２０に補足情報を表示してもよく、テレビ番組のコンテンツから離れたスクリーンの別の場所に表示してもよい。あるいはテレビ番組のコンテンツにオーバーレイするかこれと一体化して表示させるようにしてもよい。

図３に示す別の一連の実施形態では、システム３００はビデオゲームコンソールデバイス３０５、ビデオディスプレイ１１０、及びモバイルデバイス１１５−ｃ、１１５−ｄを含む。本システム３００は図１のシステム１００の一例であってもよい。コンソールデバイス３０５は図１のビデオソース１０５及びモバイルデバイスコンテンツソース１３０であってもよい。一実施形態では、ビデオゲームコンソールデバイス３０５はビデオディスプレイ１１０に直結されており、モバイルデバイス１１５と無線通信している。モバイルデバイス１１５は各々、ディスプレイ１２０とビデオカメラ２２５とを含む。

ビデオゲームコンソールデバイス３０５がビデオゲームディスクからビデオゲームを再生しており、表示のためにディスクからのビデオゲームをビデオディスプレイに送信している例を検討する。ビデオカメラ２２５は各々ビデオデータをキャプチャすることもできる。ビデオデータにはビデオディスプレイ１１０からのビデオゲームコンテンツを含む。モバイルデバイス１１５は各々ビデオゲームコンテンツ中のマーカを用いてビデオディスプレイ１１０をトラッキングする。モバイルデバイス１１５は各々ビデオゲームコンソールデバイス３０５から補足コンテンツを無線受信し、このアクセスした補足コンテンツを各々のディスプレイ１２０に表示する。

従って、ある実施形態では、ビデオゲームコンソールデバイス３０５は補足コンテンツを有する（これは、ビデオゲームディスク自体からのものであってもよいし、ネットワークを介して遠隔アクセスされたものであってもよい）。ビデオゲームコンソールデバイス３０５は表示されるビデオコンテンツと補足コンテンツのどちらも提供する。これにより（例えば、マーカを使用せずとも）補足コンテンツを容易に識別することができるようになる。ある実施形態では、プレーヤはモバイルデバイス１１５を使って、モバイルデバイスディスプレイ１２０に表示される特定の種類の補足コンテンツを制御するかこれを選択するようにしてもよい。このコンテンツは、プレーヤ専用の秘密情報であってもよいし、単にプレーヤからリクエストされた補足コンテンツであってもよい。補足情報を、キャプチャしたビデオゲームは含まずにモバイルデバイスディスプレイ１２０に表示させるようにしてもよいし、あるいはビデオゲームコンテンツから離れたスクリーンの別の場所に表示させるようにしてもよい。あるいはビデオゲームコンテンツにオーバーレイするかこれと一体化して表示させるようにしてもよい。

図４に示す別の一連の実施形態では、システム４００はコンソールデバイス４０５、ビデオディスプレイ１１０、モバイルデバイス１１５、ネットワーク４２０、（複数の）補足コンテンツデータストア４１０、及び補足コンテンツサーバ４１５を含む。このシステム４００は、図１のシステム１００の一例であってもよい（例えば、（複数の）補足コンテンツデータストア４１０と補足コンテンツサーバ４１５とは、図１のモバイルデバイスコンテンツソース１３０などのモバイルデバイスコンテンツソース１３０−ａであり、コンソールデバイス４０５は図１のビデオソース１０５であってもよい）。一実施形態では、コンソールデバイス４０５はビデオディスプレイ１１０に直結されている。モバイルデバイス１１５はネットワーク４２０に無線接続されていてもよいし、ネットワーク４２０を介して（複数の）補足コンテンツデータストア４１０及び補足コンテンツサーバと通信していてもよい。コンソールデバイス４０５はネットワーク４２０と通信していてもよいし、ネットワーク４２０を介して（複数の）補足コンテンツデータストア４１０及びコンテンツサーバ４１５と通信していてもよい。

一例では、コンソールデバイス４０５はビデオゲームあるいは映画を再生中であり、表示のためにビデオコンテンツをビデオディスプレイ１１０に送信している。各ビデオカメラ２２５はビデオデータをキャプチャする。このビデオデータはビデオディスプレイ１１０からのビデオコンテンツを含みうる。各モバイルデバイス１１５は（例えば、キャプチャされたビデオデータを用いて）ビデオディスプレイ１１０をトラッキングしうる。各モバイルデバイス１１５は、（複数の）補足コンテンツデータストア４１０及び補足コンテンツサーバ４１５からネットワーク４２０経由で補足コンテンツを受信する。各モバイルデバイス１１５はこの補足コンテンツをモバイルデバイスディスプレイ１２０に表示する。補足コンテンツは、プレーヤ専用のビデオコンテンツであってもよいし（例えば、特定プレーヤ専用の秘密情報や秘密のビューであって、そのプレーヤのモバイルデバイス１１５にしか送信されないもの）、その他のユーザ独自のビデオコンテンツであってもよい（例えば、ユーザがリクエストした情報や、ある映画やテレビ番組に関連するコンテンツ）。

該補足コンテンツはビデオコンテンツに関連するものであるか、該ビデオコンテンツに応じて選択されるものである。例えば、ある実施形態では、補足コンテンツはビデオコンテンツに基づいて選択される広告（例えば、テキスト、動画、グラフィック、ハイパーリンク、及びその他の情報など）である。ある実施形態では、ビデオコンテンツはわかっているが時間位置はわかっていないことがある。補足コンテンツサーバ４１５はモバイルデバイス１１５の各々に対して時間特定されていない補足コンテンツを送信することがある。

更に別の実施形態では、補足コンテンツサーバ４１５はビデオコンテンツの時間位置を識別することがある。このことはコンソールデバイス４０５、あるいはモバイルデバイス１１５との通信によりわかる（例えば、モバイルデバイス１１５はマーカ（本明細書の他の場所で詳述されている）から補足コンテンツサーバ４１５に情報を送信しうる）。補足コンテンツサーバ４１５は、（複数の）補足コンテンツデータストア４１０にアクセスして、モバイルデバイス１１５がキャプチャしているビデオコンテンツに関連する補足コンテンツを読み出す。このコンテンツは、時間特定されたビデオコンテンツの間に表示するようにモバイルデバイス１１５に送信されてもよい。更に、補足コンテンツは（（複数の）補足コンテンツデータストア４１０などのローカルあるいは遠隔ストレージなどから）モバイルデバイス１１５に予め読み込まれたものであってもよいことに留意されたい。

補足コンテンツサーバ４１５は、１以上のサーバコンピュータ、ワークステーション、ウェブサーバ、あるいはその他の適切なコンピューティングデバイスを含みうる。該補足コンテンツサーバ４１５は全体が単一の設備内に設けられたものであってもよいし、地理的に分散されていてもよい。いずれの場合もネットワークを使って様々な構成要素を結合するようにしてもよい。

図５は、本発明の各種実施形態に従う、補足コンテンツを表示するためのモバイルデバイス１１５−ｆを示すブロック５００である。これは、図１、２、３、あるいは４のモバイルデバイス１１５としてもよいが、そうでなくてもよい。モバイルデバイス１１５−ｆはビデオカメラ５１０、トラッキングモジュール５１５、ビデオコンテンツＩＤモジュール５２０、補足コンテンツモジュール５２５、ディスプレイインテグレータモジュール５３０、ディスプレイ５３５、及びレシーバモジュール５４０を含みうる。ある実施形態では、モバイルデバイス１１５−ｆはこれらの構成要素の一部分しか含んでいなくてもよい。また、モバイルデバイス１１５−ｆと通信しているその他のデバイスが上述した機能の一部を実行することもできることに留意されたい。

各構成要素のすべての、あるいは一部の機能性を、ハードウェアで適用できる機能の一部あるいはすべてを実行するように構成された１以上の特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）に個別に、又は集合的に実装することもできる。 他の形態では、１以上の集積回路の１以上のその他の処理装置（あるいはコア）が各機能を実行することもできる。他の実施形態では、その他の種類の各種集積回路（例えば、構造化／プラットフォームＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びその他のセミオーダＩＣ）を用いることもでき、これらは当業者に周知のいずれの方法でプログラムされうる。更に各機能は、また、１以上の汎用あるいは特定用途向けプロセッサにより実行されるようにフォーマットされたメモリにより具体化される命令で一部あるいは全体を実行することもできる。

ビデオカメラ５１０がテレビやその他の表示装置に表示されるビデオコンテンツ５０５をキャプチャすることもできる。このキャプチャしたビデオの範囲内でこのビデオコンテンツを分析することにより、トラッキングモジュール５１５はビデオディスプレイをトラッキングすることもできる。トラッキングモジュール５１５は、キャプチャしたビデオデータの範囲内でビデオコンテンツのサイズ及び位置、更に、モバイルデバイス１１５−ｆに対するビデオディスプレイの位置と方向を識別することによりビデオディスプレイをトラッキングすることができる。本明細書の他の場所で記載したマーカを使ってトラッキングが実行されてもよい。

更に、ソースの出力ポートに接続されたケーブルを使って出力ポートから直接ビデオをキャプチャすることができる。キャプチャしたビデオはアナログ、デジタル、あるいはハイブリッドアナログ／デジタルフォーマットであってもよい。キャプチャしたビデオをビデオカメラ５１０を無視してトラッキングモジュール５１５に直接送ることもできる。

ビデオコンテンツＩＤモジュール５２０はマーカを解読することもでき、あるいは別の方法で（キャプチャしたビデオコンテンツを介して直接的に、あるいは他の手段によって）ビデオコンテンツを識別することもできる。ある実施形態では、ビデオコンテンツＩＤモジュール５２０は更にビデオコンテンツの時間位置を識別する。補足コンテンツモジュール５２５は補足コンテンツにアクセスする。識別したビデオコンテンツに応じてアクセスされる補足コンテンツが選択される。更にこのアクセスされる補足コンテンツはビデオコンテンツの時間位置に関係するものであってよい。ある実施形態では、所与の時間位置に多くの補足コンテンツオプションが含まれる。これらはモバイルデバイス１１５−ｆのユーザにより選択可能なものであってよい。

ビデオコンテンツＩＤモジュール５２０と補足コンテンツモジュール５２５とは統合モジュール５４５であってもよい。別の態様では、この機能性の一部あるいはすべてを、モバイルデバイス１１５−ｆとは離れて設けることもできる（例えば、図４の（複数の）補足コンテンツデータストア４１０及び補足コンテンツサーバ４１５についての説明を参照のこと）。同様に、トラッキングモジュール５１５もモバイルデバイス１１５−ｆとは離れて設けることができる。従って、モバイルデバイス１１５−ｆのレシーバモジュール５４０は（予め、あるいはリアルタイムに）補足コンテンツ５５０を受信することができる。ローカルコンソールデバイス（図３のビデオゲームコンソールデバイスなど）から、あるいはローカル又は遠隔の補足コンテンツデータストア（図４のデータストアなど）からこの補足コンテンツを受信することもできる。

ディスプレイインテグレータモジュール５３０は、ビデオカメラ５１０によりキャプチャ又はビデオソースから直接出力ケーブルを介してキャプチャしたビデオと、このビデオコンテンツの場所、サイズ、位置、及び／又は方向に関する情報をトラッキングモジュール５１５から受信する。ディスプレイインテグレータモジュール５３０は、補足コンテンツモジュール５２５から補足コンテンツを受信する。ディスプレイインテグレータモジュール５３０は補足コンテンツの拡大縮小及び方向付けをすることができる。ディスプレイインテグレータモジュール５３０は、補足コンテンツをキャプチャしたビデオコンテンツを含まずに表示させるようにすることができ、該補足コンテンツをビデオゲームコンテンツから離れたスクリーンの別の場所に表示させるようにすることも可能である。あるいは該補足コンテンツをビデオコンテンツにオーバーレイするか、これと一体化して表示させるようにすることも可能である。例えば、ディスプレイインテグレータモジュール５３０は、アクセスした補足コンテンツをビデオコンテンツにオーバーレイし、この一体化したビデオをディスプレイ５３５に送信することができる。

補足コンテンツとしては、俳優のＩＤや俳優情報、ロケの背景、雑学、プレーヤの統計、ファンタジー情報、クイズ、明かされるべき秘密の「隠し機能」、マルチアングルへのリンク、プレーヤ専用の秘密のゲーム情報、及びその他のボーナス特典などの様々なものが提供されてもよい。これらはテキスト、動画、グラフィック強化（２Ｄや３Ｄ強化）、広告、ハイパーリンクなどの形態であってもよい。

図６に移ると、様々な画面を示した例示的な画像セット６００を使用して各種の新規態様が示されている。画像６０５がディスプレイ（図１、２、３あるいは４のビデオディスプレイ１１０など）に表示されたビデオコンテンツであると仮定する。画像６０５には、特定のコーナーにマーカ６１０が配置されている。上述したように、マーカ６１０は点や四角のパターン（バーコードと類似するもの）であってもよい。しかし、他の実施形態では、各種のオンスクリーンマーカ（コード、グラフィック、数字、文字、電子透かし模様、あるいは符号化された画像など）を使用することもできる。マーカ６１０はトラッキングのためのアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を備えていてもよい。あるマーカ６１０の各パターンは異なる２進法表示といった異なる値を示すものであってもよい。ビデオコンテンツにおいて、各マーカ６１０に１つ以上の値を対応付けるようにしてもよい。各マーカは、コンテンツの識別に加えて時間位置の識別もできるように経時変化するものであってもよい。

画像６２５はモバイルデバイスに表示するように生成された画像を示し（例えば、図１、２、３、あるいは４のモバイルデバイス１１５の統合ディスプレイ１２０）、（画像６２５の範囲内の）画像６３０は補足コンテンツを示す。例示の実施形態では、画像６３０−ａはテキストであり、画像６３０−ｂはグラフィックである。ビデオディスプレイをトラッキングするようにマーカ６１０を処理することもできる。更に、ビデオコンテンツとビデオコンテンツ中の時間位置を識別するようにマーカ６１０を処理することもできる。上述の１以上の要因に基づいて補足コンテンツ６３０を選択するようにしてもよい。既述のように、補足コンテンツはテキスト、動画、グラフィック強化（２Ｄや３Ｄ強化）、広告、ハイパーリンクなどであってもよい。モバイルデバイスを使用することによって、ユーザはビデオディスプレイに表示されるビデオコンテンツに関連する補足コンテンツを見ることができる。この補足コンテンツには、俳優情報、スポーツ統計、プレーヤにとっての最新のゲーム情報、映画やゲームの別のビュー、別の場面、追加特典やボーナス特典、あるいはこれに類似する情報などが含まれうるが、これらに限定されない。この補足コンテンツはある実施形態では自動表示される、別の実施形態では該コンテンツはユーザが選択できるものである。

モバイルデバイスを使ってプレイすることができる、ビデオコンテンツに関連するゲームがあってもよい。例えば、ビデオコンテンツに関連する質問や投票があってよい。各プレーヤは回答を入力することもでき、クイズに対する予測や回答の出来に応じて得点を得ることもできる。最後にこのスコアをアップロードすることもできる。生のスポーツイベントに対しては、ユーザがプレイや結果の予測を試みることができるように（例えば、ハドルを組む間やフリースローラインにおいて、あるいはバッターボックスにおいて）特定のコードを表示するようにしてもよい。ゲームに勝つと、あるいはある一定の得点を獲得すると、コンテンツが解除されるかダウンロードなどによってコンテンツに到達することができる。ある実施形態では、モバイルデバイスを使ってアクセスすることができる共通のディスプレイには秘密の態様が含まれていてもよい。更に、各ユーザは各々のモバイルデバイスにビデオコンテンツに関連した入力（テキストや図などの）を各々のモバイルデバイスに行う。この入力を他のユーザのモバイルデバイス（ローカル又は遠隔を問わず）に表示させるようにもできる。

補足コンテンツとして利用できる視野角、装置の焦点距離及び画面の大きさは様々に異なるものであってもよい。補足コンテンツは、共通のビデオディスプレイ上のビデオコンテンツを拡大して表示したものとしてもよく、例えば、キャプチャした画像がモバイルデバイスのスクリーンの半分しか占有しないものであったとしても、モバイルデバイスのディスプレイに全体表示するものとしてもよい。補足コンテンツは、基本の表示画像がモバイルデバイスで変化しないように、画像安定化技術で処理されたビデオコンテンツを含んでもよい。

補足コンテンツはあるシーンで示されたアイテムを購入するためのリンクを提供する電子小売業者と提携したものであってもよい。ある映画のプロダクトプレースメントに関連して、モバイルデバイスを使ってあるアイテムをクリックしてそのアイテムを購入し、また、その製品のウェブサイトに行くこともできる。部屋を移動したりデバイスを傾けることにより異なるバージョンの補足コンテンツを表示させることもできる。

図７に移ると、様々な画面を示した例示的な一連の画像６００を使用して各種の新規態様が示されている。画像７０５がディスプレイに表示されたビデオカードゲームであると仮定する（例えば、図１、２、あるいは３のビデオディスプレイ１１０）。画像７０５には、特定のコーナーにバイナリコードを識別するためのマーカ７１０が配置されている。上述したように、他の実施形態では、このマーカ７１０は各種様々なスクリーンマーカであってもよい。各マーカ７１０はトラッキングのためにアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を備えていてもよい。各マーカ７１０はビデオコンテンツを識別するために異なる値を示すものであってもよい。更に該マーカ７１０は経時変化するものであってもよい。

画像７２５-ａ及び７２５−ｂは、様々なモバイルデバイス（例えば、図１、２、３、４、あるいは５のモバイルデバイス１１５）に対してキャプチャしたビデオである。画像７２５−ａはプレーヤ１用に生成された画像であり、画像７２５−ｂはプレーヤ２用に生成された画像である。画像７３０−ａ及び７３０−ｂはビデオディスプレイからキャプチャしたビデオゲームコンテンツの一部（例えば、キャプチャされたイメージ７０５の一部）である。画像７２５−ａ及び７２５−ｂの範囲内で画像７３０−ａ及びイメージ７３０−ｂをそれぞれトラッキングするように各マーカ７１０を処理するようにしてもよい。画像７３５−ａ及び７３５−ｂは、オーバーレイコンテンツとして異なる補足コンテンツが異なるプレーヤに提供されうる様子を示したものである。

例えば、補足コンテンツ７３５−ａの位置と補足コンテンツ７３５−ｂの位置とを比較する。画像７３５−ａはプレーヤ１にカードを開示している（しかし、プレーヤ２のカードはイメージ７２５−ａ中のどこにも示されていない）；画像７３５−ｂはプレーヤ２にカードを開示している（しかし、プレーヤ１のカードはイメージ７２５−ｂ中のどこにも示されていない）。これは、プレーヤ各々のシークレットビューが保持されうる様子を示す。プレーヤ専用の様々な補足コンテンツが提供されるだけでなく、補足コンテンツはユーザの選択に基づくもの、及び／又はビューアの角度に基づくものであってもよい。例えば、ユーザはそれぞれ（事前に選択された好みにより、あるいはリアルタイム選択により）受信したい補足コンテンツの種類を特定することができる。

従って、モバイルデバイスを使ってディスプレイのビデオゲームコンテンツと同期させ、更に、プレーヤ毎に異なるプレーヤ専用のゲームビューを示すことができる。プレーヤ専用のゲーム情報はモバイルデバイスにより表示又は受信されてもよい。シークレットビューを有するある実施形態では、プレーヤ専用情報はモバイルデバイスにより表示及び受信される。従って、マルチプレーヤゲームや協力プレイを行うゲームでは、プレーヤ毎の「シークレットビュー」を各プレーヤの各々のモバイルデバイスに表示することができる。各プレーヤは各々専用バージョンのゲームを見ることができ、共通のディスプレイには秘密ではない公開情報が示される。

クイズゲームでは、プレーヤは回答の選択又は入力をすることもできる。この場合、他のプレーヤはこの回答を見ることができない。順番に行うターンベースのワードゲーム（言葉遊び）では、第１プレーヤは、回答が正しく書かれているかを確認するために自分が入力している文字を見ることもできるが、その回答がヒントになってしまうこともあるから、他のプレーヤ（達）にはその答えを見せたくない場合がある。スポーツゲームでは、モバイルデバイスを介して密かにゲームにエントリーすることもできる。バトルゲームでは、プレーヤが内密に武器を選択することもできる。この機能性を使って、他のプレーヤからは見えない情報を入力し、あるいは見ている間、各プレーヤが共通のビデオディスプレイを共有できるようにしてもよい。ある実施形態では、各プレーヤは同じチームであってもよく（例えば、ドライバと射撃手）、共通のディスプレイには車の目的地のビューが示されてもよいが、各プレーヤは各々のモバイルデバイスに役割独自のビュー表示させることもできる。

このことから、ある実施形態では、モバイルデバイスはゲームの状況を理解している必要があり、この情報をコンソール（例えば、図３のコンソールデバイス３０５）から、あるいはネットワークを介して（例えば、図４の補足コンテンツサーバ４１５から）受信するようにしてもよい。ビデオゲームコンテンツのマーカを使ってこの情報を伝達することも可能である。モバイルデバイスは情報しか受信しないように構成されてもよいし、ユーザの選択を送信してゲームの態様を制御するように構成されてもよい。

図８に移ると、様々な画面を示した例示的な一連の画像８００を使用して各種の新規態様が示されている。画像８０５がディスプレイ（図１、２、３、あるいは４のビデオディスプレイ）に表示されたビデオゲームであると仮定する。画像８０５には、特定のコーナーにバイナリコードを識別するためのマーカ８１０が配置されている。マーカ８１０は、トラッキングのためにアンカーとして機能することに代えて、あるいはこれに加えて、その他の機能性を有することができる。各コード８１０はビデオコンテンツを識別するために異なる値を示すものであってもよい。更に該マーカ８１０は経時変化し、ビデオコンテンツとタイミングとを識別するようにしたものであってもよい。

画像８２５−ａと８２５−ｂとは別々のモバイルデバイスに対する表示画面である。画像８２５−ａはプレーヤ１用に生成された画像であり、画像８２５−ｂはプレーヤ２用に生成された画像である。画像８２５−ａは（画像８０５をキャプチャした画像とは対照的に）画像８０５をレンダリングした画像８３５−ｂを含む。更に、画像８３５−ｂはプレーヤ１用の補足コンテンツ８４５を含む。該コンテンツ８４５は（レンダリングされたイメージ８３５−ｂにオーバーレイした）プレーヤ１のゲームチームの場所とメンバー数とを示すものである。更に、画像８２５−ａは、プレーヤ１のゲームに関連するテキスト８３５−ａで構成された補足コンテンツを含む。

画像８２５−ｂは（画像８０５をレンダリングした画像とは対照的に）画像８０５をキャプチャしたイメージ８０３を含む。このキャプチャした画像はビデオカメラ（例えば、ビデオカメラ５１０）からキャプチャしたものであってもよいし、ビデオソースからの出力ケーブルから直接キャプチャしたものであってもよい。画像８３０はプレーヤ２用の補足コンテンツ８４０を含み（キャプチャした画像８３０にオーバーレイされている）、これはプレーヤ２のゲームチームの場所とメンバー数とを示すものである。更に、画像８２５−ｂはゲームに関連する追加情報を含むグラフィック８３５−ｃで構成された補足コンテンツを含む。画像８２５−ａ及び８２５−ｂは、異なる補足コンテンツが異なるプレーヤに提供されうる様子を示したものである。

ビデオディスプレイをトラッキングし、ビデオコンテンツを識別し、及び／又はビデオコンテンツ中の時間位置を識別するための多くの方法があることに留意されたい。例えば、ある実施形態では、モバイルデバイス（例えば、図１、２、３、４、あるいは５のモバイルデバイス１１５）には低解像度バージョンの映画が含まれうる。モバイルデバイスはこれらのフレームを検索して、映画と同期することもできる。該デバイスにはこの低解像度の映画のハッシュが記憶される。また該デバイスはイメージマッチングを実行することもできる。

他の実施形態では、トラッキングＩＤ及び／又はコンテンツＩＤを提供すべく、ビデオストリームには「見えない」透かしが埋め込まれていてもよい。モバイルデバイスは、コンテンツに埋め込まれた電子デジタル透かしをキャプチャすることができ、これを使ってビデオコンテンツをトラッキングするようにしてもよい。画像内におけるスクリーンのアウトラインを決定するためのトラッキングを容易にするために、スクリーンの選択された予測可能領域やスクリーン全体にわたってこの透かし模様を入れるようにしてもよい。一実施形態では、画面には２つの透かし模様あるいはマーク部分がある。１つはアンカー（例えば、エッジの周りや付近にあり安定したスタティックマーク）に対応するものであり、１つはコード（例えば、時間の経過とともに変化する変調マーク）に対応するものである。

ある実施形態では、トラッキングＩＤ及びコンテンツＩＤは画像に埋め込まれていてもよい。スキャンした画像全体あるいはその一部をフーリエ変換し、その画像にわたっての周波数を分析するようにしてもよい。情報は、人間には知覚できない画像の一部（例えば、非常に高周波数の画像）にコード化することもできる。埋め込まれる情報は透かし模様に関連するものであってもよいし（例えば、透かし模様の場所を定義するもの）、透かし模様とは関係ない独立したものであってもよい。

更に別の実施形態では、トラッキングＩＤとコンテンツＩＤとを字幕やロゴ、あるいはその他の画像に埋め込むこともできる。該情報は更に、音声のサイドバンドにある、人間の耳には聞こえない周波数でコード化されたものであるが、フーリエ変換などを用いて検出可能なものであってもよい。同様に、画像データと音声データを組み合わせたものを使ってトラッキング及びキャプチャするようにしてもよい。この場合も、ディスプレイをトラッキングし、ビデオコンテンツを識別し、あるいは時間位置を識別するためにマーカを使うことができる点に留意されたい。

各実施形態ではマーカは必要ない場合もある。その理由は、モバイルデバイスは（ディスプレイのモデル及び／又はサイズを理解することで）別の方法でディスプレイを認識しトラッキングすることができるためである。ある実施形態では、ディスプレイをトラッキングするために、センサーバー、ステッカ、あるいはその他のアタッチメントを使用することもできる。更に、ビデオコンテンツは必ずしもマーカを使って識別されなくてもよいが、その他の方法で識別される必要がある。例えば、ビデオコンテンツ及び／又は時間位置は図１のビデオソース１０５により識別され、これに基づいて補足コンテンツが選択されうる。あるいは、図３のビデオゲームコンソールデバイス３０５がビデオゲームコンテンツの識別を行い、補足コンテンツとビデオゲームコンテンツとを確実に同期するようにしてもよい。本開示に照らして、更に多くの例は当業者にとっては明らかであろう。

この場合も、ビデオコンテンツの表示時に先立って補足コンテンツをダウンロードすることもできる（例えば、ダウンロードストアを介して、あるいは映画のビデオディスクからコンテンツをコピーすることによって）ことに留意されたい。別の態様では、一部のコンソールデバイスは、コンテンツの再生中に無線接続により補足コンテンツをモバイルデバイスにストリームできる。これにより、ポータブルデバイスがコンテンツをプレロードするのを防ぐことができる。更に別の実施形態では、オーバーレイコンテンツはネットワークからストリームされうる。

次に図９を参照すると、本発明の各種実施形態に従う、補足コンテンツをモバイルデバイスに提供するための方法９００を例示したフローチャートが示されている。例えば、方法９００は、図１、２、３、あるいは４のシステム１００、２００、３００又は４００により全体又は一部が実行されてもよい。より具体的には、図１、２、３、４又は５のモバイルデバイス１１５により、図３のビデオゲームコンソールデバイス３０５により、図４のコンソールデバイス４０５により、図４の補足コンテンツサーバ４１５により、及び／又はこのいずれの組み合わせにより、該方法９００の全体あるいは一部が実行されてもよい。

ブロック９０５では、モバイルデバイスに対するビデオディスプレイの位置をトラッキングする。位置のトラッキングはビデオカメラ、無線位置決定システム、慣性基準装置などにより行うことができる。ブロック９１０では、トラッキングしたビデオディスプレイに表示されるビデオコンテンツを識別する。ブロック９１５では、識別したビデオコンテンツに少なくともある程度基づいて選択した補足コンテンツにアクセスする。ブロック９２０では、アクセスした補足コンテンツをモバイルデバイスと統合されたディスプレイに表示する。

次に図１０を参照すると、本発明の各種実施形態に従う、モバイルデバイス用の補足コンテンツを識別するための方法１０００を例示したフローチャートが示されている。例えば、方法１０００は、図１、２、３、あるいは４のシステム１００、２００、３００又は４００により全体又は一部が実行されてもよい。より具体的には、図１のモバイルデバイスコンテンツソース１３０により、図２のユーザ独自のモバイルデバイスコンテンツソース２０５により、図３のビデオゲームコンソールデバイス３０５により、図４のコンソールデバイス４０５により、図４の補足コンテンツサーバ４１５の補足コンテンツサーバ４１５により、及び／又はこのいずれの組み合わせにより、方法１０００の全体あるいは一部が実行されてもよい。

ブロック１００５では、第１プレーヤに対応付けられる第１モバイルデバイスによりトラッキングされ、更に第２プレーヤに対応付けられる第２モバイルデバイスによりトラッキングされるビデオディスプレイに表示されるビデオゲームコンテンツを識別する。ブロック１０１０では、ビデオゲームコンテンツを補足し、これに対応付けられる、第１プレーヤ用の第１プレーヤ専用ビデオデータにアクセスする。ブロック１０１５では、アクセスした第１プレーヤ専用ビデオデータを第１モバイルデバイスに送信し表示する。ブロック１０２０では、ビデオゲームコンテンツを補足し、これに対応付けられる、第２プレーヤ用の第２プレーヤ専用ビデオデータにアクセスする。ブロック１０２５では、アクセスした第２プレーヤ専用ビデオデータを第２モバイルデバイスに送信し表示する。

ある実施形態（不図示）では、このプレーヤ専用のビデオデータはテキスト、動画、あるいはグラフィック強化であってもよく、ビデオゲームコンテンツとは別に、あるいはこれに一体化されてモバイルデバイスに表示されてもよい。ある実施形態では、プレーヤ専用のビデオデータは第１プレーヤは入手できるが第２プレーヤは入手できない秘密情報である。このプレーヤ専用のビデオデータは、所与のプレーヤにより選択されたものであるが、いずれのプレーヤも入手できるものであってよい。

次に図１１を参照すると、本発明の各種実施形態に従う、モバイルデバイスに表示するための補足コンテンツを識別するための方法１１００を例示したフローチャートが示されている。例えば、方法１１００は、図１、２、３、あるいは４のシステム１００、２００、３００又は４００により全体又は一部が実行されてもよい。より具体的には、図１、２、３、４、あるいは５のモバイルデバイス１１５により、図３のビデオゲームコンソールデバイス３０５により、図４のコンソールデバイス４０５により、図４のオーバーレイコンテンツサーバ４１５により、及び／又はこのいずれの組み合わせにより、該方法１１００の全体あるいは一部が実行されてもよい。

ブロック１１０５では、ビデオディスプレイからキャプチャし、マーカを含む、モバイルデバイスに内蔵されたビデオカメラでキャプチャしたビデオコンテンツを受信する。

ブロック１１１０では、マーカを使ってビデオディスプレイの場所をトラッキングする。ブロック１１１５では、マーカからの情報を使ってビデオディスプレイからキャプチャしたビデオコンテンツを識別する。ブロック１１２０では、時間位置を識別できるように変化するようフォーマットされたマーカからの情報を使ってビデオコンテンツの時間位置を識別する。

ブロック１１２５では、独立型テキスト及びオーバーレイグラフィックを含む補足コンテンツを記憶する。ブロック１１３０では、モバイルデバイスのユーザによる選択、識別したビデオコンテンツ、及びビデオコンテンツの時間位置に基づいて補足コンテンツを選択しこれにアクセスする。ブロック１１３５では、トラッキングしたビデオディスプレイの場所に応じて補足コンテンツの拡大縮小と方向付けを行う。ブロック１１４０では、キャプチャしたビデオコンテンツにオーバーレイしたグラフィックに隣接するテキストを統合ディスプレイに表示する。

図１２は、一実施形態に従うデバイスを実装するのに適したハードウェアシステムの一例を示す説明図である。本ブロック図において、コンピュータシステム１２００が例示されており、これは、パソコン、テレビゲーム用コンソールと対応付けられたディスプレイ（例えば、図３又は４のコンソールデバイス３０５、４０５とビデオディスプレイ１１０）、携帯端末、あるいはその他のデジタルデバイスなどの、本発明の実施形態を実行するのに適したものである。コンピュータシステム１２００はソフトウェアアプリケーション及び任意にオペレーションシステムを実行するための中央処理装置（ＣＰＵ）１２０５を含む。ＣＰＵ１２０５は、１以上の同種又は異種の処理コアで構成されうる。メモリ１２１０は、ＣＰＵ１２０５により使用されるアプリケーション及びデータを記憶する。ストレージ１２１５は、アプリケーション及びデータに対して不揮発性記憶装置及びその他のコンピュータ可読媒体を提供する。また、ストレージ１２１５は固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ、ＨＤ−ＤＶＤ、又はその他の光学式記憶装置を含み、これらに加えて信号伝送及び記憶媒体を含みうる。ユーザ入力装置１２２０は、１名以上のユーザからの入力をコンピュータシステム１２００に知らせる。

入力装置の例としては、キーボード、マウス、ジョイスティック、タッチバッド、タッチスクリーン、静止カメラ又はビデオカメラ、及び/又はマイクロフォンなどが挙げられる。ネットワークインターフェース１２２５により、コンピュータシステム１２００は電子通信ネットワーク経由でその他のコンピュータシステムと通信することができ、これにはローカルエリアネットワーク及びインターネットなどの広域ネットワークを介した有線通信や無線通信を含みうる。音声プロセッサ１２３０は、ＣＰＵ１２０５、メモリ１２１０、及び／又はストレージ１２１５により提供される命令及び／又はデータからアナログ音声出力又はデジタル音声出力を生成するように構成される。ＣＰＵ１２０５、メモリ１２１０、データストレージ１２１５、ユーザ入力装置１２２０、ネットワークインターフェース１２２５、及び音声プロセッサ１２３０を含むコンピュータシステム１２００の構成要素は、１以上のデータバス１２３５経由で接続される。

グラフィックサブシステム１２４０は、データバス１２３５及びコンピュータシステム１２００の構成要素に接続される。グラフィックサブシステム１２４０は、グラフィック処理ユニット（ＧＰＵ）１２４５及びグラフィックメモリ１２５０を含む。グラフィックメモリ１２５０は、出力画像の各ピクセルに対するピクセルデータを記憶するために使用されるディスプレイメモリ（例えば、フレームバッファ）を含む。グラフィックメモリ１２５０は、ＧＰＵ１２４５と同一の装置に内蔵されてもよいし、別の装置としてＧＰＵ１２４５と接続されてもよいし、及び／又はメモリ８０４内に実装されてもよい。ピクセルデータはＣＰＵ１２０５から直接グラフィックメモリ１２５０に提供されてもよい。他の態様では、ＣＰＵ１２０５はＧＰＵ１２４５に所望の出力画像を定義するデータ及び／又は命令を提供し、ＧＰＵ１２４５はこのデータ及び／又は命令から１以上の出力画像のピクセルデータを生成する。所望の出力画像を定義するデータ及び／又は命令は、メモリ１２１０及び／又はグラフィックメモリ１２５０に記憶されうる。一実施形態では、ＧＰＵ１２４５は、形状、ライティング、シェーディング、テクスチャリング、運動、及び／又はカメラパラメータを場面に対して定義する命令及びデータから出力画像に対するピクセルデータを生成するための３Ｄレンダリング機能を含む。ＧＰＵ１２４５は、シェーダプログラムを実行可能な１以上のプログラム可能実行ユニットを更に含みうる。

グラフィックサブシステム１２４０は、グラフィックメモリ１２５０から画像に対するピクセルデータを周期的に出力し、表示装置１２５５に表示されるようにする。表示装置１２５５は、コンピュータシステム１２００からの信号を受けて視覚情報を表示することができる装置であり、これにはブラウン管（ＣＲＴ）、液晶表示装置（ＬＣＤ）、プラズマ、及び誘起発光ダイオードディスプレイを含む。コンピュータシステム１２００は、表示装置１２５５にアナログ信号又はデジタル信号を送信することができる。

各種の実施形態によれば、ＣＰＵ１２０５は、１以上の処理コアを有する１以上の汎用マイクロプロセッサである。更に各実施形態は、メディアアプリケーションやインタラクティブエンターテインメントアプリケーションなど、並列性が高くコンピュータ処理の多いアプリケーションに適したマイクロプロセッサのアーキテクチャを備えた１以上のＣＰＵ１２０５を使用して実行することができる。

図１のシステム１００、図２のシステム２００、図３のシステム３００、及び／又は図４のシステム４００の各構成要素はネットワーク経由で接続されてもよく、これは以下のいずれの組み合わせであってもよい。イントラネット、ＩＰネットワーク、イントラネット、広域ネットワーク（「ＷＡＮ」；Wide-area network）、ローカルエリアネットワーク（「ＬＡＮ」；Local-area network）、仮想プライベートネットワーク（「ＶＰＮ」；Virtual private network）、公衆交換電話網（「ＰＳＴＮ」；Public Switched Telephone Network）、あるいは本明細書に記載した、異なる実施形態における装置間のデータ通信をサポートネットワークであればどのような種類のネットワークであってもよい。ネットワークは光リンクなどの有線や無線接続を含みうる。その他多くの例が可能であり、このことは本明細書の開示に照らして当業者には明らかである。本明細書の説明では、ネットワークに特に留意してもよいし、しなくてもよい。

上述の方法、システム及び装置は単なる例示目的であることに留意されたい。各種の実施形態は、省略、代替、あるいは適宜様々な手順や構成要素を追加してもよいことが強調されるべきである。例えば、別の実施形態では、記載したものとは異なる順序で各方法を実行することもできるし、様々なステップを追加、省略あるいは組み合わせることもできる。更に、ある実施形態に対して記載された特徴の各々を様々な別の実施形態に組み合わせることもできる。同様の方法で各実施形態の様々な態様と要素とを組み合わせることもできる。更に、技術は進化するものであり、従って、各要素の多くが例示的なものであり、本発明の範囲を限定するものではないことを強調されたい。

本発明を完全に理解することができるように、本明細書において具体的な詳細が記載されている。しかし、当業者であればそのような具体的な詳細がなくても本発明を実施することができることはわかるであろう。例えば、周知の回路、プロセス、アルゴリズム、構造、及び技術は、各実施形態を曖昧なものとしないように、不要な詳細を記載することなく示されている。

更に、各実施形態をフロー図やブロック図として描かれるプロセスとして記載することもできる点に留意されたい。各オペレーションを順次プロセスとして記載してもよいが、オペレーションの多くは並列あるいは同時に実行することができる。更に、該オペレーションの順序を並べ替えることもできる。あるプロセスには図面にはない付加的ステップがあってもよい。

更に、本明細書に開示されているように、「メモリ」や「メモリユニット」なる用語は、データを記憶するための１以上の装置を表すものであってよく、これには読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、あるいはその他の情報を記憶するためのコンピュータ可読媒体が含まれる。「コンピュータ可読媒体」なる用語にはポータブル記憶装置や固定された記憶装置、光学記憶装置、無線チャネル、ＳＩＭカード、その他のスマートカードが含まれるがこれらに限定されることはなく、更に、命令やデータを記憶し、含み、あるいは持ち運べることができるその他の各種媒体を含む。

更に、各実施形態はハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、あるいはこのいずれの組み合わせによって実行されてもよい。

ソフトウェア、ファームウェア、ミドルウェア、あるいはマイクロコードで実行される場合、必要なタスクを実行するためのプログラムコードやコードセグメントは記憶媒体などのコンピュータ可読媒体に記憶されてもよい。プロセッサは必要なタスクを実行することもできる。

いくつかの実施形態を記載してきたが、本発明の精神を逸脱しない範囲で各種の変形を行ってもよいし、代替構造、及び等価物を用いてもよいことは当業者には理解されるであろう。例えば、上述した要素は大規模なシステムの単なる一構成要素である場合があり、他の手順がそれら他の適用に優先してもよいし、それらの適用を変更してもよい。また、多くのステップを 上述した要素が検討される前、その間に、又はその後に行うこともできる。従って、上述の記載は本発明の範囲を限定するものとして捉えられるべきではない。

Claims (18)

1. 拡張型ビデオ用のシステムであって、
   ビデオコンテンツをビデオディスプレイに表示するように構成されたビデオソースを有し、前記ビデオコンテンツは、前記ビデオディスプレイの一部に経時変化マーカを含むものであり、かつ前記ビデオソースは、ビデオディスプレイ上に表示されるビデオコンテンツ内の時間位置を前記経時変化マーカを通じて示し、かつ、前記経時変化マーカはビデオコンテンツ内の時間進行を示すものであり、
   統合ディスプレイを備えたモバイルデバイスを有したシステムであって、該モバイルデバイスは、
   前記ビデオディスプレイに表示される前記ビデオコンテンツを識別し、
   前記経時変化マーカを用いて前記ビデオディスプレイ上のビデオコンテンツをトラッキングし、
   前記識別したビデオコンテンツ内の前記経時変化マーカに少なくとも一部基づいて選択される補足コンテンツにアクセスし、
   前記アクセスした補足コンテンツを統合ディスプレイに表示するように構成されている、拡張型ビデオ用のシステム。
2. 前記モバイルデバイスには更に、前記補足コンテンツとともに前記統合ディスプレイに表示するための前記ビデオコンテンツをキャプチャするように構成されたビデオカメラが内蔵されている、請求項１記載のシステム。
3. 前記ビデオディスプレイに表示される前記ビデオコンテンツ内の前記経時変化マーカは、ビデオディスプレイの一部においてアンカーとされ、前記ビデオディスプレイ上の前記ビデオコンテンツは、前記経時変化マーカをアンカーとしてトラッキングされる、請求項２記載のシステム。
4. 前記ビデオディスプレイに表示される前記ビデオコンテンツは、前記ビデオコンテンツと前記ビデオコンテンツの時間位置とを識別するようにフォーマットされた１以上のマーカを含み、前記モバイルデバイスは、前記内蔵ビデオカメラを使って前記１以上のマーカをキャプチャすることにより、前記ビデオコンテンツと前記ビデオコンテンツの前記時間位置とを識別する、請求項２記載のシステム。
5. 前記補足コンテンツは、前記モバイルデバイスを持つユーザによりリクエストされたコンテンツを含む、請求項１記載のシステム。
6. 前記ビデオソースは、ビデオディスクプレーヤを含み、前記補足コンテンツは前記ビデオディスクプレーヤに記憶されるとともにここからアクセスされる、請求項１記載のシステム。
7. 前記ビデオソースはビデオゲームコンソールを含むものであって、前記ビデオコンテンツはビデオゲームであり、前記補足コンテンツは、前記モバイルデバイスのユーザ用の、前記ビデオゲームに関する第１プレーヤ専用情報を含む、請求項１記載のシステム。
8. 統合ディスプレイを備えた第２モバイルデバイスを更に含むシステムであって、該第２モバイルデバイスは、
   前記ビデオディスプレイに表示される前記ビデオコンテンツを識別し、
   前記経時変化マーカをアンカーとして用いて、前記ビデオディスプレイ上の前記ビデオコンテンツをトラッキングし、
   前記第２モバイルデバイスのユーザ用の、前記ビデオゲームに関する、前記第１プレーヤ専用情報とは別の、第２プレーヤ専用情報にアクセスし、
   前記第２プレーヤ専用情報を、前記第２モバイルデバイスの前記統合ディスプレイに表示するように構成されている、請求項７記載のシステム。
9. 前記モバイルデバイスは、前記モバイルデバイスに対する前記ビデオコンテンツの位置と方向とを識別することにより、前記ビデオディスプレイをトラッキングするように構成されている、請求項１記載のシステム。
10. 前記ビデオディスプレイとモバイルデバイスとから離れており、前記モバイルデバイスと通信している前記補足コンテンツを記憶するように構成された補足コンテンツデータストアを更に含み、前記モバイルデバイスは前記補足コンテンツデータストアから前記補足コンテンツにアクセスする、請求項１記載のシステム。
11. コンピュータが実行する、拡張型ビデオ用の方法であって、
    ビデオディスプレイに表示されるビデオコンテンツを識別するステップを有し、前記ビデオコンテンツは、前記ビデオディスプレイの一部に経時変化マーカを含むものであり、
    前記識別されたビデオコンテンツ内の時間位置を前記経時変化マーカを用いて識別するステップを有し、前記経時変化マーカは前記ビデオコンテンツ内の時間進行を示すものであり、
    前記識別したビデオコンテンツ内の前記経時変化マーカに少なくとも一部基づいて選択された補足コンテンツにアクセスするステップと、
    前記アクセスした補足コンテンツを前記モバイルデバイスに統合されたディスプレイに表示するステップと、を含む、コンピュータが実行する方法。
12. 前記ビデオコンテンツ内の前記経時変化マーカは、前記ビデオディスプレイの一部でアンカーとされており、前記ビデオディスプレイ上の前記ビデオコンテンツは、前記経時変化マーカを用いてトラッキングされる、請求項１１記載のコンピュータが実行する方法。
13. 前記ビデオコンテンツがオーバーレイしないように、前記補足ビデオコンテンツを前記モバイルデバイスと統合された前記ディスプレイの範囲内に拡大縮小するとともに位置決めするステップを更に含み、前記補足コンテンツは、テキスト、動画、グラフィック強化、広告、ハイパーリンク、及びその他の情報の少なくとも１つを含む、請求項１１記載のコンピュータが実行する方法。
14. コンピュータが実行する、拡張型ビデオ用の方法であって、
    第１プレーヤに対応づけられ、第１モバイルデバイスによりトラッキングされるとともに、第２プレーヤに対応づけられ、第２モバイルデバイスによってトラッキングされるビデオディスプレイに表示されるビデオゲームコンテンツを識別するステップを有し、前記ビデオコンテンツは、前記ビデオディスプレイの一部に経時変化マーカを含むものであり、
    前記ビデオゲームコンテンツ内の前記経時変化マーカに少なくとも一部基づいて第１プレーヤ専用ビデオデータにアクセスするステップを有し、このアクセスされた第１プレイヤー専用ビデオデータは、第１プレイヤーのために前記ビデオゲームコンテンツを補足してこれに対応づけられるものであり、
    前記アクセスした第１プレーヤ専用ビデオデータを、表示のために前記第１モバイルデバイスに送信するステップを有し、
    前記ビデオゲームコンテンツ内の前記経時変化マーカに少なくとも一部基づいて第２プレーヤ専用ビデオデータにアクセスするステップを有し、このアクセスされた第２プレイヤー専用ビデオデータは、第２プレイヤーのために前記ビデオゲームコンテンツを補足し、これに対応づけられるものであり、
    前記アクセスした第２プレーヤ専用ビデオデータを、表示のために前記第２モバイルデバイスに送信するステップと、を含む、コンピュータが実行する方法。
15. 前記第１モバイルデバイスに表示されるテキストを含む前記第１プレーヤ専用ビデオデータを生成するステップを含み、前記テキストはキャプチャしたビデオコンテンツの画像に隣接して、前記第１モバイルデバイスに配置されるものであって、
    前記第２モバイルデバイスに表示されるグラフィックを含む前記第２プレーヤ専用ビデオデータを生成するステップを含み、前記グラフィックは、キャプチャした前記ビデオゲームコンテンツの画像に重ねられるオーバーレイコンテンツとして前記第２モバイルデバイスに配置されるものである、請求項１４記載のコンピュータが実行する方法。
16. 前記第１プレーヤ専用ビデオデータは、前記第１プレーヤは入手できるが前記第２プレーヤは入手できない情報であり、
    前記第２プレーヤ専用ビデオデータは、前記第１プレーヤが入手でき、前記第２プレーヤが入手できる情報である、請求項１５記載のコンピュータが実行する方法。
17. 第１プレーヤ専用ビデオデータにアクセスするステップは、前記第１プレーヤは入手できるが、前記第２プレーヤは入手できないビデオデータにアクセスするステップを含み、
    第２プレーヤ専用ビデオデータにアクセスするステップは、前記第２プレーヤによりリクエストされたビューにアクセスするステップを含む、請求項１４記載のコンピュータが実行する方法。
18. 前記第１プレーヤ専用ビデオデータは、前記第２プレーヤ専用ビデオデータとは別のものである、請求項１４記載のコンピュータが実行する方法。

Images