JP6010373B2 - サブ情報提示装置、映像提示装置及びプログラム - Google Patents

Description

本発明は、映像コンテンツが表示された映像提示装置の画面を撮影して表示する際に、映像コンテンツと当該映像コンテンツに関するサブ情報（サブコンテンツ）とを同期させ、映像コンテンツにサブコンテンツをオーバーレイ表示するために用いるサブ情報提示装置、映像提示装置及びプログラムに関する。

従来、コンピュータを用いて現実環境に所定の情報を付加することにより、情報を提示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）と呼ばれる技術が知られている。

ＡＲ技術をデジタル放送システムに適用すると、例えば、動きのある３ＤＣＧ（３ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：３次元コンピュータグラフィックス）による演出が考えられる。携帯電話機等のサブ情報提示装置に内蔵されたカメラが、テレビ受像機等の映像提示装置に表示された動画像の映像コンテンツを撮影し、映像コンテンツと３ＤＣＧのマルチメディアデータであるサブコンテンツとを合成映像として表示する場合、サブ情報提示装置における画面の位置及び向きを検出し、その位置及び向きを反映した３ＤＣＧのサブコンテンツを映像コンテンツに合成する。これにより、３ＤＣＧのサブコンテンツが、映像コンテンツの動きに合わせて画面から飛び出して見える演出が可能となる。この場合、映像コンテンツと３ＤＣＧのサブコンテンツとの間で同期を確立する必要がある。

また、映像コンテンツにサブコンテンツを合成表示する際に、映像コンテンツのメディア時刻を取得する技術が知られている（特許文献１を参照）。

この技術では、映像提示装置は、映像コンテンツのメディア時刻及びコンテンツＩＤをシンボル化し、これらのシンボルを映像コンテンツにオーバーレイ表示する。そして、サブ情報提示装置は、カメラにより映像提示装置の画面を取り込み、メディア時刻及びコンテンツＩＤを取得し、コンテンツＩＤからサブコンテンツを特定し、メディア時刻に基づいてサブコンテンツの再生ポイントを決定し、映像コンテンツにサブコンテンツをオーバーレイ表示する。

特開２０１１−３５５７６号公報

しかしながら、特許文献１の技術において、サブ情報提示装置が映像コンテンツにサブコンテンツをオーバーレイ表示する際に、その画面内で表示を同期させるためには、サブ情報提示装置の計算能力に依存する部分を吸収する必要がある。例えば、サブ情報提示装置は、サブコンテンツの表示処理を開始し、デコード等の遅延を伴う処理を行って画面表示する。さらに、映像コンテンツは、サブ情報提示装置がカメラにより取り込んで画面に表示するまでの処理にも遅延を伴う。このため、映像コンテンツとサブコンテンツとの間の表示タイミングがズレてしまい、画面内では表示の同期がとれないという問題があった。また、サブ情報提示装置の種類に応じて計算能力が異なるから、表示タイミングのズレの程度も異なるという問題があった。

そこで、本発明はかかる課題を解決するためになされたものであり、その目的は、サブ情報提示装置の処理能力に依存することなく、映像コンテンツとサブコンテンツとの間の同期を精度高く確立することが可能なサブ情報提示装置、映像提示装置及びプログラムを提供することにある。

上記目的を達成するために、請求項１のサブ情報提示装置は、映像コンテンツ及び当該映像コンテンツの時刻を表したマーカーを表示する映像提示装置がカメラにより撮影され、前記カメラの入力画像に、前記映像コンテンツに関連するサブ情報としてサブコンテンツをオーバーレイ表示するサブ情報提示装置において、前記カメラの入力画像からマーカーを認識し、前記マーカーにより表された時刻に基づいて、前記サブコンテンツのメディア時刻を生成するメディア時刻生成部と、前記メディア時刻生成部により生成されたメディア時刻についてのサブコンテンツを生成するサブコンテンツ生成部と、前記メディア時刻生成部により生成されたメディア時刻に基づいて、前記映像コンテンツと前記サブコンテンツとの間の同期を確立するための時刻を表した補完マーカーを生成する補完マーカー生成部と、前記サブコンテンツ生成部により生成されたサブコンテンツに対し、前記映像コンテンツに前記サブコンテンツをオーバーレイ表示するための描画処理を施すサブコンテンツ描画処理部と、前記サブコンテンツ描画処理部による描画処理が完了した後に、前記カメラの入力画像に、前記補完マーカー生成部により生成された補完マーカー、または、前記サブコンテンツ生成部により生成されサブコンテンツ描画処理部により描画処理が施されたサブコンテンツをオーバーレイ表示するオーバーレイ処理部と、オーバーレイ処理部によりオーバーレイ表示された画像からマーカー及び補完マーカーを認識し、前記マーカーにより表された時刻と、前記補完マーカーにより表された時刻とに基づいて、前記映像コンテンツと前記サブコンテンツとの間の同期を判定する同期判定部とを備え、前記同期判定部により同期が完了していないと判定された場合、前記メディア時刻生成部が、前記メディア時刻を補正し、前記オーバーレイ処理部が、前記補正後のメディア時刻についてのサブコンテンツの生成及び描画処理が完了した後に、前記カメラの入力画像に、前記補正後のメディア時刻に基づいた補完マーカーをオーバーレイ表示し、前記同期判定部により同期が完了していないと判定され、その後、同期が完了していると判定された場合、前記メディア時刻生成部が、前記補正後のメディア時刻に基づいて、同期したメディア時刻を生成し、前記オーバーレイ処理部が、前記メディア時刻生成部により生成された同期したメディア時刻についてのサブコンテンツの生成及び描画処理が完了した後に、前記映像コンテンツに前記サブコンテンツをオーバーレイ表示する、ことを特徴とする。

また、請求項２のサブ情報提示装置は、請求項１に記載のサブ情報提示装置において、前記同期判定部が、同期が完了していないと判定した場合、前記判定の毎に、所定量増加する補正量を算出し、前記メディア時刻生成部が、前記同期判定部により算出された補正量を用いて、前記メディア時刻を補正する、ことを特徴とする。

また、請求項３のサブ情報提示装置は、請求項１に記載のサブ情報提示装置において、前記同期判定部が、同期が完了していないと判定した場合、前記マーカーにより表された時刻と、前記補完マーカーにより表された時刻との間の差に基づいて、補正量を算出し、前記メディア時刻生成部が、前記同期判定部により算出された補正量を用いて、前記メディア時刻を補正する、ことを特徴とする。

さらに、請求項４の映像提示装置は、請求項１から３までのいずれかのサブ情報提示装置に備えたカメラにより撮影される映像コンテンツ及び当該映像コンテンツの時刻を表したマーカーを表示する映像提示装置であって、前記映像コンテンツの時刻をメディア時刻として抽出するメディア時刻抽出部と、前記メディア時刻抽出部により抽出されたメディア時刻を表したマーカーを生成するマーカー生成部と、前記映像コンテンツに前記マーカーをオーバーレイ表示するオーバーレイ処理部と、を備えたことを特徴とする。

さらに、請求項５のプログラムは、コンピュータを、請求項１から３までのいずれか一項に記載のサブ情報提示装置として機能させることを特徴とする。

また、請求項６のプログラムは、コンピュータを、請求項４に記載の映像提示装置として機能させることを特徴とする。

以上のように、本発明によれば、サブ情報提示装置の処理能力に依存することなく、映像コンテンツとサブコンテンツとの間で同期を精度高く確立することが可能となる。また、ユーザは、使用するサブ情報提示装置の処理能力に依存することなく、映像コンテンツにサブコンテンツをオーバーレイ表示して提示するという一定の品質のサービスを受けることができる。

本発明の実施形態による映像提示装置及びサブ情報提示装置の使用形態と表示画面例を説明する図である。 本発明の実施形態による第１の映像提示装置の構成を示すブロック図である。 本発明の実施形態による第２の映像提示装置の構成を示すブロック図である。 本発明の実施形態によるサブ情報提示装置の構成を示すブロック図である。 映像提示装置に表示される高精度同期用マーカー、シンボル及び位置決めマーカーの例を示す図である。 高精度同期用マーカーの時間遷移を説明する図である。 サブ情報提示装置に表示される高精度同期用マーカー、シンボル、位置決めマーカー及び高精度同期用補完マーカーの例を示す図である。 高精度同期用マーカー及び高精度同期用補完マーカーの時間遷移を説明する図である。 サブ情報提示装置の同期処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
図１は、本発明の実施形態による映像提示装置及びサブ情報提示装置の使用形態と表示画面例を説明する図である。本発明の実施形態では、映像提示装置１が、映像コンテンツを画面表示し、サブ情報提示装置２を操作するユーザが、サブ情報提示装置２に内蔵されたカメラを用いて映像提示装置１の画面を撮像し、サブ情報提示装置２が、カメラ入力の画像に含まれる映像コンテンツに、当該映像コンテンツに関連するサブ情報としてサブコンテンツをオーバーレイ表示する際に、ユーザに対し、映像コンテンツとサブコンテンツとの間で時間的な同期が確立した映像を提示するものである。

図１では、映像コンテンツが宇宙船の動画像であり、サブコンテンツが星である場合の例を示す。映像提示装置１の画面には、映像コンテンツとして宇宙船の動画像が表示されている。また、ユーザにより操作されるサブ情報提示装置２の画面には、映像提示装置１の画面に表示された宇宙船の動画像と、所定の正しいタイミングにて出現した星とが表示されている。例えば、映像提示装置１は、映像コンテンツの放送波を受信して復号し、再生する再生装置である。また、サブ情報提示装置２は、電話機能、カメラによる撮影機能及びインターネット等の通信路にアクセスする通信機能を有する携帯電話機、またはタブレットＰＣである。

映像提示装置１は、図示しない映像送信装置から映像コンテンツの放送波を受信し、映像コンテンツから当該映像コンテンツの時刻を示すメディア時刻を抽出する。そして、映像提示装置１は、メディア時刻に基づいて、映像コンテンツとサブコンテンツとの間の同期を確立するための時刻マーカー（後述する高精度同期用マーカー及びシンボル）を生成し、映像コンテンツに時刻マーカー等をオーバーレイ表示する。これにより、映像提示装置１の画面には、映像コンテンツ及び時刻マーカー等が合成表示される。尚、図１において、映像提示装置１の画面には映像コンテンツのみが表示されており、時刻マーカー等の表示は省略してある。

サブ情報提示装置２を操作するユーザは、サブ情報提示装置２に内蔵されたカメラを用いて、映像提示装置１の画面に表示された映像コンテンツ及び時刻マーカー等を撮影する。サブ情報提示装置２は、カメラ入力の画像を取り込み、画像から時刻マーカーを認識し、時刻マーカーが示すメディア時刻に基づいて、サブコンテンツのメディア時刻を生成し、映像コンテンツとサブコンテンツとの間の同期を確立するための補完時刻マーカー（後述する高精度同期用補完マーカー）を生成する。そして、サブ情報提示装置２は、映像コンテンツに対応するサブコンテンツを生成し描画処理を施した後に、補完時刻マーカーのみを、映像コンテンツ等にオーバーレイ表示する。サブ情報提示装置２は、画面表示された時刻マーカーが示す時刻と補完時刻マーカーが示す時刻とに基づいて、映像コンテンツとサブコンテンツの同期を確立するための補正量（補正時刻）を生成し、補正量を用いてサブコンテンツのメディア時刻を補正し、補正後のメディア時刻に基づいて新たな補完時刻マーカーを生成する。

このようなフィードバック処理を繰り返すことにより、サブコンテンツのメディア時刻は、サブコンテンツを生成し描画処理を施す時間、及びカメラ入力の画像として映像コンテンツを入力し表示する時間を考慮した時刻に補正される。つまり、同一時刻の映像コンテンツ及びサブコンテンツがオーバーレイ表示されるように、サブコンテンツのメディア時刻が補正され（映像コンテンツの時刻マーカーが指示する時刻に対して、サブコンテンツを生成し描画処理を施す時間からカメラ入力の画像として映像コンテンツを入力し表示する時間を引いた時間に相当する時間分進むように補正され）、補完時刻マーカーが生成される。これにより、オーバーレイ表示されるタイミングにて、映像コンテンツの時刻とサブコンテンツの時刻とが同じになり、サブ情報提示装置２の画面には、映像コンテンツと、所定の正しいタイミングで出現するサブコンテンツとが表示され、ユーザは、映像コンテンツとサブコンテンツとが同期した合成映像を視聴することができる。

〔映像提示装置〕
次に、図１に示した映像提示装置１について説明する。図２は、本発明の実施形態による第１の映像提示装置１の構成を示すブロック図である。この映像提示装置１−１は、分離部１１、表示制御情報抽出部１２、映像抽出部１３、メディア時刻抽出部１４、コンテンツＩＤ抽出部１５、高精度同期用マーカー生成部１６、位置決めマーカー・シンボル生成部１７、ユーザ入力処理部１８及びオーバーレイ処理部１９を備えている。

映像提示装置１−１が映像コンテンツ等の放送波を受信すると、分離部１１は、受信した映像コンテンツ等を分離する。表示制御情報抽出部１２は、表示制御情報を抽出し、抽出した表示制御情報をオーバーレイ処理部１９に出力する。表示制御情報は、例えば、画面表示される高精度同期用マーカー、位置決めマーカー及びシンボルの表示位置、色、サイズ、表示／非表示等を示す情報をいう。映像抽出部１３は、映像コンテンツを抽出し、抽出した映像コンテンツをオーバーレイ処理部１９に出力する。メディア時刻抽出部１４は、映像コンテンツの時刻情報をメディア時刻として抽出し、抽出したメディア時刻を高精度同期用マーカー生成部１６及び位置決めマーカー・シンボル生成部１７に出力する。ここで、メディア時刻は、映像コンテンツの再生開始時点からの相対時刻をいい、例えば、映像コンテンツを構成するフレーム単位の時刻である。コンテンツＩＤ抽出部１５は、映像コンテンツのコンテンツＩＤを抽出し、抽出したコンテンツＩＤを位置決めマーカー・シンボル生成部１７に出力する。

高精度同期用マーカー生成部１６は、メディア時刻抽出部１４からメディア時刻を入力し、メディア時刻からサンプリング時間間隔が短い（細かい）高精度時刻を抽出し、この時刻を表した高精度同期用マーカーを生成し、生成した高精度同期用マーカーをオーバーレイ処理部１９に出力する。

位置決めマーカー・シンボル生成部１７は、メディア時刻抽出部１４からメディア時刻を入力すると共に、コンテンツＩＤ抽出部１５からコンテンツＩＤを入力し、メディア時刻からサンプリング時間間隔が長い（粗い）低精度時刻を抽出し、低精度時刻とコンテンツＩＤとを表したシンボルを生成し、生成したシンボルをオーバーレイ処理部１９に出力する。例えば、位置決めマーカー・シンボル生成部１７は、メディア時刻からサンプリング時間間隔が長い低精度時刻を示す２次元コードを生成すると共に、コンテンツＩＤに基づいて２次元コードを生成し、これらの２次元コードを合成して２次元シンボルに変換する。また、位置決めマーカー・シンボル生成部１７は、サブ情報提示装置２を基準にした映像提示装置１の位置及び向きを決定するための位置決めマーカーを生成し、生成した位置決めマーカーをオーバーレイ処理部１９に出力する。

ユーザ入力処理部１８は、例えば、当該映像提示装置１−１を遠隔操作するユーザがリモコンを操作すると、操作データを入力し、入力した操作データに従った処理を行い、操作制御情報をオーバーレイ処理部１９に出力する。例えば、ユーザ入力処理部１８は、ユーザ操作に従って、画面表示される高精度同期用マーカー、位置決めマーカー及びシンボルの表示位置、色、サイズ、表示／非表示等を示す操作制御情報をオーバーレイ処理部１９に出力する。

オーバーレイ処理部１９は、表示制御情報抽出部１２から表示制御情報を、映像抽出部１３から映像コンテンツを、高精度同期用マーカー生成部１６から高精度同期用マーカーを、位置決めマーカー・シンボル生成部１７から位置決めマーカー及びシンボルを、ユーザ入力処理部１８から操作制御情報をそれぞれ入力する。そして、オーバーレイ処理部１９は、表示制御情報または／及び操作制御情報に従って、高精度同期用マーカー等の表示位置等を決定し、映像コンテンツに、高精度同期用マーカー、位置決めマーカー及びシンボルをオーバーレイ表示する。

このように、映像提示装置１−１によれば、高精度同期用マーカー生成部１６は、映像コンテンツのメディア時刻に基づいて、高精度時刻を表した高精度同期用マーカーを生成するようにし、位置決めマーカー・シンボル生成部１７は、映像コンテンツのメディア時刻から低精度時刻を抽出し、低精度時刻とコンテンツＩＤとを表したシンボルを生成すると共に、位置決めマーカーを生成するようにした。また、オーバーレイ処理部１９は、映像コンテンツに、高精度同期用マーカー、位置決めマーカー及びシンボルをオーバーレイ表示するようにした。これにより、映像提示装置１−１の画面には、映像コンテンツ、高精度同期用マーカー、位置決めマーカー及びシンボルの合成映像が表示される。

図３は、本発明の実施形態による第２の映像提示装置１の構成を示すブロック図である。この映像提示装置１−２は、分離部１１、表示制御情報抽出部１２、映像抽出部１３、メディア時刻抽出部１４、コンテンツＩＤ抽出部１５、高精度同期用マーカー生成部１６、位置決めマーカー・シンボル生成部１７、ユーザ入力処理部１８、オーバーレイ処理部１９及びプログラム抽出部２０を備えている。

図２に示した映像提示装置１−１と図３に示す映像提示装置１−２とを比較すると、両映像提示装置１−１，１−２共に、分離部１１、表示制御情報抽出部１２、映像抽出部１３、メディア時刻抽出部１４、コンテンツＩＤ抽出部１５、高精度同期用マーカー生成部１６、位置決めマーカー・シンボル生成部１７、ユーザ入力処理部１８及びオーバーレイ処理部１９を備えている点で同一であるが、映像提示装置１−２は、映像提示装置１−１の構成に加え、プログラム抽出部２０を備えている点で相違する。図３において、図２と共通する部分には図２と同一の符号を付し、その詳しい説明は省略する。

映像提示装置１−２が受信する放送波には、データ放送によるプログラムが含まれており、プログラム抽出部２０は、そのプログラムを抽出し、図示しない記憶手段に格納し、所定のタイミングで記憶手段からプログラムを読み出して実行し、高精度同期用マーカー生成部１６及び位置決めマーカー・シンボル生成部１７を機能させる。これにより、高精度同期用マーカー生成部１６及び位置決めマーカー・シンボル生成部１７は、図２に示した処理と同様の処理を行うことができる。

このように、映像提示装置１−２によれば、プログラム抽出部２０は、受信した放送波からプログラムを抽出し、このプログラムを実行して高精度同期用マーカー生成部１６及び位置決めマーカー・シンボル生成部１７を機能させるようにした。これにより、映像提示装置１−２は、当該映像提示装置１−２に、予め高精度同期用マーカー生成部１６及び位置決めマーカー・シンボル生成部１７を備えておく必要がない。また、映像提示装置１−１と同様に、映像提示装置１−２の画面には、映像コンテンツ、高精度同期用マーカー、位置決めマーカー及びシンボルの合成映像が表示される。

〔表示例／映像提示装置〕
次に、映像提示装置１に表示される高精度同期用マーカー、シンボル及び位置決めマーカーの例について説明する。図５は、高精度同期用マーカー、シンボル及び位置決めマーカーの例を示す図である。映像提示装置１の画面には、図５に示すように、高精度同期用マーカーＨ、シンボルＳ及び６個の位置決めマーカーＩ１〜Ｉ６が表示される。

高精度同期用マーカーＨは、サンプリング時間間隔が短い高精度時刻を表したマーカーであり、高精度時刻は、例えば、メディア時刻が小数点２位までの時間精度の場合、メディア時刻から整数部を除いた小数部のみの時刻を示す。図５の例では、高精度同期用マーカーＨは、固定マーカーＨａと変動マーカーＨｂとからなり、変動マーカーＨｂが、固定マーカーＨａ内の左から右まで、映像コンテンツのメディア時刻から抽出した高精度時刻に合わせて、移動するようになっている。

図６は、高精度同期用マーカーＨの時間遷移を説明する図である。前述の例では、高精度同期用マーカー生成部１６は、メディア時刻抽出部１４からメディア時刻（小数点２位までの時間精度を有する時刻）を入力し、このメディア時刻から高精度時刻（０．００秒から０．９９秒まで変動し、０．００秒に戻って繰り返す時刻）を抽出する。そして、高精度同期用マーカー生成部１６は、図６に示すように、固定マーカーＨａ内で高精度時刻に応じた位置に変動マーカーＨｂを配置した高精度同期用マーカーＨを生成する。図６の例では、高精度時刻ｔ１＝０．２０、ｔ２＝０．４０、ｔ３＝０．６０、ｔ４＝０．８０、ｔ５＝０．００のときの高精度同期用マーカーＨを示しており、変動マーカーＨｂが、固定マーカーＨａ内の左から右まで移動し、この移動を繰り返す。

図５に戻って、シンボルＳは、サンプリング時間間隔が長い低精度時刻及びコンテンツＩＤを表したマーカーであり、例えば、メディア時刻が小数点２位までの時間精度の場合、シンボルＳ内の時刻は、メディア時刻から小数部を除いた整数部のみの時刻（例えば秒単位の時刻）を示す。図５の例では、シンボルＳは、時刻及びコンテンツＩＤが２次元コード化された２次元シンボルである。

位置決めマーカーＩ１〜Ｉ６は、サブ情報提示装置２を基準にした映像提示装置１の位置及び向きを決定するためのマーカーである。サブ情報提示装置２は、位置決めマーカーＩ１〜Ｉ６に基づいてその位置及び向きを決定し、これらの情報を、高精度同期用マーカーＨ、シンボルＳ及び後述する高精度同期用補完マーカーＰを認識するために用いる。また、サブ情報提示装置２は、これらの情報を、サブコンテンツを映像コンテンツに合成して表示する際のサブコンテンツの表示位置、サイズ及び向きを決定するために用いる。図５の例では、位置決めマーカーＩ１〜Ｉ６の中央部のマークがそれぞれ異なっている。サブ情報提示装置２は、この中央部のマークによって位置決めマーカーＩ１〜Ｉ６を区別することができ、位置決めマーカーＩ１〜Ｉ６の位置に基づいて、高精度同期用マーカーＨ等を認識することができる。

〔サブ情報提示装置〕
次に、図１に示したサブ情報提示装置２について説明する。図４は、本発明の実施形態によるサブ情報提示装置２の構成を示すブロック図である。このサブ情報提示装置２は、第１キャプチャ部２１、位置決めマーカー・シンボル解析部２２、コンテンツＩＤ生成部２３、メディア時刻生成部２４、サブコンテンツ生成部２５、高精度同期用補完マーカー生成部２６、サブコンテンツ描画処理部２７、オーバーレイ処理部２８、第２キャプチャ部２９、マーカー・補完マーカー解析部３０及び同期判定部３１を備えている。

ユーザが、サブ情報提示装置２に内蔵されたカメラを用いて、映像提示装置１に画面表示された映像コンテンツ、高精度同期用マーカー、シンボル及び位置決めマーカーを撮影する。そうすると、サブ情報提示装置２の第１キャプチャ部２１は、映像コンテンツ、高精度同期用マーカー、シンボル及び位置決めマーカーを含むカメラ入力の画像を取り込む（キャプチャする）。

位置決めマーカー・シンボル解析部２２は、第１キャプチャ部２１により取り込まれたカメラ入力の画像を解析し、画像から所定形状の位置決めマーカーを認識し、位置決めマーカーに基づいて、サブ情報提示装置２を基準にした映像提示装置１の位置及び向きを決定する。そして、位置決めマーカー・シンボル解析部２２は、映像提示装置１の位置及び向きの情報を用いて、低精度時刻とコンテンツＩＤとを表したシンボルを認識する。

コンテンツＩＤ生成部２３は、位置決めマーカー・シンボル解析部２２により認識されたシンボルからコンテンツＩＤを生成し、生成したコンテンツＩＤをサブコンテンツ生成部２５に出力する。尚、コンテンツＩＤ生成部２３は、位置決めマーカー・シンボル解析部２２の代わりに、カメラの入力画像からコンテンツＩＤを認識するようにしてもよい。

メディア時刻生成部２４は、位置決めマーカー・シンボル解析部２２により認識されたシンボルから低精度時刻を生成し、この低精度時刻をメディア時刻としてサブコンテンツ生成部２５に出力する。このメディア時刻は、シンボルから低精度時刻を生成することにより更新される。また、メディア時刻生成部２４は、所定の高精度時刻の初期値をメディア時刻における高精度時刻とし、この高精度時刻を高精度同期用補完マーカー生成部２６に出力する。高精度時刻の初期値は、予め設定されており、このメディア時刻における高精度時刻は、図示しない時計機能により更新される。例えば、シンボルから生成した低精度時刻が１１（秒）の場合、メディア時刻として１１秒（１１．００秒）が出力され、高精度時刻の初期値が０．００（秒）の場合、メディア時刻における高精度時刻として０．００（秒）が出力される。尚、メディア時刻生成部２４は、位置決めマーカー・シンボル解析部２２の代わりに、カメラの入力画像からシンボルを認識するようにしてもよい。

メディア時刻生成部２４は、同期判定部３１から同期情報（同期ＯＫまたは同期ＮＧ）及び補正量を入力し、入力した同期情報が同期ＮＧ（高精度時刻の同期が完了しておらず、同期調整中であることを示す情報）を示している場合、そのときに入力した補正量を用いて、メディア時刻における高精度時刻を補正する（メディア時刻における高精度時刻に補正量を加算し、高精度時刻を進める）。そして、メディア時刻生成部２４は、シンボルから生成した低精度のメディア時刻をサブコンテンツ生成部２５に出力すると共に、補正したメディア時刻における高精度時刻を高精度同期用補完マーカー生成部２６に出力する。

一方、メディア時刻生成部２４は、入力した同期情報が同期ＯＫ（高精度時刻の同期が完了したことを示す情報）を示している場合、シンボルから生成した低精度時刻及び高精度時刻を合成して新たなメディア時刻を生成し、生成した新たなメディア時刻をサブコンテンツ生成部２５に出力すると共に、新たな高精度時刻を高精度同期用補完マーカー生成部２６に出力する。ただし、高精度時刻の補正は、低精度のメディア時刻の粒度である時間（秒単位等）の範囲内での補正を前提としており、この粒度を超える補正はここでは想定しない。新たなメディア時刻は、映像コンテンツとサブコンテンツとが同期している状況におけるサブコンテンツのメディア時刻である。メディア時刻生成部２４は、同期情報として同期ＯＫを入力した後に、図示しない時計機能により、新たなメディア時刻を更新する。

サブコンテンツ生成部２５は、コンテンツＩＤ生成部２３からコンテンツＩＤを入力すると共に、メディア時刻生成部２４からメディア時刻を入力し、コンテンツＩＤ及びメディア時刻についてのサブコンテンツを、デコード、３ＤＣＧレンダリング等の処理により生成する。そして、サブコンテンツ生成部２５は、生成したサブコンテンツをサブコンテンツ描画処理部２７に出力する。尚、サブコンテンツ生成部２５は、例えば、図示しない記憶手段からサブコンテンツを読み出してもよいし、電話回線等の通信路を介してサブコンテンツをダウンロードしてもよい。

高精度同期用補完マーカー生成部２６は、メディア時刻生成部２４から高精度時刻を入力し、高精度時刻を表した高精度同期用補完マーカーを生成し、生成した高精度同期用補完マーカーをサブコンテンツ描画処理部２７に出力する。

サブコンテンツ描画処理部２７は、サブコンテンツ生成部２５からサブコンテンツを、高精度同期用補完マーカー生成部２６から高精度同期用補完マーカーを、同期判定部３１から同期情報（同期ＯＫまたは同期ＮＧ）をそれぞれ入力する。サブコンテンツ描画処理部２７は、入力したサブコンテンツ及び高精度同期用補完マーカーを描画するための処理を行う。具体的には、サブコンテンツ描画処理部２７は、位置決めマーカー・シンボル解析部２２により決定された、サブ情報提示装置２を基準にした映像提示装置１の位置及び向きの情報を用いて、サブコンテンツ及び高精度同期用補完マーカーの表示位置、サイズ及び向きを決定する。そして、サブコンテンツ描画処理部２７は、入力した同期情報が同期ＮＧを示している場合、高精度同期用補完マーカーをオーバーレイ処理部２８に出力し、入力した同期情報が同期ＯＫを示している場合、サブコンテンツをオーバーレイ処理部２８に出力する。

オーバーレイ処理部２８は、サブコンテンツ描画処理部２７から高精度同期用補完マーカーまたはサブコンテンツを入力すると共に、サブ情報提示装置２に内蔵されたカメラにより撮影されたカメラ入力の画像を取り込み、カメラ入力の画像に高精度同期用補完マーカーまたはサブコンテンツをオーバーレイ表示する。この場合、オーバーレイ処理部２８は、同期が完了する前に、サブコンテンツ描画処理部２７から高精度同期用補完マーカーのみを入力し、カメラ入力の画像に高精度同期用補完マーカーをオーバーレイ表示する。一方、オーバーレイ処理部２８は、同期が完了した後に、サブコンテンツ描画処理部２７からサブコンテンツのみを入力し、カメラ入力の画像にサブコンテンツをオーバーレイ表示する。

同期が完了した後に、ユーザは、映像提示装置１に対するユーザ操作により、画面から、高精度同期用マーカー、位置決めマーカー及びシンボルを表示しないようにする。これにより、ユーザは、映像コンテンツにサブコンテンツのみがオーバーレイ表示された合成映像を視聴することができる。また、映像コンテンツとサブコンテンツとの合成映像が正しく表示されない等の場合に、映像提示装置１及びサブ情報提示装置２に対するユーザ操作に従って、映像提示装置１は、高精度同期用マーカー等の表示を再度行い、サブ情報提示装置２は、同期調整の処理を再度行う。

第２キャプチャ部２９は、オーバーレイ処理部２８によりオーバーレイ表示された、映像コンテンツ、高精度同期用マーカー、シンボル、位置決めマーカー及び高精度同期用補完マーカーを含む画像を取り込む（キャプチャする）。

マーカー・補完マーカー解析部３０は、第２キャプチャ部２９により取り込まれた画像を解析し、位置決めマーカー・シンボル解析部２２により決定された映像提示装置１の位置及び向きの情報を用いて、高精度同期用マーカー及び高精度同期用補完マーカーを認識する。

同期判定部３１は、マーカー・補完マーカー解析部３０により認識された高精度同期用マーカー及び高精度同期用補完マーカーから、高精度同期用時刻及び高精度同期用補完時刻をそれぞれ生成し、両時刻の差が所定値内であるか否かを判定する。尚、同期判定部３１は、マーカー・補完マーカー解析部３０の代わりに、高精度同期用マーカー及び高精度同期用補完マーカーを認識するようにしてもよい。

同期判定部３１は、両時刻の差が所定値内でない場合、高精度時刻の同期が完了しておらず、同期調整中であると判定し、当該判定回数が増えるに従って所定量増加する補正量を算出し、同期ＮＧの同期情報をメディア時刻生成部２４及びサブコンテンツ描画処理部２７に出力すると共に、補正量をメディア時刻生成部２４に出力する。この場合、同期判定部３１は、両時刻の差に応じた補正量を算出するようにしてもよい。例えば、両時刻の差に比例するように、補正量を算出するようにしてもよい。これにより、同期が完了するまでに要する時間が短くなる。

一方、同期判定部３１は、両時刻の差が所定値内である場合、高精度時刻の同期が完了していると判定し、同期ＯＫの同期情報をメディア時刻生成部２４及びサブコンテンツ描画処理部２７に出力する。

このように、サブ情報提示装置２のメディア時刻生成部２４は、同期が確立していない同期調整中のときに、シンボルから生成した低精度時刻をメディア時刻とし、メディア時刻における高精度時刻を、同期判定部３１からの補正量によって補正するようにした。また、サブコンテンツ生成部２５は、コンテンツＩＤ及びメディア時刻によりサブコンテンツを生成し、高精度同期用補完マーカー生成部２６は、メディア時刻における高精度時刻を表した高精度同期用補完マーカーを生成し、サブコンテンツ描画処理部２７は、サブコンテンツ及び高精度同期用補完マーカーを描画するための処理を行い、オーバーレイ処理部２８は、同期調整中のときに、高精度同期用マーカーを含むカメラ入力の画像に高精度同期用補完マーカーをオーバーレイ表示するようにした。また、同期判定部３１は、高精度同期用マーカー及び高精度同期用補完マーカーから、映像コンテンツの高精度時刻及びサブコンテンツの高精度時刻を生成し、両時刻を比較することで同期を判定するようにした。そして、メディア時刻生成部２４は、同期が確立したときに、シンボルから生成した低精度時刻と、補正した高精度時刻とを合成して新たなメディア時刻を生成する。この新たなメディア時刻は、サブコンテンツの生成及び描画処理の負荷時間、及びカメラ入力の画像として映像コンテンツを入力し表示する時間を考慮したメディア時刻、すなわち、サブコンテンツの生成及び描画処理を行った後のオーバーレイ表示のタイミングにおける映像コンテンツのメディア時刻に一致した時刻となる。そして、オーバーレイ処理部２８は、映像コンテンツに、当該映像コンテンツと同期したサブコンテンツをオーバーレイ表示することができ、映像コンテンツの時刻とサブコンテンツの時刻とを合わせることができる。

〔表示例／サブ情報提示装置〕
次に、サブ情報提示装置２に表示される高精度同期用マーカー、シンボル、位置決めマーカー及び高精度同期用補完マーカーの例について説明する。図７は、高精度同期用マーカー、シンボル、位置決めマーカー及び高精度同期用補完マーカーの例を示す図である。サブ情報提示装置２の画面には、図７に示すように、高精度同期用マーカーＨ、シンボルＳ、６個の位置決めマーカーＩ１〜Ｉ６及び高精度同期用補完マーカーＰが表示される。

映像コンテンツの高精度時刻を表した高精度同期用マーカーＨ、映像コンテンツの低精度時刻を表したシンボルＳ、及び、映像提示装置１の位置等を決定するための位置決めマーカーＩ１〜Ｉ６については図５及び図６にて説明済みであるから、ここではこれらの説明を省略する。

高精度同期用補完マーカーＰは、サブコンテンツについて、サンプリング時間間隔が短い高精度時刻を表したマーカーであり、例えば、サブコンテンツのメディア時刻が小数点２位までの時間精度の場合、メディア時刻から整数部を除いた小数部のみの時刻を示す。図７の例では、高精度同期用補完マーカーＰは、変動マーカーＨｂと同様に、高精度時刻に応じて、固定マーカーＨａ内で左から右まで移動するようになっている。

図８は、高精度同期用マーカーＨ及び高精度同期用補完マーカーＰの時間遷移を説明する図である。例えば、高精度同期用補完マーカー生成部２６は、高精度時刻（０．００秒から０．９９秒まで変動し、０．００秒に戻って繰り返す時刻）を表した高精度同期用補完マーカーを生成し、図８に示すように、固定マーカーＨａ内で高精度時刻に応じた位置に高精度同期用補完マーカーＰを配置する。図８の例では、高精度時刻０．９５、ｔｂ＝０．２０、ｔｃ＝０．４５、ｔｄ＝０．７０、ｔｅ＝０．９５、ｔｆ＝０．２０、ｔｇ＝０．４０、ｔｈ＝０．６０のときの高精度同期用補完マーカーＰを示している。図８から、高精度時刻ｔａ〜ｔｈに応じて、高精度同期用補完マーカーＰが、固定マーカーＨａ内で左から右へ移動していることがわかる。尚、高精度同期用マーカーＨの変動マーカーＨｂは、図６と同様の位置を示している。

高精度時刻ｔａ〜ｔｅにおいては、高精度同期用マーカーＨにおける変動マーカーＨｂの位置と高精度同期用補完マーカーＰの位置とが重複しているから、高精度時刻の同期は確立しておらず調整中である。同期判定部３１は、同期ＮＧを示す同期情報及び所定の補正量をメディア時刻生成部２４に出力し、メディア時刻生成部２４は、補正量を用いてメディア時刻における高精度時刻を補正する。これにより、高精度同期用補完マーカー生成部２６により、補正したメディア時刻についての高精度時刻の高精度同期用補完マーカーＰが生成される。つまり、高精度時刻ｔａ〜ｔｅは、同期が完了する前の同期調整中の時間帯である。

高精度時刻ｔｆにおいては、高精度同期用マーカーＨにおける変動マーカーＨｂの位置と高精度同期用補完マーカーＰの位置との重複がないから（高精度同期用マーカーＨにおける変動マーカーＨｂの位置から生成された高精度時刻と高精度同期用補完マーカーＰの位置から生成された高精度時刻との間の差が所定値内になるから）、高精度時刻の同期が確立し同期が完了している。同期判定部３１は、同期ＯＫを示す同期情報をメディア時刻生成部２４に出力し、メディア時刻生成部２４は、シンボルから生成した低精度時刻及び補正済みの高精度時刻を合成して新たなメディア時刻を生成する。これにより、サブコンテンツ生成部２５及びサブコンテンツ描画処理部２７により、同期が確立したメディア時刻についてのサブコンテンツが生成及び描画される。このサブコンテンツは、オーバーレイ処理部２８により、映像コンテンツに同期してオーバーレイ表示される。つまり、高精度時刻ｔｆ以降は、同期が完了した後の同期中の時間帯である。

これにより、サブ情報提示装置２の映像を視聴するユーザは、同期調整中のときに、固定マーカーＨａ内において、変動マーカーＨｂの位置と高精度同期用補完マーカーＰの位置とを比較することにより、映像コンテンツの高精度時刻と、サブコンテンツの高精度時刻とが一致しているか否か、すなわち、同期が確立しているか否かを確認することができる。

〔同期処理／サブ情報提示装置〕
次に、図１及び図４に示したサブ情報提示装置２による同期処理の詳細について説明する。図９は、サブ情報提示装置２の同期処理を示すフローチャートである。図９に示す処理のうちステップＳ９０１は映像提示装置１の処理であり、ステップＳ９０２はサブ情報提示装置２を用いたユーザ操作である。まず、映像提示装置１は、映像コンテンツに、高精度同期用マーカー、シンボル及び位置決めマーカーをオーバーレイ表示する。そして、サブ情報提示装置２を操作するユーザは、サブ情報提示装置２に内蔵されたカメラを用いて、映像提示装置１に表示された映像コンテンツ、高精度同期用マーカー、シンボル及び位置決めマーカーを撮影する（ステップＳ９０２）。これにより、サブ情報提示装置２は、映像提示装置１に表示された映像コンテンツ、高精度同期用マーカー、シンボル及び位置決めマーカーを含むカメラ入力の画像を取得する。

サブ情報提示装置２の第１キャプチャ部２１は、カメラ入力の画像をキャプチャする（ステップＳ９０３）。そして、位置決めマーカー・シンボル解析部２２は、カメラ入力の画像を解析してシンボルを認識し、コンテンツＩＤ生成部２３は、シンボルからコンテンツＩＤを生成し、メディア時刻生成部２４は、シンボルから低精度時刻を生成し、この低精度時刻をメディア時刻として扱う（ステップＳ９０４）。また、メディア時刻生成部２４は、所定の高精度時刻の初期値をメディア時刻における高精度時刻とする。尚、位置決めマーカーの認識等の処理については省略する。

サブコンテンツ生成部２５は、コンテンツＩＤ及びメディア時刻に基づいてサブコンテンツを生成し、サブコンテンツ描画処理部２７は、サブコンテンツの描画処理を行うと共に、高精度同期用補完マーカー生成部２６は、メディア時刻における高精度時刻を表した高精度同期用補完マーカーを生成し、サブコンテンツ描画処理部２７は、高精度同期用補完マーカーの描画処理を行う（ステップＳ９０５）。高精度同期用補完マーカーは、サブコンテンツの生成及び描画処理と同じ時間をかけて、生成及び描画処理が行われる。

オーバーレイ処理部２８は、カメラ入力の画像に高精度同期用補完マーカーをオーバーレイ表示する（ステップＳ９０６）。この高精度同期用補完マーカーを用いることにより、同期完了後にオーバーレイ表示されるサブコンテンツの時刻が調整され、映像コンテンツとサブコンテンツとの間の同期が確立する。

第２キャプチャ部２９は、ステップＳ９０６にてオーバーレイ表示された画像をキャプチャする（ステップＳ９０７）。そして、マーカー・補完マーカー解析部３０は、オーバーレイ表示された画像を解析して高精度同期用マーカー及び高精度同期用補完マーカーを認識する。そして、同期判定部３１は、高精度同期用マーカーから映像コンテンツの時刻を生成すると共に、高精度同期用補完マーカーからサブコンテンツの時刻を生成し、両時刻に基づいて同期ズレを検出し、同期ズレを反映した補正量を算出する（ステップＳ９０８）。

同期判定部３１は、両時刻の差と所定値とを比較することにより、同期が完了しているか否かを判定し（ステップＳ９０９）、両時刻の差が所定値内でなく、同期が完了していないと判定した場合（ステップＳ９０９：同期ＮＧ（同期未完））、メディア時刻生成部２４は、補正量を用いてメディア時刻における高精度時刻を補正し（ステップＳ９１０）、ステップＳ９０５へ移行する。このように、ステップＳ９０９において同期が完了していると判定されるまで、ステップＳ９１０、ステップＳ９０５〜ステップＳ９０９の処理を繰り返す。

同期判定部３１は、ステップＳ９０９において、同期が完了していると判定した場合（ステップＳ９０９：同期ＯＫ（同期完了））、第１キャプチャ部２１、位置決めマーカー・シンボル解析部２２及びメディア時刻生成部２４は、ステップＳ９０３及びステップＳ９０４と同様の処理を行うことで、シンボルからの低精度時刻をメディア時刻として生成する（ステップＳ９１１，ステップＳ９１２）。尚、この場合の第１キャプチャ部２１によるキャプチャのタイミングは、例えば、高精度同期用補完マーカー（または高精度同期用マーカー）が０．５周期となるメディア時刻とする。つまり、低精度時刻の表されたシンボルが更新されるタイミングと、次に更新されるタイミングとの間の中間時点、すなわち、シンボルの更新周期を１周期としたときに、このタイミングから半周期ずれた時点とする。

メディア時刻生成部２４は、ステップＳ９１２にて生成されたメディア時刻と、補正後のメディア時刻における高精度時刻とを合成し、新たなメディア時刻を生成する（ステップＳ９１３）。

サブコンテンツ生成部２５は、コンテンツＩＤ及び新たなメディア時刻に基づいてサブコンテンツを生成し、サブコンテンツ描画処理部２７は、サブコンテンツの描画処理を行う（ステップＳ９１４）。そして、オーバーレイ処理部２８は、カメラ入力の画像にサブコンテンツをオーバーレイ表示する（ステップＳ９１５）。

以上のように、本発明の実施形態によれば、サブ情報提示装置２は、カメラ撮影された映像コンテンツにサブコンテンツをオーバーレイ表示する際に、サブコンテンツを生成し描画処理を施すことでサブコンテンツをオーバーレイ表示するタイミングが遅れること等を考慮して、その処理に対応する時間分進めたメディア時刻を生成し、そのメディア時刻についてのサブコンテンツの生成及び描画処理を行い、映像コンテンツにサブコンテンツをオーバーレイ表示するようにした。これにより、オーバーレイ表示する際の映像コンテンツの時刻とサブコンテンツの時刻とが一致する。

具体的には、映像提示装置１は、映像コンテンツのメディア時刻についての高精度時刻を表した高精度同期用マーカー及び低精度時刻を表したシンボルを生成し、映像コンテンツに高精度同期用マーカー等をオーバーレイ表示するようにした。そして、サブ情報提示装置２を操作するユーザにより、映像提示装置１に表示された映像コンテンツ等が撮影されると、サブ情報提示装置２のメディア時刻生成部２４は、まず、シンボルから生成した映像コンテンツの低精度時刻をサブコンテンツのメディア時刻として生成すると共に、所定の高精度時刻の初期値をメディア時刻における高精度時刻として生成し、サブコンテンツ生成部２５は、そのメディア時刻のサブコンテンツを生成し、高精度同期用補完マーカー生成部２６は、そのメディア時刻についての高精度時刻を表した高精度同期用補完マーカーを生成し、サブコンテンツ描画処理部２７は、サブコンテンツ及び高精度同期用補完マーカーに描画処理を施し、オーバーレイ処理部２８は、カメラ入力の画像に高精度同期用補完マーカーをオーバーレイ表示するようにした。そして、同期判定部３１は、高精度同期用マーカーから生成した映像コンテンツの高精度時刻と、高精度同期用補完マーカーから生成したサブコンテンツの高精度時刻とに基づいて、映像コンテンツとサブコンテンツとの間の同期を判定し、メディア時刻生成部２４は、同期が完了していない場合、メディア時刻における高精度時刻を補正するようにした。そして、メディア時刻生成部２４は、同期が完了した場合、シンボルから生成された映像コンテンツの低精度時刻と補正後のメディア時刻における高精度時刻とを合成し、新たなメディア時刻を生成するようにした。

これにより、高精度時刻による同期が完了した後、低精度時刻による同期が完了し、映像コンテンツにサブコンテンツをオーバーレイ表示する際の時間的な整合を図ることができる。すなわち、サブコンテンツ生成部２５は、新たなメディア時刻を基準にしてサブコンテンツを生成し、サブコンテンツ描画処理部２７は、サブコンテンツの描画処理を行い、そして、オーバーレイ処理部２８は、映像コンテンツに、新たなメディア時刻を基準にして生成及び描画したサブコンテンツをオーバーレイ表示する。つまり、オーバーレイ表示する際の映像コンテンツのメディア時刻と、サブコンテンツのメディア時刻とを合致させることができ、同期を精度高く確立することができる。

図４に示したサブ情報提示装置２のサブコンテンツ生成部２５及びサブコンテンツ描画処理部２７の処理時間は、サブ情報提示装置２の処理能力によって異なるものである。本発明の実施形態によれば、同期判定部３１を含むフィードバック処理にて、サブ情報提示装置２の処理能力に依存することなく、異なる処理時間を吸収し、映像コンテンツとサブコンテンツとの間で同期を精度高く確立することが可能となる。また、サブ情報提示装置２を操作するユーザは、映像コンテンツにサブコンテンツをオーバーレイ表示して提示するという一定の品質のサービスを受けることができる。

尚、本発明の実施形態による映像提示装置１−１，１−２及びサブ情報提示装置２のハードウェア構成としては、通常のコンピュータをそれぞれ使用することができる。映像提示装置１−１，１−２及びサブ情報提示装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによってそれぞれ構成される。映像提示装置１−１に備えた分離部１１、表示制御情報抽出部１２、映像抽出部１３、メディア時刻抽出部１４、コンテンツＩＤ抽出部１５、高精度同期用マーカー生成部１６、位置決めマーカー・シンボル生成部１７、ユーザ入力処理部１８及びオーバーレイ処理部１９の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、映像提示装置１−２に備えた分離部１１、表示制御情報抽出部１２、映像抽出部１３、メディア時刻抽出部１４、コンテンツＩＤ抽出部１５、ユーザ入力処理部１８、オーバーレイ処理部１９及びプログラム抽出部２０、並びに所定のプログラムがプログラム抽出部２０にて実行された後の高精度同期用マーカー生成部１６及び位置決めマーカー・シンボル生成部１７の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、サブ情報提示装置２に備えた第１キャプチャ部２１、位置決めマーカー・シンボル解析部２２、コンテンツＩＤ生成部２３、メディア時刻生成部２４、サブコンテンツ生成部２５、高精度同期用補完マーカー生成部２６、サブコンテンツ描画処理部２７、オーバーレイ処理部２８、第２キャプチャ部２９、マーカー・補完マーカー解析部３０及び同期判定部３１の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、映像提示装置１を、映像コンテンツの放送波を受信して復号し再生する再生装置として説明し、サブ情報提示装置２を携帯電話機等として説明したが、本発明はこれらに限定されるものではない。例えば、サブ情報提示装置２は、電話機能を有さない携帯用小型コンピュータでもよく、サブ情報提示装置２をＷｅｂカメラにて撮影し、その映像を取り込んで処理するコンピュータであってもよい。

１ 映像提示装置
２ サブ情報提示装置
１１ 分離部
１２ 表示制御情報抽出部
１３ 映像抽出部
１４ メディア時刻抽出部
１５ コンテンツＩＤ抽出部
１６ 高精度同期用マーカー生成部
１７ 位置決めマーカー・シンボル生成部
１８ ユーザ入力処理部
１９ オーバーレイ処理部
２０ プログラム抽出部
２１ 第１キャプチャ部
２２ 位置決めマーカー・シンボル解析部
２３ コンテンツＩＤ生成部
２４ メディア時刻生成部
２５ サブコンテンツ生成部
２６ 高精度同期用補完マーカー生成部
２７ サブコンテンツ描画処理部
２８ オーバーレイ処理部
２９ 第２キャプチャ部
３０ マーカー・補完マーカー解析部
３１ 同期判定部

Claims (6)

1. 映像コンテンツ及び当該映像コンテンツの時刻を表したマーカーを表示する映像提示装置がカメラにより撮影され、前記カメラの入力画像に、前記映像コンテンツに関連するサブ情報としてサブコンテンツをオーバーレイ表示するサブ情報提示装置において、
   前記カメラの入力画像からマーカーを認識し、前記マーカーにより表された時刻に基づいて、前記サブコンテンツのメディア時刻を生成するメディア時刻生成部と、
   前記メディア時刻生成部により生成されたメディア時刻についてのサブコンテンツを生成するサブコンテンツ生成部と、
   前記メディア時刻生成部により生成されたメディア時刻に基づいて、前記映像コンテンツと前記サブコンテンツとの間の同期を確立するための時刻を表した補完マーカーを生成する補完マーカー生成部と、
   前記サブコンテンツ生成部により生成されたサブコンテンツに対し、前記映像コンテンツに前記サブコンテンツをオーバーレイ表示するための描画処理を施すサブコンテンツ描画処理部と、
   前記サブコンテンツ描画処理部による描画処理が完了した後に、前記カメラの入力画像に、前記補完マーカー生成部により生成された補完マーカー、または、前記サブコンテンツ生成部により生成されサブコンテンツ描画処理部により描画処理が施されたサブコンテンツをオーバーレイ表示するオーバーレイ処理部と、
   オーバーレイ処理部によりオーバーレイ表示された画像からマーカー及び補完マーカーを認識し、前記マーカーにより表された時刻と、前記補完マーカーにより表された時刻とに基づいて、前記映像コンテンツと前記サブコンテンツとの間の同期を判定する同期判定部とを備え、
   前記同期判定部により同期が完了していないと判定された場合、
   前記メディア時刻生成部は、前記メディア時刻を補正し、
   前記オーバーレイ処理部は、前記補正後のメディア時刻についてのサブコンテンツの生成及び描画処理が完了した後に、前記カメラの入力画像に、前記補正後のメディア時刻に基づいた補完マーカーをオーバーレイ表示し、
   前記同期判定部により同期が完了していないと判定され、その後、同期が完了していると判定された場合、
   前記メディア時刻生成部は、前記補正後のメディア時刻に基づいて、同期したメディア時刻を生成し、
   前記オーバーレイ処理部は、前記メディア時刻生成部により生成された同期したメディア時刻についてのサブコンテンツの生成及び描画処理が完了した後に、前記映像コンテンツに前記サブコンテンツをオーバーレイ表示する、ことを特徴とするサブ情報提示装置。
2. 請求項１に記載のサブ情報提示装置において、
   前記同期判定部は、同期が完了していないと判定した場合、前記判定の毎に、所定量増加する補正量を算出し、
   前記メディア時刻生成部は、前記同期判定部により算出された補正量を用いて、前記メディア時刻を補正する、ことを特徴とするサブ情報提示装置。
3. 請求項１に記載のサブ情報提示装置において、
   前記同期判定部は、同期が完了していないと判定した場合、前記マーカーにより表された時刻と、前記補完マーカーにより表された時刻との間の差に基づいて、補正量を算出し、
   前記メディア時刻生成部は、前記同期判定部により算出された補正量を用いて、前記メディア時刻を補正する、ことを特徴とするサブ情報提示装置。
4. 請求項１から３までのいずれかのサブ情報提示装置に備えたカメラにより撮影される映像コンテンツ及び当該映像コンテンツの時刻を表したマーカーを表示する映像提示装置であって、
   前記映像コンテンツの時刻をメディア時刻として抽出するメディア時刻抽出部と、
   前記メディア時刻抽出部により抽出されたメディア時刻を表したマーカーを生成するマーカー生成部と、
   前記映像コンテンツに前記マーカーをオーバーレイ表示するオーバーレイ処理部と、
   を備えたことを特徴とする映像提示装置。
5. コンピュータを、請求項１から３までのいずれか一項に記載のサブ情報提示装置として機能させるためのプログラム。
6. コンピュータを、請求項４に記載の映像提示装置として機能させるためのプログラム。

Images