JP6433273B2 - 端末装置、サーバ装置、及びプログラム - Google Patents

Description

本発明は、テレビ受像機により表示される映像と、端末が実行するコンテンツとを同期させる技術に関する。

従来から、スマートフォンなど視聴者の携帯端末で実行される放送映像と連動したインターネットコンテンツが提供されている。このインターネットコンテンツとしては、テレビ受像機とは別の映像を表示させるスクリーン（所謂セカンドスクリーン）として携帯端末を機能させるコンテンツや、放送番組の進行及び演出と密接に連動した内容のコンテンツが存在する。例えば、特許文献１には、放送に同期させてネットワークにおける広告を表示する技術が開示されている。また、特許文献２には、放送中の番組と関連する関連情報を放送と同期してネットワークを介して配信する技術が開示されている。その他、本発明に関連する技術が特許文献３〜５に開示されている。

国際公開ＷＯ２００８／０８１５９６ 特許公開２０１３−１４１１３３号公報 特開公開２０１３−９３５９号公報 特開公開２０１３−９３４３号公報 特開公開２０１２−２０８６５４号公報

放送映像の進行と完全にタイミングを一致させてインターネットコンテンツの進行を制御するためには、放送受信における遅延が課題となる。特に、放送受信エリア毎に若干の放送電波の受信タイミングのずれ（即ちタイムラグ）が発生するため、全国の放送エリアにある各テレビ受像機は、それぞれ異なるタイミングで放送映像を受信して再生することになる。特許文献１には、放送と広告とを同期させる際に、上述したような放送受信エリア毎のタイムラグを考慮する点については何ら開示されていない。また、特許文献２についても、現在時刻に対応した単位時間枠の連動情報により制御を行うため、上述のタイムラグを考慮する点については何ら開示されていない。また、特許文献３及び特許文献４には、再生の遅延時間を制御するための制御情報を放送のデータに付加する手段について記載されているが、この制御情報を全ての放送エリアにおいて運用することは放送運用が複雑になるという課題が生じることになる。また、特許文献５には、放送のデータに同期用のマーカ情報を埋め込む方法が開示されているが、マーカ情報を埋め込む作業が生じることになり、かつ、上述のタイムラグについて何ら考慮していない。

本発明が解決しようとする課題には上記のようなものが一例として挙げられる。本発明は、放送映像などにマーカ情報や時刻制御情報を付加することなく、テレビ受像機で再生される映像とコンテンツとの進行タイミングの同期を図ることが可能な端末装置及びサーバ装置を提供することを主な課題とする。

本発明の１つの観点では、番組の開始からの経過時間が関連付けられた動画のコンテンツを実行する端末装置であって、前記番組の放送映像又は放送音声に関する照合用データを記憶する記憶手段と、テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを再生するコンテンツ実行手段と、を備え、前記コンテンツ実行手段は、前記経過時間認識手段が認識した経過時間に、当該経過時間認識手段が前記経過時間を認識する処理中に前記映像が進んだ時間を加算した時間だけ、前記コンテンツの時間軸上において経過した時点から、前記コンテンツを前記映像と同期させて再生を行う。

上記端末装置は、番組と関連するコンテンツを実行し、記憶手段と、データ取得手段と、経過時間認識手段と、コンテンツ実行手段とを有する。記憶手段は、番組の放送映像又は放送音声に関する照合用データを記憶する。データ取得手段は、テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又はテレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得する。経過時間認識手段は、記憶手段が記憶する照合用データを参照することで、映像データ又は音声データから、テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する。コンテンツ実行手段は、認識した経過時間に基づき、コンテンツとテレビ受像機が出力する映像とを同期させてコンテンツを実行する。ここで、コンテンツ実行手段は、経過時間認識手段が認識した経過時間に、当該経過時間認識手段が経過時間を認識する処理中に映像が進んだ時間を加算した時間だけ、コンテンツの時間軸上において経過した時点から、コンテンツを映像と同期させて再生を行う。この態様によれば、端末装置は、放送受信エリアごとの放送映像の再生タイミングの違いによらず、コンテンツとテレビ受像機が出力する映像とを的確に同期させてコンテンツを実行することができる。

上記端末装置の一態様では、端末装置は、ネットワークを介してサーバ装置と通信を行う通信手段をさらに備え、前記記憶手段は、前記通信手段が前記サーバ装置から受信した照合用データを記憶する。この態様により、端末装置は、照合用データを好適に取得することができる。

上記端末装置の他の一態様では、前記映像データ又は音声データから特徴量を算出する特徴量算出手段をさらに備え、前記記憶手段は、前記照合用データとして、前記番組の各時点での放送映像又は放送音声の特徴量と、前記番組の開始からの経過時間とを関連付けて記憶し、前記経過時間認識手段は、前記特徴量算出手段が算出した特徴量に最も近似する特徴量を前記照合用データから検索することで、前記経過時間を認識する。この態様により、端末装置は、データ取得手段が取得した映像データ又は音声データに対応する番組開始からの経過時間を好適に認識することができる。

上記端末装置の他の一態様では、前記コンテンツは、前記番組の開始時点からの経過時間毎に対応するフレームを含み、前記コンテンツ実行手段は、前記経過時間認識手段が認識した経過時間に前記映像が進んだ時間を加算した時間だけ前記コンテンツの時間軸上において経過した時点に対応する前記フレームを表示して前記コンテンツの再生を開始する。この態様により、端末装置は、認識した番組の経過時間に映像が進んだ時間を加算した時間だけコンテンツの時間軸上において経過した時点に対応するフレームからコンテンツを再生して放送映像及び放送音声と同期させることができる。

上記端末装置の他の一態様では、前記記憶手段は、前記テレビ受像機のセカンドスクリーンとして表示すべき映像データを前記コンテンツとして記憶し、前記コンテンツ実行手段は、前記経過時間に基づき、前記テレビ受像機が出力する映像と同期させて前記映像データを表示する。この態様により、端末装置は、テレビ受像機に映る映像と的確に同期した映像を好適に表示することができる。

本発明の他の観点では、番組と関連するコンテンツを実行する端末装置であって、前記番組の放送映像又は放送音声に関する照合用データを記憶する記憶手段と、テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを実行するコンテンツ実行手段と、を備え、前記記憶手段は、前記コンテンツとして、音声を採点するための採点情報を、前記番組の開始時点からの経過時間に対応付けて記憶し、前記コンテンツ実行手段は、前記経過時間に基づき、前記採点情報を参照して、前記音声入力手段により入力された音声の採点を行う。この態様により、端末装置は、歌が放送された場合に、放送された歌に合わせて歌った音程等に関する採点（即ちカラオケ採点）を的確に実行することができる。

本発明の他の観点では、番組と関連するコンテンツを実行し、前記番組の放送映像又は放送音声に関する照合用データを記憶する記憶手段と、テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを実行するコンテンツ実行手段と、を有する端末装置と、前記番組が生放送番組の場合に、前記テレビ受像機に受信させる放送電波の送出タイミングを所定時間幅だけ遅延させる放送システムと通信を行うサーバ装置であって、前記番組が生放送番組の場合に、前記放送システムが生成した放送用の映像又は音声のデータと、前記コンテンツ実行手段が実行するコンテンツとを、前記放送システムから即時に取得する取得手段と、前記取得手段が取得した放送用の映像又は音声のデータに基づき、映像又は音声に関する照合用データを生成する照合用データ生成手段と、前記照合用データ生成手段が生成した照合用データと、前記取得手段が取得した前記コンテンツとを前記端末装置に送信するデータ送信手段と、を有する。この態様により、サーバ装置は、生放送番組の場合、放送システムが放送電波の送出タイミングを所定時間幅だけ遅延させている間に、端末装置が使用する照合用データを好適に生成し、端末装置に供給する。従って、サーバ装置は、生放送番組であっても、放送映像とコンテンツとを的確に同期させて端末装置に再生させることができる。

本発明のさらに他の観点では、番組の開始からの経過時間が関連付けられた動画のコンテンツを実行し、前記番組の放送映像又は放送音声に関する照合用データを参照するコンピュータが実行するプログラムであって、テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを再生するコンテンツ実行手段として前記コンピュータを機能させ、前記コンテンツ実行手段は、前記経過時間認識手段が認識した経過時間に、当該経過時間認識手段が前記経過時間を認識する処理中に前記映像が進んだ時間を加算した時間だけ、前記コンテンツの時間軸上において経過した時点から、前記コンテンツを前記映像と同期させて再生を行う。コンピュータは、このプログラムを実行することで、放送受信エリアごとの放送映像の再生タイミングの違いによらず、コンテンツとテレビ受像機が出力する映像とを的確に同期させてコンテンツを実行することができる。

実施形態に係る放送システムの概略構成図を示している。 携帯端末の概略構成を示すブロック図である。 実施形態に基づくタイムチャートの一例である。 放送電波の受信タイミングが異なる地域で同一の番組に同期させてコンテンツアプリをそれぞれ実行する場合のタイムチャートを示す。 コンテンツ同期処理の手順を示すフローチャートである。

以下、図面を参照して本発明の好適な実施の形態について説明する。

［システム構成］
図１は、本実施形態に係る放送システムの概略構成図を示している。図１に示すように、放送システムは、放送波を送出する放送局１と、テレビ受像機２と、携帯端末３と、サーバ装置５とを有する。そして、放送システムは、テレビ番組に連動したコンテンツを、放送と好適に同期して実行することが可能なシステムである。携帯端末３及びサーバ装置５は、ネットワーク４を介して電気的に接続している。

テレビ受像機２は、視聴者の家庭に設置され、放送局１からの放送波を受信することにより、テレビ番組の映像や音声を出力する。

携帯端末３は、テレビ受像機２の視聴者が使用するスマートフォンなどの通信端末である。携帯端末３には、コンテンツを実行するためのアプリケーションプログラム（単に「コンテンツアプリ」とも呼ぶ。）が予めインストールされている。例えば、携帯端末３は、コンテンツアプリに基づき、テレビ受像機２（メインスクリーン）に対するセカンドスクリーンとして表示する映像を出力する。他の例では、携帯端末３は、番組中に歌が再生されていた場合に、コンテンツアプリに基づき、当該歌に合わせて携帯端末３のマイクを利用してユーザが歌った音の採点（即ちカラオケの採点）を行い、結果を表示する。

また、携帯端末３は、ユーザ操作に基づき、テレビ受像機２の表示画面の映像を撮影する機能、及び、テレビ受像機２が出力する音声を音声データとして取得する機能を有する。そして、携帯端末３は、取得した映像データ又は音声データに対応する番組開始からの経過時間（「経過時間Ｔｐ」とも呼ぶ。）を認識する。これにより、携帯端末３は、実行するコンテンツと放送映像との同期を行う。

サーバ装置５は、放送局１が送出する放送波により送信するテレビ番組の放送データ等を管理する。具体的には、サーバ装置５は、携帯端末３が取得した映像又は音声から経過時間Ｔｐを算出するのに必要な情報（「照合用データＤｔ１」とも呼ぶ。）を番組ごとに記憶する。ここで、照合用データＤｔ１は、対象の番組で時系列に表示される各映像フレームの特徴量又は当該番組で出力される音声の時系列の特徴量（「照合用特徴量Ｆｒｆ」とも呼ぶ。）と、当該特徴量に対応する映像又は音声に対応する番組開始からの経過時間とを関連付けたデータである。サーバ装置５は、例えば、携帯端末３から所定の要求信号を受信した場合に、当該要求信号で指定された番組に対応する照合用データＤｔ１を携帯端末３へ送信する。また、サーバ装置５は、携帯端末３が実行するコンテンツアプリ、及び、コンテンツアプリにより実行されるコンテンツを記憶し、携帯端末３の要求に応じて携帯端末３へ送信する。

［携帯端末の構成］
図２は、携帯端末３の概略構成を示すブロック図である。図２に示すように、携帯端末３は、主に、マイク３１と、カメラ３２と、通信部３３と、記憶部３４と、制御部３５と、表示部３６と、音声出力部３７とを有する。

記憶部３４は、コンテンツアプリなどの携帯端末３の動作を制御するためのプログラムを保存したり、携帯端末３の動作に必要な情報を保持したりする。また、記憶部３４は、照合用データＤｔ１と、コンテンツＤｔ２とを記憶する。ここで、コンテンツＤｔ２は、コンテンツアプリに基づく処理を実行するのに必要なデータである。例えば、表示部３６をセカンドスクリーンとして機能させるコンテンツアプリの場合、コンテンツＤｔ２は、フレームごとに番組開始からの経過時間が関連付けられた映像データに相当する。他の例では、上述したカラオケの採点を実行するコンテンツアプリの場合、コンテンツＤｔ２は、番組開始からの経過時間が関連付けられた採点の基準となる音程等の時系列の情報（採点情報）である。コンテンツＤｔ２は、コンテンツアプリと共にサーバ装置５からダウンロードされたものであってもよく、照合用データＤｔ１と共にサーバ装置５からダウンロードされたものであってもよい。

制御部３５は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔなどを備え、携帯端末３内の各構成要素に対して種々の制御を行う。制御部３５は、機能的には、照合用データ取得部５１と、特徴量抽出部５２と、経過時間認識部５３と、コンテンツ実行部５４とを有する。制御部３５は、本発明におけるプログラムを実行するコンピュータの一例である。

照合用データ取得部５１は、通信部３３により、サーバ装置５から照合用データＤｔ１を取得する。そして、照合用データ取得部５１は、取得した照合用データＤｔ１を、記憶部３４に記憶させる。

特徴量抽出部５２は、インストールされたコンテンツアプリに対応するテレビ番組の放送中に、ユーザ操作により指定されたタイミングにより、マイク３１から入力された所定時間長の音声データ、又は、カメラ３２が生成した映像データを取得する。そして、特徴量抽出部５２は、取得したデータから特徴量（「抽出特徴量Ｆｅｔ」とも呼ぶ。）を抽出する。例えば、特徴量抽出部５２は、カメラ３２から静止画像である映像データを取得した場合、種々の公知技術に基づき対象の画像から特徴点を抽出し、抽出した特徴点の情報を、抽出特徴量Ｆｅｔとして定める。また、特徴量抽出部５２は、マイク３１から音声データを取得した場合、当該音声データから音量及び周波数を抽出し、これらの情報を、抽出特徴量Ｆｅｔとして定める。上述した方法の他、特徴量抽出部５２は、種々の画像認識又は音声認識で用いられる任意の特徴量を、抽出特徴量Ｆｅｔとして抽出してもよい。特徴量抽出部５２は、本発明における「データ取得手段」及び「特徴量抽出手段」の一例である。

経過時間認識部５３は、特徴量抽出部５２が算出した抽出特徴量Ｆｅｔと、記憶部３４が記憶する照合用データＤｔ１の照合用特徴量Ｆｒｆとを照合することで、経過時間Ｔｐを認識する。具体的には、経過時間認識部５３は、特徴量抽出部５２が算出した抽出特徴量Ｆｅｔと一致又は最も近似する照合用特徴量Ｆｒｆを照合用データＤｔ１から検索し、検索した照合用特徴量Ｆｒｔと照合用データＤｔ１において関連付けられた経過時間を、経過時間Ｔｐとして認識する。そして、経過時間認識部５３は、認識した経過時間Ｔｐの情報を、コンテンツ実行部５４へ供給する。経過時間認識部５３がコンテンツ実行部５４に通知する経過時間Ｔｐの情報は、特徴量抽出部５２が音声データ又は映像データを取得した時点でテレビ受像機２に表示された映像フレームを特定可能な情報であり、例えば、番組開始からＸ秒後のＹフレーム目（Ｘ，Ｙは自然数）であるかを示す情報である。経過時間認識部５３は、本発明における「経過時間認識手段」の一例である。

コンテンツ実行部５４は、経過時間認識部５３から通知された経過時間Ｔｐに基づき、コンテンツアプリに基づく処理を実行する。具体的には、コンテンツ実行部５４は、経過時間認識部５３から通知された経過時間Ｔｐに対応するコンテンツＤｔ２の時間軸上の時点（「コンテンツ同期時点」とも呼ぶ。）を認識し、コンテンツ同期時点からコンテンツＤｔ２の再生等を実行する。例えば、表示部３６をセカンドスクリーンとして機能させるコンテンツアプリの場合、コンテンツ実行部５４は、通知された経過時間Ｔｐに対応するコンテンツＤｔ２の映像フレームからコンテンツＤｔ２を再生して表示部３６に表示する。他の例では、カラオケの採点を実行するコンテンツアプリの場合、コンテンツ実行部５４は、通知された経過時間Ｔｐに対応するコンテンツＤｔ２の音程情報等を参照し、入力された音声データから抽出した音程等の採点を開始する。コンテンツ実行部５４は、本発明における「コンテンツ実行手段」の一例である。

［コンテンツ同期処理］
次に、テレビ受像機２に表示されている放送映像とコンテンツアプリに基づくコンテンツＤｔ２とを同期させる処理（「コンテンツ同期処理」とも呼ぶ。）について詳しく説明する。

図３は、本実施形態に基づくタイムチャートの一例である。図３の例では、時刻「Ｔ０」において、テレビ受像機２に所定のテレビ番組の最初の映像フレームが表示されたものとする。

まず、ユーザが携帯端末３を操作することで、時刻「Ｔ１」にテレビ受像機２が表示又は音声出力する映像又は音声データである映像・音声データ６１を携帯端末３が取得した場合、携帯端末３の特徴量抽出部５２は、映像・音声データ６１から抽出特徴量「Ｆｅｔ１」を算出する。

そして、経過時間認識部５３は、抽出特徴量Ｆｅｔ１と、対象のテレビ番組に対応する照合用データＤｔ１の照合用特徴量Ｆｒｆとを比較することで、抽出特徴量Ｆｅｔ１に最も近似する照合用特徴量「Ｆｒｆ１」を認識する。そして、経過時間認識部５３は、照合用データＤｔ１において照合用特徴量Ｆｒｆ１に関連付けられていた経過時間を経過時間Ｔｐとして認識し、コンテンツ実行部５４に通知する。この場合、コンテンツ実行部５４は、経過時間Ｔｐだけ経過したコンテンツアプリの時間軸上の時点を、コンテンツ同期時点とみなし、コンテンツ同期時点からコンテンツＤｔ２の再生等を行う。この場合、経過時間Ｔｐだけ現在時刻よりも前の時点が、コンテンツアプリが出力するコンテンツＤｔ２の開始時点（即ち先頭地点）となる。

同様に、時刻「Ｔ２」にテレビ受像機２が表示又は音声出力する映像又は音声データである映像・音声データ６２を携帯端末３が取得した場合、特徴量抽出部５２は、画像・音声データ６２から抽出特徴量「Ｆｅｔ２」を算出する。そして、経過時間認識部５３は、照合用データＤｔ１を参照し、抽出特徴量Ｆｅｔ２に最も近似する照合用特徴量「Ｆｒｆ２」を認識する。そして、経過時間認識部５３は、照合用データＤｔ１において照合用特徴量Ｆｒｆ２に関連付けられた経過時間を経過時間Ｔｐとして認識し、コンテンツ実行部５４に通知する。この場合、コンテンツ実行部５４は、コンテンツアプリの時間軸で経過時間Ｔｐだけ経過した時点をコンテンツ同期時点とみなし、コンテンツ同期時点からコンテンツＤｔ２の再生等を行う。

図４は、放送電波の受信タイミングが異なる地域の各々で同時にコンテンツアプリを実行する場合のタイムチャートを示す。図４の例では、放送エリアＢは、放送エリアＡよりも、ミリ秒単位の時間差「ｄＴ」だけ、放送電波の受信タイミングが遅い。以後では、テレビ受像機２に表示された映像フレームＦ１を撮影した映像データに基づき抽出特徴量Ｆｅｔを生成する場合について説明する。

まず、時刻「Ｔ１０」において、放送エリアＡに設置されたテレビ受像機２は、番組の最初の映像フレームを表示する。その後、放送エリアＡのテレビ受像機２は、番組開始から時間長「Ｔｐ１」だけ経過した時刻「Ｔ１２」に、映像フレームＦ１を表示する。この場合、放送エリアＡにあるテレビ受像機２の視聴者が使用する携帯端末３の特徴量抽出部５２は、ユーザ操作に基づき映像フレームＦ１を撮影した映像データを生成し、抽出特徴量Ｆｅｔを算出する。この場合、経過時間認識部５３は、抽出特徴量Ｆｅｔに最も近似する照合用特徴量Ｆｒｆに関連付けられた経過時間（即ち時間長Ｔｐ１）を、経過時間Ｔｐとして認識する。そして、経過時間認識部５３は、コンテンツアプリの時間軸で時間長Ｔｐ１だけ経過した時点をコンテンツ同期時点とみなし、コンテンツ同期時点からコンテンツＤｔ２の再生等を行う。

一方、時刻Ｔ１０よりも数ミリ秒後の時刻「Ｔ１１」において、放送エリアＢに設置されたテレビ受像機２は、番組の最初の映像フレームを表示する。その後、放送エリアＢのテレビ受像機２は、番組開始から時間長Ｔｐ１だけ経過した時刻「Ｔ１３」に、映像フレームＦ１を表示する。なお、時刻Ｔ１３は、時刻Ｔ１２よりも時間差ｄＴだけ経過した時刻を示す。この場合、放送エリアＢにあるテレビ受像機２の視聴者が使用する携帯端末３の特徴量抽出部５２は、ユーザ操作に基づき映像フレームＦ１を撮影した映像データを生成し、抽出特徴量Ｆｅｔを算出する。この場合、経過時間認識部５３は、抽出特徴量Ｆｅｔに最も近似する照合用特徴量Ｆｒｆに関連付けられた経過時間（即ち時間長Ｔｐ１）を、経過時間Ｔｐとして認識する。そして、経過時間認識部５３は、コンテンツアプリの時間軸で時間長Ｔｐ１だけ経過した時点をコンテンツ同期時点とみなし、コンテンツ同期時点からコンテンツＤｔ２の再生等を行う。

このように、放送エリアＡの携帯端末３は、時刻Ｔ１２に、コンテンツＤｔ２の時間軸上で時間長Ｔｐ１だけ経過した時点からコンテンツＤｔ２の再生等を開始し、放送エリアＢの携帯端末３は、時間差ｄＴだけ時刻Ｔ１２より後の時刻Ｔ１３に、同一時点からコンテンツＤｔ２の再生等を開始する。即ち、放送エリアＡ、Ｂにある各携帯端末３は、同期させるテレビ受像機２が存在するエリアの受信タイミングの時間差ｄＴ分だけずらして、コンテンツアプリに基づきコンテンツＤｔ２を再生する。

次に、映像フレームＦ１の所定時間経過後に表示される映像フレームＦ２を撮影した映像データに基づき抽出特徴量Ｆｅｔを生成する場合について、引き続き図４を参照して説明する。

この場合、放送エリアＡにあるテレビ受像機２が時刻「Ｔ１４」に映像フレームＦ２を表示した場合、放送エリアＡの携帯端末３は、コンテンツＤｔ２の時間軸上で、時刻Ｔ１０から時刻Ｔ１４までの時間長「Ｔｐ２」を経過時間Ｔｐとして認識する。この場合、携帯端末３は、コンテンツＤｔ２の時間軸上で時間長Ｔｐ２だけ経過した時点からコンテンツＤｔ２の再生等を開始する。また、放送エリアＢにあるテレビ受像機２は、時刻Ｔ１４よりも時間差ｄＴだけ経過した時刻「Ｔ１５」に映像フレームＦ２を表示する。この場合、放送エリアＢの携帯端末３は、コンテンツＤｔ２の時間軸上で、時刻Ｔ１１から時刻Ｔ１５までの時間長Ｔｐ２を経過時間Ｔｐとして認識する。この場合、携帯端末３は、コンテンツＤｔ２の時間軸上で時間長Ｔｐ２だけ経過した時点からコンテンツＤｔ２の再生等を開始する。

このように、映像フレームＦ２に基づき抽出特徴量Ｆｅｔを生成する場合であっても、放送エリアＡ、Ｂにある各携帯端末３は、同期させるテレビ受像機２が存在するエリアの受信タイミングの時間差ｄＴ分だけずらして、コンテンツアプリに基づきコンテンツを再生している。

以上のように、携帯端末３は、放送エリアごとに放送電波の受信タイミングが異なる場合であっても、対応するテレビ受像機２が表示する映像に的確に同期させてコンテンツＤｔ２を実行することができる。

［処理フロー］
図５は、携帯端末３が実行するコンテンツ同期処理の手順を示すフローチャートである。携帯端末３は、図５のフローチャートの処理を、例えば、コンテンツアプリを起動する旨の入力を検知した場合に実行する。

まず、携帯端末３は、照合用データＤｔ１をサーバ装置５から取得する（ステップＳ１０１）。この場合、携帯端末３の照合用データ取得部５１は、例えば、コンテンツアプリと同期させる放送番組を指定する情報を送信することで、当該放送番組に対応する照合用データＤｔ１をサーバ装置５から受信する。

次に、携帯端末３は、テレビ受像機２の画面の撮影又はテレビ受像機２が出力する音声の収録を指示する操作を、ユーザに対して要求する（ステップＳ１０２）。第１の例では、携帯端末３は、「テレビ画面が撮影範囲に含まれることを確認後、撮影ボタンを押してください」と音声ガイダンスを出力する。この例では、携帯端末３の特徴量抽出部５２は、撮影ボタンが押下された時点でカメラ３２が生成した静止画である映像データを取得する。第２の例では、携帯端末３は、「テレビの音声が届く位置で録音開始ボタンを押してください」と音声ガイダンスを出力する。そして、携帯端末３の特徴量抽出部５２は、録音開始ボタンが押下されてから所定秒の間、マイク３１から入力された音声データを取得する。

そして、特徴量抽出部５２は、ステップＳ１０２での要求に基づき、映像又は音声データを取得したか否か判定する（ステップＳ１０３）。そして、特徴量抽出部５２は、映像又は音声データを取得した場合（ステップＳ１０４；Ｙｅｓ）、取得した映像又は音声データから特徴量を抽出する（ステップＳ１０４）。この場合、携帯端末３の特徴量抽出部５２は、照合用データＤｔ１に含まれる照合用特徴量Ｆｒｆの算出方法と同一の方法により、映像又は音声データを解析し、抽出特徴量Ｆｅｔを算出する。

次に、携帯端末３の経過時間認識部５３は、ステップＳ１０４で抽出した抽出特徴量Ｆｅｔに基づき、照合用データＤｔ１を参照して経過時間Ｔｐを認識する（ステップＳ１０５）。この場合、経過時間認識部５３は、抽出特徴量Ｆｅｔと、照合用データＤｔ１に含まれる経過時間ごとの照合用特徴量Ｆｒｆとのマッチングを行い、抽出特徴量Ｆｅｔに最も近似する照合用特徴量Ｆｒｔに関連付けられた経過時間を、経過時間Ｔｐとして認識する。この場合、経過時間認識部５３は、音声データに基づく特徴量の場合には、音声データの取得期間中の複数の時点における特徴量のマッチングを行うことで、取得した音声データの特徴量と照合用データＤｔ１に含まれる特徴量との対応を認識して経過時間Ｔｐを決定してもよい。

そして、携帯端末３のコンテンツ実行部５４は、ステップＳ１０５で認識した経過時間Ｔｐを基準として、コンテンツＤｔ２の再生等を開始する（ステップＳ１０６）。具体的には、コンテンツ実行部５４は、コンテンツＤｔ２の時間軸上で経過時間Ｔｐだけ経過した時点からコンテンツＤｔ２の再生等を開始する。これにより、携帯端末３は、放送エリアごとに放送電波の受信タイミングが異なる場合であっても、テレビ受像機２が表示する映像に好適に同期させてコンテンツＤｔ２を実行することができる。

［変形例］
次に、上述の実施形態に好適な各変形例について説明する。なお、これらの各変形例は、組み合わせて上述の実施例に適用してもよい。

（変形例１）
生放送番組の場合、携帯端末３は、照合用データＤｔ１及びコンテンツＤｔ２を予めサーバ装置５から取得することができない。そこで、この場合、放送システムは、放送局１による放送電波の送出タイミングを所定時間幅だけ遅延させ、サーバ装置５は、遅延された放送前の生放送番組の照合用データＤｔ１の生成及び携帯端末３への送信を行い、コンテンツ同期処理を携帯端末３に実行させてもよい。

この場合、放送システムは、中継映像などを含む放送用データを所定時間幅（例えば９０秒間）だけ蓄積した後、蓄積した放送用データの電波を放送局１により送出させる。ここで、上述の所定時間幅は、後述する照合用データＤｔ１とコンテンツＤｔ２の生成時間、携帯端末３への送信時間、及びエンコードに要する時間等を勘案して設定される。そして、サーバ装置５は、放送システムが生成した映像及び音声データを即時に（即ち放送電波による送出前に）取得し、解析することで照合用データＤｔ１を生成する。そして、サーバ装置５は、生成した照合用データＤｔ１を携帯端末３へ送信する。この場合、例えば、サーバ装置５は、生成した照合用データＤｔ１を、ストリーミング方式により即時に送信する。また、サーバ装置５は、放送用の映像を撮影したカメラとは異なる別カメラから撮影された映像等に基づくコンテンツＤｔ２を生成し、ストリーミング方式により携帯端末３へ送信する。この場合、サーバ装置５は、コンテンツＤｔ２として、上述の別カメラから遅延なく取得した映像等を、ストリーミング方式により携帯端末３へ即時に送信する。

そして、携帯端末３は、コンテンツアプリの起動要求に基づき、映像又は音声データを取得して抽出特徴量Ｆｅｔを算出した場合、サーバ装置５から受信した照合用データＤｔ１を参照してコンテンツアプリの時間軸上での経過時間である経過時間Ｔｐを認識する。この場合、放送電波の送出を遅延させたことにより、携帯端末３が受信した照合用データＤｔ１には、テレビ受像機２が出力する映像又は音声に対応する照合用特徴量Ｆｒｆが含まれている。よって、携帯端末３は、抽出特徴量Ｆｅｔに最も近似する照合用特徴量Ｆｒｆに関連付けられた経過時間を、経過時間Ｔｐとして好適に認識することができる。そして、携帯端末３は、認識した経過時間Ｔｐに基づき、サーバ装置３から受信したコンテンツＤｔ２を実行する。この場合、携帯端末３がサーバ装置５から受信したコンテンツＤｔ２には、放送電波の送出を遅延させたことにより、経過時間Ｔｐに相当するデータが既に含まれている。よって、携帯端末３は、テレビ受像機２の出力と適切に同期させて、コンテンツＤｔ２を好適に実行することができる。

なお、本変形例のサーバ装置５のＣＰＵなどは、本発明の「取得手段」、「照合用データ生成手段」及び「データ送信手段」の一例である。

（変形例２）
携帯端末３は、コンテンツ同期処理の実行時にサーバ装置５から照合用データＤｔ１を受信するのに代えて、照合用データＤｔ１を予め記憶してもよい。例えば、携帯端末３は、コンテンツアプリのダウンロード時などに、照合用データＤｔ１及びコンテンツＤｔ２をダウンロードして記憶してもよい。

（変形例３）
携帯端末３の経過時間認識部５３は、コンテンツ同期処理に要する時間を考慮して、コンテンツ実行部５４に通知する経過時間Ｔｐを決定してもよい。

例えば、経過時間認識部５３は、抽出特徴量Ｆｅｔに最も近似する照合用特徴量Ｆｒｆに関連付けられた経過時間に、コンテンツ同期処理の処理時間を加算した時間を、経過時間Ｔｐとしてコンテンツ実行部５４に通知してもよい。例えば、経過時間認識部５３は、照合用データＤｔ１に基づき、抽出特徴量Ｆｅｔが番組開始から９０秒５０フレーム目に対応すると認識した場合、これにコンテンツ同期処理の処理時間に相当する２フレーム分を足した９０秒５２フレームを、経過時間Ｔｐとしてコンテンツ実行部５４に通知する。なお、経過時間認識部５３がコンテンツ同期処理に要する時間を加算した経過時間Ｔｐを決定する代わりに、経過時間認識部５３から通知された経過時間Ｔｐにコンテンツ同期処理に要する時間をコンテンツ実行部５４が自ら加算してもよい。

（変形例４）
照合用特徴量Ｆｒｔに代えて、携帯端末３は、放送番組で使用される映像又は音声データそのものを、番組の経過時間と関連付けて照合用データＤｔ１として記憶し、カメラ３２又はマイク３１から入力された映像又は音声データと直接比較してもよい。

この場合、携帯端末３は、特徴量抽出部５２により抽出特徴量Ｆｅｔを算出する処理を行うことなく、カメラ３２又はマイク３１から入力された映像又は音声データと最も近い照合用データＤｔ１中の映像又は音声データを検索する。そして、携帯端末３は、検索した照合用データＤｔ１中の映像又は音声データに関連付けられた経過時間を、経過時間Ｔｐとして認識する。

（変形例５）
携帯端末３は、マイク３１とカメラ３２の一方のみを有していてもよい。具体的には、携帯端末３は、マイク３１から入力された音声データに基づき抽出特徴量Ｆｅｔを算出する場合、カメラ３２を有していなくともよい。同様に、携帯端末３は、カメラ３２から入力された映像データに基づき抽出特徴量Ｆｅｔを算出する場合、マイク３１を有していなくともよい。

１ 放送局
２ テレビ受像機
３ 携帯端末
４ ネットワーク
５ サーバ装置

Claims (8)

1. 番組の開始からの経過時間が関連付けられた動画のコンテンツを実行する端末装置であって、
   前記番組の放送映像又は放送音声に関する照合用データを記憶する記憶手段と、
   テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、
   前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、
   前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを再生するコンテンツ実行手段と、を備え、
   前記コンテンツ実行手段は、前記経過時間認識手段が認識した経過時間に、当該経過時間認識手段が前記経過時間を認識する処理中に前記映像が進んだ時間を加算した時間だけ、前記コンテンツの時間軸上において経過した時点から、前記コンテンツを前記映像と同期させて再生を行うことを特徴とする端末装置。
2. ネットワークを介してサーバ装置と通信を行う通信手段をさらに備え、
   前記記憶手段は、前記通信手段が前記サーバ装置から受信した照合用データを記憶することを特徴とする請求項１に記載の端末装置。
3. 前記映像データ又は音声データから特徴量を算出する特徴量算出手段をさらに備え、
   前記記憶手段は、前記照合用データとして、前記番組の各時点での放送映像又は放送音声の特徴量と、前記番組の開始からの経過時間とを関連付けて記憶し、
   前記経過時間認識手段は、前記特徴量算出手段が算出した特徴量に最も近似する特徴量を前記照合用データから検索することで、前記経過時間を認識することを特徴とする請求項１または２に記載の端末装置。
4. 前記コンテンツは、前記番組の開始時点からの経過時間毎に対応するフレームを含み、
   前記コンテンツ実行手段は、前記経過時間認識手段が認識した経過時間に前記映像が進んだ時間を加算した時間だけ前記コンテンツの時間軸上において経過した時点に対応する前記フレームを表示して前記コンテンツの再生を開始することを特徴とする請求項１〜３のいずれか一項に記載の端末装置。
5. 前記記憶手段は、前記テレビ受像機のセカンドスクリーンとして表示すべき映像データを前記コンテンツとして記憶し、
   前記コンテンツ実行手段は、前記経過時間に基づき、前記テレビ受像機が出力する映像と同期させて前記映像データを表示することを特徴とする請求項１〜４のいずれか一項に記載の端末装置。
6. 番組と関連するコンテンツを実行する端末装置であって、
   前記番組の放送映像又は放送音声に関する照合用データを記憶する記憶手段と、
   テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、
   前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、
   前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを実行するコンテンツ実行手段と、を備え、
   前記記憶手段は、前記コンテンツとして、音声を採点するための採点情報を、前記番組の開始時点からの経過時間に対応付けて記憶し、
   前記コンテンツ実行手段は、前記経過時間に基づき、前記採点情報を参照して、前記音声入力手段により入力された音声の採点を行うことを特徴とする端末装置。
7. 番組と関連するコンテンツを実行し、前記番組の放送映像又は放送音声に関する照合用データを記憶する記憶手段と、テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを実行するコンテンツ実行手段と、を有する端末装置と、前記番組が生放送番組の場合に、前記テレビ受像機に受信させる放送電波の送出タイミングを所定時間幅だけ遅延させる放送システムと通信を行うサーバ装置であって、
   前記番組が生放送番組の場合に、前記放送システムが生成した放送用の映像又は音声のデータと、前記コンテンツ実行手段が実行するコンテンツとを、前記放送システムから即時に取得する取得手段と、
   前記取得手段が取得した放送用の映像又は音声のデータに基づき、映像又は音声に関する照合用データを生成する照合用データ生成手段と、
   前記照合用データ生成手段が生成した照合用データと、前記取得手段が取得した前記コンテンツとを前記端末装置に送信するデータ送信手段と、
   を有することを特徴とするサーバ装置。
8. 番組の開始からの経過時間が関連付けられた動画のコンテンツを実行し、前記番組の放送映像又は放送音声に関する照合用データを参照するコンピュータが実行するプログラムであって、
   テレビ受像機が出力する映像を撮影する撮影手段が生成した映像データ又は前記テレビ受像機が出力する音声を電気信号に変換する音声入力手段が生成した音声データを取得するデータ取得手段と、
   前記照合用データを参照することで、前記映像データ又は前記音声データから、前記テレビ受像機が出力する映像の前記番組の開始からの経過時間を認識する経過時間認識手段と、
   前記経過時間に基づき、前記コンテンツと前記テレビ受像機が出力する映像とを同期させて前記コンテンツを再生するコンテンツ実行手段
   として前記コンピュータを機能させ、
   前記コンテンツ実行手段は、前記経過時間認識手段が認識した経過時間に、当該経過時間認識手段が前記経過時間を認識する処理中に前記映像が進んだ時間を加算した時間だけ、前記コンテンツの時間軸上において経過した時点から、前記コンテンツを前記映像と同期させて再生を行うことを特徴とするプログラム。

Images