JP6194484B2 - 映像受信装置、付加情報表示方法および付加情報表示システム - Google Patents

Description

本開示は、外部から入力される映像信号に関する付加情報を取得して映像信号に重畳する映像受信装置に関する。

特許文献１は、データ処理システムを開示する。このシステムでは、クライアント装置は、映像認識装置であるサーバ装置に、ネットワークを通して映像データを送信し、映像認識処理を依頼する。サーバ装置は、受信した映像データにもとづき映像認識を行い、映像認識の結果を、ネットワークを通してクライアント装置に送信する。

特開平１０−２１４２５８号公報

本開示は、外部から入力される映像信号に関する付加情報を取得し、取得した付加情報の映像信号への重畳を制御するのに有効な映像受信装置、付加情報表示方法、および付加情報表示システムを提供する。

本開示の映像受信装置は、通信ネットワークを介してデータの送受信を行えるように構成されており、入力部、映像抽出部、制御部、および付加情報表示制御部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部は、通信ネットワークに接続された映像認識装置に部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果および付加情報の表示制御情報を映像認識装置から取得し、その映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得する制御を行うように構成されている。付加情報表示制御部は、映像抽出部が部分映像を抽出したときのシステム時刻および表示制御情報にもとづき付加情報の表示終了時刻または表示残存時間を算出し、その表示終了時刻または表示残存時間にもとづき付加情報の映像信号への重畳を制御するように構成されている。

本開示の付加情報表示方法は、通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における付加情報表示方法であって、外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、通信ネットワークに接続された映像認識装置に、部分映像を送信して映像認識処理を依頼し、映像認識処理の結果及び付加情報の表示制御情報を映像認識装置から取得するステップと、映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得するステップと、部分映像を抽出したときのシステム時刻及び表示制御情報に基づき付加情報の表示終了時刻または表示残存時間を算出するステップと、その表示終了時刻または表示残存時間に基づき付加情報の映像信号への重畳を制御するステップと、を備える。

本開示の付加情報表示システムは、通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備える。映像受信装置は、入力部、映像抽出部、制御部、および付加情報表示制御部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部は、映像認識装置に通信ネットワークを介して部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果および付加情報の表示制御情報を映像認識装置から通信ネットワークを介して取得し、付加情報配信装置からその映像認識処理の結果に基づく付加情報を通信ネットワークを介して取得する制御を行うように構成されている。付加情報表示制御部は、映像抽出部が部分映像を抽出したときのシステム時刻および表示制御情報にもとづき付加情報の表示終了時刻または表示残存時間を算出し、その表示終了時刻または表示残存時間にもとづき付加情報の映像信号への重畳を制御するように構成されている。映像認識装置は、映像受信装置から通信ネットワークを介して送信される部分映像を受信し、受信した部分映像を用いた映像認識処理を行い、その映像認識処理の結果及び付加情報の表示制御情報を通信ネットワークを介して映像受信装置に送信するように構成されている。付加情報配信装置は、通信ネットワークを介して受信した映像認識処理の結果に対応する付加情報を通信ネットワークを介して映像受信装置に送信するように構成されている。

図１は、実施の形態１における付加情報表示システムの構成の一例を概略的に示す図である。 図２は、実施の形態１における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図３Ａは、実施の形態１における映像受信装置の表示部に表示する映像の一例を概略的に示す図である。 図３Ｂは、実施の形態１における映像受信装置の表示部に表示する映像の他の一例を概略的に示す図である。 図４は、実施の形態１における映像受信装置で行う付加情報表示制御の動作を概略的に示すフローチャートである。 図５は、実施の形態１における映像受信装置で行う付加情報表示期間算出処理の動作を概略的に示すフローチャートである。 図６は、実施の形態１における映像受信装置で行う付加情報表示期間算出処理の一例を概略的に示す図である。 図７は、実施の形態１における映像受信装置で行う付加情報表示期間算出処理の他の一例を概略的に示す図である。 図８は、実施の形態２における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図９は、実施の形態３における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図１０は、実施の形態３における映像受信装置で行う付加情報表示期間算出処理の一例を概略的に示す図である。 図１１は、実施の形態４における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図１２は、実施の形態４における映像受信装置で行う付加情報表示期間算出処理の他の一例を概略的に示す図である。 図１３は、実施の形態５における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図１４は、他の実施の形態における映像受信装置の構成の一例を概略的に示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図７を用いて、実施の形態１を説明する。

［１−１．構成］
［１−１−１．システム構成の概略］
図１は、実施の形態１における付加情報表示システム１０の構成の一例を概略的に示す図である。付加情報表示システム１０は、放送局１２、映像送信装置であるＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）１４、映像認識装置２０、付加情報配信装置３０、および映像受信装置４０を備える。付加情報表示システム１０は、映像認識装置２０が有する映像認識技術を利用して、映像受信装置４０が受信した映像がどのコンテンツのものかを特定し、そのコンテンツに関連する付加情報を、付加情報配信装置３０から取得して映像受信装置４０に表示する、ことができるように構成された通信システムである。

映像受信装置４０と、映像認識装置２０および付加情報配信装置３０とは、通信ネットワーク１６を介して互いに接続されている。

通信ネットワーク１６は、有線、または無線、あるいはその双方が混在して構成されている。通信ネットワーク１６は、例えばインターネットであるが、イントラネットや商業回線、あるいはその他の通信回線であってもよく、それらが混在していてもよい。

映像受信装置４０とＳＴＢ１４とは、通信インターフェースを介して互いに接続されている。通信インターフェースは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｓｅ）であるが、ビデオケーブルであってもよく、あるいはＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信であってもよい。

放送局１２は、放送信号を送信（放送）するように構成された送信装置である。放送局１２は、番組本体とコマーシャルメッセージ（ＣＭ）とを含むテレビ番組を映像信号にして放送信号に重畳し放送する。番組本体とＣＭとは時間の経過に伴って互いに切り替わる。以下、番組本体やＣＭを「コンテンツ」と記す。すなわち、放送局１２は、時間の経過に伴って切り替わるコンテンツを放送する。なお、送信装置は何ら放送局１２に限定されるものではなく、時間の経過に伴って切り替わるコンテンツを送信または放送するものであればよい。

ＳＴＢ１４は、放送局１２が放送する放送信号を受信して映像信号を取り出すように構成された受信機（チューナ）である。ＳＴＢ１４は、例えば放送局１２がデジタルの映像信号を放送する場合、受信した映像信号をデコードする機能を備えていてもよい。ＳＴＢ１４は、放送局１２が放送する複数のチャンネルの中から、ユーザ（Ｕｓｅｒ）の指示にもとづき選局したチャンネルを受信し、そのチャンネルの映像信号を通信インターフェース（例えば、ＨＤＭＩ（登録商標））を介して、映像受信装置４０に出力する。なお、映像送信装置は何らＳＴＢ１４に限定されるものではなく、例えば録画機能と放送信号受信機能と映像信号出力機能とをあわせ持つ録画装置、等であってもよい。

映像受信装置４０は、外部から入力される映像信号にもとづく映像を表示部５４に表示するように構成された映像受信デバイスであり、例えばテレビジョン受像機である。映像受信装置４０は、通信ネットワーク１６に接続されており、通信ネットワーク１６を介して映像認識装置２０および付加情報配信装置３０とデータの送受信ができる。

実施の形態１における映像受信装置４０は、以下のことができるように構成されている。映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から通信インターフェースを介して入力される映像信号に関する映像認識処理を映像認識装置２０を利用して行い、その映像信号が表すコンテンツを特定する。そして、そのコンテンツに関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報をその映像信号に重畳して表示部５４に表示する。

具体的には、映像受信装置４０は、入力される映像信号から一部を周期的に切り出すことで部分映像を周期的に抽出し、その部分映像と、部分映像を抽出したときのタイムスタンプ情報および映像認識処理の要求（以下、「映像認識要求」とも記す）を、通信ネットワーク１６を介して映像認識装置２０に送信する。そして、映像受信装置４０は、その部分映像に対する映像認識処理の結果および付加情報の表示制御情報を映像認識装置２０から通信ネットワーク１６を介して取得し、取得した映像認識処理の結果に関連する付加情報を、付加情報配信装置３０から通信ネットワーク１６を介して取得する。そして、取得した付加情報にもとづく画像（図１には、「付加情報５１」として示す）を、映像認識装置２０から取得した付加情報の表示制御情報にもとづき、表示部５４に表示中の映像に重畳して表示する。付加情報の表示制御情報とは、付加情報を表示部５４に表示するときの表示／非表示の制御に用いる情報のことであり、例えば付加情報の表示期間を示す情報、等が含まれる。これらの詳細は後述する。

なお、本実施の形態では、映像受信装置４０で管理される時間を「システム時刻」と呼称する。また、映像受信装置４０で何らかの動作が行われたときのシステム時刻を「タイムスタンプ」と呼称する。例えば、上述の、部分映像を抽出したときのタイムスタンプとは、映像受信装置４０で部分映像を抽出したときのシステム時刻のことである。また、タイムスタンプ情報とは、そのシステム時刻を表す情報（またはデータ）のことである。

なお、映像受信装置４０で管理される時間と、映像認識装置２０で管理される時間とは、互いに同期している（それぞれの正時（毎時００分）が実質的に同時刻となる）ことが望ましい。

なお、本実施の形態では、付加情報を「コンテンツに関連する広告情報」とする例を説明するが、付加情報は何ら広告情報に限定されるものではなく、例えば観光情報、歴史情報、人物プロフィール情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、公共公報情報、放送中の番組に関する情報、ツイッター（登録商標）等のソーシャル情報、等であってもよい。

映像認識装置２０は、通信ネットワーク１６に接続されたサーバ装置であり、映像認識処理にもとづくコンテンツ特定処理を行うＷｅｂサイトである。コンテンツ特定処理とは、受信した部分映像に対して映像認識処理を行い、その映像認識処理の結果にもとづきその部分映像が表すコンテンツを特定する処理のことである。そのために、映像認識装置２０は、放送局１２が放送するコンテンツに対する解析と、その解析の結果を利用した映像認識処理を行う。

映像認識装置２０は、放送局１２から放送される実施的に全てのコンテンツを取得する。そして、取得したコンテンツに対する解析を行い、コンテンツの時間、容量、放送形式、内容、ジャンル、登場人物、タイムテーブル、等を調べ、解析情報を作成する。また、映像認識装置２０は、放送局１２から取得したコンテンツの映像信号からフィンガープリントを作成する。このフィンガープリントは、映像を認識するための情報であり、例えば、動画を構成する各画像のハッシュ値である。映像認識装置２０は、放送局から放送される放送信号を受信してコンテンツを取得してもよく、あるいは、専用の映像回線等を介して放送局１２から送信される映像信号を受信してコンテンツを取得してもよい。また、この解析は、例えば、自動で行われてもよく、作業者が手作業で行ってもよい。各コンテンツの解析結果である解析情報とフィンガープリントは、各コンテンツの映像（例えば、複数フレームの映像信号）毎に、映像認識装置２０の記憶部２３に記憶される。

映像認識装置２０は、映像受信装置４０から送信されてくる部分映像および部分映像を抽出したときのタイムスタンプ情報、を伴った映像認識要求を通信ネットワーク１６を介して受信すると、その部分映像から生成したフィンガープリントを、映像認識装置２０があらかじめ生成し記憶部２３に記憶しておいたフィンガープリントと照合してその部分映像に対する映像認識処理を行い、その部分映像に対応するコンテンツを特定する。こうして、映像認識装置２０は、映像受信装置４０から送信されてくる部分映像が何のコンテンツの映像なのかを判断してそのコンテンツを特定するコンテンツ特定処理を行う。そして、特定したコンテンツに関する解析結果（解析情報）を記憶部２３から読み出し、読み出した情報を映像認識処理の結果として映像受信装置４０に通信ネットワーク１６を介して返信する。また、映像認識装置２０は、映像認識処理の結果を映像受信装置４０に返信する際に、付加情報の表示制御情報も併せて返信する。

このような手法による映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を「ＡＣＲ（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」とも呼称する。

付加情報配信装置３０は、通信ネットワーク１６に接続されたサーバ装置であり、様々な商品の広告情報を保持して配信するＷｅｂサイト（広告配信サイト）である。付加情報配信装置３０は、映像受信装置４０から送信されてくる映像認識処理の結果（映像受信装置４０が映像認識装置２０から取得した映像認識処理の結果にもとづく解析情報）を通信ネットワーク１６を介して受信すると、その映像認識処理の結果（解析情報）に関連する付加情報を通信ネットワーク１６を介して映像受信装置４０に送信する。この付加情報は、例えば、映像認識処理により特定されたコンテンツに関連する広告情報である。

［１−１−２．映像認識装置および映像受信装置の構成］
図２は、実施の形態１における映像認識装置２０および映像受信装置４０の構成の一例を概略的に示すブロック図である。

なお、図２には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。これは、本実施の形態で説明する動作を分かりやすく示すためである。また、図２に示す各回路ブロックは、それぞれが独立した回路で構成されていてもよく、あるいは、図２に示す回路ブロックの１つまたは複数を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。

映像認識装置２０は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部２１、検索部２２、および記憶部２３、を備えるサーバ装置である。映像認識装置２０は、映像受信装置４０に、通信ネットワーク１６を介して映像認識処理にもとづくコンテンツ特定処理のサービスを提供するように構成されている。

ＨＴＴＰ送受信部２１は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部２１は、通信ネットワーク１６を介して映像受信装置４０とデータの送受信を行うことができるように構成されている。

記憶部２３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成された記憶装置である。記憶部２３は、放送局１２から放送されるコンテンツのフィンガープリントと、そのコンテンツに対する解析結果の解析情報とを、そのコンテンツに対応付けて記憶するように構成されている。このフィンガープリントは、例えば、動画を構成する各画像のハッシュ値、等である。

記憶部２３は、例えば、放送局１２から放送される全チャンネル（例えば、３００チャンネル）について、放送からわずかな時間遅れ（例えば、１０秒）で、コンテンツ（例えば、番組本体やＣＭ）毎に、フィンガープリントと解析結果（解析情報）を対応付けて記憶する。この解析結果（解析情報）には、例えば、番組のタイトル、ＣＭのタイトル、番組のあらすじ、ＣＭのあらすじ、登場人物、映像に関連する場所、ＵＲＬ等が含まれていてもよい。また、映像受信装置４０の表示部５４に表示される映像（コンテンツの映像）に付加情報を重畳して表示することが可能なときは、付加情報の表示期間を示す情報も記憶する。

検索部２２は、映像受信装置４０から送信されてくる部分映像およびタイムスタンプ情報を伴う映像認識要求をＨＴＴＰ送受信部２１を介して受信すると、その部分映像を用いた映像認識処理にもとづくコンテンツ特定処理を行い、その結果（解析情報）および付加情報の表示制御情報をＨＴＴＰ送受信部２１を介して映像受信装置４０に返信するように構成されている。本実施の形態では、部分映像を用いた映像認識処理にもとづくコンテンツ特定処理の結果を、単に「映像認識処理の結果」とも記す。

具体的には、検索部２２は、映像受信装置４０から送信されてくる部分映像およびタイムスタンプ情報を伴う映像認識要求を、通信ネットワーク１６およびＨＴＴＰ送受信部２１を介して受信する。次に、受信した部分映像のフィンガープリント（例えば、部分映像を構成する各画像のハッシュ値）を生成し、生成したフィンガープリントを、記憶部２３に記憶されているフィンガープリントと照合し、受信した部分映像に対応するフィンガープリントを検索する（映像認識処理）。そして、その検索の結果により特定されたフィンガープリントに対応するコンテンツを、受信した部分映像に対応するコンテンツとする（コンテンツ特定処理）。このようにして、検索部２２は、受信した部分映像に対応するコンテンツを特定する。そして、検索部２２は、特定したコンテンツに対応付けられた解析結果（解析情報）を記憶部２３から読み出し、読み出した解析結果を、映像認識処理の結果として、ＨＴＴＰ送受信部２１および通信ネットワーク１６を介して映像受信装置４０に返信する。

また、検索部２２は、映像認識処理の結果とともに、付加情報の表示制御情報も映像受信装置４０に返信する。この付加情報の表示制御情報には、付加情報の表示期間を示す情報、およびオフセット時間を示す情報が含まれる。オフセット時間を示す情報とは、映像認識装置２０で管理されるコンテンツの開始時刻と、部分映像（部分映像を抽出したときのタイムスタンプ情報）との時間差を表す情報である。映像受信装置４０では、後述するように、付加情報の表示終了時刻を算出する動作を行うが、その際に、この付加情報の表示期間を示す情報およびオフセット時間を示す情報が用いられる。これらの詳細は後述する。

映像受信装置４０は、制御部４１、ＨＴＴＰ送受信部４２、操作信号受信部４３、映像出力部４４、表示部５４、映像抽出部４５、付加情報表示制御部４６、記憶部４７、取得部６６および映像入力部４８を備える。映像受信装置４０は、映像認識装置２０を利用した映像認識処理にもとづくコンテンツ特定処理を行い、その映像認識処理の結果としての解析情報を映像認識装置２０から取得してその解析情報に関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、受信した映像信号による映像（コンテンツ）に、その付加情報（例えば、その映像に関連する広告情報）による画像を重畳して表示部５４に表示する、ように構成されている。

ＨＴＴＰ送受信部４２は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部４２は、通信ネットワーク１６を介して映像認識装置２０とデータの送受信を行うことができるように構成されている。

操作信号受信部４３は、ユーザ操作を受け付けたリモートコントロール装置（以下、「リモコン」と略記する）等の操作部（図示せず）が発信する操作信号（映像受信装置４０に対する操作信号）を受信するように構成されている。操作信号受信部４３は、ジャイロセンサを有するリモコンが、そのリモコンに生じる物理的な変動にもとづき発信する信号を受信するように構成されていてもよい。

映像入力部４８は、受信回路およびデコーダであり、放送局が送信する放送信号を受信するように構成された受信部４９と、映像送信装置（例えば、ＳＴＢ１４）が出力する映像信号を入力するように構成された入力部６５とを有する。映像入力部４８が受け取る映像信号には、時間の経過に伴って切り替わるコンテンツ（番組本体とＣＭ、等）が含まれる。

受信部４９は、放送局１２が送信する放送信号をアンテナ（図示せず）等を介して受信するように構成されている。

入力部６５は、外部に設置された映像送信装置から出力されてくる映像信号を入力するように構成されたインターフェースである。入力部６５は、例えばＨＤＭＩ（登録商標）の規格に適合するように構成されており、映像送信装置からＨＤＭＩ（登録商標）を介して送信されてくる映像信号を受け取ることができる。この映像送信装置は、例えばＳＴＢ１４であるが、映像記録再生装置等であってもよい。また、入力部は、ビデオケーブルを介して送信されてくる映像信号や、無線通信で送信されてくる映像信号を受け取るように構成されていてもよい。

映像出力部４４は、表示部５４を制御する機能を有し、映像入力部４８から入力される映像信号にもとづき表示部５４を制御して、その映像信号にもとづく映像を表示部５４に表示するように構成されている。映像出力部４４は、制御部４１から付加情報が入力されたときは、表示部５４に表示中の映像に、付加情報にもとづく画像を重畳する。

表示部５４は、映像信号にもとづく映像を表示するように構成されたディスプレイであり、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。しかし、本実施の形態は何らこの構成に限定されるものではなく、表示部５４は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やＯＬＥＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、等であってもよい。

付加情報表示制御部４６は、付加情報の表示制御を行うように構成されている。具体的には、付加情報表示制御部４６は、付加情報を表示部５４に表示するか否かを判断し、その判断にもとづき、表示部５４に付加情報を表示する指示、表示部５４に表示中の付加情報を継続表示する指示、表示部５４に表示中の付加情報を非表示にする指示、等を制御部４１に出力するように構成されている。

付加情報表示制御部４６は、映像抽出部４５で抽出された部分映像にもとづく映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を、映像認識装置２０を利用して行う。また、制御部４１からシステム時刻を取得する。そして、映像認識装置２０から取得した映像認識処理の結果にもとづき付加情報配信装置３０から取得した付加情報を、表示部５４に表示するか否か（映像信号に重畳するか否か）を判断し、その判断にもとづく指示を制御部４１に出力する。また、付加情報表示制御部４６は、映像認識処理の結果と共に映像認識装置２０から取得した付加情報の表示制御情報、および制御部４１から取得したシステム時刻にもとづき、付加情報の表示終了時刻を算出する。そして、算出した付加情報の表示終了時刻および現在のシステム時刻にもとづき、表示部５４に表示中の付加情報を継続表示するか非表示にするかを判断し、その判断にもとづく指示を制御部４１に出力する。

なお、付加情報表示制御部４６は、映像抽出部４５で抽出された部分映像からフィンガープリント（例えば、部分映像を構成する各画像のハッシュ値）を生成し、生成したフィンガープリントにもとづく映像認識処理を、映像認識装置２０を利用して行うように構成されてもよい。

映像抽出部４５は、映像入力部４８から入力される映像信号から部分映像を抽出するように構成されている。映像抽出部４５は、映像信号から、あらかじめ定められた周期で、映像信号の一部である部分映像を所定時間分抽出するように構成されている。例えば、あらかじめ定められた周期が３秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、３秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を３秒毎に隙間なく連続して抽出する動作を繰り返す。また、例えば、あらかじめ定められた周期が１５秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、１５秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を１２秒の間隔をおいて抽出する動作を繰り返す。なお、映像信号から抽出する部分映像は秒単位での抽出に限定されるものではなく、例えば、映像フレームレートにおいて予め定められたフレーム数で部分映像を抽出してもよい。

記憶部４７は、例えば不揮発性メモリ等で構成された記憶装置である。記憶部４７は、映像入力部４８で受信した電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：ＥＰＧ）等の番組メタ情報、ＨＴＴＰ送受信部４２を介して映像認識装置２０および付加情報配信装置３０から取得した付加情報および付加情報の表示制御情報、付加情報表示制御部４６が算出した付加情報の表示終了時刻、等を記憶する。

制御部４１は、映像受信装置４０が備える各回路ブロックを制御するように構成されている。制御部４１は、例えば、プログラム（アプリケーションプログラム等）を記憶しているＲＯＭ等の不揮発性メモリ、そのプログラムを実行するＣＰＵ、および、ＣＰＵがプログラムを実行するときに一時的にデータやパラメータ等を記憶するＲＡＭ等の揮発性メモリ、等から構成される。

制御部４１が行う制御には、例えば次のようなものがある。制御部４１は、映像抽出部４５が映像信号から部分映像を所定の周期で抽出するように、映像抽出部４５を制御する。そして、映像抽出部４５が部分映像を抽出する度に、抽出された部分映像およびタイムスタンプ情報を、映像認識要求とともに、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して映像認識装置２０に送信し、その部分映像に対する映像認識処理を映像認識装置２０に依頼するように、各回路ブロックを制御する。そして、その部分映像に対する映像認識処理の結果および付加情報の表示制御情報を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して映像認識装置２０から取得し、その映像認識処理の結果にもとづく付加情報を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得するように、各回路ブロックを制御する。そして、取得した付加情報を記憶部４７に記憶するとともに映像出力部４４に出力し、表示部５４に表示中の映像に付加情報を重畳して表示するように、各回路ブロックを制御する。このとき、制御部４１は、付加情報表示制御部４６が「付加情報を非表示にする」と判断すれば、表示部５４に表示中の付加情報を非表示にするように、各回路ブロックを制御する。

なお、映像受信装置４０が映像認識装置２０に映像認識処理を依頼するときには、映像受信装置４０が映像認識処理の依頼を表す信号（データ）を作成し、その信号を映像認識要求として映像認識装置２０に送信するように付加情報表示システム１０を構成してもよいが、例えば、そのような信号（データ）の送信は行わず、映像受信装置４０が部分映像を映像認識装置２０に送信することで映像認識装置２０に映像認識処理を依頼したことになるように映像受信装置４０と映像認識装置２０との間であらかじめ取り決めをしておいてもよい。

取得部６６は、付加情報の表示制御情報を、通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して映像認識装置２０から取得する。

次に、付加情報表示制御部４６が行う付加情報の表示制御の概要について、図３Ａ、３Ｂを用いて説明する。

図３Ａは、実施の形態１における映像受信装置４０の表示部５４に表示する映像の一例を概略的に示す図である。図３Ｂは、実施の形態１における映像受信装置４０の表示部５４に表示する映像の他の一例を概略的に示す図である。

図３Ａには、ＳＴＢ１４から入力部６５に入力された映像信号にもとづく映像５０がそのまま表示部５４に表示されている例を示す。なお、図３Ａには、映像５０の一例として「ＡＢＣ放送番組」が表示されている例を示す。

図３Ｂには、映像５０に、映像認識処理の結果にもとづき付加情報配信装置３０から取得した付加情報５１が重畳された映像が、表示部５４に表示されている例を示す。なお、図３Ｂに示す付加情報５１は、付加情報の一例として挙げているものに過ぎず、付加情報の表示位置や表示サイズ等が、何ら図３Ｂに示す付加情報５１の表示位置や表示サイズ等に限定されるものではない。

付加情報表示制御部４６は、付加情報５１の表示／非表示を、映像認識装置２０から取得する付加情報の表示制御情報および映像受信装置４０のシステム時刻にもとづき制御する。付加情報５１の表示制御の詳細は、後述する。

［１−２．動作］
以上のように構成された映像受信装置４０について、その動作を図４〜図１１を用いて説明する。

上述したように、映像受信装置４０は、例えばＳＴＢ１４等の映像送信装置から出力される映像信号が入力されると、その映像信号に対する映像認識処理を映像認識装置２０を利用して行う。映像受信装置４０は、映像認識処理の結果と共に、付加情報の表示制御情報を映像認識装置２０から取得する。以下、付加情報の表示制御情報を、単に「表示制御情報」とも記す。そして、その映像認識処理の結果に関連する付加情報５１（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報５１を映像信号に重畳して表示部５４に表示する。

映像受信装置４０は、取得した表示制御情報にもとづき、付加情報の表示終了時刻を算出する。そして、算出した付加情報の表示終了時刻および映像受信装置４０のシステム時刻にもとづき、表示部５４に表示中の付加情報５１（例えば、広告情報）を、非表示にする。以下、付加情報の表示終了時刻を、単に「表示終了時刻」とも記す。

以下、表示制御情報にもとづき表示終了時刻を算出し、算出した表示終了時刻にもとづき、表示部５４に表示中の広告情報を非表示にする動作を説明する。

［１−２−１．付加情報表示制御の動作］
図４は、実施の形態１における映像受信装置４０で行う付加情報表示制御の動作を概略的に示すフローチャートである。

映像受信装置４０の映像抽出部４５は、ＳＴＢ１４から出力され入力部６５に入力される映像信号から部分映像を抽出する（ステップＳ１０）。

制御部４１は、映像抽出部４５が抽出した部分映像、および部分映像を抽出したときの映像受信装置４０のシステム時刻（タイムスタンプ情報）を、映像認識要求とともに、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して映像認識装置２０へ送信するように各回路ブロックを制御する（ステップＳ１１）。

制御部４１は、その返信である映像認識処理の結果（解析情報）および付加情報の表示制御情報を、映像認識装置２０から、通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して受信するように各回路ブロックを制御する。これにより、制御部４１は、ＳＴＢ１４から入力部６５に入力された映像信号が表すコンテンツが何であるかを認識する（ステップＳ１２）。

制御部４１は、ステップＳ１１で判明したコンテンツを示す情報を、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して付加情報配信装置３０へ送信するように各回路ブロックを制御する。そして、そのコンテンツに関連する広告情報を、付加情報配信装置３０から、通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して取得するように各回路ブロックを制御する。制御部４１は、取得した広告情報を記憶部４７に記憶するように各回路ブロックを制御する。（ステップＳ１３）。このとき、制御部４１は、そのコンテンツに関連するＵＲＬを指定して付加情報配信装置３０にアクセスすることで、そのコンテンツに関連する広告情報を付加情報配信装置３０から取得するように各回路ブロックを制御してもよい。例えば、映像認識装置２０から取得する解析情報にＵＲＬが含まれていれば、制御部４１は、そのＵＲＬを指定して付加情報配信装置３０にアクセスして広告情報を取得するように各回路ブロックを制御してもよい。

次に、付加情報表示制御部４６は、取得した表示制御情報にもとづき、付加情報の表示終了時刻を算出する。そして、算出した表示終了時刻を記憶部４７に記憶する（ステップＳ１４）。以下、付加情報の表示終了時刻を算出する処理を、「付加情報表示期間算出処理」とも記す。付加情報表示期間算出処理の詳細は、後述する。

付加情報表示制御部４６は、広告情報を表示部５４に表示するか否かを、表示制御情報にもとづき判断する。制御部４１は、付加情報表示制御部４６からの指示にもとづき、広告情報を映像出力部４４へ出力し、表示部５４に表示中のコンテンツにその広告情報を重畳して表示するように、映像出力部４４に指示する（ステップＳ１５）。これにより、映像出力部４４は、表示部５４に表示中のコンテンツに広告情報を重畳して表示する。この広告情報は、ステップＳ１３で付加情報配信装置３０から取得され記憶部４７に記憶された広告情報である。

付加情報表示制御部４６は、ステップＳ１４で算出され記憶部４７に記憶された表示終了時刻と現在のシステム時刻とを比較し、その比較にもとづき、システム時刻が表示終了時刻に達したか否かを判断する（ステップＳ１６）。

システム時刻は表示終了時刻に達していない、との判断がステップＳ１６でなされたとき（Ｎｏ）は、ステップＳ１５に戻り、付加情報表示制御部４６は、広告情報の映像出力部４４への出力を継続するように制御部４１に指示する。制御部４１はこの指示にもとづき映像出力部４４を制御し、これにより、映像出力部４４は、広告情報の表示を継続する。

システム時刻は表示終了時刻に達した、との判断がステップＳ１６でなされたとき（Ｙｅｓ）は、付加情報表示制御部４６は、広告情報の映像出力部４４への出力を停止し広告情報を非表示にするように制御部４１に指示する。これにより、制御部４１は、映像出力部４４に対して広告情報の非表示を指示する。その指示により、映像出力部４４は、表示部５４に表示中の広告情報を非表示にする。したがって、表示部５４には、映像信号にもとづく映像（広告情報が重畳されていないコンテンツの映像）が表示される（ステップＳ１６）。そして、ステップＳ１０に戻り、映像受信装置４０はこれら一連の動作を繰り返す。

次に、ステップＳ１４の付加情報表示期間算出処理について説明する。

［１−２−２．付加情報表示期間算出処理の動作］
図５は、実施の形態１における映像受信装置４０で行う付加情報表示期間算出処理の動作を概略的に示すフローチャートである。

付加情報表示制御部４６は、映像認識装置２０から取得した表示制御情報と、この表示制御情報を取得する際に映像認識装置２０へ送信したシステム時刻（タイムスタンプ情報）とを用いて、付加情報の表示終了時刻を算出する（ステップＳ２０）。付加情報の表示終了時刻を算出する方法については後述する。

次に、付加情報表示制御部４６は、算出した付加情報の表示終了時刻が記憶部４７に記憶されているかどうかを確認する（ステップＳ２１）。

ステップＳ２１において、付加情報の表示終了時刻は記憶部４７に記憶されていない、と判断されたとき（Ｎｏ）は、付加情報表示制御部４６は、ステップＳ２０で算出された付加情報の表示終了時刻を記憶部４７に記憶する（ステップＳ２３）。そして、図４に示したステップＳ１５の処理に移行する。

ステップＳ２１において、付加情報の表示終了時刻は記憶部４７に記憶されている、と判断されたとき（Ｙｅｓ）は、付加情報表示制御部４６は、ステップＳ２０で算出された付加情報の表示終了時刻が、記憶部４７に記憶されている付加情報の表示終了時刻と等しいか否かを判断する（ステップＳ２２）。

ステップＳ２２において、等しい、と判断されたとき（Ｙｅｓ）は、図４に示したステップＳ１５の処理に移行する。

ステップＳ２２において、等しくない、と判断されたとき（Ｎｏ）は、付加情報表示制御部４６は、ステップＳ２０で算出された付加情報の表示終了時刻と、記憶部４７に記憶されている付加情報の表示終了時刻とを互いに比較する。そして、付加情報表示制御部４６は、いずれか時間的に早い方を記憶部４７に記憶させ、記憶部４７に記憶されている付加情報の表示終了時刻を更新（または、維持）する（ステップＳ２４）。そして、図４に示したステップＳ１５の処理に移行する。

次に、図６を用いて、付加情報表示期間算出処理の概要を説明する。

図６は、実施の形態１における映像受信装置４０で行う付加情報表示期間算出処理の一例を概略的に示す図である。

図６には、システム時刻、経過時間、映像信号（コンテンツ）、部分映像、表示制御情報、表示終了時刻、表示部５４に表示する画像、を概略的に示す。また、図６には、コンテンツが、番組からＣＭに切り替わり、そのＣＭから番組に切り替わる例を示す。また、図６に示す例では、ＣＭを付加情報を重畳するコンテンツとする。また、図６に示す経過時間は、ＣＭの開始時刻からの経過時間のことであり、ＣＭの開始時刻を０ｍｓｅｃとしている。なお、時刻は、ＧＭＴ（グリニッジ平均時）やＵＴＣ（協定世界時）に基づく値に変換されて計算されるものとする。

図６には、このＣＭが、映像受信装置４０のシステム時刻が４６９０００ｍｓｅｃのときに開始し、５０８０００ｍｓｅｃのときに終了する例を示す。

例えば、映像認識装置２０の記憶部２３には、このＣＭは「ＡＤ１」であり（図６には、コンテンツのＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）として示す）、このＣＭに関連する「付加情報の表示期間（広告情報を表示可能な期間）」（図６には、「ｔｏｔａｌ」として示す）は「３９０００ｍｓｅｃ」である、という情報が記憶されているものとする。併せて、映像認識装置２０の記憶部２３には、映像認識装置２０から取得されたオフセット時間（図６には、「ｏｆｆｓｅｔ」として示す）を示す情報も記憶されているものとする。

映像受信装置４０は、予め決められた周期で抽出した部分映像（図６には、「ｖｉｄｅｏ ｆｒａｍｅｓ」と記す）と、その部分映像を抽出したときのシステム時刻（タイムスタンプ情報。図６には、ｖｉｄｅｏ ｆｒａｍｅｓの直下に示す）を、映像認識要求と共に映像認識装置２０に送信する。

映像認識装置２０は、ＡＣＲ技術によって、受信した部分映像に対する映像認識処理を行う。

上述の「ＡＤ１」という情報は、この映像認識処理の結果として映像認識装置２０から映像受信装置４０に送信された情報である。また、映像受信装置４０は、映像認識処理の結果と共に付加情報の表示制御情報を映像認識装置２０から受信する。上述の「３９０００ｍｓｅｃ」という情報は、付加情報の表示期間（広告情報を表示可能な期間）を示す情報として、この表示制御情報に含まれている。

また、この表示制御情報には、オフセット時間を示す情報が含まれている。オフセット時間を示す情報とは、映像認識装置２０で管理されるコンテンツの開始時刻と、部分映像を抽出したときのタイムスタンプ情報（システム時刻）との差を表す情報である。例えば、図６では、ＣＭの開始時刻は「４６９０００ｍｓｅｃ」であり、映像認識装置２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像が抽出されたときのシステム時刻（タイムスタンプ情報）は、「４７００００ｍｓｅｃ」である。したがって、この部分映像に対するオフセット時間は、４７００００ｍｓｅｃから４６９０００ｍｓｅｃを減算した「１０００ｍｓｅｃ」となる。同様にして算出された「６０００」、「１１０００」、「１６０００」、といった数値（単位はｍｓｅｃ）が、各部分映像におけるオフセット時間である。

映像受信装置４０は、映像認識装置２０から取得した映像認識処理の結果（図６に示す例では、「ＡＤ１」という情報）にもとづく付加情報（広告情報）を、付加情報配信装置３０から取得して、記憶部４７に記憶する。

映像受信装置４０の付加情報表示制御部４６は、部分映像を抽出したときのシステム時刻（タイムスタンプ情報）および付加情報の表示制御情報（図６に示す例では、「３９０００ｍｓｅｃ」という情報、およびオフセット時間を示す情報）にもとづき、付加情報の表示終了時刻を算出する。

以下では、一例として、映像認識装置２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像（以下、「最初の部分映像」とも記す）にもとづき、付加情報の表示終了時刻を算出する例を説明する。

図６に示す例では、最初の部分映像が抽出されたときのシステム時刻（タイムスタンプ情報）は、「４７００００ｍｓｅｃ」である。また、その映像認識処理の結果とともに映像受信装置４０が受信した付加情報の表示期間（広告情報を表示可能な期間）は「３９０００ｍｓｅｃ」であり、オフセット時間は「１０００ｍｓｅｃ」である。付加情報表示制御部４６は、これらの数値から、付加情報の表示終了時刻を算出する。具体的には、付加情報表示制御部４６は、付加情報の表示期間「３９０００ｍｓｅｃ」からオフセット時間「１０００ｍｓｅｃ」を減算した結果を、その部分映像が抽出されたときのシステム時刻「４７００００ｍｓｅｃ」に加算する。すなわち、付加情報表示制御部４６は、以下の演算を行う。
４７００００＋（３９０００―１０００）＝５０８０００
この演算により得られる時刻、上述の例では「５０８０００ｍｓｅｃ」という時刻が、最初の部分映像に関して算出された「付加情報の表示終了時刻」である。付加情報表示制御部４６は、このようにして付加情報の表示終了時刻を算出する。

付加情報表示制御部４６は、システム時刻が、算出された付加情報の表示終了時刻になるまで、付加情報をコンテンツに重畳して表示部５４に表示するように制御部４１に指示する。制御部４１は、その指示にもとづき映像出力部４４を制御する。上述の例では、システム時刻が「５０８０００ｍｓｅｃ」になるまで、付加情報（記憶部４７に記憶された広告情報）をコンテンツに重畳して表示部５４に表示し、システム時刻が「５０８０００ｍｓｅｃ」になったら付加情報を非表示にするように、制御部４１は映像出力部４４を制御する。

次に、図７を用いて、図５に示したステップＳ２２、Ｓ２４の概要を説明する。

図７は、実施の形態１における映像受信装置４０で行う付加情報表示期間算出処理の他の一例を概略的に示す図である。

図７は、図６をベースにして示しているので、詳細な説明は省略する。

映像受信装置４０は、映像認識装置２０から、新たな映像認識処理の結果および付加情報の表示制御情報を受信する毎に、付加情報の表示終了時刻を算出する。そして、ステップＳ２２、Ｓ２４で説明したように、新たに算出した表示終了時刻と、記憶部４７に記憶されている表示終了時刻とを比較し、いずれか時間的に早い方の表示終了時刻を記憶部４７に記憶して、それまで記憶部４７に記憶されていた表示終了時刻と置き換える。こうして、記憶部４７に記憶する表示終了時刻を更新する。

以下では、一例として、映像認識装置２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像（最初の部分映像）、およびそれに続く部分映像（２番目の部分映像）にもとづき、付加情報の表示終了時刻を算出する例を説明する。

図７に示す例では、最初の部分映像が抽出されたときのシステム時刻（タイムスタンプ情報）は、「４７１０００ｍｓｅｃ」となっている。なお、このシステム時刻（タイムスタンプ情報）は、正しくは「４７００００ｍｓｅｃ」であるべきところ、何らかの要因（例えば、停電や映像受信装置４０内で各種処理が一時的に集中して発生する等）でシステム時刻に異常が生じ、「４７１０００ｍｓｅｃ」となってしまっているものとする。すなわち、本来よりも「１０００ｍｓｅｃ」遅い時刻が、タイムスタンプ情報として生成されているものとする。

その映像認識処理の結果とともに映像受信装置４０が受信した付加情報の表示期間（広告情報を表示可能な期間）は「３９０００ｍｓｅｃ」であり、オフセット時間は「１０００ｍｓｅｃ」である。

付加情報表示制御部４６は、付加情報の表示期間「３９０００ｍｓｅｃ」からオフセット時間「１０００ｍｓｅｃ」を減算した結果を、その部分映像が抽出されたときのシステム時刻「４７１０００ｍｓｅｃ」に加算する。
４７１０００＋（３９０００―１０００）＝５０９０００
この演算により得られる時刻「５０９０００ｍｓｅｃ」が、この部分映像に関して算出された付加情報の表示終了時刻である。しかし、この表示終了時刻は、上述した時間のズレが含まれているため、実際にＣＭが終了する時刻「５０８０００ｍｓｅｃ」より「１０００ｍｓｅｃ」遅い時刻になっている。したがって、このままでは、コンテンツ（ＣＭ）が終了して次のコンテンツ（番組本体）が開始した後も、１０００ｍｓｅｃの期間、この付加情報（広告情報）が表示部５４に表示されたままとなるおそれがある。

付加情報表示制御部４６は、この「５０９０００ｍｓｅｃ」を、付加情報の表示終了時刻として記憶部４７に記憶する。

２番目の部分映像が抽出されたときのシステム時刻（タイムスタンプ情報）は、図７に示す例では、「４７５０００ｍｓｅｃ」である。このときは、上述の異常が修正され、正しいシステム時刻にもとづきタイムスタンプ情報が生成されたものとする。また、その映像認識処理の結果とともに映像受信装置４０が受信した付加情報の表示期間（広告情報を表示可能な期間）は「３９０００ｍｓｅｃ」であり、オフセット時間は「６０００ｍｓｅｃ」である。付加情報表示制御部４６は、上述と同様にして、以下の演算を行う。
４７５０００＋（３９０００―６０００）＝５０８０００
この演算により得られる時刻「５０８０００ｍｓｅｃ」が、この部分映像に関して算出された付加情報の表示終了時刻である。この表示終了時刻は、上述した異常が修正されているため、実際にＣＭが終了する時刻「５０８０００ｍｓｅｃ」に等しい時刻になっている。

付加情報表示制御部４６は、記憶部４７に記憶された「５０９０００ｍｓｅｃ」と、新たに算出した「５０８０００ｍｓｅｃ」とを比較し、時間的に早い方の「５０８０００ｍｓｅｃ」を、それまで記憶部４７に記憶されていた「５０９０００ｍｓｅｃ」と置き換えて、新たな付加情報の表示終了時刻として記憶部４７に記憶する。

こうして、映像受信装置４０では、記憶部４７に記憶された付加情報の表示終了時刻が、新たに算出される付加情報の表示終了時刻と都度比較され、時間的に早い方の表示終了時刻に更新される。これにより、映像受信装置４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

［１−３．効果等］
以上のように、実施の形態１において、映像受信装置４０は、通信ネットワーク１６を介してデータの送受信を行えるように構成されており、入力部６５、映像抽出部４５、制御部４１、および付加情報表示制御部４６、を備える。入力部６５は、外部に設置された映像送信装置（例えば、ＳＴＢ１４）から出力される映像信号を入力するように構成されている。映像抽出部４５は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部４１は、通信ネットワーク１６に接続された映像認識装置２０に部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果および付加情報の表示制御情報を映像認識装置２０から取得し、その映像認識処理の結果に基づく付加情報（例えば、広告情報）を通信ネットワーク１６に接続された付加情報配信装置３０から取得する、制御を行うように構成されている。付加情報表示制御部４６は、映像抽出部４５が部分映像を抽出したときのシステム時刻および表示制御情報にもとづき付加情報の表示終了時刻を算出し、その表示終了時刻にもとづき付加情報の映像信号への重畳を制御するように構成されている。

これにより、映像受信装置４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

例えば、放送局１２から、コンテンツに付随して、そのコンテンツの継続時間や次のコンテンツへ切り替わる時刻等の情報が通知されれば、映像受信装置４０は、その情報を取得することで、付加情報をいつ非表示にすればよいかを知ることができる。

しかしながら、ＳＴＢ１４等の映像送信装置から入力部６５を通して映像信号だけが送られてくる場合には、映像受信装置４０は、そのコンテンツの継続時間や次のコンテンツへ切り替わる時刻を知ることは困難である。そこで、本実施の形態における映像受信装置４０では、上述した付加情報表示期間算出処理を行って付加情報の表示終了時刻を算出し、算出した表示終了時刻にもとづき、表示部５４に表示中の付加情報を非表示にする。これにより、付加情報を重畳する対象となるコンテンツが終了するときに、その付加情報を非表示にすることができる。したがって、続くコンテンツに付加情報が誤って重畳される、といった現象が発生することを防止できる。

また、映像受信装置４０は、映像信号に付加情報５１を重畳した映像を表示するように構成された表示部５４を備え、付加情報表示制御部４６は、算出された表示終了時刻にもとづき、表示部５４に表示中の付加情報を非表示にする制御を行うように構成されていてもよい。

また、制御部４１が映像認識装置２０から取得する表示制御情報には、付加情報の表示期間を示す情報と、オフセット時間を示す情報と、が含まれていてもよい。

これにより、付加情報表示制御部４６は、部分映像が抽出されたときのシステム時刻に、付加情報の表示期間からオフセット時間を減算した結果を加算して、付加情報の表示終了時刻を算出することができる。

また、映像受信装置４０は、付加情報の表示終了時刻を記憶するように構成された記憶部４７、を更に備え、付加情報表示制御部４６は、算出された付加情報の表示終了時刻を記憶部４７に記憶させ、映像抽出部４５が部分映像を抽出する度に、算出された付加情報の表示終了時刻と、記憶部４７に記憶された付加情報の表示終了時刻と、を比較し、いずれか時間的に早い方を付加情報の表示終了時刻として記憶部４７に記憶して表示終了時刻を更新し、記憶部４７に記憶された付加情報の表示終了時刻に、表示部５４に表示中の付加情報を非表示にする制御を行うように構成されていてもよい。

これにより、映像受信装置４０では、記憶部４７に記憶された付加情報の表示終了時刻が、新たに算出される付加情報の表示終了時刻と都度比較され、時間的に早い方の表示終了時刻に更新される。

例えば、何らかの要因（例えば、停電や映像受信装置４０内で各種処理が一時的に集中して発生する等）で、映像受信装置４０が管理するシステム時刻と実際の時刻との間にズレが生じると、算出した付加情報の表示終了時刻と、その付加情報を重畳する対象となるコンテンツの終了時刻との間にズレが生じることがある。そのような場合、そのコンテンツが終了して新たなコンテンツが表示部５４に表示されているにもかかわらず、その付加情報が依然として表示部５４に表示されたままになる、といった現象が生じるおそれがある。

しかしながら、このような現象が生じた場合でも、記憶部４７に記憶される付加情報の表示終了時刻が、時間的に早くなるように更新されるので、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

本実施の形態における付加情報表示システム１０は、通信ネットワーク１６を介して互いにデータの送受信を行えるように構成された映像受信装置４０、映像認識装置２０、および付加情報配信装置３０、を備えている。映像受信装置４０は、入力部６５、映像抽出部４５、制御部４１、および付加情報表示制御部４６、を備える。入力部６５は、外部に設置された映像送信装置（例えば、ＳＴＢ１４）から出力される映像信号を入力するように構成されている。映像抽出部４５は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部４１は、映像認識装置２０に通信ネットワーク１６を介して部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果および付加情報の表示制御情報を映像認識装置２０から通信ネットワーク１６を介して取得し、付加情報配信装置３０からその映像認識処理の結果に基づく付加情報（例えば、広告情報）を通信ネットワーク１６を介して取得する、制御を行うように構成されている。付加情報表示制御部４６は、映像抽出部４５が部分映像を抽出したときのシステム時刻および表示制御情報にもとづき付加情報の表示終了時刻を算出し、その表示終了時刻にもとづき付加情報の映像信号への重畳を制御するように構成されている。映像認識装置２０は、映像受信装置４０から通信ネットワーク１６を介して送信される部分映像を受信し、部分映像を用いた映像認識処理を行い、映像認識処理の結果及び付加情報の表示制御情報を通信ネットワーク１６を介して映像受信装置４０に出力する、ように構成されている。付加情報配信装置３０は、通信ネットワーク１６を介して受信した映像認識処理の結果に対応する付加情報を通信ネットワーク１６を介して映像受信装置４０に送信するように構成されている。

これにより、映像受信装置４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

（実施の形態２）
以下、図８を用いて、実施の形態２を説明する。

実施の形態１では、映像受信装置４０は、付加情報の表示終了時刻を算出し、算出した表示終了時刻とシステム時刻とにもとづき、表示部５４に表示中の付加情報を非表示にするように構成されている例を説明した。しかし、本開示は、何らこの構成に限定されない。例えば、部分映像を抽出したときのシステム時刻、および映像認識装置２０から取得された付加情報の表示制御情報にもとづき、付加情報の表示終了時刻に代えて「付加情報の表示残存時間」を算出し、算出した付加情報の表示残存時間にもとづき、表示部５４に表示中の付加情報を非表示にするように映像受信装置を構成してもよい。

なお、「付加情報の表示残存時間」とは、現在のシステム時刻から付加情報の表示を終了するまでの時間（表示残存時間）のことである。

［２−１．構成］
図８は、実施の形態２における映像認識装置２０および映像受信装置２４０の構成の一例を概略的に示すブロック図である。

なお、実施の形態２における映像受信装置２４０は、実施の形態１で図２に示した映像受信装置４０と実質的に同じ構成であり、各回路ブロックは実施の形態１と実質的に同様の動作をする。ただし、実施の形態２では、付加情報表示制御部２４６における動作に、実施の形態１に示した付加情報表示制御部４６と異なる点がある。以下、実施の形態１と異なる点を説明し、実施の形態１と実質的に同様の動作は説明を省略する。

［２−２．動作］
映像受信装置２４０の付加情報表示制御部２４６では、付加情報の表示期間（広告情報を表示可能な期間）からオフセット時間を減算した時間を第１時間とし、現在のシステム時刻から部分映像を抽出したときのシステム時刻を減算した時間を第２時間とする。そして、第１時間から第２時間を減算して算出した時間を、「付加情報の表示残存時間」とする。付加情報表示制御部２４６は、現在のシステム時刻から「付加情報の表示残存時間」が経過した時点、すなわち、現在のシステム時刻に「付加情報の表示残存時間」を加算した時刻にシステム時刻が到達した時点で、表示部５４に表示中の付加情報（広告情報）を非表示にするように、制御部４１に指示する。

一例として、映像認識装置２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像にもとづき、付加情報の表示残存時間を付加情報表示制御部２４６が算出する例を、実施の形態１で用いた図６を用いて説明する。

例えば、付加情報の表示期間が「３９０００ｍｓｅｃ」であり、オフセット時間が「１０００ｍｓｅｃ」であれば、第１時間は、「３８０００ｍｓｅｃ」となる。また、現在のシステム時刻が「４７１０００ｍｓｅｃ」であり、その部分映像を抽出したときのシステム時刻が「４７００００ｍｓｅｃ」であれば、第２時間は、「１０００ｍｓｅｃ」となる。したがって、「３８０００ｍｓｅｃ」から「１０００ｍｓｅｃ」を減算した「３７０００ｍｓｅｃ」が、この例における、システム時刻が「４７１０００ｍｓｅｃ」のときの、付加情報の表示残存時間となる。この場合、付加情報表示制御部２４６は、現在のシステム時刻「４７１０００ｍｓｅｃ」から「３７０００ｍｓｅｃ」が経過した時点、すなわち、システム時刻が「５０８０００ｍｓｅｃ」に到達した時点で、表示部５４に表示中の付加情報（広告情報）を非表示にするように制御部４１に指示する。この指示により、制御部４１は、表示部５４に表示中の付加情報を非表示にするように映像出力部４４を制御する。

なお、ステップＳ２２、Ｓ２４で説明した動作を行うように、映像受信装置２４０を構成してもよい。すなわち、付加情報表示制御部２４６は、算出した付加情報の表示残存時間を記憶部４７に記憶し、部分映像を抽出する毎に付加情報の表示残存時間を算出して記憶部４７に記憶した付加情報の表示残存時間と比較し、付加情報の表示終了時刻が早くなる方の表示残存時間を記憶部４７に記憶して付加情報の表示残存時間を更新する。例えば、このような動作をするように、映像受信装置２４０を構成してもよい。

なお、付加情報表示制御部２４６は、算出した「付加情報の表示残存時間」が０になるタイミングで、表示部５４に表示中の付加情報を非表示にするように、制御部４１に指示してもよい。

なお、算出した「付加情報の表示残存時間」を、付加情報と共に表示部５４に表示するように、映像受信装置２４０を構成してもよい。

［２−３．効果等］
以上のように、実施の形態２の映像受信装置２４０において、付加情報表示制御部２４６は、映像抽出部４５が部分映像を抽出したときのシステム時刻及び表示制御情報にもとづき、付加情報の表示を終了するまでの表示残存時間を、付加情報の表示終了時刻に代えて算出する、ように構成されている。

これにより、映像受信装置２４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

（実施の形態３）
以下、図９〜図１０を用いて、実施の形態３を説明する。

実施の形態１では、映像受信装置４０は、部分映像とともに１つのタイムスタンプ情報（部分映像の抽出開始時のシステム時刻）を映像認識装置２０に送信するように構成されている例を説明した。しかし、本開示は何らこの構成に限定されない。例えば、部分映像とともに複数のタイムスタンプ情報を映像認識装置２０に送信するように映像受信装置を構成してもよい。

［３−１．構成］
図９は、実施の形態３における映像認識装置３２０および映像受信装置３４０の構成の一例を概略的に示すブロック図である。

なお、実施の形態３における映像受信装置３４０は、実施の形態１で図２に示した映像受信装置４０と実質的に同じ構成であり、各回路ブロックは実施の形態１と実質的に同様の動作をする。映像認識装置３２０は、実施の形態１で図２に示した映像認識装置２０と実質的に同じ構成であり各回路ブロックは実施の形態１と実質的に同様の動作をする。ただし、実施の形態３では、映像受信装置３４０の制御部３４１および付加情報表示制御部３４６における動作と、映像認識装置３２０の検索部３２２における動作に、実施の形態１に示した制御部４１、付加情報表示制御部４６、検索部２２と異なる点がある。以下、実施の形態１と異なる点を説明し、実施の形態１と実質的に同様の動作は説明を省略する。

［３−２．動作］
実施の形態３では、一例として、映像受信装置３４０が、１つの部分映像に関して３つのタイムスタンプ情報を映像認識装置３２０に送信するように構成されている例を説明する。

図１０は、実施の形態３における映像受信装置３４０で行う付加情報表示期間算出処理の一例を概略的に示す図である。

図１０は、図６をベースにして示しているので、詳細な説明は省略する。

図１０に示す例では、映像受信装置３４０の制御部３４１は、１つの部分映像に関して３つのタイムスタンプ情報を映像認識装置３２０に送信するように構成されている。この３つのタイムスタンプ情報は、例えば、１）部分映像の抽出開始時のシステム時刻、２）部分映像取得中のシステム時刻（部分映像の時間的に中央のシステム時刻）、３）部分映像の抽出終了時のシステム時刻、である。なお、図１０には、部分映像の抽出開始時のシステム時刻のみをタイムスタンプ情報として示している。

また、図１０に示す例では、映像認識装置３２０の検索部３２２は、これら３つのタイムスタンプ情報に対応する３つのオフセット時間の情報を映像受信装置３４０に返信する。この３つのオフセット時間は、例えば、１）部分映像の抽出開始時のシステム時刻に対応するオフセット時間（図１０には、「ｆｉｒｓｔ」と記す）、２）部分映像取得中のシステム時刻に対応するオフセット時間（図１０には、「ｍｉｄｄｌｅ」と記す）、３）部分映像の抽出終了時のシステム時刻に対応するオフセット時間（図１０には、「ｌａｓｔ」と記す）、である。

図１０に示す例では、映像認識装置３２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像が抽出されたときの３つのタイムスタンプ情報（システム時刻）は、「４７００００ｍｓｅｃ」、「４７２９８０ｍｓｅｃ」、「４７４９５０ｍｓｅｃ」である。また、その映像認識処理の結果とともに映像受信装置３４０が受信した付加情報の表示期間（広告情報を表示可能な期間）は「３９０００ｍｓｅｃ」であり、３つのオフセット時間は「１０００ｍｓｅｃ」、「３４８０ｍｓｅｃ」、「５９５０ｍｓｅｃ」である。

映像受信装置３４０の付加情報表示制御部３４６は、これら３つのシステム時刻およびオフセット時間にもとづき、実施の形態１に示した「付加情報の表示終了時刻」を算出する演算と同様の演算を行い、３つの「付加情報の表示終了時刻」を算出する。上述の数値例では、この演算により以下の３つの表示終了時刻が得られる。
４７００００＋（３９０００―１０００）＝５０８０００
４７２９８０＋（３９０００―３４８０）＝５０８５００
４７４９５０＋（３９０００―５９５０）＝５０８０００
付加情報表示制御部３４６は、これら３つの表示終了時刻のうち、時間的に最も早い表示終了時刻（上述の例では「５０８０００ｍｓｅｃ」）を選択し、選択した結果を、この部分映像に関する「付加情報の表示終了時刻」として、記憶部４７に記憶する。

付加情報表示制御部３４６は、このようにして算出された「付加情報の表示終了時刻」にシステム時刻が到達した時点で、表示部５４に表示中の付加情報（例えば、広告情報）を非表示にするように制御部３４１に指示する。この指示により、制御部３４１は、表示部５４に表示中の付加情報を非表示にするように映像出力部４４を制御する。

例えば、このような動作をするように、映像受信装置３４０を構成してもよい。

なお、ステップＳ２２、Ｓ２４で説明した動作を付加情報表示制御部３４６が行い、記憶部４７に記憶する付加情報の表示終了時刻を、時間的に早くなるように更新するように、映像受信装置３４０を構成してもよい。

［３−３．効果等］
以上のように、実施の形態３の映像受信装置３４０において、制御部３４１は、通信ネットワーク１６に接続された映像認識装置３２０に部分映像を送信する際に、複数のタイムスタンプ情報を併せて送信する制御を行うように構成されている。また、映像認識装置３２０は、複数のタイムスタンプ情報にもとづく複数のオフセット情報を映像受信装置３４０に返信するように構成されている。

これにより、映像受信装置３４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを、より精度を高めて防止することができる。

（実施の形態４）
以下、図１１〜図１２を用いて、実施の形態４を説明する。

実施の形態１では、映像受信装置４０は、１つのコンテンツ（例えば、ＣＭ）に１つの付加情報（例えば、広告情報）を重畳して表示部５４に表示するように構成されている例を説明した。しかし、本開示は何らこの構成に限定されない。例えば、１つのコンテンツ（１つの付加情報の表示期間）に複数の付加情報を切り替えながら重畳して表示部５４に表示するように映像受信装置を構成してもよい。

［４−１．構成］
図１１は、実施の形態４における映像認識装置２０および映像受信装置４４０の構成の一例を概略的に示すブロック図である。

なお、実施の形態４における映像受信装置４４０は、実施の形態１で図２に示した映像受信装置４０と実質的に同じ構成であり、各回路ブロックは実施の形態１と実質的に同様の動作をする。ただし、実施の形態４では、映像受信装置４４０の制御部４４１および付加情報表示制御部４４６における動作に、実施の形態１に示した制御部４１、付加情報表示制御部４６と異なる点がある。また、実施の形態４では、付加情報配信装置４３０における動作に、実施の形態１に示した付加情報配信装置３０と異なる点がある。以下、実施の形態１と異なる点を説明し、実施の形態１と実質的に同様の動作は説明を省略する。

［４−２．動作］
実施の形態４では、付加情報配信装置４３０は、１つのコンテンツに関して複数の付加情報を映像受信装置４４０に提供し、映像受信装置４４０はそれら複数の付加情報を取得する。また、付加情報配信装置４３０は、複数の付加情報のそれぞれに対応する表示時間範囲情報（図１２には、「Ｄｉｓｐｌａｙ ｔｉｍｅ」と記す）を映像受信装置４４０に提供し、映像受信装置４４０はそれら複数の付加情報のそれぞれに対応する表示時間範囲情報を取得する。表示時間範囲情報とは、複数の付加情報のそれぞれに関する表示期間を表す情報のことである。

以下では、一例として、映像受信装置４４０が、１つのコンテンツ（１つの付加情報の表示期間）に関して２つの付加情報（第１の付加情報、第２の付加情報）を付加情報配信装置４３０から取得し、それら２つの付加情報を、第１の付加情報、第２の付加情報、の順番で途中で切り替えて表示部５４に表示するように動作する例を説明する。

図１２は、実施の形態４における映像受信装置４４０で行う付加情報表示期間算出処理の他の一例を概略的に示す図である。

図１２は、図６をベースにして示しているので、詳細な説明は省略する。なお、図１２には、第１の付加情報を「付加情報１」と記し、第２の付加情報を「付加情報２」と記す。

図１２に示すように、映像受信装置４４０の制御部４４１は、付加情報配信装置４３０から、第１の付加情報、第２の付加情報に加え、第１の付加情報の表示時間範囲情報と、第２の付加情報の表示時間範囲情報とを取得するように各回路ブロックを制御する。

以下では、一例として、映像受信装置４４０が、映像認識装置２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像にもとづき、第１の付加情報と第２の付加情報のそれぞれの表示終了時刻を算出する例を説明する。

図１２に示す例では、映像認識装置２０における映像認識処理の結果が「ＡＤ１」となった最初の部分映像が抽出されたときのシステム時刻（タイムスタンプ情報）は、「４７００００ｍｓｅｃ」である。また、その映像認識処理の結果とともに映像受信装置４４０が受信したオフセット時間は「１０００ｍｓｅｃ」である。

また、映像受信装置４４０が付加情報配信装置４３０から取得した第１の付加情報に関する表示時間範囲情報および第２の付加情報に関する表示時間範囲情報は、それぞれ「０〜１９９９９ｍｓｅｃ」、「２００００〜３９０００ｍｓｅｃ」である。

映像受信装置４４０は、これらの数値から、第１の付加情報の表示終了時刻と、第２の付加情報の表示終了時刻とをそれぞれ算出する。

実施の形態１では、映像受信装置４０は、付加情報の表示期間からオフセット時間を減算した結果を、その部分映像が抽出されたときのシステム時刻に加算して、付加情報の表示終了時刻を算出した。実施の形態４における映像受信装置４４０は、付加情報の表示期間に代えて表示時間範囲情報を使用する。すなわち、映像受信装置４４０は、表示時間範囲情報からオフセット時間を減算した結果を、その部分映像が抽出されたときのシステム時刻に加算して、付加情報の表示終了時刻を算出するように構成されている。

具体的には、映像受信装置４４０の付加情報表示制御部４４６は、第１の付加情報の表示時間範囲情報の最大値「１９９９９ｍｓｅｃ」からオフセット時間「１０００ｍｓｅｃ」を減算した結果を、その部分映像が抽出されたときのシステム時刻「４７００００ｍｓｅｃ」に加算する。
４７０００＋（１９９９９−１０００）＝４８８９９９
この演算により、第１の付加情報の表示終了時刻「４８８９９９ｍｓｅｃ」が得られる。

また、付加情報表示制御部４４６は、第２の付加情報の表示時間範囲情報の最大値「３９０００ｍｓｅｃ」からオフセット時間「１０００ｍｓｅｃ」を減算した結果を、その部分映像が抽出されたときのシステム時刻「４７００００ｍｓｅｃ」に加算する。
４７０００＋（３９０００−１０００）＝５０８０００
この演算により、第２の付加情報の表示終了時刻「５０８０００ｍｓｅｃ」が得られる。

付加情報表示制御部４４６は、システム時刻が４８８９９９ｍｓｅｃに到達するまでは、第１の付加情報をコンテンツ（例えば、ＣＭ）に重畳して表示部５４に表示し、システム時刻が４８８９９９ｍｓｅｃに到達して以降、５０８０００ｍｓｅｃに到達するまでは、第１の付加情報に代えて、第２の付加情報をそのコンテンツに重畳して表示部５４に表示し、システム時刻が５０８０００ｍｓｅｃに到達したら第２の付加情報を非表示するように制御部４４１に指示する。この指示により、制御部４４１は、第１の付加情報、第２の付加情報を順に表示部５４に表示し、システム時刻が５０８０００ｍｓｅｃに到達したら第２の付加情報を非表示にするように映像出力部４４を制御する。

なお、映像受信装置４４０は、複数の付加情報を同時に表示部５４に表示してもかまわない。

［４−３．効果等］
以上のように、実施の形態４の映像受信装置４４０において、制御部４４１は、映像認識処理の結果にもとづき、表示時間範囲情報を含む複数の付加情報を付加情報配信装置４３０から取得する制御を行うように構成され、付加情報表示制御部４４６は、表示時間範囲情報に応じて複数の付加情報を切り替えて表示部に表示する制御を行うように構成されている。

これにより、映像受信装置４４０では、複数の付加情報（例えば、複数の広告情報）を切り替えながら表示部５４に表示するときも、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

（実施の形態５）
以下、図１３を用いて、実施の形態５を説明する。

実施の形態１では、映像受信装置４０が付加情報の表示終了時刻を算出するように構成されている例を説明した。しかし、本開示は何らこの構成に限定されない。例えば、映像認識装置から映像受信装置に付加情報の表示終了時刻を送信するように付加情報表示システムを構成してもよい。

［５−１．構成］
図１３は、実施の形態５における映像認識装置５２０および映像受信装置５４０の構成の一例を概略的に示すブロック図である。

なお、実施の形態５における映像受信装置５４０は、実施の形態１で図２に示した映像受信装置４０と実質的に同じ構成であり、各回路ブロックは実施の形態１と実質的に同様の動作をする。映像認識装置５２０は、実施の形態１で図２に示した映像認識装置２０と実質的に同じ構成であり各回路ブロックは実施の形態１と実質的に同様の動作をする。ただし、実施の形態５では、映像受信装置５４０の制御部５４１および付加情報表示制御部５４６における動作と、映像認識装置５２０の検索部５２２における動作に、実施の形態１に示した制御部４１、付加情報表示制御部４６、検索部２２と異なる点がある。以下、実施の形態１と異なる点を説明し、実施の形態１と実質的に同様の動作は説明を省略する。

［５−２．動作］
実施の形態５では、映像受信装置５４０が、映像抽出部４５で抽出された部分映像と、部分映像を抽出したときのシステム時刻（タイムスタンプ情報）と、を含む映像認識要求を映像認識装置５２０へ送信する点は、実施の形態１と同様である。

ただし、映像認識装置５２０の検索部５２２は、映像受信装置５４０から送信される部分映像及びタイムスタンプ情報を含む映像認識要求を受信すると、その部分映像を用いた映像認識処理を行うとともに、その映像認識処理の結果にもとづく付加情報の表示制御情報、および映像認識要求に含まれるタイムスタンプ情報、にもとづいて、実施の形態１で説明した付加情報表示期間算出処理と実質的に同様の処理を実行して付加情報の表示終了時刻を算出するように構成されている点が、実施の形態１に示した映像認識装置２０の検索部２２とは異なる。

映像認識装置５２０は、算出した表示終了時刻を示す情報を、映像認識処理の結果とともに、映像受信装置５４０に送信する。

そして、映像受信装置５４０の制御部５４１は、映像認識装置５２０から、映像認識処理の結果と共に、付加情報の表示終了時刻を示す情報を取得するように各回路ブロックを制御する。したがって、実施の形態５に示す付加情報表示制御部５４６は、実施の形態１に示した付加情報表示期間算出処理は行わない。

付加情報表示制御部５４６は、映像認識装置５２０から取得した付加情報の表示終了時刻にシステム時刻が到達した時点で、表示部５４に表示中の付加情報を非表示にするように制御部５４１に指示する。この指示により、制御部５４１は、表示部５４に表示中の付加情報を非表示にするように映像出力部４４を制御する。

なお、映像認識装置５２０の検索部５２２は、付加情報の表示制御情報、および映像認識要求に含まれるタイムスタンプ情報、にもとづいて、実施の形態２で説明した付加情報の表示残存時間を算出するように構成されていてもよい。その場合、付加情報表示制御部５４６は、映像認識装置５２０から取得した付加情報の表示残存時間にもとづき、表示部５４に表示中の付加情報を非表示にするように制御部５４１に指示する。

［５−３．効果等］
以上のように、実施の形態５において、映像受信装置５４０は、通信ネットワーク１６を介してデータの送受信を行えるように構成されており、入力部６５、映像抽出部４５、制御部５４１、および付加情報表示制御部５４６、を備える。入力部６５は、外部に設置された映像送信装置（例えば、ＳＴＢ１４）から出力される映像信号を入力するように構成されている。映像抽出部４５は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部５４１は、次の制御を行うように構成されている。制御部５４１は、通信ネットワーク１６に接続された映像認識装置５２０に部分映像を送信して映像認識処理を依頼するとともに、映像抽出部４５が部分映像を抽出したときのシステム時刻を送信する制御を行う。制御部５４１は、その映像認識処理の結果と、付加情報の表示終了時刻又は付加情報の表示残存時間と、を映像認識装置５２０から取得する制御を行う。そして、制御部５４１は、その映像認識処理の結果に基づく付加情報（例えば、広告情報）を通信ネットワーク１６に接続された付加情報配信装置３０から取得する制御を行う。付加情報表示制御部５４６は、映像認識装置５２０から取得された表示終了時刻又は表示残存時間にもとづき、付加情報の映像信号への重畳を制御するように構成されている。

これにより、映像受信装置５４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

本実施の形態における付加情報表示システムは、通信ネットワーク１６を介して互いにデータの送受信を行えるように構成された映像受信装置５４０、映像認識装置５２０、および付加情報配信装置３０、を備えている。映像認識装置５２０は、映像受信装置４０から通信ネットワーク１６を介して送信される部分映像および映像抽出部４５が部分映像を抽出したときのシステム時刻を受信し、部分映像を用いた映像認識処理を行い、映像認識処理の結果を通信ネットワーク１６を介して映像受信装置５４０に出力するとともに、そのシステム時刻にもとづく付加情報の表示終了時刻または付加情報の表示残存時間を通信ネットワーク１６を介して映像受信装置５４０に出力する、ように構成されている。付加情報配信装置３０は、通信ネットワーク１６を介して受信した映像認識処理の結果に対応する付加情報を通信ネットワーク１６を介して映像受信装置５４０に送信するように構成されている。

これにより、映像受信装置５４０では、コンテンツ（例えば、ＣＭ）が終了して次のコンテンツ（例えば、別のＣＭや番組本体）に切り替わった後に、既に終了したコンテンツに関する付加情報（例えば、広告情報）が依然として表示部５４に表示され続ける、といった現象が発生することを防止することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜５を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１〜５で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１〜５では、映像受信装置が表示部５４を備えている構成を説明したが、本開示における映像受信装置は何らこの構成に限定されるものではない。映像受信装置は表示部を備えていなくてもかまわない。

図１４は、他の実施の形態における映像受信装置１４０の構成の一例を概略的に示すブロック図である。図１４に示す映像受信装置１４０は、主に以下の点が、実施の形態１〜５に示した映像受信装置と異なる。映像受信装置１４０は、表示部５４を備えておらず、映像出力部１４４が、外部に設置された映像表示装置１５４に、有線または無線で、映像信号を出力するように構成されている。

このような映像受信装置１４０の一例として、例えば、録画機能、放送信号受信機能、映像信号入力機能、および映像信号出力機能を備え、外部に設置された映像表示装置１５４に映像信号を送信するように構成された録画装置等を挙げることができる。そのような録画装置には、例えばハードディスクレコーダや、ＤＶＤレコーダ、ＢＤレコーダ、等がある。

なお、図１４では、図２に示した映像受信装置４０をベースにして各構成要素を示したが、実施の形態２〜５に示した各映像受信装置においても、図１４と同様の構成を適用できる。

なお、図１４に示す映像受信装置１４０は、外部に映像表示装置１５４が設置されている点を除き、各回路ブロックの動作は実施の形態１〜５に示した各映像受信装置と実質的に同じであるので、説明を省略する。また、図１４には、実施の形態に示す動作に関連する主な回路ブロックを示し、他の動作に関する機能や回路ブロック（例えば、録画機能等）は省略している。

このような構成の映像受信装置１４０においても、実施の形態１〜５に示した映像受信装置と同様の効果を得ることができる。

なお、実施の形態１〜５は、映像受信装置から映像認識装置に部分映像を送信してコンテンツ特定処理を依頼する構成を説明したが、本開示は何らこの構成に限定されない。例えば、映像受信装置は、部分映像からフィンガープリント（例えば、部分映像を構成する各画像のハッシュ値）を生成し、そのフィンガープリントを映像認識装置に送信してコンテンツ特定処理を依頼するように構成されていてもよい。その場合、映像認識装置は、そのフィンガープリントを受信し、映像認識装置があらかじめ生成して記憶部に記憶しておいたフィンガープリントと照合し、受信したフィンガープリントに対応するコンテンツを検索するように動作する。

なお、実施の形態１〜５に示した各構成要素は、それぞれを独立した専用の回路で構成してもよく、あるいは、それらの１つまたは複数の動作を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、このときのプログラムは、サーバ等からのダウンロードにより取得されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）を介して取得されてもよい。

また、実施の形態１〜５に示したサーバにおける各動作は、単数のサーバで集中処理されてもよく、複数のサーバで分散処理されてもよい。

なお、実施の形態１〜５に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は映像受信装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、外部に設置された映像送信装置から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳することが可能な映像受信装置に適用可能である。具体的には、テレビジョン受像機、ハードディスクレコーダ、ＤＶＤレコーダ、ＢＤレコーダ、等に本開示は適用可能である。

１０ 付加情報表示システム
１２ 放送局
１４ ＳＴＢ
１６ 通信ネットワーク
２０，３２０，５２０ 映像認識装置
２１，４２ ＨＴＴＰ送受信部
２２，３２２，５２２ 検索部
２３，４７ 記憶部
３０，４３０ 付加情報配信装置
４０，１４０，２４０，３４０，４４０，５４０ 映像受信装置
４１，３４１，４４１，５４１ 制御部
４３ 操作信号受信部
４４，１４４ 映像出力部
４５ 映像抽出部
４６，２４６，３４６，４４６，５４６ 付加情報表示制御部
４８ 映像入力部
４９ 受信部
５０ 映像
５１ 付加情報
５４ 表示部
６５ 入力部
６６ 取得部
１５４ 映像表示装置

Claims (17)

1. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
   映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記通信ネットワークに接続された映像認識装置に前記部分映像を送信して映像認識処理を依頼し、前記映像認識処理の結果及び付加情報の表示制御情報を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する、制御を行うように構成された制御部と、
   前記映像抽出部が前記部分映像を抽出したときのシステム時刻及び前記表示制御情報に基づき前記付加情報の表示終了時刻または表示残存時間を算出し、前記表示終了時刻または前記表示残存時間に基づき前記付加情報の前記映像信号への重畳を制御するように構成された付加情報表示制御部と、を備えた、
   映像受信装置。
2. 前記映像信号に前記付加情報を重畳した映像を表示するように構成された表示部、をさらに備え、
   前記付加情報表示制御部は、
   前記表示終了時刻または前記表示残存時間に基づき、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項１に記載の映像受信装置。
3. 前記制御部が前記映像認識装置から取得する前記表示制御情報には、
   付加情報の表示期間を示す情報と、オフセット時間を示す情報と、が含まれる、
   請求項２に記載の映像受信装置。
4. 前記表示終了時刻を記憶するように構成された記憶部、を更に備え、
   前記付加情報表示制御部は、算出された前記表示終了時刻を前記記憶部に記憶させ、前記映像抽出部が前記部分映像を抽出する度に、算出された前記表示終了時刻と、前記記憶部に記憶された前記表示終了時刻と、を比較し、いずれか時間的に早い方を前記記憶部に記憶して前記表示終了時刻を更新し、前記記憶部に記憶された前記表示終了時刻に、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項２に記載の映像受信装置。
5. 前記制御部は、
   前記通信ネットワークに接続された映像認識装置に前記部分映像を送信する際に、複数のタイムスタンプ情報を併せて送信する制御を行うように構成された、
   請求項２に記載の映像受信装置。
6. 前記制御部は、
   前記映像認識処理の結果に基づき、表示時間範囲情報を含む複数の前記付加情報を前記付加情報配信装置から取得する制御を行うように構成され、
   前記付加情報表示制御部は、
   前記表示時間範囲情報に応じて複数の前記付加情報を切り替えて前記表示部に表示する制御を行うように構成された、
   請求項２に記載の映像受信装置。
7. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
   映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記通信ネットワークに接続された映像認識装置に、前記部分映像を送信して映像認識処理を依頼するとともに、前記映像抽出部が前記部分映像を抽出したときのシステム時刻を送信し、前記映像認識処理の結果と、付加情報の表示終了時刻又は付加情報の表示残存時間と、を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する、制御を行うように構成された制御部と、
   前記映像認識装置から取得された前記表示終了時刻又は前記表示残存時間に基づき前記付加情報の前記映像信号への重畳を制御するように構成された付加情報表示制御部と、を備えた、
   映像受信装置。
8. 前記映像信号に前記付加情報を重畳した映像を表示するように構成された表示部、をさらに備え、
   前記付加情報表示制御部は、
   前記表示終了時刻又は前記表示残存時間に基づき、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項７に記載の映像受信装置。
9. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における付加情報表示方法であって、
   外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、
   前記通信ネットワークに接続された映像認識装置に、前記部分映像を送信して映像認識処理を依頼し、前記映像認識処理の結果及び付加情報の表示制御情報を前記映像認識装置から取得するステップと、
   前記映像認識処理の結果に基づく付加情報を、前記通信ネットワークに接続された付加情報配信装置から取得するステップと、
   前記部分映像を抽出したときのシステム時刻及び前記表示制御情報に基づき前記付加情報の表示終了時刻または表示残存時間を算出するステップと、
   前記表示終了時刻または前記表示残存時間に基づき前記付加情報の前記映像信号への重畳を制御するステップと、を備えた、
   付加情報表示方法。
10. 前記映像信号に前記付加情報を重畳した映像を表示部に表示するステップ、をさらに備え、
    前記表示終了時刻または前記表示残存時間に基づき、前記表示部に表示中の前記付加情報を非表示にする
    請求項９に記載の付加情報表示方法。
11. 前記表示制御情報には、付加情報の表示期間を示す情報と、オフセット時間を示す情報と、が含まれる、
    請求項１０に記載の付加情報表示方法。
12. 前記表示終了時刻を記憶するステップ、を更に有し、
    算出された前記表示終了時刻を記憶し、前記部分映像を抽出する度に、算出された前記表示終了時刻と記憶された前記表示終了時刻とを比較し、いずれか時間的に早い方を記憶して前記表示終了時刻を更新し、記憶された前記付加情報の表示終了時刻に、前記表示部に表示中の前記付加情報を非表示にする、
    請求項１０に記載の付加情報表示方法。
13. 前記通信ネットワークに接続された映像認識装置に前記部分映像を送信する際に、複数のタイムスタンプ情報を併せて送信する、
    請求項１０に記載の付加情報表示方法。
14. 前記映像認識処理の結果に基づき、表示時間範囲情報を含む複数の前記付加情報を前記付加情報配信装置から取得し、
    前記表示時間範囲情報に応じて複数の前記付加情報を切り替えて前記表示部に表示する、
    請求項１０に記載の付加情報表示方法。
15. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における付加情報表示方法であって、
    外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、
    前記通信ネットワークに接続された映像認識装置に、前記部分映像を送信して映像認識処理を依頼するとともに、前記部分映像を抽出したときのシステム時刻を送信し、前記映像認識処理の結果と、付加情報の表示終了時刻又は付加情報の表示残存時間と、を前記映像認識装置から取得するステップと、
    前記映像認識処理の結果に基づく付加情報を、前記通信ネットワークに接続された付加情報配信装置から取得するステップと、
    前記映像認識装置から取得された前記表示終了時刻又は前記表示残存時間に基づき前記付加情報の前記映像信号への重畳を制御するステップと、を備えた、
    付加情報表示方法。
16. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像を送信して映像認識処理を依頼し、前記映像認識処理の結果及び付加情報の表示制御情報を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する、制御を行うように構成された制御部と、
    前記映像抽出部が前記部分映像を抽出したときのシステム時刻及び前記表示制御情報に基づき前記付加情報の表示終了時刻または表示残存時間を算出し、前記表示終了時刻または前記表示残存時間に基づき前記付加情報の前記映像信号への重畳を制御するように構成された付加情報表示制御部と、を備え
    前記映像認識装置は、
    映像受信装置から前記通信ネットワークを介して送信される前記部分映像を受信し、前記部分映像を用いた映像認識処理を行い、前記映像認識処理の結果及び前記表示制御情報を前記通信ネットワークを介して前記映像受信装置に出力する、ように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成された、
    付加情報表示システム。
17. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像を送信して映像認識処理を依頼するとともに、前記映像抽出部が前記部分映像を抽出したときのシステム時刻を前記映像認識装置に送信し、前記映像認識処理の結果と、付加情報の表示終了時刻又は付加情報の表示残存時間と、を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する、制御を行うように構成された制御部と、
    前記映像認識装置から取得された前記表示終了時刻又は前記表示残存時間に基づき前記付加情報の前記映像信号への重畳を制御するように構成された付加情報表示制御部と、を備え
    前記映像認識装置は、
    映像受信装置から前記通信ネットワークを介して送信される前記部分映像及び前記システム時刻を受信し、受信した前記部分映像を用いた映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に出力するとともに、前記システム時刻に基づく前記表示終了時刻又は前記表示残存時間を前記通信ネットワークを介して前記映像受信装置に送信する、ように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成された、
    付加情報表示システム。

Images