JPWO2015011877A1 - 映像受信装置、付加情報表示方法および付加情報表示システム - Google Patents

Abstract

外部から入力される映像信号に関する付加情報を取得してその映像信号に適切に重畳する。そのために、通信ネットワーク（１６）を介してデータの送受信を行うように構成された映像受信装置（４０）は、入力部（６５）、映像抽出部（４５）、制御部（４１）、および付加情報表示制御部（４６）を備える。制御部は、映像抽出部が抽出した部分映像の映像認識処理を映像認識装置（２０）に依頼し、その映像認識処理の結果に基づく付加情報を付加情報配信装置から取得する制御を行う。付加情報表示制御部は、映像信号の画面構成に変更が生じたか否かを検出し、その検出結果に基づき、付加情報の映像信号への重畳を制御する。

Description

本開示は、外部から入力される映像信号に関する付加情報を取得して映像信号に重畳する映像受信装置に関する。

特許文献１は、データ処理システムを開示する。このシステムでは、クライアント装置は、映像認識装置であるサーバ装置に、ネットワークを通して映像データを送信し、映像認識処理を依頼する。サーバ装置は、受信した映像データにもとづき映像認識を行い、映像認識の結果を、ネットワークを通してクライアント装置に送信する。

特開平１０−２１４２５８号公報

本開示は、外部から入力される映像信号に関する付加情報を取得し、取得した付加情報の映像信号への重畳を制御するのに有効な映像受信装置、付加情報表示方法、および付加情報表示システムを提供する。

本開示の映像受信装置は、通信ネットワークを介してデータの送受信を行えるように構成されており、入力部、映像抽出部、制御部、および付加情報表示制御部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部は、通信ネットワークに接続された映像認識装置に、部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置から取得し、その映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得する制御を行うように構成されている。付加情報表示制御部は、映像信号の画面構成に変更が生じたか否かを検出し、その検出の結果に基づき、付加情報の映像信号への重畳を制御するように構成されている。

本開示の付加情報表示方法は、通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における付加情報表示方法であって、外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、通信ネットワークに接続された映像認識装置に、部分映像を送信して映像認識処理を依頼し、映像認識処理の結果を映像認識装置から取得するステップと、映像認識処理の結果に基づく付加情報を、通信ネットワークに接続された付加情報配信装置から取得するステップと、映像信号の画面構成に変更が生じたか否かを検出するステップと、その検出の結果に基づき、付加情報の映像信号への重畳を制御するステップと、を備える。

本開示の付加情報表示システムは、通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備える。映像受信装置は、入力部、映像抽出部、制御部、および付加情報表示制御部を備える。入力部は、外部に設置された映像送信装置から出力される映像信号を入力するように構成されている。映像抽出部は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部は、映像認識装置に通信ネットワークを介して部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置から通信ネットワークを介して取得し、付加情報配信装置からその映像認識処理の結果に基づく付加情報を通信ネットワークを介して取得する制御を行うように構成されている。付加情報表示制御部は、映像信号の画面構成に変更が生じたか否かを検出し、その検出の結果に基づき、付加情報の映像信号への重畳を制御するように構成されている。映像認識装置は、通信ネットワークを介して受信した部分映像に関する映像認識処理を行い、その映像認識処理の結果を通信ネットワークを介して映像受信装置に送信するように構成されている。付加情報配信装置は、通信ネットワークを介して受信した映像認識処理の結果に対応する付加情報を通信ネットワークを介して映像受信装置に送信するように構成されている。

図１は、実施の形態１における付加情報表示システムの構成の一例を概略的に示す図である。 図２は、実施の形態１における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。 図３Ａは、実施の形態１における映像受信装置の表示部に表示する映像の一例を概略的に示す図である。 図３Ｂは、実施の形態１における映像受信装置の表示部に表示する映像の他の一例を概略的に示す図である。 図３Ｃは、実施の形態１における映像受信装置の表示部に表示する映像のさらに他の一例を概略的に示す図である。 図３Ｄは、実施の形態１における映像受信装置の表示部に表示する映像のさらに他の一例を概略的に示す図である。 図４は、実施の形態１における映像受信装置で行う付加情報表示制御の動作を概略的に示すフローチャートである。 図５は、実施の形態１における映像受信装置で行う画面構成変更検出の動作を概略的に示すフローチャートである。 図６Ａは、実施の形態１における映像受信装置で行うテンプレートマッチングの一例を概略的に示す図である。 図６Ｂは、実施の形態１における映像受信装置で行うテンプレートマッチングの他の一例を概略的に示す図である。 図６Ｃは、実施の形態１における映像受信装置で行うテンプレートマッチングに用いるテンプレート画像群の一例を概略的に示す図である。 図７は、実施の形態１における映像受信装置で行うＵＩ表示検出の動作を概略的に示すフローチャートである。 図８Ａは、実施の形態１における映像受信装置の表示部に表示する映像の一例を概略的に示す図である。 図８Ｂは、実施の形態１における映像受信装置で行う画像比較に用いるテンプレート映像の一例を概略的に示す図である。 図８Ｃは、実施の形態１における映像受信装置において局所コンテンツ検出用に表示映像に設定した複数の領域の一例を概略的に示す図である。 図８Ｄは、実施の形態１における映像受信装置において局所コンテンツ検出用にテンプレート映像に設定した複数の領域の一例を概略的に示す図である。 図８Ｅは、実施の形態１における映像受信装置において領域毎に算出した類似度の一例を概略的に示す図である。 図９は、実施の形態１における映像受信装置で行う局所コンテンツ検出の動作を概略的に示すフローチャートである。 図１０は、実施の形態１における映像受信装置で行う映像切替検出の動作を概略的に示すフローチャートである。 図１１Ａは、実施の形態１における映像受信装置の表示部に表示する映像の他の一例を概略的に示す図である。 図１１Ｂは、実施の形態１における映像受信装置の表示部に表示する映像のさらに他の一例を概略的に示す図である。 図１２は、他の実施の形態における映像認識装置および映像受信装置の構成の一例を概略的に示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図１１を用いて、実施の形態１を説明する。

［１−１．構成］
［１−１−１．システム構成の概略］
図１は、実施の形態１における付加情報表示システム１０の構成の一例を概略的に示す図である。付加情報表示システム１０は、放送局１２、映像送信装置であるＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）１４、映像認識装置２０、付加情報配信装置３０、および映像受信装置４０を備える。付加情報表示システム１０は、映像認識装置２０が有する映像認識技術を利用して、映像受信装置４０が受信した映像がどのコンテンツのものかを特定し、そのコンテンツに関連する付加情報を、付加情報配信装置３０から取得して映像受信装置４０に表示する、ことができるように構成された通信システムである。

映像受信装置４０と、映像認識装置２０および付加情報配信装置３０とは、通信ネットワーク１６を介して互いに接続されている。

通信ネットワーク１６は、有線、または無線、あるいはその双方が混在して構成されている。通信ネットワーク１６は、例えばインターネットであるが、イントラネットや商業回線、あるいはその他の通信回線であってもよく、それらが混在していてもよい。

映像受信装置４０とＳＴＢ１４とは、通信インターフェースを介して互いに接続されている。通信インターフェースは、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｓｅ）であるが、ビデオケーブルであってもよく、あるいはＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の無線通信であってもよい。

放送局１２は、放送信号を送信（放送）するように構成された送信装置である。放送局１２は、番組本体とコマーシャルメッセージ（ＣＭ）とを含むテレビ番組を映像信号にして放送信号に重畳し放送する。番組本体とＣＭとは時間の経過に伴って互いに切り替わる。以下、番組本体やＣＭを「コンテンツ」と記す。すなわち、放送局１２は、時間の経過に伴って切り替わるコンテンツを放送する。なお、送信装置は何ら放送局１２に限定されるものではなく、時間の経過に伴って切り替わるコンテンツを送信または放送するものであればよい。

ＳＴＢ１４は、放送局１２が放送する放送信号を受信して映像信号を取り出すように構成された受信機（チューナ）である。ＳＴＢ１４は、例えば放送局１２がデジタルの映像信号を放送する場合、受信した映像信号をデコードする機能を備えていてもよい。ＳＴＢ１４は、放送局１２が放送する複数のチャンネルの中から、ユーザ（Ｕｓｅｒ）の指示にもとづき選局したチャンネルを受信し、そのチャンネルの映像信号を通信インターフェース（例えば、ＨＤＭＩ（登録商標））を介して、映像受信装置４０に出力する。なお、映像送信装置は何らＳＴＢ１４に限定されるものではなく、例えば録画機能と放送信号受信機能と映像信号出力機能とをあわせ持つ録画装置、等であってもよい。

映像受信装置４０は、外部から入力される映像信号にもとづく映像を表示部５４に表示するように構成された映像受信デバイスであり、例えばテレビジョン受像機である。映像受信装置４０は、通信ネットワーク１６に接続されており、通信ネットワーク１６を介して映像認識装置２０および付加情報配信装置３０とデータの送受信ができる。

本実施の形態における映像受信装置４０は、以下のことができるように構成されている。映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から通信インターフェースを介して入力される映像信号に関する映像認識処理を映像認識装置２０を利用して行い、その映像信号が表すコンテンツを特定する。そして、そのコンテンツに関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報をその映像信号に重畳して表示部５４に表示する。

具体的には、映像受信装置４０は、入力される映像信号から一部を周期的に切り出すことで部分映像を周期的に抽出し、その部分映像と映像認識処理の要求（以下、「映像認識要求」とも記す）を、通信ネットワーク１６を介して映像認識装置２０に送信する。そして、映像受信装置４０は、その部分映像に対する映像認識処理の結果を映像認識装置２０から通信ネットワーク１６を介して取得し、取得した映像認識処理の結果に関連する付加情報を、付加情報配信装置３０から通信ネットワーク１６を介して取得する。そして、取得した付加情報にもとづく画像（図１には、「付加情報５１」として示す）を、表示部５４に表示中の映像に重畳して表示する。これらの詳細は後述する。

なお、本実施の形態では、付加情報を「コンテンツに関連する広告情報」とする例を説明するが、付加情報は何ら広告情報に限定されるものではなく、例えば観光情報、歴史情報、人物プロフィール情報、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、公共公報情報、放送中の番組に関する情報、ツイッター（登録商標）等のソーシャル情報、等であってもよい。

映像認識装置２０は、通信ネットワーク１６に接続されたサーバ装置であり、映像認識処理にもとづくコンテンツ特定処理を行うＷｅｂサイトである。コンテンツ特定処理とは、受信した部分映像に対して映像認識処理を行い、その映像認識処理の結果にもとづきその部分映像が表すコンテンツを特定する処理のことである。そのために、映像認識装置２０は、放送局１２が放送するコンテンツに対する解析と、その解析の結果を利用した映像認識処理を行う。

映像認識装置２０は、放送局１２から放送される実質的に全てのコンテンツを取得する。そして、取得したコンテンツに対する解析を行い、コンテンツの時間、容量、放送形式、内容、ジャンル、登場人物、タイムテーブル、等を調べ、解析情報を作成する。また、映像認識装置２０は、放送局１２から取得したコンテンツの映像信号からフィンガープリントを作成する。このフィンガープリントは、映像を認識するための情報であり、例えば、動画を構成する各画像のハッシュ値である。映像認識装置２０は、放送局から放送される放送信号を受信してコンテンツを取得してもよく、あるいは、専用の映像回線等を介して放送局１２から送信される映像信号を受信してコンテンツを取得してもよい。また、この解析は、例えば、自動で行われてもよく、作業者が手作業で行ってもよい。各コンテンツの解析結果である解析情報とフィンガープリントは、各コンテンツの映像（例えば、複数フレームの映像信号）毎に、映像認識装置２０の記憶部２３に記憶される。

映像認識装置２０は、映像受信装置４０から送信されてくる部分映像を伴った映像認識要求を通信ネットワーク１６を介して受信すると、その部分映像から生成したフィンガープリントを、映像認識装置２０があらかじめ生成し記憶部２３に記憶しておいたフィンガープリントと照合してその部分映像に対する映像認識処理を行い、その部分映像に対応するコンテンツを特定する。こうして、映像認識装置２０は、映像受信装置４０から送信されてくる部分映像が何のコンテンツの映像なのかを判断してそのコンテンツを特定するコンテンツ特定処理を行う。そして、特定したコンテンツに関する解析結果（解析情報）を記憶部２３から読み出し、読み出した情報を映像認識処理の結果として映像受信装置４０に通信ネットワーク１６を介して返信する。

このような手法による映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を「ＡＣＲ（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」とも呼称する。

付加情報配信装置３０は、通信ネットワーク１６に接続されたサーバ装置であり、様々な商品の広告情報を保持して配信するＷｅｂサイト（広告配信サイト）である。付加情報配信装置３０は、映像受信装置４０から送信されてくる映像認識処理の結果（映像受信装置４０が映像認識装置２０から取得した映像認識処理の結果にもとづく解析情報）を通信ネットワーク１６を介して受信すると、その映像認識処理の結果（解析情報）に関連する付加情報を通信ネットワーク１６を介して映像受信装置４０に送信する。この付加情報は、例えば、映像認識処理により特定されたコンテンツに関連する広告情報である。

［１−１−２．映像認識装置および映像受信装置の構成］
図２は、実施の形態１における映像認識装置２０および映像受信装置４０の構成の一例を概略的に示すブロック図である。

なお、図２には、本実施の形態に示す動作に関連する主な回路ブロックを示しており、他の動作に関する機能や回路ブロックは省略している。これは、本実施の形態で説明する動作を分かりやすく示すためである。また、図２に示す各回路ブロックは、それぞれが独立した回路で構成されていてもよく、あるいは、図２に示す回路ブロックの１つまたは複数を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。

映像認識装置２０は、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部２１、検索部２２、および記憶部２３、を備えるサーバ装置である。映像認識装置２０は、映像受信装置４０に、通信ネットワーク１６を介して映像認識処理にもとづくコンテンツ特定処理のサービスを提供するように構成されている。

ＨＴＴＰ送受信部２１は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部２１は、通信ネットワーク１６を介して映像受信装置４０とデータの送受信を行うことができるように構成されている。

記憶部２３は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で構成された記憶装置である。記憶部２３は、放送局１２から放送されるコンテンツのフィンガープリントと、そのコンテンツに対する解析結果の解析情報とを、そのコンテンツに対応付けて記憶するように構成されている。このフィンガープリントは、例えば、動画を構成する各画像のハッシュ値、等である。

記憶部２３は、例えば、放送局１２から放送される全チャンネル（例えば、３００チャンネル）について、放送からわずかな時間遅れ（例えば、１０秒）で、コンテンツ（例えば、番組本体やＣＭ）毎に、フィンガープリントと解析結果（解析情報）を対応付けて記憶する。この解析結果（解析情報）には、例えば、番組のタイトル、ＣＭのタイトル、番組のあらすじ、ＣＭのあらすじ、登場人物、映像に関連する場所、ＵＲＬ等が含まれていてもよい。

検索部２２は、映像受信装置４０から送信されてくる部分映像を伴う映像認識要求をＨＴＴＰ送受信部２１を介して受信すると、その部分映像を用いた映像認識処理にもとづくコンテンツ特定処理を行い、その結果（解析情報）をＨＴＴＰ送受信部２１を介して映像受信装置４０に返信するように構成されている。本実施の形態では、部分映像を用いた映像認識処理にもとづくコンテンツ特定処理の結果を、単に「映像認識処理の結果」とも記す。

具体的には、検索部２２は、映像受信装置４０から送信されてくる部分映像を伴う映像認識要求を、通信ネットワーク１６およびＨＴＴＰ送受信部２１を介して受信する。次に、受信した部分映像のフィンガープリント（例えば、部分映像を構成する各画像のハッシュ値）を生成し、生成したフィンガープリントを、記憶部２３に記憶されているフィンガープリントと照合し、受信した部分映像に対応するフィンガープリントを検索する（映像認識処理）。そして、その検索の結果により特定されたフィンガープリントに対応するコンテンツを、受信した部分映像に対応するコンテンツとする（コンテンツ特定処理）。このようにして、検索部２２は、受信した部分映像に対応するコンテンツを特定する。そして、検索部２２は、特定したコンテンツに対応付けられた解析結果（解析情報）を記憶部２３から読み出し、読み出した解析結果を、映像認識処理の結果として、ＨＴＴＰ送受信部２１および通信ネットワーク１６を介して映像受信装置４０に返信する。

映像受信装置４０は、制御部４１、ＨＴＴＰ送受信部４２、操作信号受信部４３、映像出力部４４、表示部５４、映像抽出部４５、付加情報表示制御部４６、記憶部４７、取得部６６および映像入力部４８を備える。映像受信装置４０は、映像認識装置２０を利用した映像認識処理にもとづくコンテンツ特定処理を行い、その映像認識処理の結果としての解析情報を映像認識装置２０から取得してその解析情報に関連する付加情報（例えば、広告情報）を付加情報配信装置３０から取得し、受信した映像信号による映像（コンテンツ）に、その付加情報（例えば、その映像に関連する広告情報）による画像を重畳して表示部５４に表示する、ように構成されている。

ＨＴＴＰ送受信部４２は、通信用のインターフェースであり、例えば、イーサネット（登録商標）の規格に適合する通信アダプタである。ＨＴＴＰ送受信部４２は、通信ネットワーク１６を介して映像認識装置２０とデータの送受信を行うことができるように構成されている。

操作信号受信部４３は、ユーザ操作を受け付けたリモートコントロール装置（以下、「リモコン」と略記する）等の操作部（図示せず）が発信する操作信号（映像受信装置４０に対する操作信号）を受信するように構成されている。操作信号受信部４３は、ジャイロセンサを有するリモコンが、そのリモコンに生じる物理的な変動にもとづき発信する信号を受信するように構成されていてもよい。

映像入力部４８は、受信回路およびデコーダであり、放送局が送信する放送信号を受信するように構成された受信部４９と、映像送信装置（例えば、ＳＴＢ１４）が出力する映像信号を入力するように構成された入力部６５とを有する。映像入力部４８が受け取る映像信号には、時間の経過に伴って切り替わるコンテンツ（番組本体とＣＭ、等）が含まれる。

受信部４９は、放送局１２が送信する放送信号をアンテナ（図示せず）等を介して受信するように構成されている。

入力部６５は、外部に設置された映像送信装置から出力されてくる映像信号を入力するように構成されたインターフェースである。入力部６５は、例えばＨＤＭＩ（登録商標）の規格に適合するように構成されており、映像送信装置からＨＤＭＩ（登録商標）を介して送信されてくる映像信号を受け取ることができる。この映像送信装置は、例えばＳＴＢ１４であるが、映像記録再生装置等であってもよい。また、入力部は、ビデオケーブルを介して送信されてくる映像信号や、無線通信で送信されてくる映像信号を受け取るように構成されていてもよい。

映像出力部４４は、表示部５４を制御する機能を有し、映像入力部４８から入力される映像信号にもとづき表示部５４を制御して、その映像信号にもとづく映像を表示部５４に表示するように構成されている。映像出力部４４は、制御部４１から付加情報が入力されたときは、表示部５４に表示中の映像に、付加情報にもとづく画像を重畳する。

表示部５４は、映像信号にもとづく映像を表示するように構成されたディスプレイであり、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。しかし、本実施の形態は何らこの構成に限定されるものではなく、表示部５４は、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）やＯＬＥＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、等であってもよい。

付加情報表示制御部４６は、付加情報の表示制御を行うように構成されている。具体的には、付加情報表示制御部４６は、付加情報を表示部５４に表示するか否かを判断し、その判断にもとづき、表示部５４に付加情報を表示する指示、表示部５４に表示中の付加情報を継続表示する指示、表示部５４に表示中の付加情報を非表示にする指示、等を制御部４１に出力するように構成されている。

付加情報表示制御部４６は、映像抽出部４５で抽出された部分映像にもとづく映像認識処理（映像認識処理にもとづくコンテンツ特定処理）を、映像認識装置２０を利用して行う。また、映像抽出部４５で抽出された部分映像を分析する。これらの詳細は後述する。そして、映像認識装置２０から取得した映像認識処理の結果にもとづき付加情報配信装置３０から取得した付加情報を、表示部５４に表示するか否か（映像信号に重畳するか否か）、または表示部５４に表示中の付加情報を継続表示するか非表示にするか、を、その分析の結果にもとづき判断し、その判断にもとづく指示を制御部４１に出力する。なお、付加情報表示制御部４６は、映像抽出部４５で抽出された部分映像からフィンガープリント（例えば、部分映像を構成する各画像のハッシュ値）を生成し、生成したフィンガープリントにもとづく映像認識処理を、映像認識装置２０を利用して行うように構成されてもよい。

映像抽出部４５は、映像入力部４８から入力される映像信号から部分映像を抽出するように構成されている。映像抽出部４５は、映像信号から、あらかじめ定められた周期で、映像信号の一部である部分映像を所定時間分抽出するように構成されている。例えば、あらかじめ定められた周期が３秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、３秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を３秒毎に隙間なく連続して抽出する動作を繰り返す。また、例えば、あらかじめ定められた周期が１５秒であり所定時間が３秒間であれば、映像抽出部４５は、映像信号から、１５秒毎に３秒間の部分映像を抽出する動作を繰り返す。すなわち、映像信号から３秒間の部分映像を１２秒の間隔をおいて抽出する動作を繰り返す。なお、映像信号から抽出する部分映像は秒単位での抽出に限定されるものではなく、例えば、映像フレームレートにおいて予め定められたフレーム数で部分映像を抽出してもよい。

記憶部４７は、例えば不揮発性メモリ等で構成された記憶装置である。記憶部４７は、映像入力部４８で受信した電子番組表（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ：ＥＰＧ）等の番組メタ情報、ＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得した付加情報および付加情報の表示制御情報、映像信号を映像受信装置４０に送信するＳＴＢ１４の機種情報、ＳＴＢ１４を含む複数の映像送信装置のテンプレート画像群、等を記憶する。付加情報の表示制御情報とは、付加情報の表示を制御するための情報であり、例えば付加情報の表示期間を示す情報、等が含まれる。

制御部４１は、映像受信装置４０が備える各回路ブロックを制御するように構成されている。制御部４１は、例えば、プログラム（アプリケーションプログラム等）を記憶しているＲＯＭ等の不揮発性メモリ、そのプログラムを実行するＣＰＵ、および、ＣＰＵがプログラムを実行するときに一時的にデータやパラメータ等を記憶するＲＡＭ等の揮発性メモリ、等から構成される。

制御部４１が行う制御には、例えば次のようなものがある。制御部４１は、映像抽出部４５が映像信号から部分映像を所定の周期で抽出するように、映像抽出部４５を制御する。そして、映像抽出部４５が部分映像を抽出する度に、抽出された部分映像を、映像認識要求とともに、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して映像認識装置２０に送信し、その部分映像に対する映像認識処理を映像認識装置２０に依頼するように、各回路ブロックを制御する。そして、その部分映像に対する映像認識処理の結果を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して映像認識装置２０から取得し、その映像認識処理の結果にもとづく付加情報を通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して付加情報配信装置３０から取得するように、各回路ブロックを制御する。そして、取得した付加情報を記憶部４７に記憶するとともに映像出力部４４に出力し、表示部５４に表示中の映像に付加情報を重畳して表示するように、各回路ブロックを制御する。このとき、制御部４１は、付加情報表示制御部４６が「付加情報を非表示にする」と判断すれば、表示部５４に表示中の付加情報を非表示にするように、各回路ブロックを制御する。

なお、映像受信装置４０が映像認識装置２０に映像認識処理を依頼するときには、映像受信装置４０が映像認識処理の依頼を表す信号（データ）を作成し、その信号を映像認識要求として映像認識装置２０に送信するように付加情報表示システム１０を構成してもよいが、例えば、そのような信号（データ）の送信は行わず、映像受信装置４０が部分映像を映像認識装置２０に送信することで映像認識装置２０に映像認識処理を依頼したことになるように映像受信装置４０と映像認識装置２０との間であらかじめ取り決めをしておいてもよい。

取得部６６は、テンプレート映像を、通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して映像認識装置２０から取得する。テンプレート映像は、映像認識装置２０が放送局から取得したコンテンツの映像信号であり、制御部４１が映像認識装置２０から取得する映像認識処理の結果に含まれている。テンプレート映像は、後述する局所コンテンツ検出に用いられる。これらの詳細は後述する。

次に、付加情報表示制御部４６が行う付加情報の表示制御の概要について、図３を用いて説明する。

図３Ａは、実施の形態１における映像受信装置４０の表示部５４に表示する映像の一例を概略的に示す図である。図３Ｂは、実施の形態１における映像受信装置４０の表示部５４に表示する映像の他の一例を概略的に示す図である。図３Ｃは、実施の形態１における映像受信装置４０の表示部５４に表示する映像のさらに他の一例を概略的に示す図である。図３Ｄは、実施の形態１における映像受信装置４０の表示部５４に表示する映像のさらに他の一例を概略的に示す図である。

図３Ａには、ＳＴＢ１４から入力部６５に入力された映像信号にもとづく映像５０がそのまま表示部５４に表示されている例を示す。なお、図３Ａには、映像５０の一例として「ＡＢＣ放送番組」が表示されている例を示す。

図３Ｂには、映像５０に、映像認識処理の結果にもとづき付加情報配信装置３０から取得した付加情報５１が重畳された映像が、表示部５４に表示されている例を示す。なお、図３Ｂに示す付加情報５１は、付加情報の一例として挙げているものに過ぎず、付加情報の表示位置や表示サイズ等が、何ら図３Ｂに示す付加情報５１の表示位置や表示サイズ等に限定されるものではない。

図３Ｃには、ＳＴＢ１４で音量調整やメニュー表示等のユーザ操作がなされ、この操作によるＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像５２が映像５０に重畳されている例を示す。以下、この例を「Ｃａｓｅ１」とする。

図３Ｄには、ユーザ操作によりＳＴＢ１４がメニュー表示モードになり、複数の選択肢を表示部５４に表示するために、各選択肢に対応した複数のアイコン５５と、映像５０を縮小した縮小映像５３とが同時に表示部５４に表示されている例を示す。以下、この例を「Ｃａｓｅ２」または「コンテンツ縮小表示」とする。

付加情報表示制御部４６は、図３Ｃに示すＣａｓｅ１や、図３Ｄに示すＣａｓｅ２では、「表示部５４に表示中の付加情報５１を非表示にする」と判断し、制御部４１に付加情報５１の非表示を指示する。付加情報５１の表示制御の詳細は、後述する。

［１−２．動作］
以上のように構成された映像受信装置４０について、その動作を図４〜図１１を用いて説明する。

上述したように、映像受信装置４０は、例えばＳＴＢ１４等の映像送信装置から出力される映像信号が入力されると、その映像信号に対する映像認識処理を映像認識装置２０を利用して行う。そして、その映像認識処理の結果に関連する付加情報５１（例えば、広告情報）を付加情報配信装置３０から取得し、取得した付加情報５１を映像信号に重畳して表示部５４に表示する。

映像受信装置４０は、取得した付加情報５１（例えば、広告情報）を、その付加情報５１とともに取得した広告表示制御情報に含まれる広告表示期間に応じて表示または非表示にする。この広告表示制御情報とは、上述した付加情報の表示制御情報の一種である。ただし、映像受信装置４０は、表示部５４に表示中の映像に画面構成の変更が生じたときは、広告表示期間終了前であっても表示中の付加情報５１（例えば、広告情報）を非表示にする。なお、画面構成とは、表示部５４に表示されている映像の状態（表示部５４の画面に映る映像の構成）のことである。本実施の形態では、コンテンツを表示している映像からコンテンツ以外の情報をコンテンツに重畳して表示する映像に変化したり、コンテンツを表示している映像から別の映像に変化したりすることを「画面構成の変更」とする。

以下、表示部５４に表示中の広告情報を、広告表示期間内に非表示にする動作を説明する。

［１−２−１．付加情報表示制御の動作］
図４は、実施の形態１における映像受信装置４０で行う付加情報表示制御の動作を概略的に示すフローチャートである。

映像受信装置４０の映像抽出部４５は、ＳＴＢ１４から出力され入力部６５に入力される映像信号から部分映像を抽出する（ステップＳ１０）。

制御部４１は、映像抽出部４５が抽出した部分映像を、映像認識要求とともに、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して映像認識装置２０へ送信するように各回路ブロックを制御する。そして、その返信である映像認識処理の結果（解析情報）を、映像認識装置２０から、通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して受信するように各回路ブロックを制御する。これにより、制御部４１は、ＳＴＢ１４から入力部６５に入力された映像信号が表すコンテンツが何であるかを認識する（ステップＳ１１）。

制御部４１は、ステップＳ１１で判明したコンテンツを示す情報を、ＨＴＴＰ送受信部４２および通信ネットワーク１６を介して付加情報配信装置３０へ送信するように各回路ブロックを制御する。そして、そのコンテンツに関連する広告情報および広告表示制御情報を、付加情報配信装置３０から、通信ネットワーク１６およびＨＴＴＰ送受信部４２を介して取得するように各回路ブロックを制御する（ステップＳ１２）。このとき、制御部４１は、そのコンテンツに関連するＵＲＬを指定して付加情報配信装置３０にアクセスすることで、そのコンテンツに関連する広告情報および広告表示制御情報を付加情報配信装置３０から取得するように各回路ブロックを制御してもよい。例えば、映像認識装置２０から取得する解析情報にＵＲＬが含まれていれば、制御部４１は、そのＵＲＬを指定して付加情報配信装置３０にアクセスして広告情報および広告表示制御情報を取得するように各回路ブロックを制御してもよい。

次に、制御部４１は、ステップＳ１２で取得した広告情報を記憶部４７に記憶するように各回路ブロックを制御する。付加情報表示制御部４６は、その広告情報を表示部５４に表示するか否かを、広告表示制御情報に含まれる広告表示期間にもとづき判断する（ステップＳ１３）。

広告表示期間の終了等により、広告情報を表示しないとの判断がステップＳ１３でなされたとき（Ｎｏ）は、付加情報表示制御部４６は、制御部４１に対して広告情報の非表示を指示する。その指示により、制御部４１は、表示部５４に広告情報を表示中であればその広告情報を非表示にし、また、表示部５４に広告情報を表示していなければその状態を継続するように、各回路ブロックを制御する。そして、ステップＳ１０に戻り、一連の動作を繰り返す。

広告表示期間内である等の理由により、広告情報を表示するとの判断がステップＳ１３でなされたとき（Ｙｅｓ）は、付加情報表示制御部４６は、制御部４１に対して広告情報の表示を指示する。その指示により、制御部４１は、表示部５４に広告情報を表示中であればその表示を継続するように各回路ブロックを制御する。また、表示部５４に広告情報を表示していなければ、制御部４１は、取得した広告情報を映像出力部４４に出力し、映像出力部４４は、制御部４１から入力された広告情報を、入力部６５から入力された映像信号に重畳して表示部５４に表示するように各回路ブロックを制御する（ステップＳ１４）。

次に、付加情報表示制御部４６は、画面構成変更検出を行う（ステップＳ１５）。画面構成変更検出とは、映像信号を出力しているＳＴＢ１４で、ＯＳＤ画像５２の表示（Ｃａｓｅ１）が行われているか否か、および、コンテンツ縮小表示（Ｃａｓｅ２）が行われているか否か、を検出することである。本実施の形態では、通常の映像を表示している状態（例えば、図３Ｂ）からＣａｓｅ１（例えば、図３Ｃに示す映像）やＣａｓｅ２（例えば、図３Ｄに示す映像）等に移行することが「画面構成の変更」である。画面構成変更検出の詳細は後述する。

そして、画面構成の変更が検出されたか否かの判断が付加情報表示制御部４６でなされる（ステップＳ１６）。

ステップＳ１６で「画面構成の変更が検出された」と判断された（Ｙｅｓ）ときは、付加情報表示制御部４６は、制御部４１に対して広告情報の非表示を指示する。制御部４１は、付加情報表示制御部４６から広告情報の非表示を指示されると、表示部５４に表示中の広告情報を非表示にするために、映像出力部４４への広告情報の出力を停止する（ステップＳ１７）。

ステップＳ１６で「画面構成の変更は検出されなかった」と判断された（Ｎｏ）ときは、広告情報の表示を継続し、広告表示制御情報に含まれる広告表示期間が終了するまで、ステップＳ１０からステップＳ１６までの一連の動作を繰り返す。そして、広告表示期間が終了すると、付加情報表示制御部４６は、制御部４１に対して広告情報の非表示を指示する。

映像受信装置４０は、これら一連の動作を繰り返す。

次に、ステップＳ１５の画面構成変更検出について説明する。

［１−２−２．画面構成変更検出の動作］
図５は、実施の形態１における映像受信装置４０で行う画面構成変更検出の動作を概略的に示すフローチャートである。

付加情報表示制御部４６は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）表示検出を行う（ステップＳ２０）。ＵＩ表示検出とは、映像信号の画面構成の状態を判別し、ＯＳＤ画像５２の表示や、コンテンツ縮小表示の発生を検出することである。

ＵＩ表示検出の概略を図６を用いて説明する。

図６Ａは、実施の形態１における映像受信装置４０で行うテンプレートマッチングの一例を概略的に示す図である。図６Ｂは、実施の形態１における映像受信装置４０で行うテンプレートマッチングの他の一例を概略的に示す図である。図６Ｃは、実施の形態１における映像受信装置４０で行うテンプレートマッチングに用いるテンプレート画像群６０の一例を概略的に示す図である。なお、図６Ａ、図６Ｂに示す探索領域６１を示す枠線は、説明のために示しているに過ぎず、これらの枠線が実際に表示部５４に表示されるわけではない。

図６Ｃに示すように、テンプレート画像群６０には、ＯＳＤ画像群とアイコン画像群とが含まれる。ＯＳＤ画像のデザインはＳＴＢ１４の機種毎に異なる。ＯＳＤ画像群は、これら複数の機種のＯＳＤ画像で構成され、各ＯＳＤ画像には、そのＯＳＤ画像を発生する機種の情報が紐付けされる。また、ＳＴＢ１４はデザインが異なる複数のアイコンを表示する。アイコン画像群はこれら複数のアイコンの画像で構成される。

付加情報表示制御部４６は、ＵＩ表示検出を行う際、図６Ａ、図６Ｂに示すように、映像信号にもとづく映像５０に対して探索領域６１を設定する。探索領域６１は、例えば映像５０の１／６のサイズに設定されている。なお、探索領域６１は何らこのサイズに限定されるものではなく、映像５０の１／８、１／９、１／１６等、テンプレートマッチングに適したサイズに設定すればよい。

なお、図６Ａには、図３Ｃに示した映像に対してテンプレートマッチングを行う例を示し、図６Ｂには、図３Ｄに示した映像に対してテンプレートマッチングを行う例を示す。

そして、付加情報表示制御部４６は、探索領域６１を徐々に移動させながら（例えば、図６Ａ、図６Ｂに矢印で示す方向に移動させながら）、テンプレート画像群６０と探索領域６１とのテンプレートマッチングを行う。例えば、図６Ａに示す例では、このテンプレートマッチングによりＯＳＤ画像５２を検出し、これにより、ＳＴＢ１４が出力する映像信号がＣａｓｅ１の状態にあることを検出する。図６Ｂに示す例では、このテンプレートマッチングによりアイコン５５を検出し、これによりＳＴＢ１４が出力する映像信号がＣａｓｅ２のコンテンツ縮小表示状態にあることを検出する。これらの具体的な処理手順については、後述する。

以下、ＯＳＤ画像５２やアイコン５５等のユーザインターフェースに使用される画像を「ＵＩ画像」と記す。また、ＳＴＢ１４から出力される映像信号にＵＩ画像が含まれている状態を「ＵＩ表示」と記す。

そして、ステップＳ２０のＵＩ表示検出の結果にもとづきＵＩ表示の有無が付加情報表示制御部４６で判断される（ステップＳ２１）。

ステップＳ２１で「ＵＩ表示あり」と判断された（Ｙｅｓ）ときは、付加情報表示制御部４６は、「画面構成の変更を検出した」と判断する（ステップＳ２４）。そして、図４に示したステップＳ１６へ移行する。

ステップＳ２１で「ＵＩ表示無し」と判断された（Ｎｏ）ときは、付加情報表示制御部４６は、映像切替検出を行う（ステップＳ２２）。映像切替検出については、後述する。

そして、ステップＳ２２の映像切替検出の結果にもとづき映像切替えの有無が付加情報表示制御部４６で判断される（ステップＳ２３）。

ステップＳ２３において「映像切替えあり」と判断されたとき（Ｙｅｓ）は、付加情報表示制御部４６は、「画面構成の変更を検出した」と判断する（ステップＳ２４）。そして、図４に示したステップＳ１６へ移行する。

ステップＳ２３において「映像切替え無し」と判断されたとき（Ｎｏ）は、付加情報表示制御部４６は、「画面構成の変更を検出しなかった」と判断する。そして、図４に示したステップＳ１６へ移行する。

次に、ステップＳ２０のＵＩ表示検出について説明する。

［１−２−３．ＵＩ表示検出の動作］
図７は、実施の形態１における映像受信装置４０で行うＵＩ表示検出の動作を概略的に示すフローチャートである。

付加情報表示制御部４６は、映像送信装置（例えば、ＳＴＢ１４）の機種情報、およびその機種（ＳＴＢ１４の機種）に対応するテンプレート画像群、が記憶部４７に記憶されているか否かを判断する（ステップＳ３０）。

ステップＳ３０で、ＳＴＢ１４の機種情報およびその機種に対応するテンプレート画像群が記憶部４７に記憶されており、これらの情報に基づいてＳＴＢ１４の機種を特定できる、と判断された（Ｙｅｓ）ときは、付加情報表示制御部４６は、その機種に対応するテンプレート画像群６０を記憶部４７から読み出す（ステップＳ３１）。

そして、付加情報表示制御部４６は、表示部５４に表示中の画像に関して、読み出したテンプレート画像群６０と探索領域６１とのテンプレートマッチングを行う（ステップＳ３３）。

テンプレートマッチングとは、探索の対象となる画像内でテンプレート画像を探索することである。テンプレートマッチングは、例えば次のようにして行う。まず、探索の対象となる画像から、探索窓と呼ばれる領域（探索領域６１）を切り出す。そして、探索領域６１とテンプレート画像との類似度を算出する。このとき、探索領域６１を少しずつずらしたり、探索領域６１のサイズを変えたりしながら、類似度の算出を行う。類似度の算出は、例えばヒストグラムをそれぞれ算出して互いに比較する、映像信号をそれぞれ周波数変換して互いに比較する、等、一般的に用いられている手法でかまわない。また、ここでは互いの画像の類似性が高いほど類似度が高くなるように類似度を算出するものとし、算出した類似度があらかじめ定めたしきい値以上のときに、その探索領域６１にテンプレート画像が含まれている、と判断する。こうして、付加情報表示制御部４６は、探索の対象となる画像内でテンプレート画像を探索する。なお、本実施の形態では、例えば顔検出に用いられているＶｉｏｌａ−Ｊｏｎｅｓ法等の画像探索手法を、テンプレートマッチングに代えて、あるいはテンプレートマッチングと併用して、用いてもよい。

ステップＳ３０で、「ＳＴＢ１４の機種を特定できない」と判断された（Ｎｏ）ときは、付加情報表示制御部４６は、ステップＳ１１で行った映像認識処理の結果を利用してＳＴＢ１４の機種を推定し、推定した機種に対応するテンプレート画像群を取得して記憶部４７に記憶する（ステップＳ３２）。

例えば、ステップＳ１１で行った映像認識処理の結果、部分映像が表すコンテンツは「ＡＢＣ放送番組」であるという結果が得られれば、付加情報表示制御部４６は、「ＡＢＣ放送番組」を受信できる機種を、放送局１２が提供するサーバ（図示せず）を利用して、取得する。取得した機種が１つであれば、その機種がＳＴＢ１４の機種であると推定できる。また、取得した機種が複数あれば、その複数の機種の中にＳＴＢ１４の機種が含まれていると推定できる。以下、この取得した機種を「機種候補」と記す。そして、付加情報表示制御部４６は、機種候補に対応するテンプレート画像群を、テンプレート画像群を提供するサーバ（図示せず）から取得する。こうして取得したテンプレート画像群を記憶部４７に記憶する。

そして、付加情報表示制御部４６は、ステップＳ３１、Ｓ３３へ移行し、取得したテンプレート画像群と探索領域６１とのテンプレートマッチングを行う。

付加情報表示制御部４６では、テンプレートマッチングの結果にもとづき、ＵＩ表示（ＯＳＤ画像５２またはアイコン５５の表示）の有無が判断される（ステップＳ３４）。

ステップＳ３４で、「ＯＳＤ画像５２またはアイコン５５が表示されている」と判断された（Ｙｅｓ）ときは、付加情報表示制御部４６は、「ＵＩ表示あり」という判断を下して（ステップＳ３６）、図５に示したステップＳ２１に移行する。

ステップＳ３４で、「ＯＳＤ画像５２またはアイコン５５は表示されていない」と判断された（Ｎｏ）ときは、付加情報表示制御部４６では、全てのテンプレート画像に対してステップＳ３３のテンプレートマッチングが行われたかどうかが判断される（ステップＳ３５）。

ステップＳ３５で、ステップＳ３３のテンプレートマッチングは全てのテンプレート画像に対しては行われていない、と判断された（Ｎｏ）ときは、付加情報表示制御部４６は、ステップＳ３３に戻ってステップＳ３３、Ｓ３４の動作を繰り返す。

ステップＳ３５で、全てのテンプレート画像に対してステップＳ３３のテンプレートマッチングが行われた、と判断された（Ｙｅｓ）ときは、付加情報表示制御部４６は、局所コンテンツ検出を行い（ステップＳ３７）、図５に示したステップＳ２１に移行する。

次に、ステップＳ３７の局所コンテンツ検出について説明する。

［１−２−４．局所コンテンツ検出の動作］
図８Ａは、実施の形態１における映像受信装置４０の表示部５４に表示する映像の一例を概略的に示す図である。図８Ｂは、実施の形態１における映像受信装置４０で行う画像比較に用いるテンプレート映像の一例を概略的に示す図である。図８Ｃは、実施の形態１における映像受信装置４０において局所コンテンツ検出用に表示映像に設定した複数の領域の一例を概略的に示す図である。図８Ｄは、実施の形態１における映像受信装置４０において局所コンテンツ検出用にテンプレート映像に設定した複数の領域の一例を概略的に示す図である。図８Ｅは、実施の形態１における映像受信装置４０において領域毎に算出した類似度の一例を概略的に示す図である。

なお、本実施の形態では、付加情報表示制御部４６において局所コンテンツ検出を行う際、図８Ｃ、図８Ｄに示すように、１画面を領域（１）〜領域（３０）の３０領域に分割し、各領域毎に、表示映像とテンプレート映像とで比較を行い、類似度を算出する。しかし、１画面に設定する領域の数は何らこれらの数値に限定されるものではなく、局所コンテンツ検出を行うのに適した数値に設定すればよい。また、図８Ｃ、図８Ｄに示す各領域を区分けする線や数字は、説明のために示しているに過ぎず、これらの線や数字が実際に表示部５４に表示されるわけではない。また、図８Ｅには、図８Ｃに示した各領域と図８Ｄに示した各領域とで比較を行い、各領域のそれぞれで類似度を算出して閾値と比較したときの例を示す。

図９は、実施の形態１における映像受信装置４０で行う局所コンテンツ検出の動作を概略的に示すフローチャートである。

付加情報表示制御部４６において局所コンテンツ検出を行う際は、まず、取得部６６が、映像認識装置２０から通信ネットワーク１６およびＨＴＴＰ送受信部４２を介してテンプレート映像を取得する（ステップＳ４０）。テンプレート映像は、映像認識装置２０が放送局から取得したコンテンツの映像信号であり、制御部４１が映像認識装置２０から取得する映像認識処理の結果に含まれている。

制御部４１が映像認識装置２０から取得する映像認識処理の結果には、テンプレート映像とともにテンプレート映像の時間情報が含まれている。付加情報表示制御部４６は、この時間情報にもとづき、テンプレート映像と、ＳＴＢ１４から映像受信装置４０の入力部６５に入力される映像信号（以下、この映像信号による映像を「視聴映像」と記す）とが同時刻の映像となるように時間合わせを行う（ステップＳ４１）。

次に、付加情報表示制御部４６は、テンプレート映像を、例えば図８Ｄに示したように、複数（図８Ｄに示した例では、３０）の領域に分割する（ステップＳ４２）。

また、付加情報表示制御部４６は、視聴映像を、例えば図８Ｃに示したように、複数（図８Ｃに示した例では、３０）の領域に分割する（ステップＳ４３）。

次に、付加情報表示制御部４６は、テンプレート映像の領域（１）と視聴映像の領域（１）とを互いに比較して領域（１）の類似度を算出する。同様に、テンプレート映像の領域（２）以降の各領域と、視聴映像の領域（２）以降の各領域とを互いに比較して各領域の類似度をそれぞれ算出する（ステップＳ４４）。なお、類似度の算出は、例えばヒストグラムをそれぞれ算出して互いに比較する、映像信号をそれぞれ周波数変換して互いに比較する、等、一般的に用いられている手法でかまわない。また、ここでは互いの画像の類似性が高いほど類似度が高くなるように類似度を算出するものとする。

次に、付加情報表示制御部４６は、ステップＳ４４で算出した類似度を、あらかじめ設定された閾値と比較する。そして、類似度が閾値未満の領域が所定数以上あるか否かを判断する（ステップＳ４５）。この所定数は、例えば、２であるが、２以外の数値であってもよい。また、閾値は、互いに比較する２つの画像が互いに同じであると見なせる数値に設定することが望ましい。例えば、互いに比較する２つの画像が完全に同一のときの類似度が１００％になるように類似度を算出する構成であれば、閾値は９０％とする。しかし、閾値は、何らこの数値に限定されるものではない。

ステップＳ４５において、「類似度が閾値未満の領域が所定数（例えば、２）以上ある」と判断された（Ｙｅｓ）ときは、付加情報表示制御部４６は、「ＵＩ表示あり」という判断を下して（ステップＳ４６）、図５に示したステップＳ２１に移行する。

例えば、図８Ｃに示す例では、領域（１）、（２）、（７）、（８）、（１３）、（１４）、（１９）、（２０）、（２５）、（２６）にＯＳＤ画像５２が表示されており、その結果、図８Ｅに示す例では、それらの領域（１０の領域）の類似度が閾値未満になっている。すなわち、閾値未満の領域が所定数（例えば、２）以上あるので、この例では、付加情報表示制御部４６は、「視聴映像にＵＩ表示あり」という判断を下す。

ステップＳ４５において、「類似度が閾値未満の領域が所定数未満である」と判断された（Ｎｏ）ときは、付加情報表示制御部４６は、「ＵＩ表示無し」という判断を下して、図５に示したステップＳ２１に移行する。

次に、ステップＳ２２の映像切替検出について説明する。

［１−２−５．映像切替検出の動作］
図５に示したステップＳ２１において、「ＵＩ表示無し」と判断された（Ｎｏ）ときは、付加情報表示制御部４６は、ステップＳ２２の映像切替検出を行い、映像切替えの有無を判断する。

図１０は、実施の形態１における映像受信装置４０で行う映像切替検出の動作を概略的に示すフローチャートである。

付加情報表示制御部４６は、入力部６５を介して入力される切替信号の検出を行う（ステップＳ５０）。

ＳＴＢ１４でユーザ操作によりチャンネル切替えや入力メディア切替え等が行われ、それらの切替えを通知する切替信号がＳＴＢ１４から出力されたときは、ステップＳ５０において、付加情報表示制御部４６は、その切替信号を検出する（Ｙｅｓ）。

切替信号を検出した付加情報表示制御部４６は、「映像切替えあり」という判断を下して（ステップＳ５２）、図５に示したステップＳ２３に移行する。

ステップＳ５０において、切替信号が検出されなければ（Ｎｏ）、付加情報表示制御部４６は、特定コンテンツの検出を行う（ステップＳ５１）。

特定コンテンツとは、通常のコンテンツから特定コンテンツに切り替わったときに、映像信号（または音声信号、または異常を示す信号）の変化から映像切替えの有無を判断できるものを指し、例えば、ブラックミュート（ブルーバック）、音声ミュート、ストリームエラー、受信レベル低下、等を例として挙げることができる。

ステップＳ５１において、特定コンテンツが検出されれば（Ｙｅｓ）、付加情報表示制御部４６は、「映像切替えあり」という判断を下して（ステップＳ５２）、図５に示したステップＳ２３に移行する。

ステップＳ５１において、特定コンテンツが検出されなければ（Ｎｏ）、付加情報表示制御部４６は、「映像切替え無し」という判断を下して、図５に示したステップＳ２３に移行する。

本実施の形態では、映像受信装置４０において、表示部５４に表示中の映像に画面構成の変更が生じたときに、表示部５４に表示中の付加情報５１（例えば、広告情報）を非表示にする動作を説明した。しかし、本実施の形態は何らこの動作に限定されない。例えば、表示部５４に表示中の映像に画面構成の変更が生じたとき、変更後の画面構成に応じて、付加情報５１の表示サイズや表示位置等を変更してもよい。図１１Ａは、実施の形態１における映像受信装置４０の表示部５４に表示する映像の他の一例を概略的に示す図である。図１１Ｂは、実施の形態１における映像受信装置４０の表示部５４に表示する映像のさらに他の一例を概略的に示す図である。例えば、図３Ｃに示したＣａｓｅ１のときには、図１１Ａに一例を示すように、ＯＳＤ画像５２に重ならないように付加情報５１の表示サイズおよび表示位置の少なくとも一方を変更するように映像受信装置４０を構成してもよい。あるいは、図３Ｄに示したＣａｓｅ２のときには、図１１Ｂに一例を示すように、アイコン５５に重ならないように付加情報５１の表示サイズおよび表示位置を変更するように映像受信装置４０を構成してもよい。このように、本実施の形態では、ＯＳＤ画像５２やアイコン５５等のＵＩ画像に付加情報５１が重なってＵＩ画像の視認性が損なわれないように、付加情報５１の表示サイズや表示位置を変更してもよい。あるいは、付加情報５１の表示内容自体を変更したり、付加情報５１を視覚的に表現するアイコンにデザイン変更したりしてもよい。

［１−３．効果等］
以上のように、本実施の形態において、映像受信装置４０は、通信ネットワーク１６を介してデータの送受信を行えるように構成されており、入力部６５、映像抽出部４５、制御部４１、および付加情報表示制御部４６、を備える。入力部６５は、外部に設置された映像送信装置（例えば、ＳＴＢ１４）から出力される映像信号を入力するように構成されている。映像抽出部４５は、その映像信号から映像認識処理用の部分映像を抽出するように構成されている。制御部４１は、通信ネットワーク１６に接続された映像認識装置２０にその部分映像を送信して映像認識処理を依頼し、その映像認識処理の結果を映像認識装置２０から取得し、その映像認識処理の結果に基づく付加情報５１（例えば、広告情報）を通信ネットワーク１６に接続された付加情報配信装置３０から取得する制御を行うように構成されている。付加情報表示制御部４６は、その映像信号の画面構成に変更が生じたか否かを検出し、その検出の結果に基づき、付加情報５１のその映像信号への重畳を制御するように構成されている。

これにより、映像受信装置４０では、映像送信装置から入力される映像信号に関する付加情報５１を取得してその映像信号に重畳するとともに、その映像信号の画面構成に応じて、付加情報５１の映像信号への重畳を制御することが可能になる。

例えば、ＳＴＢ１４等の映像送信装置では、音量調整やメニュー表示等のユーザ操作がなされ、この操作によりＯＳＤ画像５２が映像５０に重畳されたとしても（例えば図３Ｃに示すＣａｓｅ１の状態）、あるいは、ユーザ操作によりメニュー表示モードになり、複数のアイコン５５と、映像５０を縮小した縮小映像５３とが１つの画面に混在したとしても（例えば図３Ｄに示すＣａｓｅ２の状態）、それらの映像信号を、通常の映像信号（映像５０だけの映像信号）と区別することなく出力する場合がある。そのため、映像受信装置４０では、入力部６５に入力される映像信号が、通常の状態なのか、またはＣａｓｅ１の状態なのか、またはＣａｓｅ２の状態なのか、またはそれ以外の状態なのか、を判別することは困難である。

このような画面構成の変更が生じたとき、映像受信装置４０では、変更後の画面構成にあわせて、直ちに付加情報５１（例えば、広告情報）の映像信号への重畳を制御することが望ましい。例えば、変更後の画面構成にあわせて、付加情報５１の映像信号への重畳を止めたり、付加情報５１の表示サイズや表示位置等を変更したりして、ＯＳＤ画像５２やアイコン５５が付加情報５１に隠れることを防止することが望ましい。

本実施の映像受信装置４０では、上述の構成により、映像送信装置（例えば、ＳＴＢ１４）から入力される映像信号の画面構成に変更が生じたとき、変更後の画面構成を検出し、検出した画面構成にあわせて、付加情報５１の映像信号への重畳を止めたり、付加情報５１の表示サイズや表示位置等を変更したりすることが可能になる。したがって、映像受信装置４０では、映像送信装置から入力される映像信号に、ユーザ操作によるＯＳＤ画像５２やアイコン５５等のＵＩ画像が発生したとしても、それらＵＩ画像が付加情報５１に隠れて視認性が損なわれることを防止することが可能となる。

また、映像受信装置４０は、映像信号に付加情報５１を重畳した映像を表示するように構成された表示部５４を備えていてもよい。

また、付加情報表示制御部４６は、映像送信装置から入力される映像信号の画面構成の変更を検出したときに、表示部５４に表示中の付加情報５１を非表示にする制御を行うように構成されてもよい。

これにより、映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から入力される映像信号に画面構成の変更が生じたときに、表示部５４に表示中の付加情報５１を非表示にできるので、画面構成が変更された画像の視認性を付加情報５１が損なうことを防止できる。

また、付加情報表示制御部４６は、映像送信装置から入力される映像信号にＵＩ画像が含まれているか否かを検出し、その検出結果に基づき、表示部５４に表示中の付加情報５１を非表示にする制御を行うように構成されてもよい。

これにより、映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から入力される映像信号に、ユーザ操作によるＯＳＤ画像５２やアイコン５５等のＵＩ画像が発生したときに、表示部５４に表示中の付加情報５１を非表示にできるので、ＯＳＤ画像５２やアイコン５５等のＵＩ画像が付加情報５１に隠れて視認性が損なわれることを防止することができる。

また、映像受信装置４０は、映像信号を出力する映像送信装置に関する複数のテンプレート画像から構成されるテンプレート画像群６０を記憶するように構成された記憶部４７をさらに備えていてもよい。そして、付加情報表示制御部４６は、映像送信装置から入力される映像信号に設定された探索領域６１とテンプレート画像群６０の各テンプレート画像とのテンプレートマッチングを行って映像信号にテンプレート画像が含まれているか否かを判断し、その判断に基づき映像信号にＵＩ画像が含まれているか否かを検出するように構成されてもよい。

これにより、映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から入力される映像信号にＵＩ画像が含まれているときに、そのＵＩ画像をテンプレート画像とのテンプレートマッチングにより検出できるので、表示部５４に表示中の付加情報５１を非表示にする判断を適切に行うことができる。

また、映像受信装置４０は、映像送信装置から入力される映像信号に関するテンプレート映像を映像認識装置２０から取得するように構成された取得部６６をさらに備えていてもよい。そして、付加情報表示制御部４６は、映像信号およびテンプレート映像を複数の領域（例えば、図８Ｃ、図８Ｄに示した３０の領域）に分け、テンプレート映像と映像信号とを領域毎に比較して領域毎に類似度を算出し、算出した類似度をあらかじめ設定された閾値と比較し、類似度が閾値を超えない領域が所定数以上あるか否かを判断して映像信号にＵＩ画像が含まれているか否かを検出するように構成されてもよい。

これにより、映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）から入力される映像信号にＵＩ画像が含まれているにもかかわらず、そのＵＩ画像をテンプレート画像とのテンプレートマッチングによって検出できないような状況が生じたとしても、テンプレート映像と映像信号とを領域毎に比較することでそのＵＩ画像を検出できるので、表示部５４に表示中の付加情報５１を非表示にする判断を適切に行うことができるようになる。

また、付加情報表示制御部４６は、映像信号を出力する映像送信装置に対して行われるコンテンツ切替操作を検出したときに、表示部５４に表示中の付加情報５１を非表示にする制御を行うように構成されてもよい。

これにより、映像受信装置４０では、映像送信装置（例えば、ＳＴＢ１４）でユーザ操作によりチャンネル切替えや入力切替え等が行われ、それらの切替えを通知する切替信号が映像送信装置から出力されたとき、付加情報表示制御部４６は、その切替信号を検出し、表示部５４に表示中の付加情報５１を非表示にすることができる。したがって、映像受信装置４０は、映像送信装置（例えば、ＳＴＢ１４）においてチャンネル切りえ等のユーザ操作がなされ、映像送信装置から入力される映像信号のコンテンツが切り替わっているにもかかわらず、チャンネル切替え前のコンテンツに関連する付加情報５１（例えば、広告情報）が表示部５４に表示されたままになる、といった付加情報５１の誤表示を防止することができる。

また、付加情報表示制御部４６は、コンテンツ切替えの検知が可能な特定コンテンツを検知したときに、表示部５４に表示中の付加情報５１を非表示にする制御を行うように構成されてもよい。

これにより、映像受信装置４０では、映像送信装置（例えば、ＳＴＢ１４）から入力される映像信号が、通常のコンテンツから特定コンテンツ（例えば、ブラックミュート（ブルーバック）、音声ミュート、ストリームエラー、受信レベル低下、等）に切り替わったときに、表示部５４に表示中の付加情報５１を非表示にすることができる。例えば、映像受信装置４０では、映像送信装置に放送信号受信レベルの低下や映像信号伝送時のストリームエラー等が生じて映像に乱れが生じたときに、表示部５４に表示中の付加情報５１を非表示にできる。あるいは、映像受信装置４０では、映像送信装置においてチャンネル切替えや入力切替え等のユーザ操作がなされたときに、それらの操作時に一瞬発生するブランク画像（ブラックミュートやブルーバック、音声ミュート等）を検出して、表示部５４に表示中の付加情報５１を非表示にできる。したがって、チャンネル切替え前のコンテンツに関連する付加情報５１（例えば、広告情報）が表示部５４に表示されたままになる、といった付加情報５１の誤表示を防止することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１では、映像受信装置４０が表示部５４を備えている構成を説明したが、本実施の形態における映像受信装置は何らこの構成に限定されるものではない。映像受信装置は表示部を備えていなくてもかまわない。

図１２は、他の実施の形態における映像受信装置１４０の構成の一例を概略的に示すブロック図である。図１２に示す映像受信装置１４０は、主に以下の点が、実施の形態１で図２に示した映像受信装置４０と異なる。映像受信装置１４０は、表示部５４を備えておらず、映像出力部１４４が、外部に設置された映像表示装置１５４に、有線または無線で、映像信号を出力するように構成されている。

このような映像受信装置１４０の一例として、例えば、録画機能、放送信号受信機能、映像信号入力機能、および映像信号出力機能を備え、外部に設置された映像表示装置１５４に映像信号を送信するように構成された録画装置等を挙げることができる。そのような録画装置には、例えばハードディスクレコーダや、ＤＶＤレコーダ、ＢＤレコーダ、等がある。

なお、図１２では、図２に示した映像受信装置４０を構成する構成要素と実質的に等しい動作をする構成要素には同じ符号を付与し、説明を省略する。また、図１２には、本実施の形態に示す動作に関連する主な回路ブロックを示し、他の動作に関する機能や回路ブロック（例えば、録画機能等）は省略している。

映像受信装置１４０では、映像出力部１４４から映像表示装置１５４に出力される映像信号に付加情報５１を重畳するか否かの判断が、付加情報表示制御部４６においてなされる。なお、付加情報表示制御部４６における動作は実施の形態１と実質的に等しい。このような構成の映像受信装置１４０においても、実施の形態１に示した映像受信装置４０と同様の効果を得ることができる。

なお、本実施の形態は、映像受信装置４０から映像認識装置２０に部分映像を送信してコンテンツ特定処理を依頼する構成を説明したが、本開示は何らこの構成に限定されない。例えば、映像受信装置４０は、部分映像からフィンガープリント（例えば、部分映像を構成する各画像のハッシュ値）を生成し、そのフィンガープリントを映像認識装置２０に送信してコンテンツ特定処理を依頼するように構成されていてもよい。その場合、映像認識装置２０は、そのフィンガープリントを受信し、映像認識装置２０があらかじめ生成して記憶部２３に記憶しておいたフィンガープリントと照合し、受信したフィンガープリントに対応するコンテンツを検索するように動作する。

なお、本実施の形態に示した各構成要素は、それぞれを独立した専用の回路で構成してもよく、あるいは、それらの１つまたは複数の動作を実現するように作成されたプログラムをプロセッサーで実行する構成であってもよい。また、このときのプログラムは、サーバ等からのダウンロードにより取得されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）を介して取得されてもよい。

また、本実施の形態に示したサーバにおける各動作は、単数のサーバで集中処理されてもよく、複数のサーバで分散処理されてもよい。

なお、実施の形態１に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は映像受信装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、外部に設置された映像送信装置から入力される映像信号に関する付加情報を取得し、取得した付加情報を映像信号へ重畳することが可能な映像受信装置に適用可能である。具体的には、テレビジョン受像機、ハードディスクレコーダ、ＤＶＤレコーダ、ＢＤレコーダ、等に本開示は適用可能である。

１０ 付加情報表示システム
１２ 放送局
１４ ＳＴＢ
１６ 通信ネットワーク
２０ 映像認識装置
２１，４２ ＨＴＴＰ送受信部
２２ 検索部
２３，４７ 記憶部
３０ 付加情報配信装置
４０，１４０ 映像受信装置
４１ 制御部
４３ 操作信号受信部
４４，１４４ 映像出力部
４５ 映像抽出部
４６ 付加情報表示制御部
４８ 映像入力部
４９ 受信部
５０ 映像
５１ 付加情報
５２ ＯＳＤ画像
５３ 縮小映像
５４ 表示部
５５ アイコン
６０ テンプレート画像群
６１ 探索領域
６５ 入力部
６６ 取得部
１５４ 映像表示装置

Claims (17)

1. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置であって、
   映像信号を入力するように構成された入力部と、
   前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
   前記通信ネットワークに接続された映像認識装置に、前記部分映像を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得し、前記通信ネットワークに接続された付加情報配信装置から前記映像認識処理の結果に基づく付加情報を取得する制御を行うように構成された制御部と、
   前記映像信号の画面構成に変更が生じたか否かを検出し、前記検出の結果に基づき、前記付加情報の前記映像信号への重畳を制御するように構成された付加情報表示制御部と、を備えた、
   映像受信装置。
2. 前記映像信号に前記付加情報を重畳した映像を表示するように構成された表示部、をさらに備えた、
   請求項１に記載の映像受信装置。
3. 前記付加情報表示制御部は、前記画面構成の変更を検出したときに、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項２に記載の映像受信装置。
4. 前記付加情報表示制御部は、前記映像信号にＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｅｆａｃｅ）の画像が含まれているか否かを検出し、その検出結果に基づき、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項３に記載の映像受信装置。
5. 前記映像信号を出力する映像送信装置に関する複数のテンプレート画像から構成されるテンプレート画像群を記憶するように構成された記憶部、をさらに備え、
   前記付加情報表示制御部は、前記映像信号に設定された探索領域と前記テンプレート画像群の各前記テンプレート画像とのテンプレートマッチングを行って前記映像信号に前記テンプレート画像が含まれているか否かを判断し、前記判断に基づき前記映像信号に前記ＵＩの画像が含まれているか否かを検出するように構成された、
   請求項４に記載の映像受信装置。
6. 前記映像認識装置から前記映像信号に関するテンプレート映像を取得するように構成された取得部、をさらに備え、
   前記付加情報表示制御部は、前記映像信号および前記テンプレート映像を複数の領域に分け、前記テンプレート映像と前記映像信号とを前記領域毎に比較して前記領域毎に類似度を算出し、前記類似度をあらかじめ設定された閾値と比較し、前記類似度が前記閾値を超えない領域が所定数以上あるか否かを判断して前記映像信号に前記ＵＩの画像が含まれているか否かを検出するように構成された、
   請求項４に記載の映像受信装置。
7. 前記付加情報表示制御部は、前記映像信号を出力する映像送信装置に対して行われるコンテンツ切替操作を検出したときに、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項３に記載の映像受信装置。
8. 前記付加情報表示制御部は、コンテンツ切替えの検知が可能な特定コンテンツを検知したときに、前記表示部に表示中の前記付加情報を非表示にする制御を行うように構成された、
   請求項３に記載の映像受信装置。
9. 通信ネットワークを介してデータの送受信を行えるように構成された映像受信装置における付加情報表示方法であって、
   外部から入力される映像信号から映像認識処理用の部分映像を抽出するステップと、
   前記通信ネットワークに接続された映像認識装置に、前記部分映像を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から取得するステップと、
   前記映像認識処理の結果に基づく付加情報を、前記通信ネットワークに接続された付加情報配信装置から取得するステップと、
   前記映像信号の画面構成に変更が生じたか否かを検出するステップと、
   前記検出の結果に基づき、前記付加情報の前記映像信号への重畳を制御するステップと、
   を備えた付加情報表示方法。
10. 前記映像信号に前記付加情報を重畳した映像を表示部に表示するステップ、をさらに備えた、
    請求項９に記載の付加情報表示方法。
11. 前記画面構成の変更を検出したときに、前記表示部に表示中の前記付加情報を非表示にする、
    請求項１０に記載の付加情報表示方法。
12. 前記映像信号にＵＩの画像が含まれているか否かを検出するステップ、をさらに備え、
    前記ＵＩ画像の検出結果に基づき、前記表示部に表示中の前記付加情報を非表示にする、
    請求項１１に記載の付加情報表示方法。
13. 前記映像信号を出力する映像送信装置に関する複数のテンプレート画像から構成されるテンプレート画像群を記憶するステップ、をさらに備え、
    前記映像信号に設定された探索領域と前記テンプレート画像の各前記テンプレート画像とのテンプレートマッチングを行って前記映像信号に前記テンプレート画像が含まれているか否かを判断し、前記判断に基づき前記映像信号に前記ＵＩの画像が含まれているか否かを検出する、
    請求項１２に記載の付加情報表示方法。
14. 前記映像認識装置から前記映像信号に関するテンプレート映像を取得するステップ、をさらに備え、
    前記映像信号および前記テンプレート映像を複数の領域に分け、前記テンプレート映像と前記映像信号とを前記領域毎に比較して前記領域毎に類似度を算出し、前記類似度をあらかじめ設定された閾値と比較し、前記類似度が前記閾値を超えない領域が所定数以上あるか否かを判断して前記映像信号に前記ＵＩの画像が含まれているか否かを検出する、
    請求項１２に記載の付加情報表示方法。
15. 前記映像信号を出力する映像送信装置に対して行われるコンテンツ切替操作を検出したときに、前記表示部に表示中の前記付加情報を非表示にする、
    請求項１１に記載の付加情報表示方法。
16. コンテンツ切替えの検知が可能な特定コンテンツを検知したときに、前記表示部に表示中の前記付加情報を非表示にする、
    請求項１１に記載の付加情報表示方法。
17. 通信ネットワークを介して互いにデータの送受信を行えるように構成された、映像受信装置、映像認識装置、および付加情報配信装置、を備えた付加情報表示システムであって、
    前記映像受信装置は、
    映像信号を入力するように構成された入力部と、
    前記映像信号から映像認識処理用の部分映像を抽出するように構成された映像抽出部と、
    前記映像認識装置に前記通信ネットワークを介して前記部分映像を送信して映像認識処理を依頼し、前記映像認識処理の結果を前記映像認識装置から前記通信ネットワークを介して取得し、前記付加情報配信装置から前記映像認識処理の結果に基づく付加情報を前記通信ネットワークを介して取得する制御を行うように構成された制御部と、
    前記映像信号の画面構成に変更が生じたか否かを検出し、前記検出の結果に基づき、前記付加情報の前記映像信号への重畳を制御するように構成された付加情報表示制御部と、を備え
    前記映像認識装置は、
    前記通信ネットワークを介して受信した前記部分映像に関する映像認識処理を行い、前記映像認識処理の結果を前記通信ネットワークを介して前記映像受信装置に送信するように構成され、
    前記付加情報配信装置は、
    前記通信ネットワークを介して受信した前記映像認識処理の結果に対応する付加情報を前記通信ネットワークを介して前記映像受信装置に送信するように構成された、
    付加情報表示システム。

Images