JP6424339B2 - 表示制御装置、および表示制御方法 - Google Patents

Description

本開示は、フィンガープリントを用いて映像コンテンツに対応付けられる付加情報を、映像コンテンツと共に表示するための表示制御装置、および表示制御方法に関する。

クラウドを介してコンテンツを認識する技術を利用する通信サービスが提案されている。この技術を用いれば、入力された映像を認識し、この映像に関連する付加情報を通信ネットワークを介して取得して、取得した付加情報を映像コンテンツと共に表示画面に表示するテレビジョン受信装置（以下、「テレビ」と略記する）を実現することができる。入力された映像を認識する技術は、「ＡＣＲ（Ａｕｔｏｍａｔｉｃ Ｃｏｎｔｅｎｔ Ｒｅｃｏｇｎｉｔｉｏｎ）」と呼ばれている。

ＡＣＲに、フィンガープリント技術が用いられることがある。特許文献１および特許文献２は、フィンガープリント技術を開示する。この技術では、映像内の画像フレームに映る顔等の輪郭を検知し、検知した輪郭に基づいてフィンガープリントを生成し、生成したフィンガープリントをデータベースに蓄積されたデータと照合する。

米国特許出願公開第２０１０／０３１８５１５号明細書 米国特許出願公開第２００８／０３１０７３１号明細書

本開示は、映像コンテンツ上のより適切な位置に付加情報を重畳して表示画面に表示する表示制御装置および表示制御方法を提供する。

本開示における表示制御装置は、フィンガープリントを用いて映像コンテンツに対応付けられる付加情報を、映像コンテンツと共に表示画面に表示するための装置である。この表示制御装置は、領域特定部と、注目領域推定部と、位置決定部と、を備える。領域特定部は、映像コンテンツに含まれる複数のフレームのそれぞれにおいて、第一領域と、当該フレーム内の第一領域を除く領域に含まれる第二領域と、を特定する。注目領域推定部は、複数のフレームのそれぞれにおいて、第一領域と第二領域との位置関係に基づいて、第一領域と第二領域とのうち、いずれか一方を注目領域とし、他方を非注目領域とする。位置決定部は、複数のフレームのそれぞれの非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。

本開示における表示制御装置は、映像コンテンツ上のより適切な位置に付加情報を重畳して表示画面に表示することができる。

図１は、実施の形態１におけるコンテンツ認識システムの一構成例を示すブロック図である。 図２は、実施の形態１における受信装置の一構成例を示すブロック図である。 図３は、実施の形態１における表示位置制御部の一構成例を示すブロック図である。 図４は、実施の形態１におけるコンテンツ認識処理の一例を示すフローチャートである。 図５は、実施の形態１における重畳領域情報の算出処理の一例を示すフローチャートである。 図６は、実施の形態１における重畳範囲の算出処理の一例を示すフローチャートである。 図７は、実施の形態１における重畳期間の算出処理の一例を示すフローチャートである。 図８は、実施の形態１における領域の特定処理の一例を示すフローチャートである。 図９は、実施の形態１における包含関係の有無の判定処理の一例を示すフローチャートである。 図１０は、実施の形態１における重畳領域の候補の決定処理の一例を示すフローチャートである。 図１１は、実施の形態１におけるコンテンツ認識処理の一具体例を模式的に示す図である。 図１２は、実施の形態１における重畳表示の可否判定処理の一具体例を模式的に示す第１の図である。 図１３は、実施の形態１における重畳表示の可否判定処理の一具体例を模式的に示す第２の図である。 図１４Ａは、実施の形態１における重畳領域の位置の一例を模式的に示す図である。 図１４Ｂは、実施の形態１における重畳領域の位置の他の一例を模式的に示す図である。 図１５は、実施の形態２におけるコンテンツ認識システムの一構成例を示すブロック図である。 図１６は、実施の形態２における受信装置の一構成例を示すブロック図である。 図１７は、実施の形態２におけるコンテンツ認識処理の一例を示すフローチャートである。 図１８は、実施の形態における表示制御装置の構成の変形例を示すブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成要素については同じ符号を付している。

（実施の形態１）
以下、図１〜１４を用いて、実施の形態１を説明する。

［１−１．コンテンツ認識システム］
まず、本実施の形態におけるコンテンツ認識システム１について、図１を用いて説明する。

図１は、実施の形態１におけるコンテンツ認識システム１の一構成例を示すブロック図である。

コンテンツ認識システム１は、フィンガープリントを用いて映像コンテンツに対応付けられる付加情報を、映像コンテンツと共に表示するための表示制御装置を備える。

図１に示すように、コンテンツ認識システム１は、放送局３と、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）４と、受信装置１０と、サーバ装置２０と、付加情報サーバ装置３０と、を備える。実施の形態１では、サーバ装置２０が、表示制御装置の一例である。

放送局３は、映像コンテンツを映像信号に変換してテレビジョン放送信号（以下、単に「放送信号」とも記す）として放送するように構成された送信装置である。映像コンテンツは、例えば、無線または有線の放送または通信によって放送される放送コンテンツであり、テレビ番組等の番組コンテンツと、コマーシャルメッセージ（ＣＭ）などの広告コンテンツと、が含まれる。番組コンテンツと広告コンテンツとは、時間の経過に伴って互いに切り替わる。放送局３は、映像コンテンツをＳＴＢ４およびサーバ装置２０に送信する。

ＳＴＢ４は、テレビ放送用のチューナ・デコーダである。ＳＴＢ４は、放送局３から送信された映像信号の中から、ユーザの指示に基づいて選局した映像コンテンツをデコードし、通信路を介して受信装置１０に出力する。なお、通信路は、例えば、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）である。

受信装置１０は、テレビ等の映像受信装置である。受信装置１０は、通信ネットワークを介してサーバ装置２０および付加情報サーバ装置３０と接続されている。受信装置１０は、受信した映像コンテンツのフレームシーケンスから複数の画像フレーム（以降、単に「フレーム」ともいう）を抽出し、抽出したフレームに対して画像認識を行う。受信装置１０は、画像認識結果に基づいて付加情報サーバ装置３０から付加情報を取得し、取得した付加情報を映像と共に実質的にリアルタイムで表示画面に表示する。

なお、フレームは、映像コンテンツを構成するピクチャである。フレームには、プログレッシブ方式におけるフレームや、インターレース方式におけるフィールド、等が含まれる。

サーバ装置２０は、例えば、Ｗｅｂサーバである。サーバ装置２０は、放送局３から送信された映像コンテンツを取得し、取得した映像コンテンツを解析することで、その映像コンテンツに対応する認識データを生成する。認識データは、例えば、映像コンテンツを表すデータ（ハッシュ値）であって、映像コンテンツの認識を行う際にフィンガープリントとして用いられるデータである。具体的には、認識データは、フレーム間の画像の変化に基づいて生成されるフィンガープリントである。サーバ装置２０は、例えば、放送局３が放送する全ての映像コンテンツに対するフィンガープリントを生成し、記憶部（図示せず）に蓄積する。なお、映像コンテンツの認識とは、フィンガープリントを用いて画像認識を行い映像コンテンツを特定する処理のことである。

付加情報サーバ装置３０は、例えば、受信装置１０による画像認識結果に関連する付加情報を配信するＷｅｂサーバである。例えば、付加情報サーバ装置３０は、様々な商品の広告を保持して配信する広告配信サーバである。

なお、本実施の形態では、サーバ装置２０と付加情報サーバ装置３０とは、それぞれが互いに独立したＷｅｂサーバであるが、１台のＷｅｂサーバがサーバ装置２０および付加情報サーバ装置３０として動作してもよい。

以下、受信装置１０、サーバ装置２０および付加情報サーバ装置３０の各構成について、説明する。

［１−２．受信装置］
まず、本実施の形態における受信装置１０について、図１を参照しながら図２を用いて説明する。

図２は、実施の形態１における受信装置１０の一構成例を示すブロック図である。なお、図２は、受信装置１０の主要なハードウェア構成を示している。

図１に示すように、受信装置１０は、映像受信部１１と、映像抽出部１２と、付加情報取得部１３と、映像出力部１４と、画像認識部１００と、を備える。より詳細には、図２に示すように、受信装置１０は、さらに、制御部１５と、操作信号受信部１６と、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）送受信部１７と、を備える。また、図１に示す付加情報取得部１３は、付加情報格納部１８と、付加情報表示制御部１９と、を備える。

制御部１５は、受信装置１０が備える各構成要素を制御するように構成された処理部である。制御部１５は、不揮発性メモリ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、揮発性メモリ、を備えている。不揮発性メモリは、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等であり、プログラム（アプリケーションプログラム、等）を格納している。ＣＰＵは、そのプログラムを実行するように構成されている。揮発性メモリは、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、ＣＰＵが動作しているときの一時的な作業領域として使用される。

操作信号受信部１６は、操作部（図示せず）から出力される操作信号を受信するように構成された回路である。操作信号は、受信装置１０を操作するためにユーザが操作部（例えば、リモートコントローラ。以下、「リモコン」と記す）を操作することで、その操作部から出力される信号である。なお、操作部が、ジャイロセンサを有するリモコンである場合、操作信号受信部１６は、そのリモコンから出力されるリモコン自身の物理的な動きに関する情報（ユーザがリモコンを、振る、傾ける、向きを変える、等したときの動きを示す信号）を受信するように構成されていてもよい。

ＨＴＴＰ送受信部１７は、通信ネットワーク１０５を介してサーバ装置２０および付加情報サーバ装置３０と通信するように構成されたインターフェイスである。ＨＴＴＰ送受信部１７は、例えば、ＩＥＥＥ８０２．３の規格に適合する有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）用の通信アダプタである。

ＨＴＴＰ送受信部１７は、サーバ装置２０から通信ネットワーク１０５を介して送信されるフィンガープリント、等を取得する。取得したフィンガープリントは、制御部１５を介して画像認識部１００に出力される。また、ＨＴＴＰ送受信部１７は、例えば、付加情報サーバ装置３０から通信ネットワーク１０５を介して送信される付加情報を取得する。取得した付加情報は、制御部１５を介して付加情報格納部１８に格納される。

映像受信部１１は、映像コンテンツを受信するように構成された受信回路およびデコーダ（図示せず）、を有する。映像受信部１１は、例えば、操作信号受信部１６で受信された操作信号に基づき、受信する放送チャンネルの選局や外部から入力される信号の選択、等を行う。

図２に示すように、映像受信部１１は、映像入力部１１ａと、第１外部入力部１１ｂと、第２外部入力部１１ｃとを備える。

映像入力部１１ａは、例えばアンテナ（図示せず）で受信される放送信号（図２には、「ＴＶ放送信号」と記す）等の、外部から送信されてくる映像信号を入力するように構成された回路である。

第１外部入力部１１ｂおよび第２外部入力部１１ｃは、ＳＴＢ４および映像信号記録再生装置（図示せず）等の外部機器から送信されてくる映像信号（図２には、「外部入力信号」と記す）を入力するように構成されたインターフェイスである。第１外部入力部１１ｂは、例えば、ＨＤＭＩ（登録商標）端子であり、ＨＤＭＩ（登録商標）に適合したケーブルによってＳＴＢ４に接続されている。

映像抽出部１２は、映像受信部１１によって受信された映像コンテンツを構成するフレームシーケンスから、所定のフレームレートで複数のフレームを抽出する。例えば、映像コンテンツのフレームレートが６０ｆｐｓ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）である場合に、映像抽出部１２は、３０ｆｐｓ、または２０ｆｐｓ、または１５ｆｐｓ、といったフレームレートで複数のフレームを抽出する。なお、後段の画像認識部１００が６０ｆｐｓの映像を処理可能な処理能力を持っていれば、映像抽出部１２は、映像コンテンツのフレームシーケンスを構成する全てのフレームを抽出してもよい。

付加情報取得部１３は、情報を取得する回路および通信インターフェイスとして動作する。付加情報取得部１３は、画像認識部１００による画像認識の結果に基づいて、付加情報サーバ装置３０から付加情報を取得するように構成されている。

映像出力部１４は、映像受信部１１によって受信された映像コンテンツを表示画面に出力するように構成された表示制御回路である。表示画面は、例えば、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等のディスプレイである。

付加情報格納部１８は、付加情報を格納するように構成された記憶装置である。付加情報格納部１８は、例えば、フラッシュメモリ等の不揮発性記憶素子である。付加情報格納部１８は、付加情報サーバ装置３０から取得した付加情報に加え、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）等の番組メタ情報を保持してもよい。

付加情報表示制御部１９は、付加情報サーバ装置３０から取得した付加情報を、映像受信部１１で受信した映像コンテンツ（例えば、番組コンテンツ、または広告コンテンツ）に重畳するように構成されている。付加情報表示制御部１９は、例えば、映像コンテンツに含まれる各フレームに付加情報を重畳して重畳画像を生成し、生成した重畳画像を映像出力部１４に出力する。映像出力部１４が重畳画像を表示画面に出力することで、表示画面には、付加情報が重畳された映像コンテンツが表示される。

画像認識部１００は、映像コンテンツの認識（例えば、ＡＣＲ）を行うように構成された処理部である。映像コンテンツは、映像抽出部１２が抽出する複数のフレームを含んでおり、画像認識部１００による画像認識の対象である。画像認識部１００は、例えば、集積回路等で実現される。

図１に示すように、画像認識部１００は、フィンガープリント生成部１１０と、出力部１４０と、を備える。

フィンガープリント生成部１１０は、認識データ生成回路の一例である。フィンガープリント生成部１１０は、受信した映像コンテンツに基づいて、映像コンテンツ毎にフィンガープリントを生成する。そして、生成したフィンガープリントをサーバ装置２０に送信する。フィンガープリントを生成する方法には、従来開示されている様々な技術を用いることができる。例えば、フィンガープリント生成部１１０は、受信した映像コンテンツを構成するフレームのハッシュ値を算出することで、フィンガープリントを生成してもよい。あるいは、フィンガープリント生成部２２は、受信した映像コンテンツを構成するフレームシーケンスのフレーム間の画像の変化に基づいてフィンガープリントを生成してもよい。本開示は、フィンガープリントの生成方法を限定しない。

出力部１４０は、サーバ装置２０の照合部２５から出力される照合結果を受け取り、画像認識の結果を出力する。具体的には、出力部１４０は、サーバ装置２０から受け取った照合結果に基づいて、映像受信部１１が受信した映像コンテンツを示す情報を生成し、生成したその情報を画像認識の結果として出力する。画像認識の結果は、例えば、映像受信部１１が受信した映像コンテンツを示すコンテンツＩＤ（ＩＤｅｎｔｉｆｉｅｒ）等である。

［１−３．サーバ装置］
次に、本実施の形態におけるサーバ装置２０について、図１、図２を用いて説明する。

サーバ装置２０は、放送局３から送信される映像コンテンツを取得し、取得した映像コンテンツに対応する認識データを生成する。

図１に示すように、サーバ装置２０は、コンテンツ受信部２１と、フィンガープリント生成部２２と、フィンガープリントＤＢ（Ｄａｔａ Ｂａｓｅ）２３と、照合部２５と、を備える。なお、図２のサーバ装置２０には、フィンガープリントＤＢ２３のみを示し、他のブロックは省略している。

コンテンツ受信部２１は、受信回路およびデコーダを備え、放送局３から送信される映像コンテンツを受信するように構成されている。例えば、コンテンツ受信部２１は、放送局３が生成し、送信する全ての映像コンテンツを受信する。コンテンツ受信部２１は、受信した映像コンテンツを、フィンガープリント生成部２２に出力する。

フィンガープリント生成部２２は、受信した映像コンテンツに基づいて、映像コンテンツ毎にフィンガープリントを生成する。フィンガープリント生成部２２は、受信装置１０のフィンガープリント生成部１１０と実質的に同じ方法によりフィンガープリントを生成する。そして、フィンガープリント生成部２２は、生成したフィンガープリントをフィンガープリントＤＢ２３に格納する。

フィンガープリント生成部２２は、表示位置制御部４０を有する。表示位置制御部４０は、受信した映像コンテンツを映像出力部１４が表示画面に表示する際に、付加情報を表示する位置を制御する制御回路である。表示位置制御部４０は、表示位置情報２４を生成し、生成した表示位置情報２４をフィンガープリントＤＢ２３に格納する。表示位置情報２４は、画像認識部１００における画像認識の結果に基づいて付加情報取得部１３が取得する付加情報を、表示画面のどの位置に表示するかを示す情報である。表示位置制御部４０の動作については、後述する。

なお、サーバ装置２０において、フィンガープリント生成部２２がフィンガープリントを生成してフィンガープリントＤＢ２３に格納する処理と、表示位置制御部４０が表示位置情報を生成してフィンガープリントＤＢ２３に格納する処理とは、互いに独立して平行に行われてもよいし、いずれか一方が先に行われ、その後に他方が行われてもよい。

フィンガープリントＤＢ２３は、映像コンテンツ毎に、映像コンテンツを表す情報とフィンガープリントとが互いに対応付けられたデータベースである。フィンガープリントＤＢ２３には、例えば、複数の映像コンテンツを互いに識別するための識別情報（例えば、コンテンツＩＤ）と、フィンガープリントと、が互いに対応付けられて保存されている。サーバ装置２０は、新たな映像コンテンツがコンテンツ受信部２１で受信される毎に、フィンガープリント生成部２２で新たなフィンガープリントを生成してフィンガープリントＤＢ２３を更新する。また、フィンガープリントＤＢ２３は、表示位置制御部４０が出力する表示位置情報２４を保持する。フィンガープリントＤＢ２３は、サーバ装置２０が備える記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等）に記憶されている。なお、フィンガープリントＤＢ２３は、サーバ装置２０の外部に設置された記憶装置に記憶されていてもよい。

照合部２５は、受信装置１０で生成されたフィンガープリントと、フィンガープリント生成部２２で生成されフィンガープリントＤＢ２３に蓄積された複数のフィンガープリントとを照合し、受信装置１０で生成されたフィンガープリントに一致または類似するフィンガープリントを、フィンガープリントＤＢ２３に蓄積された複数のフィンガープリントから特定する。そして、特定したフィンガープリントに対応する映像コンテンツを示す情報を、照合結果として受信装置１０に出力する。

なお、照合部２５は、フィンガープリント生成部２２から直接フィンガープリントを受け取り、そのフィンガープリントと、受信装置１０から受け取ったフィンガープリントと、を照合することも可能である。

なお、サーバ装置２０は、通信部（図示せず）を備え、その通信部を介して受信装置１０と通信する。照合部２５が受信装置１０から認識データを取得するときには、その通信部が用いられる。

［１−４．付加情報サーバ装置］
次に、付加情報サーバ装置３０について説明する。

付加情報サーバ装置３０は、放送局３から送信される映像コンテンツに関連する付加情報を配信するように構成されたＷｅｂサーバである。図１に示すように、付加情報サーバ装置３０は、付加情報ＤＢ３１を備える。

付加情報ＤＢ３１は、映像コンテンツ毎に、映像コンテンツを表す情報と付加情報とを互いに対応付けたデータベースである。付加情報ＤＢ３１では、例えば、コンテンツＩＤと付加情報とが互いに対応付けられている。

付加情報ＤＢ３１は、付加情報サーバ装置３０が備える記憶装置（例えば、ＨＤＤ、等）に記憶されている。なお、付加情報ＤＢ３１は、付加情報サーバ装置３０の外部に設置された記憶装置に記憶されていてもよい。

付加情報は、例えば、映像コンテンツ内に表示される物（例えば、広告対象の商品、等）の属性を示す情報である。付加情報は、例えば、商品の仕様、販売店（例えば、販売店の住所、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、電話番号、等）、製造者、使用方法、効能、等の商品に関する情報である。

［１−５．表示位置制御部］
次に、本実施の形態における表示位置制御部４０について説明する。なお、図１に示すように、表示位置制御部４０は、フィンガープリント生成部２２が有する機能ブロックの１つである。

図３は、実施の形態１における表示位置制御部４０の一構成例を示すブロック図である。

図３に示すように、表示位置制御部４０は、領域特定部４１と、包含判定部４２と、重畳領域決定部４３と、を有する。

領域特定部４１は、映像コンテンツに含まれる複数のフレームのそれぞれにおいて、第一領域と、そのフレーム内の第一領域を除く領域に含まれる第二領域と、を特定する。第一領域および第二領域は、フレーム内において互いに異なる特徴を有する二つの領域のことである。

領域特定部４１は、例えば、フレーム内において、画像の変化が所定の大きさより大きい領域を第一領域とし、画像の変化が所定の大きさより小さい領域を第二領域とする。第一領域は、例えば、シーンの切り替わり時に大きな画像の変化が発生する領域（以下、「動的領域」とも記す）である。第二領域は、例えば、画像中の背景または動きや変化の少ない被写体が占める領域（以下、「静的領域」とも記す）である。

このように、本実施の形態では、所定より動きの量が大きい領域（動的領域）を第一領域とし、所定より動きの量が小さい領域（静的領域）を第二領域とする例を説明する。しかし、本開示は、第一領域および第二領域を上述した設定に限定しない。例えば、フレーム内にて、所定の被写体が表示される部分を第一領域とし、所定の被写体が表示されない部分を第二領域としてもよい。なお、画像の変化の大きさを判断する方法は後述する。

なお、上記した複数のフレームは、コンテンツ受信部２１が放送局３から受信した映像コンテンツを構成するフレームである。ここでは、コンテンツ受信部２１が、表示位置制御部４０での処理のために、上記した複数のフレームを既に受信し、保持していることを前提として、以下の説明を進める。

包含判定部４２は、上記した複数のフレームのそれぞれにおいて、第一領域と第二領域との位置関係に基づいて、注目領域と非注目領域とを決定する。包含判定部４２は、第一領域と前記第二領域とのうち、いずれか一方を注目領域とし、他方を非注目領域とする。

包含判定部４２は、上記した複数のフレームのそれぞれにおいて、第一領域と第二領域とが、所定の位置関係にあるか否かを判定する。具体的には、包含判定部４２は、一方が他方を包含する位置関係にあるか否かを判定する。以下、そのような関係を「包含関係」と記す。「包含関係」とは、一方の領域が他方の領域の周囲を取り囲んでいる位置関係のことである。なお、本開示において「包含関係」には、一方の領域が他方の領域の全周囲を取り囲んだ状態だけでなく、一方の領域が他方の領域の周囲の一部を取り囲んだ状態も含まれる。なお、包含判定部４２は、注目領域推定部の一例である。

本実施の形態では、包含する方の領域を非注目領域とし、包含される方の領域を注目領域とする。

重畳領域決定部４３は、表示画面における付加情報を表示する位置を決定する。重畳領域決定部４３は、上記した複数のフレームのそれぞれの非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。具体的には、重畳領域決定部４３は、包含判定部４２が決定した、複数のフレームのそれぞれの非注目領域に基づき、各非注目領域に共通に含まれる１つの位置を決定し、決定した位置を付加情報の表示位置とする。この位置が、映像出力部１４が、上記した複数のフレームを表示画面に表示する期間に、付加情報を表示する位置となる。なお、この位置は、画面内における固定的な位置、つまり、時間経過に伴い画面内で移動しない位置、である。なお、重畳領域決定部４３は、位置決定部の一例である。

［１−６．動作］
以上のように構成された表示位置制御部４０について、その動作を説明する。なお、図４〜図１０はコンテンツ認識処理に含まれる処理のフローチャートであり、図１１〜図１３はコンテンツ認識処理の具体例を模式的に示す図である。以下では、これらの図を適宜参照しながら、説明を行う。

図４は、実施の形態１におけるコンテンツ認識処理の一例を示すフローチャートである。

まず、コンテンツ受信部２１は、放送局３から送信される複数のフレームを含む映像コンテンツを受信する（ステップＳ１０１）。

次に、フィンガープリント生成部２２は、ステップＳ１０１でコンテンツ受信部２１が受信した映像コンテンツの複数のフレームに関して、フィンガープリントを生成する（ステップＳ１０２）。

次に、表示位置制御部４０は、重畳情報を算出する（ステップＳ１０３）。

表示位置制御部４０は、ステップＳ１０１でコンテンツ受信部２１が受信した映像コンテンツが付加情報と共に表示画面に表示される場合に、その付加情報が映像コンテンツ上のどこに表示されるか、また、どの期間に表示されるか、を算出する。この付加情報は、ステップＳ１０１で受信された映像コンテンツに関してステップＳ１０２で生成されたフィンガープリントに、付加情報ＤＢ３１において対応付けられた付加情報である。なお、映像コンテンツ上でその付加情報が表示される領域を「重畳領域」、表示される期間を「重畳期間」ともいう。

次に、フィンガープリント生成部２２は、ステップＳ１０２で生成されたフィンガープリントおよびステップＳ１０３で生成された重畳領域情報を、フィンガープリントＤＢ２３に保存する（ステップＳ１０４）。これにより、フィンガープリントＤＢ２３が更新される。

次に、照合部２５は、受信装置１０で生成されたフィンガープリントを受信装置１０から受信するのを待つ（ステップＳ１０５）。ここで、照合部２５が受信を待つフィンガープリントは、受信装置１０のフィンガープリント生成部１１０が、映像受信部１１が受信した映像コンテンツと同じ映像コンテンツから生成したフィンガープリントである。

ステップＳ１０５において照合部２５がフィンガープリントを受信すると（ステップＳ１０５のＹｅｓ）、処理はステップＳ１０６へ進む。一方、ステップＳ１０５において照合部２５がフィンガープリントを受信しなければ（ステップＳ１０５のＮｏ）、処理はステップＳ１０１に戻り、コンテンツ受信部２１は、映像コンテンツを新たに受信する。

照合部２５は、ステップＳ１０５で受信装置１０から受信したフィンガープリントを、フィンガープリントＤＢに蓄積されたフィンガープリントと照合する（ステップＳ１０６）。

次に、照合部２５は、ステップＳ１０６での照合の結果、照合した２つのフィンガープリントが一致するか否かを判定する（ステップＳ１０７）。

照合部２５は、ステップＳ１０２でフィンガープリント生成部２２が生成したフィンガープリントと、ステップＳ１０５で受信装置１０から受信したフィンガープリントとが一致するか否かを判定する。

ステップＳ１０７において、２つのフィンガープリントは互いに一致すると照合部２５が判定すると（ステップＳ１０７のＹｅｓ）、処理はステップＳ１０８に進む。一方、２つのフィンガープリントは互いに一致しないと照合部２５が判定すれば（ステップＳ１０７のＮｏ）、処理はステップＳ１０１に戻り、コンテンツ受信部２１は、映像コンテンツを新たに受信する。

照合部２５は、ステップＳ１０６で実行した照合の結果（すなわち、画像認識の結果）を示す情報と、ステップＳ１０３で算出した重畳領域情報と、を受信装置１０に送信する（ステップＳ１０８）。

次に、サーバ装置２０は、映像コンテンツの認識が完了したか否かを判定する（ステップＳ１０９）。

サーバ装置２０は、映像コンテンツに含まれる複数のフレームのそれぞれについて、画像認識の結果を示す情報と重畳領域情報とが得られたか否かを判定する。そして、全てのフレームについて画像認識の結果を示す情報と重畳領域情報とが得られたと判定された場合、コンテンツ認識処理を終了する（ステップＳ１０９のＹｅｓ）。一方、画像認識の結果を示す情報と重畳領域情報とが未だ得られていないフレームがあると判定された場合（ステップＳ１０９のＮｏ）、処理はステップＳ１０１に戻り、コンテンツ受信部２１は、映像コンテンツを新たに受信する。

なお、図４のコンテンツ認識処理のフローチャートでは、ステップＳ１０２でフィンガープリント生成部２２がフィンガープリントを生成した後に、ステップＳ１０３で表示位置制御部４０が重畳情報の算出を行う動作例を説明したが、本開示は何らこの動作に限定されない。例えば、ステップＳ１０２とステップＳ１０３とは並行して（実質的に同時に）行われてもよい。あるいは、ステップＳ１０３の後にステップＳ１０２が行われてもよい。

図５は、実施の形態１における重畳領域情報の算出処理の一例を示すフローチャートである。図５に示す一連の処理は、図４のステップＳ１０３の処理を詳細に示したものである。

表示位置制御部４０は、映像コンテンツ上で付加情報が表示される領域である重畳領域の算出を行う（ステップＳ２０１）。

重畳領域は、ユーザによる注目度が相対的に低いと推定される領域に含まれる位置であって、かつ、複数のフレームが表示画面に表示される期間に画面上で移動しない位置、に決定される。上記の具体的な処理については後述する。

次に、表示位置制御部４０は、映像コンテンツ上で付加情報が表示される期間である重畳期間の算出を行う（ステップＳ２０２）。

重畳期間は、重畳領域が有効である期間のことであり、重畳領域の算出の際に用いた、複数のフレームが表示画面に表示される期間に相当する。上記の具体的な処理については後述する。

図６は、実施の形態１における重畳範囲の算出処理の一例を示すフローチャートである。図６に示すフローチャートは、図５のステップＳ２０１の処理を詳細に示したものである。

以下、図１１を参照しながら、図６に示すフローチャートを説明する。図１１は、実施の形態１におけるコンテンツ認識処理の一具体例を模式的に示す図である。

まず、表示位置制御部４０は、コンテンツ受信部２１が受信した複数のフレームのうち、２以上のフレームを取得する（ステップＳ３０１）。

ステップＳ３０１で取得されるフレームの一例を、図１１の（ａ）に示す。図１１の（ａ）には、９のフレームが取得され、９のフレームは、異なる３つのシーンを含み、各シーンは３つのフレームで構成される例を示す。

次に、領域特定部４１は、ステップＳ３０２で表示位置制御部４０が取得した２以上のフレームのそれぞれについて、第一領域と第二領域とを特定する（ステップＳ３０２）。

領域特定部４１は、上記２以上のフレームのうちの時間的に隣接する２つのフレームを比較することで差分フレームを生成し、生成した差分フレーム内において第一領域および第二領域を特定する。そして、後で実行される処理ステップにおいて、これらのいずれかの領域に含まれる位置が、付加情報が表示される位置として決定される。

ステップＳ３０２で生成される差分フレームの一例を、図１１の（ｄ）に示す。差分フレームは、フレーム内の画素（または、画素を含むブロック）における画像の変化の大きさを示すフレームである。なお、図１１の（ｄ）には、画像の変化の大きさを濃淡で表示しており、画像の変化が比較的大きいブロックは濃く、画像の変化が比較的小さいブロックは薄く表示している。

ここで、一具体例として、図１１の（ｄ）に示す差分フレーム１１４１を説明する。差分フレーム１１４１は、図１１の（ａ）に示す画像フレーム１１０１および画像フレーム１１０２が、後述するグレースケール変換およびダウンスケール変換されて生成されたフレーム１１３１とフレーム１１３２とから生成された差分フレームである。画像フレーム１１０１および画像フレーム１１０２では、フレーム内の中央付近に表示された人物が動いており、人物の領域に比較的大きな画像の変化があり、人物の周辺部分に比較的小さな画像の変化がある。差分フレーム１１４１では、人物の動作が含まれた領域を示す部分１１４２が黒に比較的近い色で表示され、比較的小さな画像の変化がある領域を示す部分１１４３が中程度の濃さの色で表示され、上記のいずれにも含まれない領域を示す部分１１４４が白に比較的近い色で表示されている。

次に、図１１の（ｄ）に示す差分フレーム１１４３について説明する。差分フレーム１１４３は、図１１の（ａ）に示す画像フレーム１１０３および画像フレーム１１０４が、後述するグレースケール変換およびダウンスケール変換されて生成されたフレーム１１３４とフレーム１１３４とから生成された差分フレームである。画像フレーム１１０３と画像フレーム１１０４との間には、映像コンテンツのシーンの切り替わりが存在する。すなわち、差分フレーム１１４３は、シーンの切り替わりに対応した差分フレームである。したがって、フレーム１１３４とフレーム１１３４との間では、画素の大部分で比較的大きな画像の変化が生じている。そのため、差分フレーム１１４３内のほぼ全域が黒に近い色で表示されている。

次に、包含判定部４２は、第一領域と第二領域との位置関係を判定する（ステップＳ３０３）。

包含判定部４２は、第一領域が第二領域を包含する位置関係にあるか否か、を判定する。すなわち、包含判定部４２は、第一領域と第二領域との包含関係の有無を判定する。

ステップＳ３０３での判定の結果を示すフレームの一例を、図１１の（ｅ）に示す。図１１の（ｅ）に示すフレームは、図１１の（ｄ）に示す差分フレームのうち、ステップＳ３０３で包含判定部４２に包含関係を有すると判定されたものである。また、図１１の（ｅ）に「無効フレーム」と記したフレームは、ステップＳ３０３で包含判定部４２に包含関係を有しないと判定されたものである。

ステップＳ３０３で包含判定部４２に包含関係を有すると判定された差分フレームは、そのまま次の処理に使用される。ステップＳ３０３で包含判定部４２に包含関係を有さないと判定された差分フレームは、無効フレームとなる。

ここで、一具体例として、図１１の（ｅ）に示すフレーム１１５１、フレーム１１５３を説明する。フレーム１１５１は、図１１の（ｄ）に示す差分フレーム１１４１と同一のフレームである。包含判定部４２は、図１１の（ｄ）に示す差分フレーム１１４１について包含関係の有無を判定した結果、包含関係を有すると判定したので、差分フレーム１１４１をそのままフレーム１１５１とする。

フレーム１１５３は、無効フレームである。包含判定部４２は、図１１の（ｄ）に示す差分フレーム１１４３について包含関係の有無を判定した結果、包含関係を有しないと判定したので、フレーム１１５３を無効フレームとする。このように、シーンの切り替わりに対応して生成された差分フレームは、フレーム内のほぼ全域において画像の変化が比較的大きいので無効フレームとなりやすい。

次に、ステップＳ３０３での判定結果に基づいて処理が分岐される（ステップＳ３０４）。

ステップＳ３０３で第一領域および第二領域に包含関係があると判定された場合（ステップＳ３０４のＹｅｓ）、処理はステップＳ３０５へ進む。一方、ステップＳ３０３で第一領域および第二領域に包含関係はないと判定された場合（ステップＳ３０４のＮｏ）、処理はステップＳ３０１に戻り、表示位置制御部４０は、２以上のフレームを新たに取得する。

重畳領域決定部４３は、第一領域および第二領域のうちの一方を重畳領域の候補に決定する（ステップＳ３０５）。

重畳領域決定部４３は、第一領域と第二領域との包含関係において、相手を包含する側の領域を、重畳領域の候補に決定する。例えば、第一領域が第二領域を包含する位置関係にある場合、第一領域に含まれる位置を重畳領域の候補に決定する。なお、重畳領域の候補とは、受信装置１０の映像出力部１４において表示画面に付加情報を重畳して表示する領域の候補という意味である。最終的には、重畳領域の候補に含まれる位置が、付加情報が表示される位置に決定される。

ステップＳ３０５で決定した重畳領域の候補の一例を、図１１の（ｆ）に示す。図１１の（ｆ）に示すように、包含関係があると判定された差分フレームに対して、包含する側の領域が重畳領域の候補に決定される。

ここで、一具体例として、図１１の（ｆ）に示すフレーム１１６１を説明する。フレーム１１６１は、図１１の（ｅ）に示すフレーム１１５１に対して重畳領域決定部４３が決定した重畳領域の候補を示している。フレーム１１６１のうちの部分１１６２が、フレーム１１６１における重畳領域の候補である。部分１１６２は、フレーム１１５１において設定された第一領域および第二領域のうち、相手を包含する側の領域に相当する部分である。

なお、以前にステップＳ３０５の処理が実行されていれば、重畳領域決定部４３は、以前のステップＳ３０５で決定された重畳領域の候補を保有している状態で、今回のステップＳ３０５で決定された新たな重畳領域の候補を得る。その場合、以前のステップＳ３０５の結果として保有している重畳領域の候補に、今回のステップＳ３０５で新たに得た重畳領域の候補に含まれる位置を加える。

次に、表示位置制御部４０は、コンテンツ受信部２１が受信した複数のフレームの全てのフレームに対して、ステップＳ３０２からステップＳ３０５までの処理が行われたか否かを判定する（ステップＳ３０６）。

ステップＳ３０６において、全てのフレームに対してステップＳ３０２からステップＳ３０５までの処理が行われたと判定された場合（ステップＳ３０６のＹｅｓ）、図６に示す一連の処理は終了する。一方、ステップＳ３０６において、それらの処理が未だ行われていないフレームがあると判定された場合（ステップＳ３０６のＮｏ）、処理はステップＳ３０１に戻り、表示位置制御部４０は、２以上のフレームを新たに取得する。

図７は、実施の形態１における重畳期間の算出処理の一例を示すフローチャートである。図７に示すフローチャートは、図５のステップＳ２０２の処理を詳細に示したものである。

以下、図１１を参照しながら、図７に示すフローチャートを説明する。

まず、重畳領域決定部４３は、図６のステップＳ３０５で決定した２以上の重畳領域の候補に共通して含まれる領域（以下、「共通領域」と記す）を重畳領域として算出する。そして、重畳領域を示す情報である重畳領域情報を保有する。また、重畳領域決定部４３は、重畳領域の候補を含むフレームが表示画面に表示される期間を重畳期間として算出する。そして、重畳期間を示す情報である重畳期間情報を保有する（ステップＳ４０１）。

次に、重畳領域決定部４３は、ステップＳ４０１で算出した重畳領域の面積が、所定の閾値（以下、「重畳面積閾値」とも記す）以上であるか否かを判定する（ステップＳ４０２）。

付加情報を表示画面に表示するためには、表示画面上に付加情報に相当する面積を有する領域が必要である。ステップＳ４０２では、ステップＳ４０１で算出された重畳領域が、付加情報を表示するために十分な大きさを有するか否かが判定される。

ステップＳ４０２において、重畳領域の面積が重畳面積閾値以上であると判定された場合（ステップＳ４０２のＹｅｓ）、処理はステップＳ４０３へ進む。一方、重畳領域の面積が重畳面積閾値未満であると判定された場合（ステップＳ４０２のＮｏ）、処理はステップＳ４０１に戻り、重畳領域を新たに算出する。

重畳領域決定部４３は、ステップＳ４０１で算出した重畳期間の時間長が所定の閾値（以下、「重畳時間閾値」とも記す）以上であるか否かを判定する（ステップＳ４０３）。

表示画面に表示された付加情報をユーザが視認するためには、表示画面上の同一箇所に一定期間以上、付加情報が表示されることが望ましい。ステップＳ４０３では、ステップＳ４０１で算出された重畳期間が、ユーザが付加情報を視認するために十分な期間、同一位置に表示されるか否かが判定される。

なお、上記した一定期間、すなわち重畳時間閾値は、例えば、５秒〜１０秒程度であるが、本開示は、何らこの数値に限定されない。ユーザの好み等に応じて、上記した一定期間がより長くなるように重畳時間閾値が設定されてもよく、または、より短くなるように重畳時間閾値が設定されてもよい。

ステップＳ４０３において、重畳期間の時間長が重畳時間閾値以上であると判定された場合（ステップＳ４０３のＹｅｓ）、処理はステップＳ４０４へ進む。一方、重畳期間の時間の長さが重畳時間閾値未満であると判定された場合（ステップＳ４０３のＮｏ）、処理はステップＳ４０１に戻り、重畳領域を新たに算出する。

重畳領域決定部４３は、ステップＳ４０１で算出された重畳期間に含まれる無効フレームの数が所定の閾値（以下、「無効フレーム閾値」とも記す）以下であるか否かを判定する（ステップＳ４０４）。

映像コンテンツが連続的にまたは断続的に無効フレームを含む場合、表示位置制御部４０は、付加情報を表示する位置を適切に定めることができない。ステップＳ４０４では、ステップＳ４０１で算出した重畳期間に含まれる無効フレームの数が適切であるか否かが判定される。

なお、ステップＳ４０４では、無効フレームの数が無効フレーム閾値以下であるか否かの判定を行わずに、無効フレームでないフレームの数が所定数以上であるか否かの判定を行ってもよい。

ステップＳ４０４において、無効フレームの数が無効フレーム閾値以下であると判定された場合（ステップＳ４０４のＹｅｓ）、処理はステップＳ４０５へ進む。一方、無効フレームの数が無効フレーム閾値を超えると判定された場合（ステップＳ４０４のＮｏ）、処理はステップＳ４０１に戻り、重畳領域を新たに算出する。

重畳領域決定部４３は、重畳領域情報と重畳期間情報とに基づき、重畳情報を生成する。そして、生成した重畳情報を保有する（ステップＳ４０５）。

重畳領域決定部４３は、ステップＳ４０２、ステップＳ４０３およびステップＳ４０４のいずれのステップにおいても付加情報を表示するために適切であると判定された重畳領域について、重畳領域を示す情報である重畳領域情報と、付加情報を重畳領域に表示させる期間を示す情報である重畳期間情報と、を含む重畳情報を生成する。なお、重畳領域決定部４３は、既に重畳情報を保有している場合は、新たに生成した重畳情報を、既に保有している重畳情報に追加して重畳情報を更新する。

ステップＳ４０５で生成される重畳情報により示される重畳領域の一例を、図１１の（ｇ）に示す。図１１の（ｇ）に示すように、図１１の（ｆ）に示す各重畳領域の候補に共通に含まれる位置が、重畳領域に決定される。

次に、重畳領域決定部４３は、２以上の重畳領域の候補の全てに対してステップＳ４０１からステップＳ４０５までの処理が行われたか否かを判定する（ステップＳ４０６）。

ステップＳ４０６において、重畳領域の候補の全てに対して、ステップＳ４０１からステップＳ４０５までの処理が行われたと判定された場合（ステップＳ４０６のＹｅｓ）、図７に示す一連の処理は終了する。一方、ステップＳ４０６において、ステップＳ４０１からステップＳ４０５までの処理が未だ行われていない重畳領域の候補があると判定された場合（ステップＳ４０６のＮｏ）、処理はステップＳ４０１に戻り、重畳領域を新たに算出する。

図８は、実施の形態１における領域の特定処理の一例を示すフローチャートである。図８に示すフローチャートは、図６のステップＳ３０２の処理を詳細に示したものである。

以下、図１１を参照しながら、図８に示すフローチャートを説明する。

まず、領域特定部４１は、グレースケーリング処理を行う（ステップＳ５０１）。

グレースケーリング処理とは、カラー画像をグレースケール画像に変換すること、すなわち、グレースケール変換を行うこと、である。領域特定部４１は、グレースケーリング処理を実行し、フレームの各画素が有する色情報を輝度値に変換することで、カラー画像をグレースケール画像に変換する。本開示は、この変換手法を限定しない。例えば、領域特定部４１は、画素のＲＧＢの１つを抽出し、それを輝度値に変換してもよい。あるいは、画素毎に輝度値を算出してもよい。ここでは、画素毎に輝度値を算出するグレースケーリング処理を行う例を説明する。なお、ステップＳ５０１を実行する主体である領域特定部４１は、図３に示したように、表示位置制御部４０が有する機能ブロックの１つである。また、図１を参照すれば、領域特定部４１は、フィンガープリント生成部２２が有する機能ブロックの１つであるともいえる。

ステップＳ５０１でのグレースケーリング処理の結果として得られるフレームの一例を図１１の（ｂ）に示す。図１１の（ｂ）に示すフレームは、図１１の（ａ）に示すフレームのそれぞれに対してグレースケーリング処理を施したものである。

次に、領域特定部４１は、ダウンスケーリング処理を行う（ステップＳ５０２）。

ダウンスケーリング処理とは、１つのフレームを構成する画素の数を、元の画素数から、より少ない画素数に変換すること、すなわち、ダウンスケール変換を行うこと、である。領域特定部４１は、ダウンスケーリング処理を実行して、フレームの画像を、より少ない画素数で構成される画像に変換する。本開示は、この変換手法を限定しない。例えば、領域特定部４１は、フレームに含まれる複数の画素が１つのブロックに含まれるように、フレームを複数のブロックに分割し、ブロック毎に１つの輝度値を算出することでダウンスケール変換を行ってもよい。このとき、領域特定部４１は、ブロック毎に、そのブロックに含まれる画素の輝度値の平均値や中間値等を算出して、そのブロックの輝度値としてもよい。

ステップＳ５０２でのダウンスケーリング処理の結果として得られるフレームの一例を図１１の（ｃ）に示す。図１１の（ｃ）に示すフレームは、図１１の（ｂ）に示すフレームのそれぞれに対してダウンスケーリング処理を施したものである。

次に、領域特定部４１は、差分フレームの生成を行う（ステップＳ５０３）。

差分フレームは、時間的に隣接する２つのフレーム（例えば、時間的に連続する２つのフレーム）間の輝度値の差分を算出することで、生成される。領域特定部４１は、時間的に隣接する２つのフレームの、ブロック毎に、同じ位置のブロック同士で輝度値の差分を算出することで、差分フレームを生成する。なお、ブロック毎に算出した輝度値の差分（絶対値）を「差分値」という。

ステップＳ５０３で生成される差分フレームの一例を、図１１の（ｄ）に示す。図１１の（ｄ）に示す差分フレームでは、画像の変化の大きさを濃淡で表示しており、画像の変化が比較的大きいブロックは濃く、画像の変化が比較的小さいブロックは薄く表示している。

次に、領域特定部４１は、静動領域を特定する（ステップＳ５０４）。

静動領域の特定とは、フレーム内の動的領域と静的領域とを特定する処理のことである。領域特定部４１は、ステップＳ５０３で生成した差分フレーム内のブロックの差分値が所定値より大きいブロックを動的ブロックとし、その差分値が所定値より小さいブロックを静的ブロックとする。そして、領域特定部４１は、動的ブロックを含むように動的領域を設定し、静的ブロックを含むように静的領域を設定することで、動的領域および静的領域を特定する。なお、この所定値は、動的領域と静的領域とを適切に設定できるように、差分値が取りうる最大値等に基づき、適切に設定することが望ましい。

なお、ステップＳ５０１〜ステップＳ５０３の各処理は、フィンガープリント生成部２２がフィンガープリントを生成する処理の一部として実行する処理でもある。したがって、領域特定部４１は、ステップＳ５０１〜ステップＳ５０３を行わずに、フィンガープリント生成部２２で行われるステップＳ５０１〜ステップＳ５０３と同一の処理により生成された差分フレームを、フィンガープリント生成部２２から取得してもよい。

図９は、実施の形態１における包含関係の有無の判定処理の一例を示すフローチャートである。図９に示すフローチャートは、図６のステップＳ３０３の処理を詳細に示したものである。

以下、図１２、図１３を参照しながら、図９に示すフローチャートを説明する図１２は、実施の形態１における重畳表示の可否判定処理の一具体例を模式的に示す第１の図である。図１３は、実施の形態１における重畳表示の可否判定処理の一具体例を模式的に示す第２の図である。

まず、包含判定部４２は、静動領域比率の算出を行う（ステップＳ６０１）。

包含判定部４２は、ステップＳ５０４で特定された静的領域と動的領域との比率を算出する。なお、ステップＳ６０１を実行する主体である包含判定部４２は、図３に示したように、表示位置制御部４０が有する機能ブロックの１つである。また、図１を参照すれば、包含判定部４２は、フィンガープリント生成部２２が有する機能ブロックの１つであるともいえる。

ステップＳ６０１の処理について、図１２の（ａ）および（ｂ）を参照しながら具体的に説明する。図１２の（ａ）は、処理の対象となる差分フレームの一例を示している。図１２の（ｂ）は、図１２の（ａ）に示す差分フレームにおける静的領域と動的領域との各ブロック数と、その比率の一例を示している。図１２に示す例では、差分フレームは、１６ブロックの静的領域と、２ブロックの動的領域と、を有している。また、静的領域と動的領域との比率は、８９％：１１％である。

次に、包含判定部４２は、領域の高さヒストグラムおよび幅ヒストグラムを生成する（ステップＳ６０２）。

高さヒストグラムおよび幅ヒストグラムは、静的領域または動的領域が、差分フレーム内の高さおよび幅の各方向に関して、どの位置を占めるかを示す情報である。包含判定部４２は、ステップＳ６０１で算出した比率が小さい方の領域（図１２に示す例では動的領域）について、高さヒストグラムおよび幅ヒストグラムを生成する。

なお、本実施の形態では、フレーム内の最上段を原点として下方向を高さ方向とし、下へ行くほど数値が大きくなるものとする。また、フレーム内の最左列を原点として右方向を幅方向とし、右へ行くほど数値が大きくなるものとする。なお、上記した高さ方向および幅方向は単なる一例であり、本開示は何らこの定義に限定されない。上記とは異なる定義で高さ方向および幅方向を定めてもよく、そのような場合でも上記の定義と同様の処理を行うことが可能である。

ステップＳ６０２の処理について、図１２の（ｃ）を参照しながら具体的に説明する。図１２の（ｃ）は、ヒストグラムの算出方法の一具体例を模式的に示している。

まず、包含判定部４２は、処理の対象となる差分フレームにおける静的領域と動的領域とのうち、各領域に含まれるブロックの数がより少ない方（つまり、領域の面積が小さい方）を、ヒストグラムの算出の対象とする。図１２に示す例では、動的領域がヒストグラムの算出の対象となる。

次に、包含判定部４２は、算出対象の領域に関して、高さヒストグラムを算出する。高さヒストグラムは、差分フレームにおける高さ方向のブロックの数と同数の数値の配列で表され、各数値（以下、「度数」とも記す）は、算出対象の領域の幅方向におけるブロックの数とする。図１２に示す例では、差分フレームの高さ方向および幅方向のブロックの数はそれぞれ５なので、高さヒストグラムは、０から５までのいずれかの数値が５つ並んだ情報として表される。図１２に示す例では、差分フレームの高さ方向の２ブロック目と３ブロック目とのそれぞれに動的領域のブロックが幅方向に１つずつあり、それ以外は０なので、高さヒストグラムは「０、１、１、０、０」となる。

次に、包含判定部４２は、算出対象の領域に関して、幅ヒストグラムを算出する。幅ヒストグラムは、差分フレームにおける幅方向のブロックの数と同数の数値の配列で表され、各数値（以下、「度数」とも記す）は、算出対象の領域の高さ方向におけるブロックの数とする。図１２に示す例では、差分フレームの幅方向および高さ方向のブロックの数はそれぞれ５なので、幅ヒストグラムは、０から５までのいずれかの数値が５つ並んだ情報として表される。図１２に示す例では、差分フレームの幅方向の３ブロック目に動的領域のブロックが高さ方向に２つあり、それ以外は０なので、幅ヒストグラムは「０、０、２、０、０」となる。

次に、包含判定部４２は、領域の分散度を算出する（ステップＳ６０３）。

包含判定部４２は、ステップＳ６０２で生成した高さヒストグラムおよび幅ヒストグラムを用いて、差分フレーム内における領域の分散度を算出する。

ステップＳ６０３の処理について、図１２の（ｄ）を参照しながら具体的に説明する。図１２の（ｄ）は、分散度の算出方法の一具体例を示している。

分散度は、ヒストグラムの各度数と度数の平均値との差分の２乗平均として算出される。図１２に示す例では、高さヒストグラム、幅ヒストグラム、ともに、度数の平均値は０．４である。したがって、図１２の（ｄ）に示すように、処理対象の差分フレームに関して、動的領域の高さ方向の分散度は０．２４となり、幅方向の分散度は０．６４となる。

次に、包含判定部４２は、中心重みベクトルを生成する（ステップＳ６０４）。

中心重みベクトルとは、フレーム内における中心から各ブロックまでの距離を示す指標である。中心重みベクトルの各要素は、それぞれが１つのブロックに対応する。中心重みベクトルの各要素は、０以上１以下の数値であり、中心において１となり、中心から離れるほど０に近づく。このようにして中心重みベクトルは定められる。図１２に示す例では、中心重みベクトルを、例えば、「０．１、０．５、１、０．５、０．１」とする。

中心重みベクトルの各要素は、数値が大きいほど、そのブロックがフレーム内の中心であると判定される傾向が高まる。すなわち、中心重みベクトルにおいて中心を含む広い範囲で各要素の数値が大きければ、フレーム内の中心を含む広い領域がフレームの中心部分と認識されやすい。一方、中心重みベクトルにおいて中心を含む狭い範囲の要素のみ数値が大きければ、フレーム内の中心を含む狭い領域がフレームの中心部分と認識されやすい。

なお、図１２に示す例では、処理の対象となる差分フレームは、高さ方向、幅方向のそれぞれが５ブロックであるので、５つの要素を有する中心重みベクトルを、高さ方向および幅方向のそれぞれに共通に用いることができる。なお、本開示は何らこの構成に限定されない。例えば、高さ方向と幅方向とで互いに異なる中心重みベクトルを用いてもよい。なお、処理の対象となる差分フレームの高さ方向と幅方向とでブロックの数が互いに異なる場合は、各方向のそれぞれに適した中心重みベクトルを用いすることが望ましい。

次に、包含判定部４２は、重心ベクトルを生成する（ステップＳ６０５）。

重心ベクトルとは、高さ方向および幅方向の各重心から、各ブロックまでの距離を示す指標である。重心ベクトルの各要素は、０以上１以下の数値であり、重心の位置（または、重心に最も近い位置）において１となり、重心から離れるほど０に近づく。このようにして重心ベクトルは定められる。

重心重みベクトルの各要素は、数値が大きいほど、そのブロックが重心に近いと判定される傾向が高まる。すなわち、重心ベクトルにおいて重心を含む広い範囲で各要素の数値が大きければ、重心を含む広い領域が重心と認識されやすい。一方、重心ベクトルにおいて重心を含む狭い範囲の要素のみ数値が大きければ、重心を含む狭い領域がフレームの重心と認識されやすい。

重心ベクトルは、高さ方向に関しては高さヒストグラムに基づき、幅方向に関しては幅ヒストグラムに基づき、それぞれ算出される。図１２の（ｃ）に一例を示す高さヒストグラムおよび幅ヒストグラムから、高さ方向の重心ベクトルおよび幅方向の重心ベクトルをそれぞれ求めるときの一具体例を図１３の（ｆ）に示す。

まず、高さ方向の重心ベクトルの求め方を説明する。高さヒストグラムの各要素（図１２、図１３に示す例では、「０、１、１、０、０」）と、高さ方向の座標（図１２、図１３に示す例では、「１、２、３、４、５」）との積を、高さヒストグラムのすべての要素について算出し、それらを足し合わせる。そして、その足し合わせた結果を、算出対象の領域のブロック数（図１３に示す例では、動敵領域のブロック数）に１を足した数で割って得られた数値を重心位置とする。図１３に示す例では、１．６という数値が得られるので、それを四捨五入して２とする。すなわち、高さ方向の座標「２」の位置が重心の位置となる。したがって、高さ方向の重心ベクトルでは、高さ方向の座標「２」の位置の要素は１となり、重心から離れるほど０に近づくように、重心からの距離に応じて各要素が定められる。このようにして、高さ方向の重心ベクトル「０．５、１、０．５、０．３３、０．２５」が生成される。

次に、幅方向の重心ベクトルの求め方を説明する。幅ヒストグラムの各要素（図１２、図１３に示す例では、「０、０、２、０、０」）と、幅方向の座標（図１２、図１３に示す例では、「１、２、３、４、５」）との積を、幅ヒストグラムのすべての要素について算出し、それらを足し合わせる。そして、その足し合わせた結果を、算出対象の領域のブロック数（図１３に示す例では、動敵領域のブロック数）に１を足した数で割って得られた数値を重心位置とする。図１３に示す例では、２という数値が得られるので、幅方向の座標「２」の位置が重心の位置となる。したがって、幅方向の重心ベクトルでは、幅方向の座標「２」の位置の要素は１となり、重心から離れるほど０に近づくように、重心からの距離に応じて各要素が定められる。このようにして、幅方向の重心ベクトル「０．５、１、０．５、０．３３、０．２５」が生成される。

なお、図１３の（ｆ）に示す計算式で分母に１を足しているのは、０による除算を避けるためである。なお、分母を、処理の対象となる差分フレームのブロック数（図１２に示す例では、２５）としてもよい。

次に、包含判定部４２は、包含度を算出する（ステップＳ６０６）。

包含度とは、静的領域および動的領域のいずれか一方が他方を包含している度合いを示す指標である。包含判定部４２は、包含度が所定の閾値より大きい場合に、静的領域および動的領域のいずれか一方が他方を包含していると判定する。なお、包含度だけでは、静的領域および動的領域のどちらが包含する側であり、どちらが包含される側であるかを知ることはできない。

包含度は、ステップ６０２で算出した高さヒストグラムおよび幅ヒストグラム、ステップＳ６０４で生成した中心重みベクトル、ステップＳ６０５で生成した高さ方向の重心ベクトルおよび幅方向の重心ベクトル、から算出される。

包含度を算出するときの一具体例を図１３の（ｇ）に示す。

包含度は、高さ方向および幅方向のそれぞれにおいて、ヒストグラム、中心重みベクトル、および、重心重みベクトルの積をブロック毎に算出して包含ベクトルを算出し、高さ方向および幅方向の包含ベクトルの要素の平均を算出することで、算出される。図１３に示す例では、高さ方向の包含ベクトルは、「０、０．５、０．５、０、０」となり、幅方向の包含ベクトルは、「０、０、１、０、０」となる。したがって、包含度は０．６７となる。

次に、包含判定部４２は、包含情報を出力する（ステップＳ６０７）。

包含情報とは、処理の対象となるフレームが包含関係を有するか否かを示す情報である。包含判定部４２は、ステップＳ６０６で算出した包含度が所定の閾値（以下、「包含度閾値」とも記す）より大きいときは、包含関係があるということを示す情報を包含情報として出力する。包含度閾値を、例えば、０．５とすれば、図１３に示す例では、包含度は０．６７なので、包含関係があることを示す包含情報が包含判定部４２から出力される。

一方、包含判定部４２は、ステップＳ６０６で算出した包含度が包含度閾値より小さいときは、包含関係がないということを示す情報を包含情報として出力する。なお、両者が等しい場合には、包含関係があるとしてもよいし、包含関係がないとしてもよい。なお、本実施の形態で閾値として挙げた各数値は単なる一例に過ぎない。各閾値は、サーバ装置２０の仕様等に応じて適切に設定されることが望ましい。

図１０は、実施の形態１における重畳領域の候補の決定処理の一例を示すフローチャートである。図１０に示すフローチャートは、図６のステップＳ３０５の処理を詳細に示したものである。

以下、図１２、図１３を参照しながら、図１０に示すフローチャートを説明する。

まず、重畳領域決定部４３は、包含する側の領域を、重畳領域の候補として特定する（ステップＳ７０１）。

重畳領域決定部４３は、ステップＳ６０７で出力された包含情報を取得し、包含関係の有無を判定する。包含関係がある場合には、重畳領域決定部４３は、静的領域および動的領域のうちブロック数が多い方の領域を、包含する側の領域とする。なお、ステップＳ７０１を実行する主体である重畳領域決定部４３は、図３に示したように、表示位置制御部４０が有する機能ブロックの１つである。また、図１を参照すれば、重畳領域決定部４３は、フィンガープリント生成部２２が有する機能ブロックの１つであるともいえる。

次に、重畳領域決定部４３は、重畳領域の候補を示す情報を出力する（ステップＳ７０２）。

重畳領域の候補を示す情報とは、ステップＳ７０１で特定した重畳領域の候補を示す情報のことであり、その重畳領域の候補のフレーム内における位置を示す情報と、映像コンテンツ内における表示時刻を示す情報と、を含む。

以上の一連の処理によって、表示位置制御部４０は、複数のフレームのそれぞれにおいて、ユーザによる注目度が相対的に低いと推定される領域を特定し、特定した領域に所定の時間含まれる位置を、付加情報を表示する位置に決定する。これにより、付加情報は、表示画面において注目度が低いと推定される非注目領域に重畳されるので、ユーザが映像コンテンツを視聴するときに、付加情報が視聴の障害となることを回避することができる。

図１４Ａは、実施の形態１における重畳領域の位置の一例を模式的に示す図である。図１４Ｂは、実施の形態１における重畳領域の位置の他の一例を模式的に示す図である。図１４Ａ、１４Ｂを参照しながら、本実施の形態における表示位置制御部４０により決定される付加情報の表示位置について説明する。

図１４Ａに一例として示すフレームは、中央部分に静的領域１４０１が存在し、フレーム内の中央部分を除く周縁部分に動的領域１４０２が存在する。このようなフレームに対して、表示位置制御部４０は、上述した一連の処理により、静的領域１４０１を相対的に注目度が高い領域（注目領域）とし、動的領域１４０２を相対的に注目度が低い領域（非注目領域）とする。そして、動的領域１４０２に含まれる位置を、付加情報１４０３を表示する位置とする。その結果、そのフレームが表示画面に表示される際には、動的領域１４０２に含まれる位置に付加情報１４０３が表示される。

図１４Ｂに一例として示すフレームは、中央部分に動的領域１４１１が存在し、フレーム内の中央部分を除く周縁部分に静的領域１４１２が存在する。このようなフレームに対して、表示位置制御部４０は、上述した一連の処理により、動的領域１４１１を相対的に注目度が高い領域（注目領域）と推定し、静的領域１４１２を相対的に注目度が低い領域（非注目領域）と推定する。そして、静的領域１４１２に含まれる位置を、付加情報１４１３を表示する位置とする。その結果、そのフレームが表示画面に表示される際には、静的領域１４１２に含まれる位置に付加情報１４１３が表示される。

［１−７．効果等］
以上のように、本実施の形態におけるサーバ装置２０は、複数のフレームのそれぞれにおいて、ユーザによる注目度が相対的に低いと推定される非注目領域を特定する。そして、複数のフレームの各非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。

これにより、付加情報は、表示画面において注目度が高いと推定される注目領域を除く位置に重畳されるので、ユーザが映像コンテンツを視聴するときに、付加情報が視聴の障害となることを回避することができる。

一般に、１台のサーバ装置２０は、数百〜数千の受信装置１０に対して画像認識処理を提供する。本実施の形態によれば、サーバ装置２０において付加情報の表示位置の算出処理を行うことで、受信装置１０のそれぞれにおいて、付加情報の表示位置を算出する処理を行う必要がなくなり、受信装置１０における処理量を削減することができる。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

（実施の形態２）
実施の形態１では、サーバ装置２０で画像認識を行う構成例を説明した。実施の形態２では、受信装置１０Ａで画像認識を行う構成例を説明する。

以下、図１５〜１７を用いて、実施の形態２を説明する。

［２−１．構成］
まず、本実施の形態におけるコンテンツ認識システム１Ａについて、図１５、図１６を用いて説明する。

図１５は、実施の形態２におけるコンテンツ認識システム１Ａの一構成例を示すブロック図である。

図１６は、実施の形態２における受信装置１０Ａの一構成例を示すブロック図である。なお、図１６は、受信装置１０Ａの主要なハードウェア構成を示している。

図１に示すように、コンテンツ認識システム１Ａは、放送局３と、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）４と、受信装置１０Ａと、サーバ装置２０Ａと、付加情報サーバ装置３０と、を備える。実施の形態２では、受信装置１０Ａが、表示制御装置の一例である。

以下、実施の形態１で説明した構成要素と実質的に同じ動作をする構成要素については実施の形態１で付与した符号と同じ符号を付与し、重複説明を省略する。本実施の形態では、実施の形態１との差異を説明する。

受信装置１０Ａは、画像認識部１００Ａと、映像受信部１１と、映像抽出部１２と、付加情報取得部１３と、映像出力部１４と、制御部１５と、操作信号受信部１６と、ＨＴＴＰ送受信部１７と、を備える。

画像認識部１００Ａは、フィンガープリント生成部１１０Ａと、フィンガープリント取得部１２０と、照合部１３０と、出力部１４０と、を備える。

フィンガープリント生成部１１０Ａは、実施の形態１で説明したフィンガープリント生成部１１０と実質的に同じ動作をする。フィンガープリント生成部１１０Ａは、映像受信部１１が受信した映像コンテンツに基づいて、フィンガープリントを生成する。また、フィンガープリント生成部１１０Ａは、表示位置制御部４５を備えている。

表示位置制御部４５は、実施の形態１で説明したサーバ装置２０が備える表示位置制御部４０と実質的に同じ動作をする。表示位置制御部４５は、受信した映像コンテンツを映像出力部１４が表示画面に表示する際に、付加情報を表示する位置を制御する制御回路である。

フィンガープリント取得部１２０は、サーバ装置２０ＡのフィンガープリントＤＢ２３からフィンガープリントを取得する。フィンガープリント取得部１２０が取得するフィンガープリントは、フィンガープリントＤＢ２３に蓄積されたフィンガープリントのうち、画像認識部１００Ａで画像認識処理を行う時点で放送局３から放送されている映像コンテンツを含む所定数の映像コンテンツのフィンガープリントである。

照合部１３０は、実施の形態１で説明したサーバ装置２０が備える照合部２５と実質的に同じ動作をする。照合部１３０は、フィンガープリント生成部１１０Ａが生成したフィンガープリントを、フィンガープリント取得部１２０がサーバ装置２０Ａから取得したフィンガープリントと照合する。

サーバ装置２０Ａは、コンテンツ受信部２１と、フィンガープリント生成部２２Ａと、フィンガープリントＤＢ２３と、を備える。

フィンガープリント生成部２２Ａは、受信した映像コンテンツに基づいて、映像コンテンツ毎にフィンガープリントを生成する。フィンガープリント生成部２２Ａは、表示位置制御部を備えていない。この点で、フィンガープリント生成部２２Ａは、実施の形態１におけるフィンガープリント生成部２２と異なる。

［２−２．動作］
図１７は、実施の形態１におけるコンテンツ認識処理の一例を示すフローチャートである。

まず、映像受信部１１は、放送局３から送信される複数のフレームを含む映像コンテンツを受信する（ステップＳ８０１）。

次に、フィンガープリント生成部１１０Ａは、ステップＳ８０１で映像受信部１１が受信した映像コンテンツの複数のフレームに関して、フィンガープリントを生成する（ステップＳ８０２）。

次に、表示位置制御部４５は、重畳情報を算出する（ステップＳ８０３）。

表示位置制御部４５は、ステップＳ８０１で映像受信部１１が受信した映像コンテンツが付加情報と共に表示画面に表示される場合に、その付加情報が映像コンテンツ上のどこに表示されるか、また、どの期間に表示されるか、を算出する。この付加情報は、ステップＳ８０１で受信された映像コンテンツに関してステップＳ８０２で生成されたフィンガープリントに、付加情報ＤＢ３１において対応付けられた付加情報である。なお、映像コンテンツ上でその付加情報が表示される領域が「重畳領域」であり、表示される期間が「重畳期間」である。

次に、フィンガープリント生成部１１０Ａは、ステップＳ８０２で生成されたフィンガープリントおよびステップＳ８０３で生成された重畳領域情報を、受信装置１０Ａが備える記憶装置（図示せず）に保持する（ステップＳ８０４）。

次に、フィンガープリント取得部１２０は、サーバ装置２０Ａで生成されたフィンガープリントをサーバ装置２０Ａから受信するのを待つ（ステップＳ８０５）。ここで、フィンガープリント取得部１２０が受信を待つフィンガープリントは、サーバ装置２０Ａのフィンガープリント生成部２２Ａが、映像受信部１１が受信した映像コンテンツと同じ映像コンテンツから生成したフィンガープリントである。

ステップＳ８０５においてフィンガープリント取得部１２０がフィンガープリントを受信すると（ステップＳ８０５のＹｅｓ）、処理はステップＳ８０６へ進む。一方、ステップＳ８０５においてフィンガープリント取得部１２０がフィンガープリントを受信しなければ（ステップＳ８０５のＮｏ）、処理はステップＳ８０１に戻り、映像受信部１１は、映像コンテンツを新たに受信する。

照合部１３０は、ステップＳ８０２でフィンガープリント生成部１１０Ａが生成したフィンガープリントを、ステップＳ８０５でサーバ装置２０Ａから受信したフィンガープリントと照合する（ステップＳ８０６）。

次に、照合部１３０は、ステップＳ８０６での照合の結果、照合した２つのフィンガープリントが一致するか否かを判定する（ステップＳ８０７）。

照合部１３０は、ステップＳ８０２でフィンガープリント生成部１１０Ａが生成したフィンガープリントと、ステップＳ８０５でサーバ装置２０Ａから受信したフィンガープリントとが一致するか否かを判定する。

ステップＳ８０７において、２つのフィンガープリントは互いに一致すると照合部１３０が判定すると（ステップＳ８０７のＹｅｓ）、処理はステップＳ８０８に進む。一方、２つのフィンガープリントは互いに一致しないと照合部１３０が判定すれば（ステップＳ８０７のＮｏ）、処理はステップＳ８０１に戻り、映像受信部１１は、映像コンテンツを新たに受信する。

次に、画像認識部１００Ａは、映像コンテンツの認識が完了したか否かを判定する（ステップＳ８０８）。

画像認識部１００Ａは、映像コンテンツに含まれる複数のフレームのそれぞれについて、画像認識の結果を示す情報と重畳領域情報とが得られたか否かを判定する。そして、全てのフレームについて画像認識の結果を示す情報と重畳領域情報とが得られたと判定された場合、コンテンツ認識処理を終了する（ステップＳ８０８のＹｅｓ）。一方、画像認識の結果を示す情報と重畳領域情報とが未だ得られていないフレームがあると判定された場合（ステップＳ８０８のＮｏ）、処理はステップＳ８０１に戻り、映像受信部１１は、映像コンテンツを新たに受信する。

［２−３．効果等］
以上のように、本実施の形態における受信装置１０Ａは、複数のフレームのそれぞれにおいて、ユーザによる注目度が相対的に低いと推定される非注目領域を特定する。そして、複数のフレームの各非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。

これにより、付加情報は、表示画面において注目度が高いと推定される注目領域を除く位置に重畳されるので、ユーザが映像コンテンツを視聴するときに、付加情報が視聴の障害となることを回避することができる。

本実施の形態によれば、受信装置１０Ａが付加情報の表示位置の算出処理を行う。そのため、受信装置１０Ａの構成や設置環境に適合した処理を行うことができる。

［３．まとめ］
以上のように、本開示における表示制御装置は、フィンガープリントを用いて映像コンテンツに対応付けられる付加情報を、映像コンテンツと共に表示画面に表示するための装置である。この表示制御装置は、領域特定部と、注目領域推定部と、位置決定部と、を備える。領域特定部は、映像コンテンツに含まれる複数のフレームのそれぞれにおいて、第一領域と、当該フレーム内の第一領域を除く領域に含まれる第二領域と、を特定する。注目領域推定部は、複数のフレームのそれぞれにおいて、第一領域と第二領域との位置関係に基づいて、第一領域と第二領域とのうち、いずれか一方を注目領域とし、他方を非注目領域とする。位置決定部は、複数のフレームのそれぞれの非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。

なお、サーバ装置２０、受信装置１０Ａは、それぞれが表示制御装置の一例である。領域特定部４１、領域特定部５２、表示位置制御部４５は、それぞれが領域特定部の一例である。包含判定部４２、注目領域推定部５３、表示位置制御部４５は、それぞれが注目領域推定部の一例である。重畳領域決定部４３、位置決定部５４、表示位置制御部４５は、それぞれが位置決定部の一例である。動的領域は第一領域の一例であり、静的領域は第二領域の一例である。包含関係にある第一領域と第二領域とのうち、包含される方の領域は注目領域の一例であり、包含する方の領域は非注目領域の一例である。静的領域１４０１、動的領域１４１１は、それぞれが注目領域の一例であり、動的領域１４０２、静的領域１４１２は、それぞれが非注目領域の一例である。

本開示に示す表示制御装置によれば、複数のフレームのそれぞれにおいて、ユーザによる注目度が相対的に低いと推定される領域に、付加情報を表示することができる。これにより、付加情報は、表示画面において注目度が高いと推定される注目領域を除く位置に重畳されるので、ユーザが映像コンテンツを視聴するときに、付加情報が視聴の障害となることを回避することができる。

また、本開示に示す表示制御装置によれば、複数のフレームのそれぞれの非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。したがって、付加情報が頻繁に表示画面内を移動する、といったことが防止され、ユーザが映像コンテンツを視聴するときに、付加情報が視聴の障害となることを回避することができる。

また、その表示制御装置において、注目領域推定部は、複数のフレームのそれぞれにおいて、第一領域と第二領域とのいずれか一方が他方を包含する位置関係にある場合に、包含する方を非注目領域とし、包含される方を注目領域としてもよい。

この場合、表示制御装置は、例えば、複数のフレームのそれぞれにおいて第二領域の周囲の少なくとも一部を第一領域が取り囲んでいれば、ユーザは第二領域に注目していると推定する。すなわち、表示制御装置は、第一領域は、ユーザによる注目度が相対的に低い領域である、と推定して、第一領域内に付加情報を表示する位置を決定する。これにより、表示制御装置は、注目領域と非注目領域とを精度良く推定することができ、映像コンテンツ上のより適切な位置に付加情報を表示することができる。

また、その表示制御装置において、位置決定部は、付加情報を重畳する複数のフレームが表示画面に表示される期間が、所定の時間以上のときに、付加情報を表示する位置を示す情報を生成してもよい。

この場合、表示制御装置は、付加情報を重畳する対象となる複数のフレームが表示画面に表示される期間が短い場合には付加情報を表示しない、という判断を行うことが可能になる。これにより、表示期間が短くユーザに視認されにくい付加情報を表示画面に表示しないようにすることができる。

また、その表示制御装置において、位置決定部は、付加情報を表示する位置の領域が所定の面積以上のときに、付加情報を表示する位置を示す情報を生成してもよい。

この場合、表示制御装置は、付加情報を重畳する領域が確保される場合のみ、付加情報を表示画面に表示する、という判断を行うことが可能になる。したがって、付加情報が注目領域に重なって表示されることを防止することができる。

また、その表示制御装置において、領域特定部は、時間的に隣接する２つのフレーム間で画像の変化を検出し、画像の変化が所定値より大きい領域を動的領域とし、画像の変化が所定値より小さい領域を静的領域とし、静的領域および動的領域の一方を第一領域とし、他方を第二領域としてもよい。

また、本開示における表示制御方法は、フィンガープリントを用いて映像コンテンツに対応付けられる付加情報を、映像コンテンツと共に表示画面に表示するための表示制御方法である。この表示制御方法では、映像コンテンツに含まれる複数のフレームのそれぞれにおいて、第一領域と、当該フレーム内の第一領域を除く領域に含まれる第二領域と、を特定し、複数のフレームのそれぞれにおいて、第一領域と第二領域との位置関係に基づいて、第一領域と第二領域とのうち、いずれか一方を注目領域とするとともに他方を非注目領域とし、複数のフレームのそれぞれの非注目領域に共通に含まれる位置を、付加情報を表示する位置とする。

これにより、上記の表示制御装置と同様の効果を得ることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１、２を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１、２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

図１８は、実施の形態における表示制御装置５０の構成の変形例を示すブロック図である。

図１８に示すように、表示制御装置５０は、表示位置制御部５１を備える。

表示位置制御部５１は、領域特定部５２と、注目領域推定部５３と、位置決定部５４と、を備える。領域特定部５２は、映像コンテンツに含まれる複数のフレームのそれぞれにおいて、第一領域と、そのフレーム内の第一領域を除く領域に含まれる第二領域と、を特定する。注目領域推定部５３は、複数のフレームのそれぞれにおいて、第一領域と第二領域との位置関係に基づいて、第一領域と第二領域とのうち、いずれか一方を注目領域に決定し、他方を非注目領域に決定する。位置決定部５４は、複数のフレームのそれぞれにおける非注目領域に共通に含まれる位置を、付加情報を表示する位置に決定する。

これにより、表示制御装置５０は、映像コンテンツ上のより適切な位置に付加情報を重畳し、付加情報を重畳した映像コンテンツを表示画面に表示することができる。

実施の形態１では、サーバ装置２０が実質的にリアルタイムで映像コンテンツの認識を行う動作例を示したが、本開示は何らこの動作例に限定されない。例えば、受信装置１０が記録媒体に保存された映像コンテンツ（例えば、録画された番組コンテンツ）を読み出して表示する場合にも、サーバ装置２０は、上述した実施の形態１と同様に動作して、映像コンテンツを認識することができる。

実施の形態１に示すサーバ装置２０は、例えば、広告コンテンツの認識に利用することができる。あるいは、ドラマやバラエティ等の番組コンテンツの認識に利用することもできる。このとき、受信装置１０は、付加情報サーバ装置３０から、画像認識の結果に基づく付加情報として、例えば、出演者自身のプロフィール、出演者が身につけている衣服、出演者が訪れた場所、等に関する情報を取得し、取得したそれらの情報を表示中の映像に重畳して表示させてもよい。

サーバ装置２０は、広告コンテンツだけでなく、番組コンテンツ等の映像コンテンツを受信し、その映像コンテンツに対応するフィンガープリントを生成してもよい。そして、フィンガープリントＤＢ２３は、広告コンテンツだけでなく、番組コンテンツに対応するフィンガープリントを、コンテンツＩＤに対応付けて保持してもよい。

なお、本開示は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現してもよい。また、それらのステップをコンピュータに実行させるプログラムとして実現してもよい。また、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体として実現してもよい。または、それらを、集積回路として実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信してもよい。

また、実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、映像コンテンツ上のより適切な位置に付加情報を表示する表示制御装置に適用可能である。具体的には、テレビ等の映像受信装置、またはサーバ装置等に、本開示は適用可能である。

１，１Ａ コンテンツ認識システム
３ 放送局
４ ＳＴＢ
１０，１０Ａ 受信装置
１１ 映像受信部
１１ａ 映像入力部
１１ｂ 第１外部入力部
１１ｃ 第２外部入力部
１２ 映像抽出部
１３ 付加情報取得部
１４ 映像出力部
１５ 制御部
１６ 操作信号受信部
１７ ＨＴＴＰ送受信部
１８ 付加情報格納部
１９ 付加情報表示制御部
２０，２０Ａ サーバ装置
２１ コンテンツ受信部
２２，２２Ａ，１１０，１１０Ａ フィンガープリント生成部
２３ フィンガープリントＤＢ
２４ 表示位置情報
２５，１３０ 照合部
３０ 付加情報サーバ装置
３１ 付加情報ＤＢ
４０，４５，５１ 表示位置制御部
４１，５２ 領域特定部
４２ 包含判定部
４３ 重畳領域決定部
５０ 表示制御装置
５３ 注目領域推定部
５４ 位置決定部
１００，１００Ａ 画像認識部
１２０ フィンガープリント取得部
１４０ 出力部
１４０１，１４１２ 静的領域
１４０２，１４１１ 動的領域
１４０３，１４１３ 付加情報

Claims (5)

1. フィンガープリントを用いて映像コンテンツに対応付けられる付加情報を、前記映像コンテンツと共に表示画面に表示するための表示制御装置であって、
   前記映像コンテンツに含まれる複数のフレームのそれぞれにおいて、第一領域と、当該フレーム内の前記第一領域を除く領域に含まれる第二領域と、を特定する領域特定部と、
   前記複数のフレームのそれぞれにおいて、前記第一領域と前記第二領域との位置関係に基づいて、前記第一領域と前記第二領域とのうち、いずれか一方を注目領域とし、他方を非注目領域とする注目領域推定部と、
   前記複数のフレームのそれぞれの前記非注目領域に共通に含まれる位置を、前記付加情報を表示する位置とする位置決定部と、を備える、
   表示制御装置。
2. 前記注目領域推定部は、
   前記複数のフレームのそれぞれにおいて、前記第一領域と前記第二領域とのいずれか一方が他方を包含する位置関係にある場合に、包含する方を前記非注目領域とし、包含される方を前記注目領域とする、
   請求項１に記載の表示制御装置。
3. 前記位置決定部は、前記付加情報を重畳する前記複数のフレームが前記表示画面に表示される期間が、所定の時間以上のときに、前記付加情報を表示する前記位置を示す情報を生成する、
   請求項１に記載の表示制御装置。
4. 前記位置決定部は、前記付加情報を表示する前記位置の領域が所定の面積以上のときに、前記付加情報を表示する前記位置を示す情報を生成する、
   請求項１に記載の表示制御装置。
5. 前記領域特定部は、
   時間的に隣接する２つのフレーム間で画像の変化を検出し、前記画像の変化が所定値より大きい領域を動的領域とし、前記画像の変化が前記所定値より小さい領域を静的領域とし、前記静的領域および前記動的領域の一方を前記第一領域とし、他方を前記第二領域とする、
   請求項１に記載の表示制御装置。