WO2012176931A1

WO2012176931A1 - 映像処理システム、広告取得方法、映像処理装置、および、その制御方法

Info

Publication number: WO2012176931A1
Application number: PCT/JP2012/066313
Authority: WO
Inventors: 原田　大生; 直毅藤田
Original assignee: 日本電気株式会社
Priority date: 2011-06-23
Filing date: 2012-06-20
Publication date: 2012-12-27
Also published as: US20140115618A1; JPWO2012176931A1

Abstract

　再生中のシーンに多様な広告情報を紐付けて提供する。　映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、フレーム特徴量に対応する広告情報を検索可能な広告情報データベースと、再生中の映像のフレームからフレーム特徴量を抽出するフレーム特徴量抽出部と、フレーム特徴量抽出部が抽出したフレーム特徴量に対応して広告情報データベースから広告情報を取得する広告情報取得部とを含む。

Description

映像処理システム、広告取得方法、映像処理装置、および、その制御方法

　本発明は、再生中の映像に対する広告を取得するための技術に関する。

　特許文献１には、動画を含むコンテンツの特徴量と、字幕や音声解説のメタデータとを対応付けてあらかじめ登録しておき、再生するコンテンツから抽出された特徴量に基づいて、字幕や音声解説を検索し、コンテンツと字幕や音声解説とを同期して再生する技術が開示されている。また、特許文献２には、映像コンテンツの各フレームから少ない情報量でフレーム画像を特徴付けるフレーム特徴量を抽出する技術が開示されている。
特開２００８−１６６９１４号公報国際公開２０１０／０８４７１４号公報

　しかしながら、上記特許文献１に記載の技術では、コンテンツ単位に、字幕や音声解説のメタデータを対応付けるものであり、コンテンツの一部を構成するフレームの特徴量に対応付けて処理できない問題点があった。
　また、上記特許文献２に記載の技術では、再生中の映像に対して広告を送信しようとした場合に、再生しているシーンに多様な広告を紐付けて提供できない問題点があった。
　本発明の目的は、上述の課題を解決する映像処理システム、広告取得方法、映像処理装置、および、その制御方法を提供することにある。

　上記目的を達成するため、本発明に係る映像処理システムは、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースと、再生中の映像のフレームからフレーム特徴量を抽出するフレーム特徴量抽出手段と、前記広告情報データベースから前記フレーム特徴量抽出手段が抽出したフレーム特徴量に対応して前記広告情報を取得する広告情報取得手段とを含む。
　上記目的を達成するため、本発明に係る広告取得方法は、再生中の映像のフレームからフレーム特徴量を抽出し、抽出した前記フレーム特徴量に対応して、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースから前記広告情報を取得する。
　上記目的を達成するため、本発明に係る映像処理装置は、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースと、再生中の映像のフレームから抽出されたフレーム特徴量を受信するフレーム特徴量受信手段と、前記フレーム特徴量受信手段が受信したフレーム特徴量に対応して前記広告情報データベースから前記広告情報を取得する広告情報取得手段とを含む。
　上記目的を達成するため、本発明に係る映像処理装置の制御方法は、再生中の映像のフレームから抽出されたフレーム特徴量を受信し、受信した前記フレーム特徴量に対応して、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースから前記広告情報を取得する。
　上記目的を達成するため、本発明に係るプログラムは、再生中の映像のフレームから抽出されたフレーム特徴量を受信するフレーム特徴量受信処理と、前記フレーム特徴量受信処理において受信したフレーム特徴量に対応して、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースから前記広告情報を取得する広告情報送信処理とをコンピュータに実行させる。

　本発明によれば、再生しているシーンに多様な広告を紐付けて提供できる。

図１は、本発明における第１実施形態に係る映像処理システムの構成の一例を示すブロック図である。図２は、本発明の第２実施形態に係る映像処理システムの構成の一例を示すブロック図である。図３は、本発明の第２実施形態に係る映像処理システムの動作手順の一例を示すシーケンス図である。図４Ａは、本発明の第２実施形態に係るフレーム特徴量抽出部の構成の一例を示すブロック図である。図４Ｂは、本発明の第２実施形態に係るフレーム特徴量抽出部における処理を示す図である。図４Ｃは、本発明の第２実施形態に係るフレーム特徴量抽出部における抽出領域を示す図である。図５は、本発明の第２実施形態に係る映像処理装置のハードウェア構成の一例を示すブロック図である。図６は、本発明の第２実施形態に係る広告情報ＤＢの構成の一例を示す図である。図７は、本発明の第２実施形態に係る映像処理装置の処理手順の一例を示すフローチャートである。図８は、本発明の第３実施形態に係る映像処理システムの動作手順の一例を示すシーケンス図である。図９は、本発明の第４実施形態に係る映像処理システムの動作手順の一例を示すシーケンス図である。図１０は、本発明の第４実施形態に係る広告情報ＤＢの構成の一例を示す図である。図１１は、本発明の第５実施形態に係る広告情報ＤＢの構成の一例を示す図である。

　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらに限定する趣旨のものではない。
　［第１実施形態］
　本発明の第１実施形態としての映像処理システム１００について、図１を用いて説明する。
　図１に示すように、映像処理システム１００は、広告情報データベース１１０と、フレーム特徴量抽出部１２０と、広告情報取得部１３０とを含む。
　広告情報データベース１１０は、映像に含まれるフレームを特徴付けるフレーム特徴量１２０ａに対応付けて、広告情報１１０ａを記憶する。また、広告情報データベース１１０は、フレーム特徴量１２０ａに対応する広告情報１１０ａを検索可能である。
　フレーム特徴量抽出部１２０は、再生中の映像のフレームを受信し、フレームからフレーム特徴量１２０ａを抽出（検索）する。
　広告情報取得部１３０は、フレーム特徴量抽出部１２０が抽出したフレーム特徴量１２０ａに対応して広告情報データベース１１０から広告情報１１０ａを取得する。
　本実施形態の映像処理システム１００は、再生しているシーンに多様な広告を紐付けて提供できる。
　その理由は、映像処理システム１００は、フレーム特徴量抽出部１２０が、再生中の映像のフレームからフレーム特徴量１２０ａを抽出し、広告情報取得部１３０が、抽出したフレーム特徴量１２０ａに対応して広告情報データベース１１０から広告情報１１０ａを取得するからである。
　［第２実施形態］
　次に、本発明の第２実施形態に係る映像処理システム２００について説明する。本実施形態の映像処理装置２１０は、映像視聴用端末２３０~２５０における映像コンテンツの再生中に、実時間で、広告情報データベース２１３（図１の広告情報データベース１１０に相当。以下、広告情報ＤＢ２１３と言う）にあらかじめ登録された広告情報を送信する。本実施形態の映像処理システム２００は、映像コンテンツの再生中に所望の広告情報が送信できる。さらに、本実施形態の映像処理システム２００は、広告送信に対して送信条件を設定し、この送信条件を考慮して広告情報を検索する。本実施形態の映像処理システム２００は、送信条件に基づき広告情報の送信を管理できる。
　《映像処理システムの構成》
　図２は、本実施形態に係る映像処理システム２００の構成を示すブロック図である。
　図２において、映像処理システム２００は、映像処理装置２１０と、広告情報入力部２２０と、映像視聴用端末２３０と、映像視聴用端末２４０と、映像視聴用端末２５０と、映像コンテンツ配信サーバ２６０と、ネットワーク２７０とを含む。
　映像処理装置２１０は、通信制御部２１１と、フレーム特徴量記憶部２１２と、広告情報ＤＢ２１３と、広告情報検索部２１４と、広告情報登録部２１５と、広告情報送信部２１６とを含む。
　広告情報ＤＢ２１３は、図１の広告情報データベース１１０に相当し、映像コンテンツの各フレームを特徴付けるフレーム特徴量と、照合するフレーム特徴量に対応付けた広告情報とを蓄積する。本実施形態において、広告情報ＤＢ２１３が蓄積する情報の形式は、特に制限はない。ただし、以下の説明において、広告情報ＤＢ２１３は、図６に示す広告情報ＤＢ２１３を用いるとして説明する（図６参照）。なお、本実施形態のフレーム特徴量の照合は、完全な一致に限らない。本実施形態のフレーム特徴量の照合は、例えば、一部の一致や、全体として類似しているか否かを差分距離と閾値との比較に基づいてもよい。したがって、本実施形態において、一連のフレームからなるシーンを加工した求めた派生シーンも、合致と見なしてもよい。
　通信制御部２１１は、ネットワーク２７０を介して、映像コンテンツ配信サーバ２６０や映像視聴用端末２３０~２５０と通信する。なお、通信制御部２１１の通信は、有線でも無線でも構わず、特に制限はない。そして、通信制御部２１１は、映像視聴用端末２３０~２５０からフレーム特徴量を受信する「フレーム特徴量受信部」としても機能する。
　フレーム特徴量記憶部２１２は、通信制御部２１１が受信した映像コンテンツの一連のフレーム特徴量を記憶する。
　広告情報検索部２１４は、フレーム特徴量記憶部２１２が記憶するフレーム特徴量と、広告情報ＤＢ２１３のフレーム特徴量とを照合し、合致したフレーム特徴量に対応付けられた広告情報を検索し、広告情報送信部２１６に、出力する。広告情報検索部２１４は、図１の広告情報取得部１３０に相当する。
　広告情報登録部２１５は、広告情報ＤＢ２１３に、広告情報入力部２２０から入力されたフレーム特徴量や広告情報、送信条件などを登録する。
　広告情報送信部２１６は、広告情報検索部２１４が検索した広告情報を、通信制御部２１１を介して、ネットワーク２７０に接続する映像視聴用端末２３０~２５０に送信する。
　広告情報入力部２２０は、図示しない他の装置から映像処理システム２００に必要な情報を受け取り、映像処理装置２１０に送信する。あるいは、キーボードやマウスなどの入力機器を用いた所定の作業者の入力作業を基に、必要な情報を受け取り、映像処理装置２１０に送信する。なお、広告情報入力部２２０は、映像処理装置２１０に含まれてもよい。
　なお、本実施形態は、次のような構成を備えてもよい。映像処理装置２１０が、広告情報入力部２２０にシーンを提供する。広告情報入力部２２０は、受け取った広告情報を受け取ったシーンのフレーム特徴量に紐付けして映像処理装置２１０に送り返す。映像処理装置２１０は、広告情報ＤＢ２１３に、受け取ったフレーム特徴量と広告情報を登録する。この構成は、映像処理装置２１０が、フレーム特徴量を扱う必要がないため、広告情報の登録を容易にできる。
　図２の映像視聴用端末２３０~２５０は、映像再生装置であり、ネットワーク２７０を介してダウンロードした映像コンテンツを再生する。なお、映像視聴用端末２３０~２５０は、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの記憶媒体の映像コンテンツを再生してもよい。本実施形態の映像視聴用端末２３０、映像視聴用端末２４０、および、映像視聴用端末２５０は、それぞれ再生中の映像から各フレームのフレーム特徴量を抽出するフレーム特徴量抽出部２３０ａ、フレーム特徴量抽出部２４０ａ、および、フレーム特徴量抽出部２５０ａを有する。フレーム特徴量抽出部２３０ａ~２５０ａは、図１のフレーム特徴量抽出部１２０に相当する。
　映像コンテンツ配信サーバ２６０は、映像視聴用端末２３０~２５０に映像コンテンツを配信する。
　ネットワーク２７０は、映像処理システム２００に含まれる各装置を接続する通信網である。
　《映像処理システムの動作手順》
　図３は、本実施形態に係る映像処理システム２００の動作手順３００を示すシーケンス図である。なお、各装置の初期化などの詳細は、省略する。
　まず、いずれかの映像視聴用端末２３０~２５０が、映像コンテンツの再生を開始する。再生が開始すると、映像視聴用端末２３０~２５０のフレーム特徴量抽出部２３０ａ~２５０ａは、映像コンテンツの再生フレームのフレーム特徴量を抽出する（Ｓ３１０）。
　映像視聴用端末２３０~２５０は、ネットワーク２７０を介して、映像処理装置２１０に抽出したフレーム特徴量を送信する（Ｓ３０３）。
　フレーム特徴量を受信した映像処理装置２１０は、受信したフレーム特徴量を広告情報ＤＢ２１３のフレーム特徴量と照合し、送信する広告情報があるか否かを検索する（Ｓ３０５）。
　映像処理装置２１０は、合致したフレーム特徴量があれば広告情報有りと判断する（Ｓ３０７）。
　広告情報有りと判断した場合（Ｓ３０７でＹＥＳ）、映像処理装置２１０は、合致したフレーム特徴量に対応付けて登録された広告情報を対応するフレーム特徴量の送信元の映像視聴用端末２３０~２５０へ送信する（Ｓ３０９）。
　なお、映像処理装置２１０は、広告情報の検索において、フレーム特徴量の合致に加え、送信条件の合致を判定してもよい。
　広告情報なしと判断した場合（Ｓ３０７でＮＯ）、映像処理装置２１０は、特に処理せず動作を終了する。
　広告情報を受信したフレーム特徴量の送信元の映像視聴用端末２３０~２５０は、広告情報を重畳して報知する（Ｓ３１１）。例えば、広告情報が文字であれば、映像視聴用端末２３０~２５０は、再生画面に広告情報の文字を重畳する。広告情報が音声や映像、画像であれば、映像視聴用端末２３０~２５０は、視聴者の視聴を妨げない方法で広告情報を重畳して再生する。あるいは、映像視聴用端末２３０~２５０は、指定されたシーンの終了時に広告用映像を再生する。また、映像視聴用端末２３０~２５０は、指定された特定シーンの代わりに広告用映像をおきかえて再生してもよい。
　《フレーム特徴量抽出部の構成と処理》
　図４Ａは、本実施形態に係るフレーム特徴量抽出部２３０ａ~２５０ａの構成の一例を示すブロック図である。本実施形態で適用されるフレーム特徴量抽出部２３０ａ~２５０ａは、例えば、ＭＰＥＧ７（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）の標準化で採用されているビデオシグネチャを抽出する機能構成部である。
　フレーム特徴量抽出部２３０ａ~２５０ａは、次元決定部４１０と、抽出領域取得部４２０と、領域特徴量算出部４３０と、領域特徴量差分符号化部４４０とを含む。
　本実施形態において、フレーム特徴量４５０は、特に制限はない。一例として示す図４Ａにおける出力されるフレーム特徴量４５０は、撮影された映像の各フレーム画像中に多数のサイズの大小や形状の異なる領域対を設け、この領域間の領域特徴量の一種である平均輝度値の差分を量子化（例えば、３値に）し、符号化したものである。
　次元決定部４１０は、領域対の数（次元）を決定し、抽出領域取得部４２０に通知する。ここで、１次元は、１領域対に相当する。
　抽出領域取得部４２０は、次元決定部４１０が決定した次元と予め取得した次元抽出領域情報と基に、フレーム特徴量を算出する各次元の領域の対を取得する。そして、抽出領域取得部４２０は、領域特徴量算出部４３０に対となる抽出領域の情報（抽出領域情報）を送信する。
　領域特徴量算出部４３０は、第１領域特徴量算出部４３１と第２領域特徴量算出部４３２とを含む。第１領域特徴量算出部４３１と第２領域特徴量算出部４３２とは、それぞれ、抽出領域情報を基に、各次元の領域対の一方の領域の領域特徴量（ここでは、その一種である平均輝度）を算出する。領域特徴量算出部４３０は、領域特徴量を領域特徴量差分符号化部４４０に送信する。
　領域特徴量差分符号化部４４０は、領域対のそれぞれの領域特徴量（ここでは平均輝度）の差分を求め、その差分を閾値に従って量子符号化（ここでは３値）し、フレーム特徴量４５０として、出力する。
　なお、本実施形態の説明では、以下、平均輝度を領域特徴量の代表として説明する。しかし、本実施形態の領域特徴量は、領域の平均輝度に限定されない。領域特徴量は、例えば、輝度の他の処理や輝度以外のフレームの特徴量も適用できる。
　図４Ｂは、本実施形態に係るフレーム特徴量抽出部２３０ａ~２５０ａにおける処理を示す図である。
　図４Ｂの４２０ａは、図４Ａの抽出領域取得部４２０が取得した領域対の例を示している。４２０ａにおいて、外枠がフレームを示しており、内部の各矩形が対となる領域を示している。
　図４Ｂの４３０ａは、フレーム画像内において、抽出領域取得部４２０が抽出した対となる領域と、その領域間の差分を取る関係を表現したものである。抽出領域取得部４２０が、フレーム画像内に領域対を抽出する。そして、領域特徴量算出部４３０が、それぞれの領域に含まれる領域特徴量（ここでは、画素の平均輝度）が算出する。そして、領域特徴量差分符号化部４４０が、領域特徴量の差分を算出する。差分を取る領域は、各領域の中心を結ぶ矢印で示している。
　図４Ｂの４４０ａは、算出された差分を量子符号化する様子を示したものである。４４０ａでは、図４Ａにおける第１領域特徴量から第２領域特徴量を差し引いた差分が、差分“０”（平均輝度が等しい場合に相当）を中心とする上記閾値を示す破線で示した差分内であれば、領域特徴量差分符号化部４４０は、“０”を量子符号化の出力値（フレーム特徴量４５０）とする。差分が図の右側の破線位置よりも大きな正（＋）の値であれば、領域特徴量差分符号化部４４０は、“＋１”を量子符号化の出力値とする。差分が図の左側の破線位置よりも小さい負（−）の値であれば、領域特徴量差分符号化部４４０は、“−１”を量子符号化の出力値とする。このように、本実施形態において、符号を“−１”、“０”、“＋１”の３値のように多次元とするのは、フレーム特徴量の分離を容易にし、かつ、フレーム特徴量の照合の計算量を削減するためである。したがって、本実施形態は、上記３値の例に限定する必要はない。なお、破線で示す閾値は、使用される全次元の差分値の分布に対する“０”と量子化する差分値の割合を基に選定すればよい。一例として、本実施形態の領域特徴量差分符号化部４４０は、“０”と量子化する差分値の割合を５０％にするような値を選定する。
　図４Ｂの４５０ａは、差分の量子符号化の結果を集めて生成されたフレーム特徴量４５０の一例を示している。フレーム特徴量４５０は、簡単な例としては、差分の量子符号化された値を一次元方向に次元順に並べたものである。なお、フレーム特徴量４５０は、単純に差分の量子符号化された値を一次元方向に次元順に並べたものに限らず、多次元方向に並べたものやさらに追加の演算を加えたものでもよく、図４Ｂに示す値には限定されない。
　図４Ｃは、本実施形態に係るフレーム特徴量抽出部２３０ａ~２５０ａにおける抽出領域を示す図である。
　図４Ｂの４２０ａにおいて、各次元の領域対は、２つの矩形領域で示した。しかし、フレームを適切に表現するフレーム特徴量を算出するためには、矩形以外の形状が、望ましい場合もある。また、第１および第２の抽出領域のいずれかまたは両方とも、１つの領域でない場合もある。図４Ｃに示す抽出領域は、矩形領域または矩形でない抽出領域場合を含む第１および第２の領域対を例示している。本実施形態に係る映像処理装置２１０は、図４Ｂの４４０ａで示したように各次元の３値化を基に、実時間のフレーム特徴量の照合やフレーム特徴量の集合である映像コンテンツのフレーム特徴量群の照合を実現する場合でも、数百次元を設定できる。
　《映像処理装置のハードウェア構成》
　図５は、本実施形態に係る映像処理装置２１０のハードウェア構成の一例を示すブロック図である。
　図５において、映像処理装置２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５１０と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５２０と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５４０と、ストレージ５５０と、通信制御部２１１とを含む。
　ＣＰＵ５１０は、演算制御用のプロセッサであり、プログラムの実行を基に図２で示した各機能構成部の機能を実現する。
　ＲＯＭ５２０は、初期データなどの固定データおよびプログラムを記憶する。
　通信制御部２１１は、映像視聴用端末２３０~２５０あるいは映像コンテンツ配信サーバ２６０と通信する。なお、通信制御部２１１の通信は、無線でも有線でもよい。
　ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。必要なデータとは、例えば、次のようなデータを含む。受信フレーム特徴量５４１は、送信先から既にフレーム特徴量に変換されて受信した受信フレーム特徴量である。広告情報送信フラグ５４２は、受信フレーム特徴量５４１と広告情報ＤＢ２１３のフレーム特徴量が合致した場合にセットされるフラグである。送信用広告情報５４３は、広告情報送信フラグ５４２がセットされた場合に、フレーム特徴量を送信してきた送信元の映像視聴用端末２３０~２５０に送信する送信用広告情報である。登録用広告情報５４４は、広告情報ＤＢ２１３に登録するための登録用の広告情報である。送信条件情報５４５は、オプションでセットされる、広告情報の送信条件を示す送信条件の情報である。例えば、送信条件情報５４５には、広告情報を送信する映像視聴用端末２３０~２５０や視聴者や、広告情報を送信する期間（有効期間）がセットされる。なお、もちろん、送信条件情報５４５は、これらに限定されない。
　ストレージ５５０は、広告情報ＤＢ２１３、並びに、各種のパラメータ、本実施形態の実現に必要な以下のモジュールおよびプログラムを記憶する。ストレージ５５０は、例えば、以下のモジュールおよびプログラムを格納する。映像処理プログラム５５１は、全体の処理を実行させるプログラムである。広告情報登録モジュール５５２は、映像処理プログラム５５１において、広告情報を登録するためのモジュールである。広告情報検索モジュール５５３は、送信する広告情報を検索するモジュールである。広告情報送信モジュール５５４は、検索された広告情報を送信するモジュールである。
　なお、図５は、本実施形態に関するデータやプログラムの一例を示し、汎用のデータやＯＳなどの一般的なプログラムの図示を省略した。
　〈広告情報ＤＢ〉
　図６は、本実施形態に係る広告情報ＤＢ２１３の情報の構成の一例を示す図である。
　広告情報ＤＢ２１３は、フレーム特徴量６０１（図１のフレーム特徴量１２０ａに相当）に対応付けて、広告情報６０２（図１の広告情報１１０ａに相当）が登録されている。なお、フレーム特徴量６０１は、１つでなく、図６に示すように、複数のフレーム特徴量６０１を広告情報６０２に対応付けてもよい。例えば、フレーム特徴量６０１は、あるフレームのフレーム特徴量とそのフレームから派生するシーンのフレーム特徴量とを共に登録してもよい。このような広告情報ＤＢ２１３を基に、映像処理装置２１０は、派生シーンに対しても、広告情報６０２を送信できる。なお、本実施形態において、かかる派生シーンに対する広告情報６０２の送信は、フレーム特徴量の合致条件を緩和しても実現できる。
　広告情報ＤＢ２１３は、さらに、オプションを記憶してもよい。図６に示す広告情報ＤＢ２１３は、オプションの一例として、送信条件６０３を記憶している。送信条件６０３は、例えば、視聴者を識別する視聴者ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）や広告情報６０２の有効期間である。ただし、オプションは、これに限定されない。
　《映像処理装置の処理手順》
　図７は、本実施形態に係る映像処理装置２１０の処理手順を示すフローチャートである。このフローチャートは、例えば、図５のＣＰＵ５１０がＲＡＭ５４０を使用しながら動作し、図２に示す各機能構成部の機能を実現する場合の処理手順である。
　まず、ステップＳ７１１において、映像処理装置２１０は、広告情報入力部２２０から、広告情報６０２の登録が指示されたか否かを判定する。
　広告情報６０２の登録を指示された場合（ステップＳ７１１でＹＥＳ）、映像処理装置２１０は、ステップＳ７１３に進んで、広告情報６０２の登録を処理する。
　広告情報６０２の登録を指示されない場合（ステップＳ７１１でＮＯ）、映像処理装置２１０は、ステップＳ７２１に進み、映像視聴用端末２３０~２０５からフレーム特徴量６０１を受信したか否かを判定する。
　フレーム特徴量６０１を受信した場合（ステップＳ７２１でＹＥＳ）、映像処理装置２１０は、ステップＳ７２０に進み、広告情報６０２の送信を処理する。
　フレーム特徴量６０１を受信しない場合（ステップＳ７２１でＮＯ）、映像処理装置２１０は、ステップＳ７１１に戻る。
　〈広告情報６０２の登録〉
　広告情報６０２の登録を指示された場合（ステップＳ７１１でＹＥＳ）、映像処理装置２１０は、広告情報６０２を登録する。
　まず、映像処理装置２１０は、ステップＳ７１３に進んで、広告情報入力部２２０から、フレーム特徴量６０１を受信する。
　次に、ステップＳ７１５において、映像処理装置２１０は、フレーム特徴量６０１に対応付けて登録する広告情報６０２を受信する。なお、前述した如く、映像処理装置２１０から広告情報入力部２２０に映像のシーンを提供して、このシーンに対して広告情報６０２を紐付ける場合、映像処理装置２１０は、ステップＳ７１３およびＳ７１５を処理しないでもよい。
　オプションを使用する場合、ステップＳ７１７において、映像処理装置２１０は、オプション（例えば、送信条件６０３）を受信する。なお、映像処理装置２１０がオプションを使用しないまたは他の装置（例えば、映像視聴用端末２３０~２５０）から受信する場合、このステップは、不要となる。
　ステップＳ７１９において、映像処理装置２１０は、ステップＳ７１５において受信した広告情報６０２を、フレーム特徴量６０１に対応付けて広告情報ＤＢ２１３に登録する。
　〈広告情報６０２の送信〉
　フレーム特徴量６０１を受信した場合（ステップＳ７２１でＹＥＳ）、映像処理装置２１０は、ステップＳ７２３に進み、広告情報６０２の送信を処理する。
　まず、映像処理装置２１０は、ステップＳ７２３において、受信したフレーム特徴量６０１を記憶する。
　次に、ステップＳ７２５において、映像処理装置２１０は、受信したフレーム特徴量６０１と広告情報ＤＢ２１３のフレーム特徴量６０１とを照合する。かかる照合において、映像処理装置２１０は、例えば、シフトレジスタに受信したフレーム特徴量６０１を記憶し、シフトレジスタをシフトしながら、順次、広告情報ＤＢ２１３のフレーム特徴量６０１と比較してもよい。
　ステップＳ７２７において、映像処理装置２１０は、合致するフレーム特徴量６０１があったか否かを判断する。
　合致しない場合（ステップＳ７２７でＮＯ）、映像処理装置２１０は、処理は終了する。
　合致した場合（ステップＳ７２７でＹＥＳ）、映像処理装置２１０は、ステップＳ７２９において送信条件を満足するか否かを判定する。
　送信条件を満足しない場合（ステップＳ７２９でＮＯ）、映像処理装置２１０は、処理を終了する。
　フレーム特徴量が合致し、送信条件を満足する場合（ステップＳ７２９でＹＥＳ）、映像処理装置２１０は、ステップＳ７３１において、フレーム特徴量の送信元の映像視聴用端末２３０~２５０に、広告情報６０２を送信する。そして、映像処理装置２１０は、処理を終了する。
　第２実施形態の映像処理システム２００および映像処理装置２１０は、視聴者が視聴しているシーンに多様な広告情報６０２を紐付けて提供（再生）できる。
　その理由は、次のとおりである。映像処理システム２００の映像視聴用端末２３０~２５０は、再生中の映像のフレームからフレーム特徴量６０１を抽出して映像処理装置２１０に送る。映像処理装置２１０は、広告情報ＤＢ２１３から、受信したフレーム特徴量６０１に対応した広告情報６０２を取得し、映像視聴用端末２３０~２５０に送り返す。映像視聴用端末２３０~２５０は、受信した広告情報６０２を重畳して報知（再生）するからである。
　［第３実施形態］
　次に、本発明の第３実施形態に係る映像処理システム２００について説明する。本実施形態に係る映像処理システム２００は、上記第２実施形態と比べると、映像視聴用端末２３０~２５０において広告情報６０２を出力しないと、続きの映像を再生（視聴）できないように制御する点で異なる。なお、その他の構成および動作は、第２実施形態と同様のため、既に説明した映像処理システム２００の動作手順以外の説明を省略する。
　本実施形態の映像処理システム２００は、映像視聴用端末２３０~２５０において送信した広告情報６０２を必ず視聴者が見るように制御できる。そのため、本実施形態の映像処理システム２００を用いる広告主は、広告効果をより期待できる。
　《映像処理システムの動作手順》
　図８は、本実施形態に係る映像処理システム２００の動作手順８００を示すシーケンス図である。図８において、Ｓ３０１~Ｓ３０９までのシーケンスは、図３と同様であるので、説明を省略する。
　映像視聴用端末２３０~２５０は、映像コンテンツの再生を一時停止する（Ｓ８０１）。そして、映像視聴用端末２３０~２５０は、視聴者に対して、広告情報６０２の存在と広告情報６０２を見れば再生を再開する旨を通知する。通知は、文字、音声、画像のいずれでもよい。
　そして、映像視聴用端末２３０~２５０は、視聴者が広告情報６０２を視聴したか否かを判断する（Ｓ８０３）。映像視聴用端末２３０~２５０の判断は、特に制限はない。例えば、映像視聴用端末２３０~２５０は、視聴者のキー操作を検出しても良い。なお、映像視聴用端末２３０~２５０は、この判断として、通知からの所定の時間の経過を基に広告情報６０２を再生したとしてもよい。
　視聴者が広告情報６０２を視聴しない（または、広告情報６０２を再生していない）と判断した場合（Ｓ８０３でＮＯ）、映像視聴用端末２３０~２５０は、視聴（再生）と判断するまで判断を繰り返す。
　視聴者が広告情報６０２を視聴した（または、広告情報６０２を再生した）と判断した場合（Ｓ８０３でＹＥＳ）、映像視聴用端末２３０~２５０は、ステップＳ８０５に進んで、映像コンテンツの再生を再開する。
　なお、図８では、映像視聴用端末２３０~２５０は、自分で再生停止後の処理をするように図示されている。しかし、映像視聴用端末２３０~２５０は、ステップＳ３０９において、広告情報６０２と共に、視聴確認を実施するプログラムをダウンロードし、実行してもよい。
　第３実施形態の映像処理システム２００は、第２実施形態の映像処理システム２００の効果に加え、映像視聴用端末２３０~２５０に送信した広告情報６０２を必ず視聴者が見る効果を得ることができる。
　その理由は、映像視聴用端末２３０~２５０は、視聴者が広告情報６０２を視聴したと判断できるまで、映像コンテンツの再生を停止するためである。
　［第４実施形態］
　次に、本発明の第４実施形態に係る映像処理システム２００について説明する。本実施形態に係る映像処理システム２００は、上記第２実施形態と比べると、広告情報ＤＢ２１３−２が、フレーム特徴量６０１に関連して、出力プログラム１００４と出力ターゲットフレーム特徴量１００５を記憶する点で異なる。さらに、映像処理装置２１０が、映像視聴用端末２３０~２５０に、広告情報６０２の送信として、広告そのものの情報に加え、広告情報６０２の出力プログラム１００４と出力ターゲットフレーム特徴量１００５とを送信する点で異なる。さらに、映像視聴用端末２３０~２５０は、受信した出力プログラム１００４を起動する点で異なる。そして、出力プログラム１００４は、映像処理装置２１０が送信した出力ターゲットフレーム特徴量１００５と今から再生される映像に現れるフレーム特徴量６０１とを照合し、出力ターゲットフレーム特徴量１００５と合致するフレーム特徴量６０１が現れた時点で広告情報６０２を出力するプログラムである。なお、本実施形態に係る映像処理システム２００のその他の構成および動作は、第２実施形態と同様のため、本実施形態の映像処理システム２００の動作手順と広告情報ＤＢ２１３−２以外の説明を省略する。本実施形態の映像処理システム２００は、映像視聴用端末２３０~２５０で再生される映像と広告情報６０２とのズレを少なくし、広告情報６０２を出したいタイミングで出力できる。
　《映像処理システムの動作手順》
　図９は、本実施形態に係る映像処理システム２００の動作手順９００を示すシーケンス図である。なお、Ｓ３０１~Ｓ３０７は、図３と同様であるので、説明を省略する。
　映像処理装置２１０は、映像視聴用端末２３０~２５０に、広告情報６０２として、広告そのもののデータに加え、出力ターゲットフレーム特徴量１００５および出力プログラム１００４を送信する（Ｓ９０１）。
　映像視聴用端末２３０~２５０は、出力プログラム１００４を起動する（Ｓ９０３）。
　出力プログラム１００４は、映像視聴用端末２３０~２５０が再生するフレームのフレーム特徴量６０１と出力ターゲットフレーム特徴量１００５とが合致するか否かを判定する。合致すれば、出力プログラム１００４は、ステップＳ９０７に進んで、広告情報６０２を出力する（Ｓ９０５）。
　〈広告情報ＤＢ〉
　図１０は、本実施形態に係る広告情報ＤＢ２１３−２の構成の一例を示す図である。
　広告情報ＤＢ２１３−２は、図６と同様に、フレーム特徴量６０１に対応付けて、広告情報６０２、送信条件６０３を記憶する。さらに、広告情報ＤＢ２１３−２は、出力プログラム１００４と出力ターゲットフレーム特徴量１００５とを記憶する。
　第４実施形態の映像処理システム２００は、第２実施形態の効果に加え、映像視聴用端末２３０~２５０で再生される映像と広告情報６０２とのズレを少なくする効果を得ることができる。
　その理由は、次のとおりである。第４実施形態の映像処理システム２００の映像処理装置２１０は、映像視聴用端末２３０~２５０に、広告そのもののデータに加え、出力ターゲットフレーム特徴量１００５および出力プログラム１００４を送信する。映像視聴用端末２３０~２５０は、受信した出力プログラム１００４を起動する。出力プログラム１００４は、映像視聴用端末２３０~２５０が再生するフレームのフレーム特徴量６０１と受信した出力ターゲットフレーム特徴量１００５とが合致するか否かを判定し、合致したときに、広告情報６０２を出力するためである。
　［第５実施形態］
　次に、本発明の第５実施形態に係る映像処理システム２００について説明する。本実施形態に係る映像処理システム２００の広告情報ＤＢ２１３−３は、上記第２実施形態の広告情報ＤＢ２１３と比べると、照合対象のフレーム特徴量６０１が、映像中に登場する人物に基づきグループ分けされている点で異なる。さらに、第５実施形態に係る映像処理システム２００は、その登場人物が再生映像に登場した時点で広告情報６０２を出力する点で異なる。なお、その他の構成および動作は、第２実施形態と同様のため、広告情報ＤＢ２１３−３以外の説明を省略する。
　〈広告情報ＤＢ〉
　図１１は、本実施形態に係る広告情報ＤＢ２１３−３の構成の一例を示す図である。
　広告情報ＤＢ２１３−３は、映像に登場する人物の映像人物ＩＤ１１０１に対応付けて、その人物が登場するシーンのフレーム特徴量６０１をグループとして記憶する。そして、広告情報ＤＢ２１３−３は、そのフレーム特徴量６０１のいずれかに合致すれば送信される広告情報６０２とオプションの送信条件６０３とを記憶する。
　なお、本実施形態では、映像に登場する人物を用いて説明したが、これに限らない。例えば、広告情報ＤＢ２１３−３は、フレーム特徴量６０１の対応づけ情報として、特徴的な風景の映像において旅行の広告、特定の建物の映像において催し物の広告を用いてもより。このように、本実施形態は、様々な用途への拡張が可能であり、これらの拡張も、本実施形態に含まれる。
　第５実施形態の映像処理システム２００は、第２実施形態の効果に加え、登場人物が再生映像に登場した時点で広告情報６０２を出力する効果を得ることができる。
　その理由は、本実施形態の映像処理システム２００は、フレーム特徴量６０１を映像人物ＩＤ１１０１に対応付けて記憶するためである。
　［他の実施形態］
　本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）サーバも、本発明の範疇に含まれる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１１年６月２３日に出願された日本出願特願２０１１−１３９３３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　１００　映像処理システム
　１１０　広告情報データベース
　１１０ａ　広告情報
　１２０　フレーム特徴量抽出部
　１２０ａ　フレーム特徴量
　１３０　広告情報取得部
　２００　映像処理システム
　２１０　映像処理装置
　２１１　通信制御部
　２１２　フレーム特徴量記憶部
　２１３　広告情報ＤＢ
　２１３−２　広告情報ＤＢ
　２１３−３　広告情報ＤＢ
　２１４　広告情報検索部
　２１５　広告情報登録部
　２１６　広告情報送信部
　２２０　広告情報入力部
　２３０　映像視聴用端末
　２３０ａ　フレーム特徴量抽出部
　２４０　映像視聴用端末
　２４０ａ　フレーム特徴量抽出部
　２５０　映像視聴用端末
　２５０ａ　フレーム特徴量抽出部
　２６０　映像コンテンツ配信サーバ
　２７０　ネットワーク
　３００　動作手順
　４１０　次元決定部
　４２０　抽出領域取得部
　４３０　領域特徴量算出部
　４３１　第１領域特徴量算出部
　４３２　第２領域特徴量算出部
　４４０　領域特徴量差分符号化部
　４５０　フレーム特徴量
　５１０　ＣＰＵ
　５２０　ＲＯＭ
　５４０　ＲＡＭ
　５４１　受信フレーム特徴量
　５４２　広告情報送信フラグ
　５４３　送信用広告情報
　５４４　登録用広告情報
　５４５　送信条件情報
　５５０　ストレージ
　５５１　映像処理プログラム
　５５２　広告情報登録モジュール
　５５３　広告情報検索モジュール
　５５４　広告情報送信モジュール
　６０１　フレーム特徴量
　６０２　広告情報
　６０３　送信条件
　８００　動作手順
　９００　動作手順
　１００４　出力プログラム
　１００５　出力ターゲットフレーム特徴量
　１１０１　映像人物ＩＤ

Claims

　映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースと、
　再生中の映像のフレームからフレーム特徴量を抽出するフレーム特徴量抽出手段と、
　前記広告情報データベースから前記フレーム特徴量抽出手段が抽出したフレーム特徴量に対応して前記広告情報を取得する広告情報取得手段と、
　を含む映像処理システム。
　前記広告情報データベースにフレーム特徴量に対応付けた前記広告情報を登録する広告情報登録手段を含むことを特徴とする請求項１に記載の映像処理システム。
　前記広告情報取得手段が取得した前記広告情報を、映像を視聴中の映像再生装置に送信する広告情報送信手段を含むことを特徴とする請求項１または２に記載の映像処理システム。
　前記広告情報データベースは、複数のフレームのフレーム特徴量に対応付けて、前記広告情報を記憶することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理システム。
　前記広告情報データベースは、あるシーンから派生した派生シーンを含む複数のフレーム特徴量に対応付けて、前記広告情報を記憶することを特徴とする請求項４に記載の映像処理システム。
　前記広告情報登録手段は、前記広告情報データベースに、フレーム特徴量と視聴者とに対応付けて広告情報を登録し、
　前記広告情報データベースは、フレーム特徴量と視聴者とに対応して広告情報を検索することを特徴とする請求項２乃至５のいずれか１項に記載の映像処理システム。
　前記広告情報登録手段は、前記広告情報を送信する期間を設定し、
　前記広告情報送信手段は、前記期間に前記広告情報を送信することを特徴とする請求項２乃至６のいずれか１項に記載の映像処理システム。
　前記広告情報は、データと該データの出力を制御するプログラムとを含むことを特徴とする請求項１乃至７のいずれか１項に記載の映像処理システム。
　前記フレーム特徴量抽出手段は、映像を再生する映像再生装置に含まれ、
　前記広告情報データベースと前記広告情報取得手段とは、前記映像再生装置とネットワークを介して接続される映像処理装置に含まれることを特徴とする請求項１乃至８のいずれか１項に記載の映像処理システム。
　前記フレーム特徴量抽出手段は、各フレームに設定された複数の領域対の各領域対に対して算出された領域特徴量の差分を組み合わせ、前記フレーム特徴量とすることを特徴とする請求項１乃至９のいずれか１項に記載の映像処理システム。
　前記領域特徴量は、輝度で表されることを特徴とする請求項１０に記載の映像処理システム。
　前記広告情報は、映像、音声および文字の少なくとも１つからなる情報を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の映像処理システム。
　再生中の映像のフレームからフレーム特徴量を抽出し、
　抽出した前記フレーム特徴量に対応して、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースから前記広告情報を取得する広告取得方法。
　映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースと、
　再生中の映像のフレームから抽出されたフレーム特徴量を受信するフレーム特徴量受信手段と、
　前記フレーム特徴量受信手段が受信したフレーム特徴量に対応して前記広告情報データベースから前記広告情報を取得する広告情報取得手段と、
　を含む映像処理装置。
　前記広告情報データベースにフレーム特徴量に対応付けた前記広告情報を登録する広告情報登録手段を含むことを特徴とする請求項１４に記載の映像処理装置。
　映像を再生中の映像再生装置に前記広告情報取得手段が取得した前記広告情報を送信する広告情報送信手段を含むことを特徴とする請求項１４または１５に記載の映像処理装置。
　再生中の映像のフレームから抽出されたフレーム特徴量を受信し、
　受信した前記フレーム特徴量に対応して、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースから前記広告情報を取得する映像処理装置の制御方法。
　再生中の映像のフレームから抽出されたフレーム特徴量を受信するフレーム特徴量受信処理と、
　前記フレーム特徴量受信処理において受信したフレーム特徴量に対応して、映像に含まれるフレームを特徴付けるフレーム特徴量に対応付けて、広告情報を記憶し、前記フレーム特徴量に対応する前記広告情報を検索可能な広告情報データベースから前記広告情報を取得する広告情報送信処理と、
　をコンピュータに実行させる映像処理装置のプログラム。