JP5644505B2 - 照合加重情報抽出装置 - Google Patents

Description

本発明は数多くの動画像の中から、類似あるいは同一の動画像区間を検出する映像検索用の映像識別子を照合する際に用いる加重情報の抽出装置、方法、およびプログラムに関する。

加重情報を用いた動画像特徴量抽出・照合装置の一例が、非特許文献１に記載されている。図１２は、非特許文献１に記された動画像特徴量抽出装置を表すブロック図である。

ブロック単位特徴量抽出手段１０００は、入力される第１の映像からブロック単位で特徴量を抽出し、第１の特徴量を照合手段１０３０へ出力する。ブロック単位特徴量抽出手段１０１０は、入力される第２の映像からブロック単位で特徴量を抽出し、第２の特徴量を照合手段１０３０へ出力する。重み付け係数算出手段１０２０は、入力される学習用映像に基づいて各ブロックの重みの値を算出し、重み付け係数を照合手段１０３０へ出力する。照合手段１０３０は、重み付け係数算出手段１０２０から出力される重み付け係数を用いて、ブロック単位特徴量抽出手段１０００から出力される第１の特徴量と、ブロック単位特徴量抽出手段１０１０から出力される第２の特徴量とを照合し、照合結果を出力する。

次に、図１２に示す装置の動作について説明する。

ブロック単位特徴量抽出手段１０００では、入力される第１の映像の各フレームをブロック単位に分割し、各ブロックから映像を識別するための特徴量を算出する。具体的には、ブロック毎にエッジのタイプを判定し、そのタイプを各ブロックの特徴量として算出する。そして、各フレームに対して、各ブロックのエッジタイプからなる特徴量ベクトルを構成する。この特徴量ベクトルを各フレームに対して算出し、得られた特徴量を第１の特徴量として照合手段１０３０へ出力する。

ブロック単位特徴量抽出手段１０１０の動作もブロック単位特徴量抽出手段１０００と同様であり、入力される第２の映像から第２の特徴量を算出し、得られた第２の特徴量を照合手段１０３０へ出力する。

一方、重み付け係数算出手段１０２０では、事前に学習用映像を用いて、フレーム内の各ブロックにおいてテロップが挿入される確率を算出する。そして、算出された確率に基づいて、各ブロックの重み付け係数を算出する。具体的には、テロップ重畳に対しての頑健性を高めるために、テロップが重畳される確率が低いほど、重みが高くなるようにして重み付け係数を算出する。得られた重み付け係数は、照合手段１０３０へ出力される。

照合手段１０３０では、重み付け係数算出手段１０２０から出力される重み付け係数を用いて、ブロック単位特徴量抽出手段１０００から出力される第１の特徴量とブロック単位特徴量抽出手段１０１０から出力される第２の特徴量とを照合する。具体的には、フレーム毎に、同じ位置にあるブロックの特徴量を比較し、同じであれば１、そうでなければ０としてブロック単位のスコアを算出する。得られたブロック単位のスコアを重み付け係数を用いて加重して合計し、フレームの照合スコア（フレーム単位の類似度）を算出する。これを各フレームに対して行い、第１の映像と第２の映像の照合結果を算出する。

このようにすることで、テロップ重畳の影響が大きいところの影響を抑えて動画像の照合を行うことが可能となり、テロップ重畳がある場合であっても高い照合精度を達成できる。

また、ブロック単位の平均値やＤＣＴ係数などの画像の特徴量と、前後フレーム間で求めた動きベクトル情報を用いて、動画像の検索を行う装置が特許文献１に記載されている。特許文献１に記載の動画像検索装置では、まず、入力された画像から各フレームの輝度や色差情報、色情報などの物理的な動画像特徴量情報の値、その平均値、その値の合計値、またはその値の差分値のうち少なくとも１つを各フレームに対して抽出する。次に、抽出した値を時間軸上に配列し、その並びの全部、その配列した並びから一定間隔または変則間隔で抜き出した値を動画識別情報として抽出する。あるいは、フレームのDCT係数と動き補償情報を圧縮された動画像データから抽出し、DCT係数の平均値、その値の合計値、またはその値の差分値を求め、動き補償情報からは動きベクトル、前後フレーム間の平均動きベクトル、合計動きベクトル、差分ベクトル、またはフレーム全体としての動きベクトルなどのうち少なくとも１つを求める。そして、求めた値を時間軸上に配列し、その並びの全部、その配列した並びから一定間隔または変則間隔で抜き出した値を動画識別情報として抽出する。

特開２０００−１９４７２７号公報

Kota Iwamoto, Eiji Kasutani, Akio Yamada, 「ImageSignature Robust to Caption Superimposition for Video Sequence Identification」，Proceedings of International Conference on Image Processing(ICIP2006)，2006． Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato and Kyoji Hirata「Video Material Archive System for Efficient Video Editing Based onMedia Identification」，Proceedings of InternationalConference on Multimedia and Expo (ICME2004)，pp.727--730,2004．

上述した技術の問題点は、時間的な変化が乏しいシーンでの時間方向の識別精度を高めることが困難である点である。その理由は、非特許文献１の場合には、照合時の重み付けをテロップの重畳される確率で決定しており、時間的な変化が乏しいシーンの照合に合わせた制御になっていないためである。時間的な変化が乏しいシーンの場合には、画面上の大半は動きがなく、局所的な領域のみに動きや輝度変化などの画像の変化が生じている場合が多い。このような場合には、この局所的な領域を重要視して照合することで、符号化歪等が加わった場合であっても時間方向の識別精度を高めることが可能になる。しかしながら、上記方式は、このような観点から重み付け係数が決定されていない。従って、画面の大半を占める動きがない領域における符号化歪み等の影響を受けやすく、時間方向の識別精度が低下する。特許文献１の場合も、動き情報は用いているものの、動き情報から求める特徴量と輝度値やDCT係数から求める特徴量とを独立に用いており、局所的な領域を重要視した照合を行っていないため、同様の問題が存在する。

［発明の目的］
本発明の目的は、時間的な変化の乏しい動画像から生成される映像記述子では識別精度が低下する、という課題を解決する照合加重情報抽出装置を提供することにある。

本発明の一形態にかかる照合加重情報抽出装置は、入力される映像、または、映像から抽出される複数次元の特徴量の少なくともいずれか一方の時間方向の変化を上記次元に対応付けて解析し、時間方向の変化の度合いに応じて照合用の加重情報を照合加重情報として上記次元ごとに算出する照合加重情報抽出手段を有する。

本発明は上述のように構成されているため、時間的な変化が乏しいシーンでも、時間方向の識別精度を高めることができる効果がある。

本発明にかかる照合加重情報抽出装置の第１の実施の形態を示すブロック図である。 時間方向変動情報抽出手段１５０の構成例を示すブロック図である。 図２の時間方向変動情報抽出手段１５０の処理を説明するための図である。 時間方向変動情報抽出手段１５０の他の構成例を示すブロック図である。 図４の時間方向変動情報抽出手段１５０の処理を説明するための図である。 本発明にかかる第１の実施の形態の照合加重情報抽出装置を組み込んだ映像識別子抽出装置の実施の形態を示すブロック図である。 図６の映像識別子抽出装置から出力される映像識別子を照合する映像識別子照合装置の実施の形態を示すブロック図である。 ２つの映像の照合処理を説明するための図である。 本発明にかかる照合加重情報抽出装置の第２の実施の形態を示すブロック図である。 本発明にかかる第２の実施の形態の照合加重情報抽出装置を組み込んだ映像識別子照合装置の実施の形態を示すブロック図である。 特徴量の一例を説明する図である。 本発明の関連技術を説明するためのブロック図である。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。

図１を参照すると、本発明の第１の実施の形態の照合加重情報抽出装置が示されており、照合加重情報抽出手段１１０からなる。照合加重情報抽出手段１１０は、さらに時間方向変動情報抽出手段１５０と照合加重情報算出手段１６０とからなる。

時間方向変動情報抽出手段１５０は、特徴量抽出パラメータに基づいて、入力される映像から時間方向変動情報を抽出し、照合加重情報算出手段１６０へ出力する。照合加重情報算出手段１６０は、時間方向変動情報抽出手段１５０から出力される時間方向変動情報から照合用の照合加重情報を算出し、出力する。

なお、照合加重情報抽出装置は、コンピュータによって実現可能であり、コンピュータによって実現する場合は、例えば、次のようにする。コンピュータを照合加重情報抽出装置として機能させるためのプログラムを記録したディスク、半導体メモリ、その他の記録媒体を用意し、コンピュータに上記プログラムを読み取らせる。コンピュータは、読み取ったプログラムに従って自身の動作を制御することにより、自コンピュータ上に、時間方向変動情報抽出手段１５０及び照合加重情報算出手段１６０を実現する。

次に、図１に示す照合加重情報抽出装置の動作について説明する。

まず、本発明で対象となる視覚特徴量は、フレームまたはフィールドなどの映像の画面の構成単位をピクチャと呼ぶことにすると、ピクチャ毎に算出される複数次元からなる特徴量ベクトルである。すなわち、ピクチャを１枚の静止画とみなし、この色や模様、形などの特徴を示す物理量を視覚特徴量とする。さらに、視覚特徴量は、画面全体を変換することによって得られるものではなく、画面内の部分領域から算出される特徴量とする。すなわち、特徴量ベクトルの各次元は、特徴量抽出パラメータによって画面内の特定の領域と対応付けられており、その領域から抽出された特徴量の値が格納されるものとする。例えば、特徴量ベクトルの各次元を、画面をブロックに分割したときの個々のブロックから抽出される特徴量とする。あるいは、予め定められた任意形状の領域から特徴量の各次元の値を求めるようにしてもよい。ここで、特徴量抽出パラメータは、具体的には、例えば特徴量ベクトルの各次元が画面内の特定のブロックから抽出される特徴量である場合には、その特徴量を抽出する特定ブロックを記述する情報（ブロックの座標値やブロックのインデックス番号など）となる。あるいは、様々な形状の局所領域が特徴量ベクトルの各次元に対応する場合には、その局所領域を記述する情報（局所領域の位置，サイズ，形状を表す情報）が特徴量抽出パラメータとなる。

図１において、映像は、時間方向変動情報抽出手段１５０へ入力される。時間方向変動情報抽出手段１５０では、特徴量抽出パラメータによって特徴量の各次元に対応付けられている領域における、時間方向の画像の変化量が算出される。現在対象となっているピクチャとその前後のピクチャを用いて、領域毎に変化量を求める。時間方向変動情報抽出手段１５０における変化量の具体的な算出方法については、後述する。求まった画像の変化量を記述する情報は、時間方向変動情報として照合加重情報算出手段１６０へ出力される。

照合加重情報算出手段１６０では、時間方向変動情報抽出手段１５０から入力される時間方向変動情報に基づいて照合加重情報を算出する。すなわち、各次元に対して求まった時間方向の変化量に応じて、照合時に用いる特徴量の各次元の重み付けの度合いを記述する情報を決定し、出力する。時間方向の変化が大きい領域ほど、映像の識別に寄与する可能性が高いことから、変化が大きいほど重要と見なされる重み付けを行う。例えば、時間方向の変化量に対して単調増加する関数によって重み付けの度合いを決定する。照合加重情報としては、重み付けの度合いを決定する係数そのものであってもよいし、重み付けの度合いを軽いものから重いものへいくつかにクラス分けしておいて、このクラスを指定するインデックスの情報であってもよい。例えば、ニュースでアナウンサーが話している場面においては、アナウンサーの顔付近以外は殆ど動きがない場合がある。このような場合には、アナウンサーの顔に対応する領域の次元のみが時間方向の変化が画面の他の領域に比べて相対的に大きくなるため、顔の領域（特に口や目に対応する領域）に対応する特徴量の次元の重みが高くなる照合加重情報が算出される。

なお、照合加重情報は、各ピクチャに対して算出するようになっていてもよいし、数ピクチャまとめて算出し、出力するようになっていてもよい。例えば、ショット内で動きがある部分が特定の領域のみに限定されている場合には、そのショット全体に対して照合加重情報を算出し、出力するようになっていてもよい。より具体的には、ショット内のある１枚のピクチャを処理対象として求めた照合加重情報を、ショット内の他のピクチャに対しても使用するようになっていても良い。このようにすることにより、照合加重情報を求めるための計算量を削減することができる。あるいは、ショット内の全てあるいは複数のピクチャに対して照合加重情報を算出し、その代表値（平均，メディアンなど）によって、ショット全体の照合加重情報を記述するようにし、ショット内の全てのピクチャに対して使用するようになっていてもよい。このようにすることにより、照合加重情報の情報量を削減することができる。

ただし、照合加重情報を出力する単位はショットに限らず、数ピクチャおきなど、固定の時間間隔であってもよい。あるいは、同じ照合加重情報が適用可能な時間区間を時間方向変動情報から算出し、その時間区間に含まれるピクチャに対して照合加重情報をまとめて算出し、出力するようになっていてもよい。この場合、まとめられるピクチャ数が毎回変化するため、そのピクチャ数も一緒に記述するようにする。同じ照合加重情報が適用可能な時間区間の算出は、時間方向変動情報のピクチャ間での変化を閾値処理することによって算出できる。すなわち、時間区間の先頭のピクチャにおける時間方向変動情報と現在のピクチャの時間方向変動情報とを比較し、その変化の度合いが閾値を上回る場合に、その前のピクチャまでの区間を一つのまとまりとみなし、その区間に対する照合加重情報を算出するようにする。上記区間に対する照合加重情報は、区間内の任意の１枚のピクチャの照合加重情報あるいは区間内のピクチャの照合加重情報の代表値とすることができる。このようにすることにより、処理対象とする映像がどのようなものであっても、時間方向の識別精度を高く保った状態で照合加重情報の情報量を削減することができる。

また、特徴量ベクトルの次元で同じ領域に対応付けられているものが複数存在する場合には、それらをまとめて1つの加重情報として表してもよい。例えば、ISO/IEC 15938-3で規定されているEdge Histogramの場合には、5つのビン毎に同じ領域に対応付けられている。このような場合には、5つのビン毎に加重情報をまとめて記述するようになっていてもよい。

次に、時間方向変動情報抽出手段１５０の構成例について図２を参照して述べる。

図２を参照すると、時間方向変動情報抽出手段１５０の構成例が示されており、ピクチャ間差分算出手段４００と時間方向変動情報算出手段４１０とからなる。

ピクチャ間差分算出手段４００は、入力される映像からピクチャ間差分情報を算出し、時間方向変動情報算出手段４１０へ出力する。時間方向変動情報算出手段４１０は、ピクチャ間差分算出手段４００から出力されるピクチャ間差分情報と特徴量抽出パラメータとを用いて時間方向変動情報を算出し、出力する。

次に、図２に示す時間方向変動情報抽出手段１５０の動作について説明する。

まず、映像はピクチャ間差分算出手段４００へ入力される。ピクチャ間差分算出手段４００では、ピクチャ間で画素値の差分を求める。差分の算出は、画素単位で行ってもよいし、ある程度の画素をまとめてできる領域（例えばブロック）単位で差分を算出するようにしてもよい。例えば、各領域に対する代表値（画素値の平均やメディアンなど）を求めておき、ピクチャ間で同じ位置にある領域の代表値と差分を取るといった方法でもよい。このようにすることにより映像に重畳されているノイズの影響を低減することができる。また、画素値の差分は、輝度値同士の差であってもよいし、画素値としてR，G，Bの色成分を用い、それらの差分の少なくとも１つを求めて、画素値の差分としてもよい。もちろん、色空間はRGBではなく、HSVやL*a*b*など、任意の色空間でよい。また、差分としては、単に画素値を引くのみではなく、絶対値演算を行い、差分の絶対値を出すようにしてもよい。算出されたピクチャ間の差分データは、ピクチャ間差分情報として時間方向変動情報算出手段４１０へ出力される。

時間方向変動情報算出手段４１０では、ピクチャ間差分情報と特徴量抽出パラメータとから、特徴量の各次元に対する時間方向変動量を算出する。このために、まず、処理対象となっているピクチャにおいて、動いている物体に対応する領域において大きくなる値を算出する。これは、処理対象となっているピクチャとひとつ前のピクチャ間、さらに、処理対象となっているピクチャと一つ後のピクチャ間で算出された差分値の積をとることによって得られる。

これを図で示したのが図３である。図３において、Ｔピクチャは処理対象となっているピクチャであり、Ｔ−１ピクチャ、Ｔ＋１ピクチャは、それぞれ処理対象ピクチャの一つ前、一つ後のピクチャを表している。そして、これらのピクチャ間では、長方形の斜線オブジェクトは静止しており、丸い黒色のオブジェクトのみが動いているものとする。この場合、前述のピクチャ間差分算出手段４００において、処理対象であるＴピクチャと１つ前のＴ−１ピクチャ間で差分が算出されている。この場合、図に示すように、丸いオブジェクトの動きによって生じた差分のみが出てくる。ただし、差分値自体は、Ｔピクチャにおける丸いオブジェクトの位置、およびＴ−１ピクチャにおける同オブジェクトの位置の両方で大きな値となる傾向にある。同様に、１つ後のＴ＋１ピクチャとＴピクチャの差分を算出することで、Ｔピクチャにおける丸いオブジェクトの位置、およびＴ＋１ピクチャにおける丸いオブジェクトの位置で差分が大きくなる。そこで、両差分画像の積を算出する。両方の差分画像においてともに差分値が大きくなるのは、Ｔピクチャにおける丸いオブジェクトの位置のみであるから、これによりＴピクチャでの動オブジェクト領域の差分のみを大きくすることができる。ここでは、処理対象のピクチャの一つ前、一つ後のピクチャを用いて算出する方法について述べたが、数ピクチャ前、数ピクチャ後のピクチャを用いても同様に算出可能である。すなわち、T-mピクチャ、T+nピクチャを用いて、同様にして動オブジェクト領域の差分のみを大きくすることができる。そこで、このようにして得られた結果を、各次元の特徴量抽出で用いる領域内で束ねることによって各次元の時間方向変動量を算出する。

束ねる方法として単純に領域内で加算する場合には、時間方向変動量は［数１］で計算できる。

［数１］において、f_T(x)は、Ｔピクチャの位置xにおける画素値、R(i)は、i番目の次元の算出に用いる領域（画素の集合）、D(i)はi番目の次元の時間方向変動量を表す。なお、ここでは単純に領域内での加算を用いたが、領域内での平均をとってもよいし、二乗して加算してもよいし、メディアンや最大値など、別の統計量を用いて時間方向変動量を求めるようにしてもよい。また、領域内の全ての画素の値を用いて時間方向変動量を求めなくてもよい。例えば、１画素おきに画素を間引いて時間方向変動量を算出するようにしてもよい。

このようにして算出した各次元に対する時間方向変動量を記述する情報を時間方向変動情報として出力する。これは、上述の変動量D(i)そのものであってもよいし、これをいくつかのレベルに量子化し、その量子化インデックスを時間方向変動情報として出力するようにしてもよい。また、時間方向変動情報は、全てのピクチャに対して算出する必要はなく、数ピクチャおきに算出するようにしてもよい。この際、複数フレームで算出された時間方向変動量を平均して、求まった平均値をその数ピクチャに対応する時間方向変動情報としてもよい。

図２に示す時間方向変動情報抽出手段１５０は、基本的には単にピクチャ間での差分をとればよいため、処理負荷が小さく抑えられるという特徴がある。

次に、時間方向変動情報抽出手段１５０の別の構成例について図４を参照して述べる。

図４を参照すると、時間方向変動情報抽出手段１５０の別の構成例が示されており、動き情報算出手段５００と、時間方向変動情報算出手段５１０とからなる。

動き情報算出手段５００は、映像を入力とし、動きベクトルを算出して動きベクトル情報を時間方向変動情報算出手段５１０へ出力する。時間方向変動情報算出手段５１０は、動き情報算出手段５００から出力される動きベクトル情報と特徴量抽出パラメータとを用いて時間方向変動情報を算出し、出力する。

次に、図４に示す時間方向変動情報抽出手段１５０の動作について説明する。

まず、映像は動き情報算出手段５００へ入力される。動き情報算出手段５００では、現在の対象ピクチャとその前（または後）のピクチャ間で動き推定を行い、動きベクトルを算出する。動きベクトルの算出方法としては、従来の勾配法に基づく方法や、ブロックマッチング法に基づく方法など、任意の動きベクトル推定法を用いることができる。また、動きは画素単位で算出するようにしてもよいし、画像を複数の小ブロックに分割し、そのブロック単位で動きを求めるようにしてもよい。このようにして算出された動きベクトルの場を記述する情報は、動きベクトル情報として出力される。動きベクトル情報は、ピクチャ内で求まった個々の動きベクトルをそのまま記述する情報であってもよいし、0以外の動きベクトルが算出された領域のみの動きを、領域を特定する情報とともに記述する情報であってもよい。算出された動きベクトル情報は時間方向変動情報算出手段５１０へ出力される。

時間方向変動情報算出手段５１０では、算出された動きベクトルを特徴量の各次元の特徴量算出に用いる領域を示す特徴量抽出パラメータに従って束ね、時間方向変動量を算出する。これを図示したものが図５である。図５では、TピクチャとT-1ピクチャの様子を示している。これに対し、動き推定処理を行うことによって図に示すように、丸いオブジェクトの動きに相当する部分で動きベクトルが算出される。よって、各次元に対応する領域を特徴量抽出パラメータから求め、領域内での動き量を算出する。例えば、領域内で動きベクトルの長さの合計を算出する。これを数式で表したものが［数２］である。

ここで、v(x)は、位置xにおける動きベクトルを表している。それ以外の記号については、［数１］と同様である。なお、ここでは単純に領域内での加算を用いたが、領域内での平均をとってもよいし、二乗して加算してもよいし、メディアンや最大値など、別の統計量を用いて時間方向変動量を求めるようにしてもよい。また、領域内の全ての動きベクトルを用いて時間方向変動量を求めなくてもよい。例えば、適当に間引いて時間方向変動量を算出するようにしてもよい。

図４に示す時間方向変動情報抽出手段１５０は、動きを算出するため、一般的には図２の場合よりも処理量は増えるが、実際の動きを算出するため、図２の場合に比べ、時間方向に動きがある領域を精度よく求めることが可能となる。

以上が本発明の第１の実施の形態の照合加重情報抽出装置の説明である。

［本発明の第１の実施の形態の効果］
本実施の形態によれば、時間的な変化が乏しいシーンでも、時間方向の識別精度を高めることが可能になる。その理由は、時間的な変化が乏しいシーンの場合にも、動きや輝度変化などの画像の変化が生じている領域に対応する特徴量の重みを上げることにより、符号化歪等による特徴量変化が照合に与える影響を受けにくくできるためである。例えば、スタジオでアナウンサーがニュースを読んでいるシーンの連続するピクチャが、ピクチャＡ、ピクチャＢの２枚であるとする。ピクチャＡとピクチャＢとの違いは、アナウンサーの口の部分だけであり、その他は全く同じ画像とする。ピクチャＡと全く同一のピクチャＣが与えられ、そのピクチャＣがピクチャＡ、Ｂの内の何れのピクチャと類似しているかを機械的に判定することを考える。この場合、ピクチャＡ〜Ｃに符号化歪が全く存在しなければ、ピクチャＣとピクチャＡとの距離が０となる。他方、ピクチャＣとピクチャＢとの距離は、動きのある口の部分の重みが大きくなっているので、十分大きな距離となる。

ここで、例えばピクチャＡの背景部分に符号化歪があった場合を考える。この符号化歪によってピクチャＣとピクチャＡとの距離は大きくなるが、動きのない背景部分の重みは小さいので、ピクチャＣとピクチャＡとの距離は、ピクチャＣとピクチャＢとの距離よりも大きくなることはない。

また、本実施の形態では、連続する複数枚のピクチャの内の１枚のピクチャについて照合加重情報を算出し、この算出した照合加重情報を上記複数枚のピクチャの照合加重情報としているので、照合加算情報を算出する際の計算量を削減することができると共に、照合加重情報の情報量を削減することができる。

更に、本実施の形態では、連続する複数枚のピクチャの全て或いは一部についてピクチャ毎の照合加重情報を算出し、この算出したピクチャ毎の照合加重情報の代表値を上記複数枚のピクチャの照合加重情報としているので、照合加重情報の情報量を削減できる。

また、本実施の形態では、ピクチャの時間方向の画像変化の度合いに基づいて、同一の照合加重情報が適用可能な時間区間を判定した上で、その時間区間内のピクチャに対する照合加重情報を決定するようにしているので、処理対象とする映像がどのようなものであっても、時間方向の識別精度を高く保った状態で照合加重情報の情報量を削減することができる。

更に、本実施の形態では、ピクチャ間の画素値の差分を、ピクチャ間で同じ位置に存在する領域同士の画素値の代表値の差分を求めることにより算出しているので、映像に重畳されているノイズの影響をなくすことができる。

次に、本発明の第１の実施の形態を用いた映像識別子抽出装置、および、その抽出装置によって生成された映像識別子同士の照合装置について説明する。

図６を参照すると、本発明の第１の実施の形態の照合加重情報抽出装置を用いた映像識別子抽出装置が示されており、特徴量抽出手段１００と、照合加重情報抽出手段１１０と、映像識別子生成手段１２０とからなる。なお、図６に示した映像識別子抽出装置は、プログラム制御されるコンピュータによって実現することができる。

特徴量抽出手段１００は、入力される特徴量抽出パラメータを用いて、入力される映像から視覚特徴量を抽出し、視覚特徴量を映像識別子生成手段１２０へ出力する。照合加重情報抽出手段１１０は、入力される特徴量抽出パラメータを用いて入力される映像から照合加重情報を算出し、照合加重情報を映像識別子生成手段１２０へ出力する。映像識別子生成手段１２０は、特徴量抽出手段１００から出力される視覚特徴量と照合加重情報抽出手段１１０から出力される照合加重情報とを統合し、映像識別子を生成して出力する。

次に、図６に示す映像識別子抽出装置の動作について詳細に説明する。

まず、映像は特徴量抽出手段１００へ入力される。元の映像が符号化されている場合には、復号器によって復号されてから、フレームあるいはフィールドからなるピクチャ単位でデータが入力されるものとする。

特徴量抽出手段１００では、ピクチャ毎の特徴量ベクトルを算出する。ピクチャを1枚の静止画とみなし、この色や模様、形などの特徴を示す視覚特徴量のベクトルを抽出する。ここで、視覚特徴量は、画面全体を変換することによって得られるものではなく、画面内の部分領域から算出される特徴量とする。すなわち、特徴量ベクトルの各次元は、特徴量抽出パラメータによって画面内の特定の領域と対応付けられており、その領域から抽出された特徴量の値が格納されるものとする。例えば、特徴量ベクトルの各次元を、画面をブロックに分割したときの個々のブロックから抽出される特徴量とする。ピクチャ毎に算出された特徴量ベクトルは、視覚特徴量として映像識別子生成手段１２０へ出力される。

また、映像は、照合加重情報抽出手段１１０へも入力される。照合加重情報抽出手段１１０の動作は、本願発明の第１の実施の形態のところで上述したとおりであり、算出された照合加重情報は、映像識別子生成手段１２０へ出力される。

映像識別子生成手段１２０では、特徴量抽出手段１００から出力される視覚特徴量と照合加重情報抽出手段１１０から出力される照合加重情報とをまとめて映像識別子を生成し、出力する。ここでは、両者が照合時に分離可能な形で多重化して映像識別子を生成する。多重化の方法としては、ピクチャ毎に視覚特徴量と照合加重情報とをインターリーブして多重化してもよいし、照合加重情報のみを先にまとめて多重化し、その後で視覚特徴量を多重化（あるいはその逆）してもよい。あるいは、一定の区間毎（例えば、照合加重情報を算出する時間区間単位毎）に照合加重情報と視覚特徴量とを多重化するようになっていてもよい。

次に、図６に示す映像識別子抽出装置によって生成された映像識別子の照合装置の実施の形態について説明する。

図７を参照すると、図６に示す映像識別子抽出装置によって生成された映像識別子を照合する映像識別子照合装置の実施の形態が示されており、映像識別子分離手段２２０と、映像識別子分離手段２３０と、加重係数算出手段２１０と、照合手段２００とからなる。なお、図７に示す映像識別子照合装置はプログラム制御されるコンピュータによって実現することができる。

映像識別子分離手段２２０は、入力される第１の映像識別子から第１の視覚特徴量と第１の照合加重情報とを分離し、それぞれ照合手段２００と加重係数算出手段２１０へ出力する。映像識別子分離手段２３０も同様に、入力される第２の映像識別子から第２の視覚特徴量と第２の照合加重情報とを分離し、それぞれ照合手段２００と加重係数算出手段２１０へ出力する。加重係数算出手段２１０は、映像識別子分離手段２２０から出力される第１の照合加重情報と、映像識別子分離手段２３０から出力される第２の照合加重情報とから重み付け係数（加重係数と記す場合もある）を求め、照合手段２００へ出力する。照合手段２００は、加重係数算出手段２１０から出力される重み付け係数を用いて、映像識別子分離手段２２０から出力される第１の視覚特徴量と映像識別子分離手段２３０から出力される第２の視覚特徴量とを照合し、照合結果を出力する。

次に、図７に示す映像識別子照合装置の動作について説明する。

まず、第1の映像識別子は、映像識別子分離手段２２０に入力される。映像識別子分離手段２２０では、第1の映像識別子から第1の視覚特徴量と第1の照合加重情報を分離する。この際、映像識別子生成手段１２０において多重化のときに用いた方法に対応する分離方法によって分離する。分離によって生じた第1の視覚特徴量は照合手段２００へ出力され、第1の照合加重情報は加重係数算出手段２１０へ出力される。

第２の映像識別子は、映像識別子分離手段２３０に入力される。映像識別子分離手段２３０の動作は映像識別子分離手段２２０と同様であり、分離によって生じた第２の視覚特徴量は照合手段２００へ出力され、第２の照合加重情報は加重係数算出手段２１０へ出力される。

加重係数算出手段２１０では、第1の照合加重情報と第２の照合加重情報とから、特徴量の各次元に対する加重係数を算出する。第1の照合加重情報と第２の照合加重情報から加重係数を算出する方法は複数考えられるが、両方の照合加重情報が小さな重み値に対応するときに小さくなるという制約を満たしており、照合加重情報に対応する重み値の少なくとも一方が大きくなったときに増加するようになっていればよい。例えば、第1，第２の照合加重情報から求まる重みがそれぞれw₁(i)，w₂(i)のときに、加重係数w(i)は［数３］によって算出することができる。

より一般的には、［数４］の式を用いることができる。

ここで、pは任意の自然数であり、pが無限大の場合に［数３］に帰着する。この加重係数を特徴量の各次元に対して算出し、照合手段２００へ出力する。

照合手段２００では、第１の視覚特徴量と第２の視覚特徴量を照合する。この際、両特徴量の類似性を表す類似度によって比較してもよいし、両特徴量の差異の度合いを表す距離によって比較してもよい。距離によって比較する場合には、［数５］によって算出される距離dに基づいて比較する。

ここで、Nは特徴量の次元数であり、v₁(i)、 v₂(i)はそれぞれ、第1、第２の特徴量のi番目の次元の値を表しており、w(i)は、i番目の次元に対応する加重係数を表している。この比較をピクチャ単位に行い、第1の映像と第2の映像の一定区間の照合を行う。例えば、ピクチャ単位の比較で距離の値が閾値以内になるピクチャ対の数を求めて、その値が区間に含まれるピクチャ数に比して十分大きいときに同一区間であると判定し、そうでなければ、同一区間でないと判定する。これを第1の映像と第2の映像の任意の区間の組み合わせに対して行うことによって、これらの映像間に含まれる任意の長さの同一区間を全て判定することができる。また、ピクチャ単位で距離を閾値処理するかわりに、距離を区間内で合計した値が、予め定めた閾値より小さいかどうかによって判定することもできる。勿論、合計値のかわりに平均値を求めてもよい。あるいは、外れ値を除いて区間内で照合するようになっていてもよい。例えば、平均値の代わりにメディアンやＭ推定の結果を用いることでこのような照合を実現できる。

任意の長さの区間同士の比較法としては、非特許文献２に記載された照合方法を用いることもできる。図８に示すように、映像間での照合に長さＬピクチャの照合窓を設け、これらを第１の映像，第２の映像間でスライドさせていき、両者を比較する。もし、照合窓内の区間同士が同一区間と判定された場合には、そこからpピクチャだけ照合窓を伸ばし、照合処理を継続する。同一区間と判定される限りにおいては、pピクチャだけ窓を伸ばす処理を反復し、最大長の同一区間を求める。このようにすることで、最大長の同一区間を効率的に求めることができる。

なお、上記の説明では距離を尺度として用いる場合について記したが、類似度を用いても同様に照合可能である。具体的には、［数６］によって算出される類似度Sに基づいて比較する。

ここで、Sim(x,y)はxとyの近さを表す関数であり、xとｙの値が近いほど大きな値となる。例えば、xとyの間の距離をd(x,y)とすると、［数７］のような関数を用いることができる。

あるいは、Sim(x,y)はクロネッカーデルタのように、xとyが一致したときのみ1、それ以外は0となる関数であってもよい。あるいは、類似度として特徴ベクトル間の角度（余弦値）を用いる場合には、［数８］によって算出される類似度Sに基づいて比較する。

このようにして求めた類似度を用いて、距離の場合と同様にして照合を行うことが可能である。
これにより、第1の映像識別子と第2の映像識別子の照合結果が算出される。

以上が、本発明の第１の実施の形態を用いた映像識別子抽出装置、および、その抽出装置によって生成された映像識別子同士の照合装置の説明である。

次に、本発明の照合加重情報抽出装置の第２の実施の形態について説明する。

図９を参照すると、本発明の第２の実施の形態の照合加重情報抽出装置が示されており、特徴量抽出手段１００と照合加重情報抽出手段３２０からなる。照合加重情報抽出手段３２０は、さらに時間方向変動情報抽出手段３５０と照合加重情報算出手段３６０とからなる。なお、図９に示した照合加重情報抽出装置は、プログラム制御されるコンピュータによって実現できる。

特徴量抽出手段１００は、入力される特徴量抽出パラメータを用いて、入力される映像から視覚特徴量を抽出し、時間方向変動情報抽出手段３５０へ出力する。時間方向変動情報抽出手段３５０は、特徴量抽出手段１００から出力される視覚特徴量に基づいて時間方向変動情報を求め、照合加重情報算出手段３６０へ出力する。照合加重情報算出手段３６０は、時間方向変動情報抽出手段３５０から出力される時間方向変動情報から照合加重情報を求め、出力する。

次に、図９に示す照合加重情報抽出装置の動作について説明する。

特徴量抽出手段１００の動作は、図６の映像識別子抽出装置の特徴量抽出手段１００と同様であり、求まった視覚特徴量は時間方向変動情報抽出手段３５０へ出力される。

時間方向変動情報抽出手段３５０では、時系列に入力される視覚特徴量の各次元の値が時間方向にどのように変化するかを解析し、得られた結果を時間方向変動情報として照合加重情報算出手段３６０へ出力する。例えば、一定の時間区間内で特徴量の各次元に対して分散値を算出する。分散が大きいほど、時間方向の変動が大きいことを表しているため、分散に基づいて時間方向変動情報を算出する。例えば、分散値あるいは、分散値から派生して算出される特徴量（標準偏差など）の値をそのまま時間方向変動量として求めてもよい。

照合加重情報算出手段３６０の動作は基本的には、図１の照合加重情報算出手段１６０と同様である。ただし、入力される時間方向変動情報の値が、元の映像から算出されたものであるか、あるいは、映像から算出された特徴量に基づいて算出されたものであるかが異なる。そして、時間方向変動情報に基づいて、値が変化する次元の寄与を高くし、変化しない次元については寄与が低くなるように重みを算出する。

［本発明の第２の実施の形態の効果］
本実施の形態によれば、時間的な変化が乏しいシーンにおいて符号化歪などにより映像に歪が発生している場合であっても、時間方向の識別精度を高め、類似あるいは同一の映像区間を精度良く検出することが可能になる。その理由は、特徴量の各次元に対する照合加重情報を、特徴量の各次元の値の時間方向の変化の度合いに応じたものにしており、符号化歪などによる特徴量変化が照合に与える影響を低減させることができるからである。

次に、本発明の第２の実施の形態の照合加重情報抽出手段３２０を用いた映像識別子照合装置の実施の形態について説明する。

図１０を参照すると、本発明の第２の実施の形態の照合加重情報抽出手段３２０を用いた映像識別子照合装置の実施の形態が示されており、照合加重情報抽出手段３２０，３３０と、加重係数算出手段２１０と、照合手段２００とからなる。なお、図１０に示した映像識別子照合装置は、プログラム制御されるコンピュータによって実現できる。

照合加重情報抽出手段３２０，３３０は、それぞれ第1の視覚特徴量、第２の視覚特徴量を入力とし、第１の照合加重情報、第２の照合加重情報をそれぞれ加重係数算出手段２１０へ出力する。加重係数算出手段２１０は、照合加重情報抽出手段３２０、３３０から出力される第１、第２の照合加重情報に基づき、特徴量の各次元に対応する加重係数を算出し、照合手段２００へ出力する。照合手段２００は、第１の視覚特徴量と第２の視覚特徴量を加重係数算出手段２１０から出力される加重係数を用いて照合し、照合結果を出力する。

次に、図１０に示す映像識別子照合装置の動作について説明する。

第１の視覚特徴量と第２の視覚特徴量とは、照合加重情報抽出手段３２０、３３０へそれぞれ入力される。照合加重情報抽出手段３２０、３３０の動作は、図９の照合加重情報抽出手段３２０と同様であり、それぞれ、第１、第２の照合加重情報を算出する。算出された第１、第２の照合加重情報は、加重係数算出手段２１０へ出力される。

加重係数算出手段２１０の動作は、図７の照合装置の加重係数算出手段２１０と同様であり、算出された加重係数は照合手段２００へ出力される。

照合手段２００の動作は図７の照合手段２００と同様であり、照合結果を出力する。

以上が図１０に示す映像識別子照合装置の実施の形態の説明である。本実施の形態により、抽出時に照合のための照合加重情報を算出していなくても、照合側で重み係数を算出し、照合に用いることができる。

次に、本発明の第３の実施の形態を説明する。

図１１は、ピクチャから特徴量を抽出する方式の一例を示している。この方式では、ピクチャ内の任意の２領域をペアとして予め定めておき、ペアとなった２領域間での特徴量の差を特徴量ベクトルとする。ここで、各領域ペアをＰ１，Ｐ２，Ｐ３，…と表し、ｎ番目のペアＰｎから定まる特徴量をＶｎで表すことにする。領域ペアのとり方は、図に示すように、様々な形・位置の領域の組み合わせがあり得る。そして、ＰｎからＶｎを求める方法も様々な方法が考えられる。例えば、各ペアで斜線の領域と網線をつけた各領域内で輝度の平均値を算出し、その大小関係でＶｎの値を決定する方法がある。具体的には、斜線の領域内で求めた平均輝度値から網線の領域内で求めた平均輝度値を引いて差を求め、差が正のときにＶｎ＝１とし、負のときにＶｎ＝−１とする。あるいは、差の絶対値が閾値より小さい場合は0とし、Ｖｎを3値で表すようにしてもよい。

この特徴量を用いる場合、ｎ次元目の特徴量の特徴量抽出パラメータは、領域ペアＰｎを記述する情報である。具体的には、領域ペアの形状、位置、大きさを定める情報を特徴量抽出パラメータとする。

時間方向変動情報抽出手段１５０では、この特徴量抽出パラメータによって定まる領域ペアＰｎにおける時間方向変動情報を算出する。例えば、領域ペアＰ１の場合には、図１１に示される領域ペアＰ１に含まれる２つの長方形領域内での時間方向変動量を抽出する。すなわち、図３に従って算出した時間方向変動量や図５に従って算出した動き量のうち、領域ペアＰ１に対応する領域内での値を算出する。そして、１次元目の特徴量の時間方向変動情報とする。

このようにして各次元に対して時間方向変動情報を算出した結果に基づいて、照合加重情報算出手段１６０において照合加重情報を次元毎に算出する。この算出には上述の方法を用いることができる。例えば、時間方向変動情報が表すi次元目の時間方向変動量D(i)に応じて、［数９］に従って加重w(i)を決定する。ここで、g(x)は単調に増加する関数である。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

なお、本発明は、日本国にて２００９年１月２３日に特許出願された特願２００９−１２８１４の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明によれば、類似あるいは同一の映像を多くの映像中から高精度に検索するといった用途に適用できる。特に、映像の同一区間検索については、ネットワーク上に流通する違法にコピーされた動画像を識別する用途や、実際の放送波で流されているＣＭを同定するといった用途に用いることができる。

１００…特徴量抽出手段
１１０…照合加重情報抽出手段
１２０…映像識別子生成手段
１５０…時間方向変動情報抽出手段
１６０…照合加重情報算出手段
２００…照合手段
２１０…加重係数算出手段
２２０、２３０…映像識別子分離手段
３２０、３３０…照合加重情報抽出手段
３５０…時間方向変動情報抽出手段
３６０…照合加重情報算出手段
４００…ピクチャ間差分算出手段
４１０、５１０…時間方向変動情報算出手段
５００…動き情報算出手段

Claims (29)

1. 入力される映像、または、映像から抽出される複数次元の特徴量の少なくともいずれか一方の時間方向の変化を前記次元に対応付けて解析し、時間方向の変化の度合いが大きい次元ほど、重みが大きくなる照合用の加重情報を照合加重情報として前記次元ごとに算出する照合加重情報抽出手段
   を有することを特徴とする照合加重情報抽出装置。
2. 前記照合加重情報抽出手段は、前記入力される映像のフレームまたはフィールドであるピクチャに対して、前記複数次元の特徴量の各次元に対応付けられた領域内において時間方向の画像変化を解析し、画像変化に応じて前記照合加重情報を算出する
   ことを特徴とする請求項１に記載の照合加重情報抽出装置。
3. 前記照合加重情報抽出手段は、前記複数次元の特徴量から各次元の値の時間方向変化を解析し、値の変化に応じて前記照合加重情報を算出する
   ことを特徴とする請求項１に記載の照合加重情報抽出装置。
4. 前記時間方向の画像変化の解析は、照合加重情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、該算出したピクチャ間画素値差分に基づいて、特徴量の各次元に対応する画像変化を算出する
   ことを特徴とする請求項２に記載の照合加重情報抽出装置。
5. 前記時間方向の画像変化の解析は、照合加重情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、特徴量の各次元に対応する画像変化を算出する
   ことを特徴とする請求項２に記載の照合加重情報抽出装置。
6. 前記照合加重情報抽出手段は、連続する複数枚のピクチャの内の１枚のピクチャについて照合加重情報を算出し、該算出した照合加重情報を前記複数枚のピクチャの照合加重情報とする
   ことを特徴とする請求項２に記載の照合加重情報抽出装置。
7. 前記照合加重情報抽出手段は、
   連続する複数枚のピクチャの全て或いは一部についてピクチャ毎の照合加重情報を算出し、該算出したピクチャ毎の照合加重情報の代表値を前記複数枚のピクチャの照合加重情報とする
   ことを特徴とする請求項２に記載の照合加重情報抽出装置。
8. 前記照合加重情報抽出手段は、ピクチャの時間方向の画像変化の度合いに基づいて、同一の照合加重情報が適用可能な時間区間を判定し、該時間区間内のピクチャの内の任意の１枚のピクチャの照合加重情報あるいは前記時間区間内のピクチャの照合加重情報の代表値を、前記時間区間内のピクチャの照合加重情報とする
   ことを特徴とする請求項２に記載の照合加重情報抽出装置。
9. 前記ピクチャ間画素値差分は、ピクチャ間で同じ位置に存在する領域同士の画素値の代表値の差分である
   ことを特徴とする請求項４に記載の照合加重情報抽出装置。
10. 前記特徴量の各次元は、その次元に対して予め定められている、ピクチャ内の形状が異なる２領域の特徴量の差分に応じた値である
    ことを特徴とする請求項１乃至９の何れか１項に記載の照合加重情報抽出装置。
11. 入力される映像から複数次元の特徴量を抽出する特徴量抽出手段と、
    前記入力される映像の時間方向の変化を前記次元に対応付けて解析し、時間方向の変化の度合いが大きい次元ほど、重みが大きくなる照合加重情報を前記次元毎に算出する照合加重情報抽出手段と、
    前記特徴量抽出手段で抽出された特徴量と、前記照合加重情報抽出手段で抽出された照合加重情報とを統合した映像識別子を生成する映像識別子生成手段と
    を有することを特徴とする映像識別子抽出装置。
12. 前記照合加重情報抽出手段は、
    前記入力される映像のフレームまたはフィールドであるピクチャに対して、前記複数次元の特徴量の各次元に対応付けられた領域内において時間方向の画像変化を解析し、画像変化の度合いに応じて前記照合加重情報を算出する
    ことを特徴とする請求項１１に記載の映像識別子抽出装置。
13. 複数次元の第１の特徴量と次元毎の照合加重情報であってその次元の時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第１の照合加重情報とを多重化した第１の映像識別子を入力し、前記第１の映像識別子から前記第１の特徴量と前記第１の照合加重情報とを取得する第１の映像識別子分離手段と、
    複数次元の第２の特徴量と次元毎の照合加重情報であってその次元の時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第２の照合加重情報とを多重化した第２の映像識別子を入力し、前記第２の映像識別子から前記第２の特徴量と前記第２の照合加重情報とを取得する第２の映像識別子分離手段と、
    前記第１の照合加重情報と、前記第２の照合加重情報とから、特徴量の各次元に対応する重み付け係数を算出する加重係数算出手段と、
    前記第１の特徴量と前記第２の特徴量とを、前記重み付け係数を用いて重み付けして照合することにより照合結果を算出する照合手段と
    を有することを特徴とする映像識別子照合装置。
14. 入力される第１の映像識別子に含まれる複数次元の第１の特徴量の時間方向の変化を前記次元に対応付けて解析し、次元毎の照合加重情報であって時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第１の照合加重情報を算出する第１の照合加重情報抽出手段と、
    入力される第２の映像識別子に含まれる複数次元の第２の特徴量の時間方向の変化を前記次元に対応付けて解析し、次元毎の照合加重情報であって時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第２の照合加重情報を算出する第２の照合加重情報抽出手段と、
    前記第１の照合加重情報と、前記第２の照合加重情報とから、特徴量の各次元に対応する重み付け係数を算出する加重係数算出手段と、
    前記第１の特徴量と前記第２の特徴量とを、前記重み付け係数を用いて重み付けして照合することにより照合結果を算出する照合手段と
    を有することを特徴とする映像識別子照合装置。
15. 入力される映像、または、映像から抽出される複数次元の特徴量の少なくともいずれか一方の時間方向の変化を前記次元に対応付けて解析し、時間方向の変化の度合いが大きい次元ほど、重みが大きくなる照合用の加重情報を照合加重情報として前記次元ごとに算出する
    ことを特徴とする照合加重情報抽出方法。
16. 前記入力される映像のフレームまたはフィールドであるピクチャに対して、前記複数次元の特徴量の各次元に対応付けられた領域内において時間方向の画像変化を解析し、画像変化に応じて前記照合加重情報を算出する
    ことを特徴とする請求項１５に記載の照合加重情報抽出方法。
17. 前記複数次元の特徴量から各次元の値の時間方向変化を解析し、値の変化に応じて前記照合加重情報を算出する
    ことを特徴とする請求項１５に記載の照合加重情報抽出方法。
18. 前記時間方向の画像変化の解析は、照合加重情報を算出するピクチャとその前後のピクチャとの間でピクチャ間画素値差分を算出し、該算出したピクチャ間画素値差分に基づいて、特徴量の各次元に対応する画像変化を算出する
    ことを特徴とする請求項１６に記載の照合加重情報抽出方法。
19. 前記時間方向の画像変化の解析は、照合加重情報を算出するピクチャとその前または後のピクチャとの間で動き推定処理を行い、推定された動きの大きさの度合いに基づいて、特徴量の各次元に対応する画像変化を算出する
    ことを特徴とする請求項１６に記載の照合加重情報抽出方法。
20. 連続する複数枚のピクチャの内の１枚のピクチャについて照合加重情報を算出し、該算出した照合加重情報を前記複数枚のピクチャの照合加重情報とする
    ことを特徴とする請求項１６に記載の照合加重情報抽出方法。
21. 連続する複数枚のピクチャの全て或いは一部についてピクチャ毎の照合加重情報を算出し、該算出したピクチャ毎の照合加重情報の代表値を前記複数枚のピクチャの照合加重情報とする
    ことを特徴とする請求項１６に記載の照合加重情報抽出方法。
22. ピクチャの時間方向の画像変化の度合いに基づいて、同一の照合加重情報が適用可能な時間区間を判定し、該時間区間内のピクチャの内の任意の１枚のピクチャの照合加重情報あるいは前記時間区間内のピクチャの照合加重情報の代表値を、前記時間区間内のピクチャの照合加重情報とする
    ことを特徴とする請求項１６に記載の照合加重情報抽出方法。
23. 前記ピクチャ間画素値差分は、ピクチャ間で同じ位置に存在する領域同士の画素値の代表値の差分である
    ことを特徴とする請求項１８に記載の照合加重情報抽出方法。
24. 前記特徴量の各次元は、その次元に対して予め定められている、ピクチャ内の形状が異なる２領域の特徴量の差分に応じた値である
    ことを特徴とする請求項１５乃至２３の何れか１項に記載の照合加重情報抽出方法。
25. 入力される映像から複数次元の特徴量を抽出し、
    前記入力される映像の時間方向の変化を前記次元に対応付けて解析し、時間方向の変化の度合いが大きい次元ほど、重みが大きくなる照合加重情報を前記次元毎に算出し、
    前記抽出された特徴量と、前記抽出された照合加重情報とを統合した映像識別子を生成する
    ことを特徴とする映像識別子抽出方法。
26. 前記照合加重情報の算出では、
    前記入力される映像のフレームまたはフィールドであるピクチャに対して、前記複数次元の特徴量の各次元に対応付けられた領域内において時間方向の画像変化を解析し、画像変化の度合いに応じて前記照合加重情報を算出する
    ことを特徴とする請求項２５に記載の映像識別子抽出方法。
27. 複数次元の第１の特徴量と次元毎の照合加重情報であってその次元の時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第１の照合加重情報とを多重化した第１の映像識別子を入力し、前記第１の映像識別子から前記第１の特徴量と前記第１の照合加重情報とを取得し、
    複数次元の第２の特徴量と次元毎の照合加重情報であってその次元の時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第２の照合加重情報とを多重化した第２の映像識別子を入力し、前記第２の映像識別子から前記第２の特徴量と前記第２の照合加重情報とを取得し、
    前記第１の照合加重情報と、前記第２の照合加重情報とから、特徴量の各次元に対応する重み付け係数を算出し、
    前記第１の特徴量と前記第２の特徴量とを、前記重み付け係数を用いて重み付けして照合することにより照合結果を算出する
    ことを特徴とする映像識別子照合方法。
28. 入力される第１の映像識別子に含まれる複数次元の第１の特徴量の時間方向の変化を前記次元に対応付けて解析し、次元毎の照合加重情報であって時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第１の照合加重情報を算出し、
    入力される第２の映像識別子に含まれる複数次元の第２の特徴量の時間方向の変化を前記次元に対応付けて解析し、時間方向の変化の度合いが大きい次元ほど、重みが大きくなる第２の照合加重情報を算出し、
    前記第１の照合加重情報と、前記第２の照合加重情報とから、特徴量の各次元に対応する重み付け係数を算出し、
    前記第１の特徴量と前記第２の特徴量とを、前記重み付け係数を用いて重み付けして照合することにより照合結果を算出することを特徴とする映像識別子照合方法。
29. コンピュータを、
    入力される映像、または、映像から抽出される複数次元の特徴量の少なくともいずれか一方の時間方向の変化を前記次元に対応付けて解析し、時間方向の変化の度合いが大きい次元ほど、重みが大きくなる照合用の加重情報を照合加重情報として前記次元ごとに算出する照合加重情報抽出手段
    として機能させることを特徴とするプログラム。

Images