JP4883226B2

JP4883226B2 - 映像記述子生成装置

Info

Publication number: JP4883226B2
Application number: JP2010547432A
Authority: JP
Inventors: 亮磨大網; 浩太岩元
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-01-23
Filing date: 2010-01-20
Publication date: 2012-02-22
Anticipated expiration: 2030-01-20
Also published as: US9367616B2; KR101289928B1; US20110274355A1; EP2434416A3; CN102292979A; JPWO2010084737A1; CN104537127A; EP2434416B1; JP2012084164A; CN102292979B; EP2391122A4; KR20110106414A; CN104537127B; EP2434416A2; WO2010084737A1; EP2391122A1

Description

本発明は数多くの動画像の中から、類似あるいは同一の動画像区間を検出する映像検索用の映像記述子生成装置、方法、およびプログラムに関する。

映像記述子生成装置の一例が、特許文献１に記載されている。図２７は、特許文献１に記された映像記述子生成装置をあらわすブロック図である。

フレーム毎特徴量抽出手段１０は、入力される映像からフレーム単位特徴量を算出し、特徴量テーブル作成手段２０へ出力する。特徴量テーブル作成手段２０は、フレーム毎特徴量抽出手段１０から出力されるフレーム単位特徴量から特徴量テーブルを作成し、映像記述子として出力する。

次に、図２７に示す装置の動作について説明する。

フレーム毎特徴量抽出手段１０では、入力される映像から、フレーム毎に色などの特徴量を抽出する処理を行う。得られた特徴量はフレーム単位特徴量として特徴量テーブル作成手段２０へ出力される。

特徴量テーブル作成手段２０では、フレーム間の特徴量の変動を閾値処理して、特徴量の時間方向の圧縮を行う。具体的には、フレーム単位特徴量のフレーム間の差分を算出し、それが一定の許容変動範囲内に収まっているかどうかを判定する。そして、映像を許容変動範囲内に収まっている時間区間ごとに分割する。分割した各時間区間に対して、特徴量と時間区間長（フレーム数）の組を映像記述子として出力する。

このようにすることで、フレーム単位で求めた映像の特徴量を時間方向に圧縮することができ、特徴量サイズの削減が可能になる。また、高速なマッチングを可能とする。

特開平１０−３２０４００号公報

しかしながら、上記の方式では、次に述べるような問題点がある。

第一の問題点は、映像の周りに黒帯領域やL字領域が追加された場合に検索精度が低下することである。その理由は、黒帯領域やL字領域が追加したことを検知して特徴量抽出を行う手段を有さないためである。このため、4:3と16:9のアスペクト変換によって画面の上下や左右に黒い領域（以後黒帯領域と呼ぶ）が挿入されたときや、緊急速報時などにL字領域が追加されたときにも、そのことに関知せず、そのまま特徴量を抽出する。この結果、余分な黒帯領域やL字領域までをも含んで特徴量を抽出するため、それらがない場合と特徴量の値が異なり、検索精度が低下する。

［発明の目的］
本発明の目的は、黒帯領域やL字領域が映像に付加された場合であっても、検索精度を維持できる映像記述子生成装置、方法、およびプログラムを提供することにある。

本発明の一形態にかかる映像記述子生成装置は、映像のフレームまたはフィールドであるピクチャ毎に第1の特徴量を抽出する、第１の抽出手段と、上記映像に含まれる画像の境界で定まる領域内から第２の特徴量を抽出する、第２の抽出手段と、上記第１の特徴量と上記第２の特徴量とを合わせて映像記述子を生成する特徴量統合手段とを有する。

本発明は上述のように構成されているため、黒帯領域やL字領域が映像に付加された場合であっても、検索精度を維持できる効果がある。

本発明の映像記述子生成装置の第１の実施の形態の構成を示すブロック図である。本発明の映像記述子生成装置の第２の実施の形態の構成を示すブロック図である。図１の特徴量統合手段１４０の一実施の形態の構成を示すブロック図である。図１の特徴量統合手段１４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。図１の特徴量統合手段１４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。図２の特徴量統合手段２４０の一実施の形態の構成を示すブロック図である。本発明の動画像照合装置の実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。図１３の特徴量復元手段１０００の一実施の形態の構成を示すブロック図である。黒帯領域、L字領域の例を示す図である。特徴量符号列の多重化の例を示す図である。特徴量の例を説明する図である。本発明に関連する映像記述子生成装置の構成を示すブロック図である。

次に、発明を実施するための形態について図面を参照して詳細に説明する。

図１を参照すると、本発明の第１の実施の形態の映像記述子生成装置が示されており、映像境界検知手段１００と、視覚特徴量抽出手段１２０と、位置補正視覚特徴量抽出手段１３０と、特徴量統合手段１４０とからなる。

映像境界検知手段１００は、映像から映像境界を算出し、境界情報を位置補正視覚特徴量抽出手段１３０へ出力する。視覚特徴量抽出手段１２０は、映像を入力とし、映像から第１の特徴量を求め、特徴量統合手段１４０へ出力する。位置補正視覚特徴量抽出手段１３０は、映像境界検知手段１００から出力される境界情報と映像とから第２の特徴量を求め、特徴量統合手段１４０へ出力する。特徴量統合手段１４０は、第１の特徴量と第２の特徴量とから映像記述子を算出し、出力する。

次に、図１に示す第１の実施の形態の動作について詳細に説明する。

まず、映像は視覚特徴量抽出手段１２０へ入力される。元の映像が符号化されている場合には、復号器によって復号されてから、フレームあるいはフィールドからなるピクチャ単位でデータが入力されるものとする。

視覚特徴量抽出手段１２０では、ピクチャ毎の特徴量ベクトルを算出する。ピクチャを１枚の静止画とみなし、この色や模様、形などの特徴を示す視覚特徴量のベクトルを抽出する。算出された特徴量ベクトルは、第１の特徴量として特徴量統合手段１４０へ出力される。

一方、映像は、映像境界検知手段１００へも入力される。映像境界検知手段１００では、本来映像ではない、黒帯領域やL字領域が存在するかどうかを検知し、存在する場合には、その境界領域を求める。

ここで、黒帯領域とは、4:3と16:9のアスペクト変換によって画面の上下や左右に挿入される黒い余白領域を指す。典型的には黒い色であるが、必ずしも黒である必要はない。一方L字（あるいは逆L字）領域は、緊急ニュース等を報道する際に用いられる映像表示技法であり、実際の映像を少し縮小してスペースを生成し、そこに速報ニュース等を流す方法である。この場合、色は黒でない場合が多い。いずれにしても、本来の映像ではない領域が表示されているという点では共通している。これらの領域の例を図２４に示す。図２４において黒い領域が黒帯領域あるいはL字領域に相当する。それ以外にも、ある映像に別の映像をはめ込むPicture in
Pictureという映像提示技法や、アナウンサーの後ろのスクリーンに映されている映像をカメラで撮影している場合なども、メインの映像の周りに枠が現れるため、この範疇に含めることができる。すなわち、Picture in Pictureで内側に表示された領域の外側や、スクリーンの枠の外側を黒帯領域と同様に扱うことで、本発明の方式を適用できる。

映像境界検知手段１００ではピクチャ内に含まれる、このような本来の映像にはなかった領域とその境界を求める。例えば、ピクチャにハフ変換を行って映像の直線成分を検出し、時間的に継続してピクチャ内の同じ位置に現れる直線成分を求めることによって、この境界を算出することができる。求まった映像境界を記述する情報を境界情報として位置補正視覚特徴量抽出手段１３０へ出力する。境界情報としては、例えば、実際の画面の縁から黒帯領域やL字領域によって生じる境界までの距離を用いることができる。この際、上下にのみ帯状の領域が入る場合には、左右の境界までの距離値は0に設定すればよい。あるいは、若干傾いた境界も許容する場合には、その角度も一緒に記述するようにしておいてもよい。あるいは、Ｌ字、横方向黒帯、縦方向黒帯など、黒帯またはＬ字の種別を表す記号と、各パターンの帯状領域を記述するのに必要なパラメータを境界情報としてもよい。例えば、Ｌ字の入る幅が予め数種類に決まっているのであれば、Ｌ字パターンを表す記号と、幅を指定するインデックスを境界情報とすればよい。

位置補正視覚特徴量抽出手段１３０へは、境界情報とともに映像もピクチャ単位で入力される。位置補正視覚特徴量抽出手段１３０では、境界情報によって定められる位置より外側の領域は無視して特徴量を算出する。すなわち、境界情報によって定められる位置より内側の領域が画像全体であると見做し、特徴量を抽出する。抽出する特徴量は、視覚特徴量抽出手段１２０で抽出される特徴量と同じである。例えば、視覚特徴量抽出手段１２０が色のレイアウト特徴量を抽出するのであれば、位置補正視覚特徴量抽出手段１３０も色のレイアウト特徴量を抽出する。抽出された特徴量は第２の特徴量として特徴量統合手段１４０へ出力される。

特徴量統合手段１４０では、視覚特徴量抽出手段１２０から出力される第１の特徴量と、位置補正視覚特徴量抽出手段１３０から出力される第２の特徴量とをあわせて映像記述子を生成し、出力する。ここでは、単純に両特徴量をつなぎ合わせて１つの特徴量とするだけでもよいし、特定の符号化を行ってもよい。あるいは、第１の特徴量と第２の特徴量間の相関が高いことを利用し、差分を符号化するようにしてもよい。この動作については、以下で詳述する。

次に、特徴量統合手段１４０の実施の形態について図３を参照して述べる。

図３を参照すると、特徴量統合手段１４０の実施の形態が示されており、符号化手段３1０、符号化手段３２０、符号列多重化手段２３０とからなる。

符号化手段３２０は、入力される第１の特徴量を符号化し、得られる第１の特徴量符号列を符号列多重化手段２３０へ出力する。符号化手段３１０は、入力される第２の特徴量を符号化し、得られる第２の特徴量符号列を符号列多重化手段２３０へ出力する。符号列多重化手段２３０は、第１の特徴量符号列と第２の特徴量符号列とを合わせて映像記述子を生成し、出力する。

次に、図３に示す特徴量統合手段１４０の動作について説明する。

まず、第１の特徴量は、符号化手段３２０へ入力される。符号化手段３２０では、特徴量を符号化し、第１の特徴量符号列を生成する。ここで、符号化とは、所定のフォーマットに情報を格納することを意味しており、単に特徴量ベクトルの値を次元ごとに並べるだけでもよい。例えば、入力ベクトルがＮ次元の整数ベクトルであれば、各次元の整数値をＮ個並べただけのフォーマットでもよい。あるいは、入力ベクトルが浮動小数の値の場合には、量子化を行って有限個数の代表値で表現するようにし、その代表値を表すインデックス（量子化インデックス）を並べてもよい。さらに、得られた整数値や代表値に対して、各値の出現頻度を考慮したエントロピー符号化を行っても良い。エントロピー符号化としては、ハフマン符号化や算術符号化を用いることができる。あるいは、特徴量ベクトルの次元間に相関がある場合には、その相関を除去する処理を行った後でエントロピー符号化等の処理を行っても良い。例えば、相関がある次元間で値の差分を求め、差分符号化を行っても良い。あるいは、入力される特徴量ベクトルに対して周波数変換などの変換を行ってから量子化、エントロピー符号化を行って符号列を生成してもよい。さらに、特徴量ベクトルとして、ピクチャ間で相関がある場合には、過去のピクチャに対する特徴量ベクトルとの差分を算出し、これを上述の符号化方法で符号化して符号列を生成してもよい。生成された第１の特徴量符号列は符号列多重化手段２３０へ出力される。

一方、第２の特徴量は、符号化手段３１０へ入力される。符号化手段３１０の動作は符号化手段３２０と同様であり、第２の特徴量を符号化して第２の特徴量符号列を生成する。生成された第２の特徴量符号列は符号列多重化手段２３０へ出力される。

符号列多重化手段２３０では、第１の特徴量符号列と第２の特徴量符号列とを多重化し、映像記述子を生成する。図２５に示すように、単純に第１の特徴量符号列と第２の特徴量符号列とを分離可能な識別符号を挟んで繋げる（ただし、符号列が固定長であったり、符号列の長さをどこかに記述したりする場合には、識別のための符号は不要）だけでもよいし、ピクチャ単位で交互にインターリーブして映像記述子を構築してもよい。

図３の特徴量統合手段１４０により、黒帯領域を除いて特徴量抽出を行った場合と、画面全体を用いて特徴量抽出を行った場合の両特徴量を有する映像記述子を生成可能になる。

次に、特徴量統合手段１４０の別の実施の形態について図４を参照して述べる。

図４を参照すると、特徴量統合手段１４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、特徴量差分符号化手段３４０、符号列多重化手段３３０とからなる。

特徴量減算手段３００は、第２の特徴量から第１の特徴量を差し引いて特徴量間の差分を算出し、特徴量差分値を特徴量差分符号化手段３４０へ出力する。符号化手段３２０は、第１の特徴量を符号化し、得られる第１の特徴量符号列を符号列多重化手段３３０へ出力する。特徴量差分符号化手段３４０は、特徴量減算手段３００から出力される特徴量差分値を符号化し、特徴量差分値符号列を符号列多重化手段３３０へ出力する。符号列多重化手段３３０は、符号化手段３２０から出力される第１の特徴量符号列と、特徴量差分符号化手段３４０から出力される特徴量差分値符号列とから映像記述子を生成し、出力する。

次に、図４に示す特徴量統合手段１４０の動作について説明する。

まず、第１の特徴量は、符号化手段３２０へ入力される。符号化手段３２０の動作は図３のものと同様であり、第１の特徴量符号列が符号列多重化手段３３０へ出力される。また、第１の特徴量は特徴量減算手段３００へも入力される。一方、第２の特徴量も特徴量減算手段３００へ入力される。

特徴量減算手段３００では、特徴量ベクトルの次元ごとに、第２の特徴量から第１の特徴量が差し引かれ、差分ベクトルが算出される。この差分ベクトルは、特徴量差分値として特徴量差分符号化手段３４０へ出力される。

特徴量差分符号化手段３４０では、特徴量差分値を符号化し、特徴量差分値符号列を生成する。第１の特徴量と第２の特徴量とは、黒帯領域またはＬ字領域の有無の差はあるものの、映像としてはもともと同じものであるため、両者の間には強い相関がある。このため、両特徴量間の差分を算出すると、出現する値の分布は０近傍に集中すると考えられる。よって、この性質を利用して、エントロピー符号化することによって発生する符号量を低減できる。具体的には、特徴量ベクトルの各次元に対して、差分値の頻度分布を予め学習データによって算出しておき、その分布を用いて差分値を算術符号化することが考えられる。あるいは、頻度分布に基づいてハフマン符号化テーブルを構築し、このテーブルに基づいて差分値を符号化してもよい。あるいは、特徴量差分の値がほぼ０に集中するのであれば、０でない値を持つ次元のインデックスと、０以外の値を表す符号の組み合わせとして符号列を構成してもよい。生成された特徴量差分値符号列は符号列多重化手段３３０へ出力される。

符号列多重化手段３３０では、第１の特徴量符号列と特徴量差分値符号列とを繋げて映像記述子を生成する。動作は図３の符号列多重化手段２３０と同様である。

図４の特徴量統合手段１４０により、差分をとってから符号化することで、特徴量のサイズを抑えることが可能となる。

次に、特徴量統合手段１４０の別の実施の形態について図６を参照して述べる。

図６を参照すると、特徴量統合手段１４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３１０、符号化手段３２０、特徴量差分符号化手段３４０、符号選択手段５２０、符号列多重化手段５３０とからなる。

特徴量減算手段３００、符号化手段３２０の接続関係は図４と同様である。特徴量差分符号化手段３４０は、特徴量減算手段３００から出力される特徴量差分値を符号化し、特徴量差分値符号列を符号選択手段５２０へ出力する。符号化手段３１０は、第２の特徴量を符号化し、第２の特徴量符号列を符号選択手段５２０へ出力する。符号選択手段５２０は、特徴量差分符号化手段３４０から出力される特徴量差分値符号列と、符号化手段３１０から出力される第２の特徴量符号列の一方を選択し、第３の特徴量符号列として符号列多重化手段５３０へ出力する。符号列多重化手段５３０は、符号化手段３２０から出力される第１の特徴量符号列と、符号選択手段５２０から出力される第３の特徴量符号列とから映像記述子を生成し、出力する。

次に、図６に示す特徴量統合手段１４０の動作について説明する。

符号化手段３１０、符号化手段３２０の動作は図３のものと同様である。また、特徴量減算手段３００、特徴量差分符号化手段３４０の動作は図４のものと同様である。特徴量差分符号化手段３４０から出力される特徴量差分値符号列と、符号化手段３１０から出力される第２の特徴量符号列とは、符号選択手段５２０へ入力される。

符号選択手段５２０では、特徴量差分値符号列と第２の特徴量符号列とで、符号量をピクチャ、または複数枚のピクチャ単位で比較し、より少ない発生符号量の符号列を選択し、第３の特徴量符号列として符号列多重化手段５３０へ出力する。この際、どちらのやり方で符号化したかという情報をモード情報として、ピクチャ単位または複数枚のピクチャ単位で符号列多重化手段５３０へ出力する。符号列多重化手段５３０では、第１の特徴量符号列と第３の特徴量符号列とをつなげて映像記述子を生成する。動作は図３の符号列多重化手段２３０とほぼ同様であるが、モード情報も一緒に映像記述子に含めるようにする点が異なる。

図６の特徴量統合手段１４０では、第２の特徴量をそのまま符号化する手段を有するため、黒帯領域やL字領域の有無によって、特徴量が大きく異なり、特徴量差分値を符号化することが符号化効率の観点から適切でない場合であっても特徴量サイズの増大を防ぐことが可能である。

以上が映像記述子生成装置の第１の実施の形態の説明である。第１の実施の形態により、黒帯やL字領域が含まれる場合であっても検索精度の低下を抑えることが可能な映像記述子が抽出できるようになる。その理由は、黒帯領域やL字領域を検出し、それらを除いた領域で抽出した特徴量の情報を有するためである。このため、黒帯領域やL字領域が存在する動画像の場合には、これらを除いた領域での特徴量を比較することで、検索精度を維持できる。また、これらの領域を除去しない、映像全体に対する特徴量も保持している。このため、黒帯領域やL字領域の検知で誤ったとしても、画像全体の特徴量同士でのマッチングは可能となり、精度は低下しない。

次に本発明の第２の実施の形態について詳細に説明する。

図２を参照すると、本発明の第２の実施の形態の映像記述子生成装置が示されており、映像境界検知手段１００と、視覚特徴量抽出手段１２０と、位置補正視覚特徴量抽出手段１３０と、特徴量統合手段２４０とからなる。

構成は、図１の場合とほぼ同様であるが、特徴量統合手段１４０のかわりに特徴量統合手段２４０が用いられ、特徴量統合手段２４０には映像境界検知手段１００から出力される境界情報も入力される点が異なる。

次に、図２に示す本発明の第２の実施の形態の動作について説明する。

映像境界検知手段１００、視覚特徴量抽出手段１２０、および位置補正視覚特徴量抽出手段１３０の動作は、図１の映像記述子生成装置と同様である。そして、視覚特徴量抽出手段１２０から出力される第１の特徴量と、位置補正視覚特徴量抽出手段１３０から出力される第２の特徴量は、特徴量統合手段２４０へ入力される。また、映像境界検知手段１００から出力される境界情報も特徴量統合手段２４０へ入力される。

特徴量統合手段２４０の動作も、基本的には図１の特徴量統合手段１４０の動作と同様であるが、境界情報によって、符号化方式を制御して、映像記述子を生成する点、および、境界情報、あるいはその関連情報も一緒に映像記述子に含めるようにする点が異なる。この詳細については以下で述べる。

次に、特徴量統合手段２４０の実施の形態について図５を参照して述べる。

図５を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、特徴量差分符号化手段４４０、符号列多重化手段４３０とからなる。

特徴量減算手段３００、符号化手段３２０の接続関係は図４のものと同様である。特徴量差分符号化手段４４０は、特徴量減算手段３００から出力される特徴量差分値と境界情報とから、特徴量差分値を符号化し、特徴量差分値符号列を符号列多重化手段４３０へ出力する。符号列多重化手段４３０は、符号化手段３２０から出力される第１の特徴量符号列と、特徴量差分符号化手段４４０から出力される特徴量差分値符号列と、境界情報とから映像記述子を生成し、出力する。

次に、図５に示す特徴量統合手段２４０の動作について説明する。

特徴量減算手段３００、符号化手段３２０の動作は、図４のものと同様である。

特徴量差分符号化手段４４０では、特徴量減算手段３００から出力される特徴量差分値を符号化し、特徴量差分値符号列を生成する。この動作は、基本的には、図４で説明した特徴量差分符号化手段３４０の動作とほぼ同様である。ただし、特徴量差分符号化手段４４０の場合には、黒帯領域やL字領域の領域を表す境界情報によって符号化パラメータを制御する点が特徴量差分符号化手段３４０と異なる。すなわち、境界情報によって符号化パラメータを変更する。特徴量ベクトルの各次元における差分値の分布は、黒帯領域やL字領域の大きさ、出現位置等に依存して変化する。このため、境界情報に応じて用いる差分値の分布を選択して分布に応じた算術符号化を行ったり、境界情報に応じて用いるハフマンテーブルを選択してハフマン符号化を行ったりすることにより、エントロピー符号化を行う。生成された特徴量差分値符号列は、符号列多重化手段４３０へ出力される。

符号列多重化手段４３０では、符号化手段３２０から出力される第１の特徴量符号列と、特徴量差分符号化手段４４０から出力される特徴量差分値符号列と、境界情報とを多重化して映像記述子を生成する。この動作は基本的には、図４の符号列多重化手段３３０と同様であるが、境界情報も一緒に多重化する点が異なる。なお、境界情報は、情報そのものでなく、それを符号化したもの、あるいは、インデックス化したものであってもよい。例えば、特徴量差分符号化手段４４０において、ハフマンテーブルや算術符号化で用いる分布などの符号化パラメータがいくつかのクラスに分類されており、その中の一つを選択して用いる場合には、このクラスを識別するインデックスを多重化すればよい。あるいは、このインデックスが特定可能な符号を割り当てて多重化すればよい。

図５の特徴量統合手段２４０により、特徴量間の差分をとってから符号化する際の符号化パラメータを最適化することができるようになり、特徴量の符号化効率を向上できる。

次に、特徴量統合手段２４０の別の実施の形態について図７を参照して述べる。

図７を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、符号化手段６１０、特徴量差分符号化手段６４０、符号列多重化手段６３０からなる。

特徴量減算手段３００、符号化手段３２０の接続関係は図４のものと同様である。差分符号化インデックス決定手段６００は、境界情報を入力とし、差分符号化インデックスを特徴量差分符号化手段６４０と符号化手段６１０とへ出力する。特徴量差分符号化手段６４０は、差分符号化インデックス決定手段６００から出力される差分符号化インデックスに基づいて特徴量減算手段３００から出力される特徴量差分値を差分符号化し、特徴量差分値符号列を符号列多重化手段６３０へ出力する。符号化手段６１０は、差分符号化インデックス決定手段６００から出力される差分符号化インデックスに基づいて第２の特徴量を符号化し、第２の特徴量符号列を符号列多重化手段６３０へ出力する。符号列多重化手段６３０は、符号化手段３２０から出力される第１の特徴量符号列と、特徴量差分符号化手段６４０から出力される特徴量差分値符号列と、符号化手段６１０から出力される第２の特徴量符号列と境界情報とを多重化して、映像記述子を生成し、出力する。

次に、図７に示す特徴量統合手段２４０の動作について説明する。

差分符号化インデックス決定手段６００では、入力される境界情報に基づいて、特徴量の各次元のうち、差分符号化を行う次元を決定し、その次元を表すインデックスを差分符号化インデックスとして出力する。差分符号化インデックスは、特徴量差分符号化手段６４０と符号化手段６１０とへ出力される。

特徴量差分符号化手段６４０では、入力される差分符号化インデックスに該当する次元に対して特徴量差分値を符号化し、特徴量差分値符号列を生成する。特徴量差分値の符号化方法は、図４の特徴量差分符号化手段３４０と同様である。生成された特徴量差分値符号列は符号列多重化手段６３０へ出力される。

符号化手段６１０では、入力される差分符号化インデックスに該当しない次元に対して第２の特徴量を符号化し、第２の特徴量符号列を生成する。第２の特徴量の符号化方法は、図３の符号化手段３１０と同様である。生成された第２の特徴量符号列は符号列多重化手段６３０へ出力される。

符号列多重化手段６３０では、符号化手段３２０から出力される第１の特徴量符号列と、特徴量差分符号化手段６４０から出力される特徴量差分値符号列と、符号化手段６１０から出力される第２の特徴量符号列と、境界情報とを多重化して映像記述子を生成する。単純にこれらの符号列を繋げるだけでもよいし、ピクチャ単位で交互にインターリーブして映像記述子を構築してもよい。境界情報の多重化については、図５の符号列多重化手段４３０と同様である。

図７の特徴量統合手段２４０により、特徴量間の差分を符号化したほうがよい次元とそうでない次元があり、かつ境界情報に依存して変わる場合に、より効率的に特徴量の符号化を行うことができるようになる。

次に、特徴量統合手段２４０の別の実施の形態について図８を参照して述べる。

図８を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、符号化手段６１０、特徴量差分符号化手段６４０、符号列多重化手段８３０からなる。

構成は、符号列多重化手段６３０のかわりに符号列多重化手段８３０が用いられ、符号列多重化手段８３０へは、境界情報のかわりに、差分符号化インデックスが入力されている点を除けば、図７の場合と同様である。

次に、図８に示す特徴量統合手段２４０の動作について説明する。

符号列多重化手段８３０以外の動作は、図７の場合と同様である。符号列多重化手段８３０の動作も、境界情報のかわりに差分符号化インデックスを多重化する点を除けば、図７の符号列多重化手段６３０と同様である。

図８の特徴量統合手段２４０は、図７と同様の効果を有する別の実施の形態を提供する。

次に、特徴量統合手段２４０の別の実施の形態について図９を参照して述べる。

図９を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、符号化手段６１０、特徴量差分符号化手段６６０、符号列多重化手段６３０からなる。

構成は、特徴量差分符号化手段６４０のかわりに特徴量差分符号化手段６６０が用いられ、特徴量差分符号化手段６６０へは、さらに境界情報も入力されている点を除けば、図７の場合と同様である。

次に、図９に示す特徴量統合手段２４０の動作について説明する。

特徴量差分符号化手段６６０以外の動作は、図７の場合と同様である。特徴量差分符号化手段６６０の動作も、境界情報に応じて符号化パラメータを変えて符号化を行う以外は図７の特徴量差分符号化手段６４０と同様である。境界情報に応じて符号化パラメータを変えて符号化する方法は、図５の特徴量差分符号化手段４４０の場合と同様である。

図９の特徴量統合手段２４０により、図７の場合より特徴量差分符号化の効率を上げることが可能となり、より効率的に特徴量の符号化を行うことができるようになる。

次に、特徴量統合手段２４０の別の実施の形態について図１０を参照して述べる。

図１０を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、符号化手段３１０、特徴量差分符号化手段６４０、符号選択手段７２０、符号列多重化手段７３０からなる。

特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００の接続関係は図７の場合と同様である。特徴量差分符号化手段６４０は、差分符号化インデックス決定手段６００から出力される差分符号化インデックスに基づいて特徴量減算手段３００から出力される特徴量差分値を差分符号化し、特徴量差分値符号列を符号選択手段７２０へ出力する。符号化手段３１０は、第２の特徴量を符号化して符号選択手段７２０へ第２の特徴量符号列を出力する。符号選択手段７２０は、差分符号化インデックス決定手段６００から出力される差分符号化インデックスに基づいて符号列を選択し、選択された符号列を第３の特徴量符号列として符号列多重化手段７３０へ出力する。符号列多重化手段７３０は、符号化手段３２０から出力される第１の特徴量符号列と、符号選択手段７２０から出力される第３の特徴量符号列と、境界情報とから映像記述子を生成し、出力する。

次に、図１０に示す特徴量統合手段２４０の動作について説明する。

特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、および特徴量差分符号化手段６４０の動作は図７の場合と同様である。また、符号化手段３１０の動作は、図６の場合と同様である。

符号選択手段７２０では、特徴量差分符号化手段６４０から出力される特徴量差分値符号列と、符号化手段３１０から出力される第２の特徴量符号列のそれぞれに対して、差分符号化インデックス決定手段６００から出力される差分符号化インデックスに該当する次元に対する符号量の総和を算出する。差分符号化インデックスに該当する次元については、符号量の総和が小さくなる符号列を選択する。一方、差分符号化インデックスに該当しない次元については、第２の特徴量符号列の符号を選択する。これを、予め定められた周期で判定する。この周期としては、例えばピクチャを用いたり、複数枚のピクチャからなる区間を用いたりすることができる。そして、選択された符号列を、第３の特徴量符号列として、符号列多重化手段７３０へ出力する。この際、どちらのやり方で符号化したかという情報をモード情報として、ピクチャ単位または複数枚のピクチャ単位で符号列多重化手段７３０へ出力する。

符号列多重化手段７３０では、符号化手段３２０から出力される第１の特徴量符号列と、符号選択手段７２０から出力される第３の特徴量符号列と、境界情報と、モード情報とを多重化して、映像記述子を生成する。多重化の方法は、図５の符号列多重化手段４３０の場合とほぼ同様であるが、モード情報も一緒に映像記述子に含めるようにする点が異なる。

図１０の特徴量統合手段２４０により、図７の場合に比べると、特徴量差分符号化で効率的に符号化できない場合には、そのまま特徴量を符号化できるため、より効率的に特徴量の符号化を行うことができるようになる。

次に、特徴量統合手段２４０の別の実施の形態について図１１を参照して述べる。

図１１を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、符号化手段３１０、特徴量差分符号化手段６４０、符号選択手段７２０、符号列多重化手段９３０からなる。

構成は、符号列多重化手段７３０のかわりに符号列多重化手段９３０が用いられ、符号列多重化手段９３０へは、境界情報のかわりに差分符号化インデックスが入力されていることを除けば、図１０の場合と同様である。

次に、図１１に示す特徴量統合手段２４０の動作について説明する。

符号列多重化手段９３０以外の動作は、図１０の場合と同様である。符号列多重化手段９３０の動作も、境界情報のかわりに差分符号化インデックスを多重化する点を除けば、図１０の符号列多重化手段７３０と同様である。

図１１の特徴量統合手段は、図１０と同様の効果を有する別の実施の形態を提供する。

次に、特徴量統合手段２４０の別の実施の形態について図１２を参照して述べる。

図１２を参照すると、特徴量統合手段２４０の実施の形態が示されており、特徴量減算手段３００、符号化手段３２０、差分符号化インデックス決定手段６００、符号化手段３１０、特徴量差分符号化手段６６０、符号選択手段７２０、符号列多重化手段７３０からなる。

構成は、特徴量差分符号化手段６４０のかわりに特徴量差分符号化手段６６０が用いられ、特徴量差分符号化手段６６０へは、さらに境界情報も入力されている点を除けば、図１０の場合と同様である。

次に、図１２に示す特徴量統合手段２４０の動作について説明する。

特徴量差分符号化手段６６０以外の動作は、図１０の場合と同様である。特徴量差分符号化手段６６０の動作も、境界情報に応じて符号化パラメータを変えて符号化を行う以外は図１０の特徴量差分符号化手段６４０と同様である。境界情報に応じて符号化パラメータを変えて符号化する方法は、図５の特徴量差分符号化手段４４０の場合と同様である。

図１２の特徴量統合手段２４０により、図１０の場合より特徴量差分符号化の効率を上げることが可能となり、より効率的に特徴量の符号化を行うことができるようになる。

以上が映像記述子生成装置の第２の実施の形態の説明である。第２の実施により、黒帯やL字領域の大きさに応じて特徴量の符号化方法を最適化できるようになり、映像記述子の符号化効率を改善できる。

次に、動画像照合装置の実施の形態について図面を参照して詳細に説明する。

図１３を参照すると、本発明の動画像照合装置の実施の形態が示されており、特徴量復元手段１０００、１０１０、特徴量照合手段１０２０、１０３０、１０４０、１０５０、選択手段１０６０からなる。

特徴量復元手段１０００は第１の映像記述子を入力とし、分離された第１の映像の第１の特徴量を、特徴量照合手段１０２０、１０３０へ出力し、第１の映像の第２の特徴量を、特徴量照合手段１０４０、１０５０へ出力する。特徴量復元手段１０１０は第２の映像記述子を入力とし、分離された第２の映像の第１の特徴量を、特徴量照合手段１０２０、１０４０へ出力し、第２の映像の第２の特徴量を、特徴量照合手段１０３０、１０５０へ出力する。特徴量照合手段１０２０は、第１の映像の第１の特徴量と第２の映像の第１の特徴量とを入力とし、第１の照合スコアを選択手段１０６０へ出力する。特徴量照合手段１０３０は、第１の映像の第１の特徴量と第２の映像の第２の特徴量とを入力とし、第２の照合スコアを選択手段１０６０へ出力する。特徴量照合手段１０４０は、第１の映像の第２の特徴量と第２の映像の第１の特徴量とを入力とし、第３の照合スコアを選択手段１０６０へ出力する。特徴量照合手段１０５０は、第１の映像の第２の特徴量と第２の映像の第２の特徴量を入力とし、第４の照合スコアを選択手段１０６０へ出力する。選択手段１０６０は、第１の照合スコアから第４の照合スコアまでを比較して一つを選択し、照合スコアとして出力する。

次に、図１３の動画像照合装置の動作について説明する。

まず、第１の映像記述子は特徴量復元手段１０００へ入力される。特徴量復元手段１０００では、第１の映像記述子から特徴量を復元し、黒帯領域を除去していない場合の特徴量である第１の映像の第１の特徴量と、黒帯領域を除去した場合の特徴量である第１の映像の第２の特徴量とを抽出し、出力する。一方、第２の映像記述子は特徴量復元手段１０１０へ入力され、同様にして、黒帯領域を除去していない場合の特徴量である第２の映像の第１の特徴量と、黒帯領域を除去した場合の特徴量である第２の映像の第２の特徴量とが抽出され、出力される。特徴量復元手段１０００、１０１０での特徴量復元の詳細は後述する。

特徴量照合手段１０２０へは、第１の映像の第１の特徴量と、第２の映像の第１の特徴量が入力される。ここでは、第１の映像と第２の映像の、黒帯を除去しない場合の特徴量同士の照合が行われる。照合では、ピクチャ単位で特徴量の値を比較し、特徴量間の距離、または特徴量間の類似性を表す尺度が算出される。これを連続した複数のピクチャ間で行って統計処理を行うことにより、それらのピクチャで構成される映像区間の距離または類似度（類似度はその値がより大きいほど、より類似しているものとする）が算出される。統計処理としては、例えばピクチャ毎の値の総和や平均を計算したり、最大値を計算したり、メディアン値を計算したりする方法が考えられる。あるいは、ピクチャのスコアの中で外れ値を判定して、それを除いて総和や平均、メディアンなどの統計量を計算するようになっていてもよい。これにより、映像区間同士の照合結果が算出される。以降では、この結果のことを照合スコアと呼ぶことにする。算出された照合スコアは、選択手段１０６０へ出力される。

特徴量照合手段１０３０、特徴量照合手段１０４０、特徴量照合手段１０５０の動作も基本的には特徴量照合手段１０２０と同様である。ただし、特徴量照合手段１０３０では、第１の映像の第１の特徴量と、第２の映像の第２の特徴量とを比較するため、第１の映像の黒帯を除去しない場合と、第２の映像の黒帯を除去した場合との照合スコアが算出される。特徴量照合手段１０４０では、第１の映像の第２の特徴量と、第２の映像の第１の特徴量とを比較するため、第１の映像の黒帯を除去した場合と、第２の映像の黒帯を除去しない場合との照合スコアが算出される。特徴量照合手段１０５０では、第１の映像の第２の特徴量と、第２の映像の第２の特徴量とを比較するため、第１と第２の映像の黒帯を除去した場合同士の照合スコアが算出される。これを、ピクチャを時間方向にずらしながら照合スコアを算出していく。なお、このように黒帯除去の有無の全ての組み合わせに対して照合を行うのは、黒帯除去処理で誤って黒帯を検知した場合に照合精度が低下するのを避けるためである。このようにして、特徴量照合手段１０３０、１０４０、１０５０、１０６０で算出された照合スコアは、選択手段１０６０へ出力される。

選択手段１０６０では、入力される照合スコアのうち、もっとも照合の度合いが高いスコアを選択する。すなわち、照合スコアが距離で定義されている場合には、もっとも小さい値を選択し、照合スコアが類似度で定義されている場合には、もっとも大きな値を選択する。

図１３の動画像照合装置により、黒帯領域やL字が入った場合であっても、検索精度を落とさずに検索可能となる。

次に、図１３の特徴量復元手段１０００の実施の形態について図１４を参照して述べる。

図１４を参照すると、図３の特徴量統合手段１４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１１００、復号手段１１１０、復号手段１１２０からなる。

符号列多重分離手段１１００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第２の特徴量符号列を復号手段１１２０へ出力する。復号手段１１１０は、符号列多重分離手段１１００から出力される第１の特徴量符号列を復号し、第１の特徴量を生成し、出力する。復号手段１１２０は、符号列多重分離手段１１００から出力される第２の特徴量符号列を復号し、第２の特徴量を生成し、出力する。

次に、図１４の特徴量復元手段１０００の動作について説明する。

照合対象となる映像記述子は、まず、符号列多重分離手段１１００へ入力される。符号列多重分離手段１１００では、多重化に用いた方法に応じた多重分離方法により、映像記述子から第１の特徴量符号列と第２の特徴量符号列とを分離する。例えば、多重化において、単純に第１の特徴量符号列と第２の特徴量符号列とを分離可能な識別符号を挟んで繋げただけの場合であれば、その識別符号を識別し、その前を第１の特徴量符号列、後ろを第２の特徴量符号列として分離する。一方、ピクチャ単位で交互にインターリーブして映像記述子を構築している場合には、ピクチャ単位で分離し、符号列を再構築する。その際、識別符号を挟むことで分離可能にしているのであれば、識別符号を識別して分離するし、個々のピクチャ毎の符号列の長さをヘッダ情報として持っているのであれば、その長さによって区切って分離する。このようにして分離された第１の特徴量符号列、第２の特徴量符号列は、それぞれ、復号手段１１１０と復号手段１１２０とへ出力される。

復号手段１１１０では、第１の特徴量符号列を復号し、第１の特徴量を生成する。復号方法は、符号化時に用いた方式に依存してかわる。例えば、入力ベクトルがＮ次元の整数ベクトルで、各次元の整数値をＮ個並べただけのフォーマットで符号列を生成した場合には、単にこのＮ次元ベクトルを取得するのみでよい。入力ベクトルが量子化を行って代表値（量子化インデックス）を並べただけの場合には、この代表値（あるいは量子化インデックスから求まる代表値）を取得後、逆量子化を行えばよい。あるいは、エントロピー符号化が行われている場合には、それに対応する復号を行ってシンボルを得るようにする。例えば、エントロピー符号化としてハフマン符号化を行っている場合には、符号化時に用いたハフマンテーブルを用いて復号することが可能である。あるいは、算術符号化を行っている場合には、符号化時に用いたシンボルの頻度分布を用いて算術復号することが可能である。あるいは、次元間の相関を除去する処理をした後にエントロピー符号化してある場合には、まずエントロピー復号を行い、次に、相関除去で行った処理に対応する復元処理を行うことで特徴量を算出できる。あるいは、周波数変換を行って量子化、エントロピー符号化を行っている場合には、エントロピー復号後、逆量子化、周波数変換の逆変換を行うことによって特徴量を算出できる。さらに、過去ピクチャの特徴量との差分を求めて符号化している場合には、復号して得られた値を過去ピクチャの特徴量に加算することによって、現在のピクチャの特徴量を算出する。

復号手段１１２０では、第２の特徴量符号列を復号し、第２の特徴量を生成する。復号手段１１２０の動作は復号手段１１１０と同様である。

図１４の特徴量復元手段１０００は、図３に示す特徴量統合手段１４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図１５を参照して述べる。

図１５を参照すると、図４の特徴量統合手段１４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１２００、復号手段１１１０、特徴量差分復号手段１２３０、特徴量加算手段１２４０からなる。

符号列多重分離手段１２００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、特徴量差分値符号列を特徴量差分復号手段１２３０へ出力する。復号手段１１１０は、符号列多重分離手段１２００から出力される第１の特徴量符号列を復号し、第１の特徴量を出力する。特徴量差分復号手段１２３０は、符号列多重分離手段１２００から出力される特徴量差分値符号列を復号し、得られた特徴量差分値を特徴量加算手段１２４０へ出力する。特徴量加算手段１２４０は、復号手段１１１０から出力される第１の特徴量と、特徴量差分復号手段１２３０から出力される特徴量差分値とを加算し、第２の特徴量を算出し、出力する。

次に、図１５の特徴量復元手段１０００の動作について説明する。

照合対象となる映像記述子は、まず、符号列多重分離手段１２００へ入力される。符号列多重分離手段１２００では、多重化に用いた方法に応じた多重分離方法により、映像記述子から第１の特徴量符号列と特徴量差分値符号列とを分離する。この動作は図１４に示す特徴量復元手段の符号列多重分離手段１１００と同様である。分離された第１の特徴量符号列と特徴量差分値符号列は、それぞれ復号手段１１１０と特徴量差分復号手段１２３０へ出力される。

復号手段１１１０の動作は、図１４の場合と同様であり、第１の特徴量を出力する。第１の特徴量は、特徴量加算手段１２４０へも出力される。

特徴量差分復号手段１２３０では、特徴量差分値符号列を復号し、特徴量差分値を得る。ここでも符号化時に行った処理の逆の処理を行うことによって、復号する。例えば、ハフマン符号化や算術符号化を行って符号化されている場合には、対応する復号処理を行って復号する。得られた特徴量差分値は特徴量加算手段１２４０へ出力される。

特徴量加算手段１２４０では、復号手段１１１０から出力される第１の特徴量と、特徴量差分復号手段１２３０から出力される特徴量差分値とを加算し、第２の特徴量を復元する。そして得られた第２の特徴量を出力する。

図１５の特徴量復元手段１０００は、図４に示す特徴量統合手段１４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図１６を参照して述べる。

図１６を参照すると、図５の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１３００、復号手段１１１０、特徴量差分復号手段１３３０、特徴量加算手段１２４０からなる。

符号列多重分離手段１３００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、特徴量差分値符号列と境界情報とを特徴量差分復号手段１３３０へ出力する。復号手段１１１０、特徴量加算手段１２４０の接続関係は図１５と同様である。特徴量差分復号手段１３３０は、符号列多重分離手段１３００から出力される境界情報に基づいて、符号列多重分離手段１３００から出力される特徴量差分値符号列を復号し、特徴量差分値を特徴量加算手段１２４０へ出力する。

復号手段１１１０は、符号列多重分離手段１３００から出力される第１の特徴量符号列を復号し、第１の特徴量を出力する。特徴量加算手段１２４０は、復号手段１１１０から出力される第１の特徴量と、特徴量差分復号手段１３３０から出力される特徴量差分値とを加算し、第２の特徴量を算出し、出力する。

次に、図１６の特徴量復元手段１０００の動作について説明する。

照合対象となる映像記述子は、まず、符号列多重分離手段１３００へ入力される。符号列多重分離手段１３００の動作は図１５の符号列多重分離手段１２００と同様であるが、さらに、境界情報も出力する。この境界情報は、特徴量差分復号手段１３３０へ出力される。

特徴量差分復号手段１３３０の動作は、基本的に図１５の特徴量差分復号手段１２３０と同様であるが、入力される境界情報を用いて符号化パラメータを特定し、このパラメータを用いて復号する点が異なる。

それ以外の動作は、図１５の特徴量復元手段１０００と同様である。

図１６の特徴量復元手段１０００は、図５に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図１７を参照して述べる。

図１７を参照すると、図６の特徴量統合手段１４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１４００、復号手段１１１０、復号手段１４１０、特徴量差分復号手段１４３０、特徴量加算手段１２４０、切り替え手段１４４０、切り替え手段１４５０からなる。

符号列多重分離手段１４００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１４４０へ出力する。また、切り替え手段を制御するモード情報を切り替え手段１４４０と切り替え手段１４５０とへ出力する。復号手段１１１０は、符号列多重分離手段１４００から出力される第１の特徴量符号列を入力とし、第１の特徴量を出力する。切り替え手段１４４０は、符号列多重分離手段１４００から入力されるモード情報に応じて、符号列多重分離手段１４００から出力される第３の特徴量符号列を特徴量差分復号手段１４３０か復号手段１４１０のいずれか一方に出力する。特徴量差分復号手段１４３０は、切り替え手段１４４０から出力される第３の特徴量符号列を入力とし、特徴量差分値を特徴量加算手段１２４０へ出力する。復号手段１４１０は、切り替え手段１４４０から出力される第３の特徴量符号列を入力とし、復号結果を切り替え手段１４５０へ出力する。特徴量加算手段１２４０は、復号手段１１１０から出力される第１の特徴量と、特徴量差分復号手段１４３０から出力される特徴量差分値とを入力とし、加算した結果を切り替え手段１４５０へ出力する。切り替え手段１４５０は、特徴量加算手段１２４０から出力される加算結果と、復号手段１４１０から出力される復号結果とを入力とし、符号列多重分離手段１４００から出力されるモード情報に基づいて第２の特徴量を再構成し、出力する。

次に、図１７の特徴量復元手段１０００の動作について説明する。

照合対象となる映像記述子は、まず、符号列多重分離手段１４００へ入力される。符号列多重分離手段１４００では、多重化に用いた方法に応じた多重分離方法により、映像記述子から第１の特徴量符号列と第３の特徴量符号列とを分離する。この動作は図１４に示す特徴量復元手段の符号列多重分離手段１１００と同様である。分離された第１の特徴量符号列と第３の特徴量符号列は、それぞれ復号手段１１１０と切り替え手段１４４０へ出力される。また、モード情報も映像記述子から多重分離され、切り替え手段１４４０、切り替え手段１４５０へ出力される。

切り替え手段１４４０では、符号列多重分離手段１４００から出力されるモード情報に応じて、第３の特徴量符号列の出力先を変更する。モード情報が、第３の特徴量符号列に含まれる特徴量が特徴量差分値であることを示している場合には、第３の特徴量符号列を特徴量差分復号手段１４３０へ出力する。一方、モード情報が、第３の特徴量符号列に含まれる特徴量が第２の特徴量であることを示している場合には、第３の特徴量符号列を復号手段１４１０へ出力する。このモード情報による出力先の切り替えのタイミングは、符号化時に第３の特徴量符号列をどのように作成したかに依存する。映像全体として１つのモードで符号化されている場合には、最初に一度モード情報によって出力先を設定するようにすればよい。あるいは、ピクチャ単位でモードを切り替えて符号化されている場合には、ピクチャ単位でモードを切り替えるようにする。あるいは、複数ピクチャの単位で切り替えている場合やピクチャ内の領域単位で切り替えている場合には、その単位で切り替えを行うようにする。

特徴量差分復号手段１４３０では、切り替え手段１４４０から出力される第３の特徴量符号列を復号し、特徴量差分値（の一部分）を復元する。特徴量差分復号手段１４３０の動作は、基本的に図１５の特徴量差分復号手段１２３０と同様である。ただし、モードによって特徴量差分値符号列のうちの一部のみ（例えば一部のピクチャのみ）が特徴量差分復号手段１４３０での復号対象である場合には、どのピクチャ、あるいはどの領域に対応する特徴量が復号対象となっているかが特定できる情報も第３の特徴量符号列に含まれており、この情報を参照しながら復号する。得られた特徴量差分値は特徴量加算手段１２４０へ出力される。

特徴量加算手段１２４０の動作は、図１５の場合と同様であり、第２の特徴量（の一部）である加算結果は切り替え手段１４５０へ出力される。

復号手段１４１０では、切り替え手段１４４０から出力される第３の特徴量符号列を復号し、第２の特徴量（の一部分）を復元する。復号手段１４１０の動作は、基本的に図１４の復号手段１１２０と同様である。ただし、モードによって第３の特徴量符号列のうちの一部のみ（例えば一部のピクチャのみ）が復号手段１４１０での復号対象である場合には、どのピクチャ、あるいはどの領域に対応する特徴量が復号対象となっているかが特定できる情報も第３の特徴量符号列に含まれており、この情報を参照しながら復号する。復号結果は切り替え手段１４５０へ出力される。

切り替え手段１４５０では、符号列多重分離手段１４００から出力されるモード情報に応じて、第２の特徴量の出力元を切り替える。モード情報が、第３の特徴量符号列に含まれる特徴量が特徴量差分値であることを示している場合には、特徴量加算手段１２４０から出力される加算結果を第２の特徴量として出力する。一方、モード情報が、第３の特徴量符号列に含まれる特徴量が第２の特徴量であることを示している場合には、復号手段１４１０から出力される復号結果を第２の特徴量として出力する。

図１７の特徴量復元手段は、図６に示す特徴量統合手段１４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図１８を参照して述べる。

図１８を参照すると、図７の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１５００、復号手段１１１０、復号手段１５１０、特徴量差分復号手段１５３０、特徴量加算手段１２４０、切り替え手段１５４０、切り替え手段１５５０、差分符号化インデックス決定手段１５６０からなる。

符号列多重分離手段１５００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１５４０へ出力する。また、境界情報を差分符号化インデックス決定手段１５６０へ出力する。差分符号化インデックス決定手段１５６０は、符号列多重分離手段１５００から出力される境界情報を入力とし、差分符号化インデックスを切り替え手段１５４０と切り替え手段１５５０とへ出力する。復号手段１１１０は、符号列多重分離手段１５００から出力される第１の特徴量符号列を入力とし、第１の特徴量を出力する。切り替え手段１５４０は、差分符号化インデックス決定手段１５６０から入力される差分符号化インデックスに応じて、符号列多重分離手段１５００から出力される第３の特徴量符号列を特徴量差分復号手段１５３０か復号手段１５１０のいずれか一方に出力する。復号手段１５１０は、切り替え手段１５４０から出力される第３の特徴量符号列を入力とし、復号結果を切り替え手段１５５０へ出力する。特徴量差分復号手段１５３０は、切り替え手段１５４０から出力される第３の特徴量符号列を入力とし、特徴量差分値を特徴量加算手段１２４０へ出力する。特徴量加算手段１２４０は、復号手段１１１０から出力される第１の特徴量と特徴量差分復号手段１５３０から出力される特徴量差分値とを加算して、加算結果を切り替え手段１５５０へ出力する。切り替え手段１５５０は、特徴量加算手段１２４０から出力される加算結果と、復号手段１５１０から出力される復号結果とを入力とし、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックスに基づいて第２の特徴量を再構成し、出力する。

次に、図１８の特徴量復元手段１０００の動作について説明する。

照合対象となる映像記述子は、まず、符号列多重分離手段１５００へ入力される。符号列多重分離手段１５００では、多重化に用いた方法に応じた多重分離方法により、映像記述子から第１の特徴量符号列と第３の特徴量符号列とを分離する。この動作は図１４に示す特徴量復元手段の符号列多重分離手段１１００と同様である。分離された第１の特徴量符号列と第３の特徴量符号列は、それぞれ復号手段１１１０と切り替え手段１５４０へ出力される。また、黒帯領域やL字によってできる画面の境界を記述する情報である境界情報も、映像記述子から多重分離され、差分符号化インデックス決定手段１５６０へ出力される。

差分符号化インデックス決定手段１５６０は、符号化時に用いたものと同様であり、特徴量の各次元のうち、差分符号化を行う次元を境界情報に基づいて決定し、その次元を表すインデックスを差分符号化インデックスとして出力する。

切り替え手段１５４０では、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックスに応じて、第３の特徴量符号列の出力先を特徴量の次元単位で変更する。差分符号化インデックスで指定される次元に対しては、第３の特徴量符号列を特徴量差分復号手段１５３０へ出力する。一方、差分符号化インデックスで指定されない次元の場合には、第３の特徴量符号列を復号手段１５１０へ出力する。

特徴量差分復号手段１５３０では、切り替え手段１５４０から出力される第３の特徴量符号列を復号し、特徴量差分値のうち、差分符号化インデックスで指定される次元の値を復元する。特徴量差分復号手段１５３０の動作は、基本的に図１５の特徴量差分復号手段１２３０と同様である。得られた特徴量差分値は特徴量加算手段１２４０へ出力される。

特徴量加算手段１２４０の動作は、図１５の場合と同様であり、第２の特徴量（の一部）である加算結果は切り替え手段１５５０へ出力される。

復号手段１５１０では、切り替え手段１５４０から出力される第３の特徴量符号列を復号し、第２の特徴量のうち、差分符号化インデックスで指定されない次元の値を復元する。復号手段１５１０の動作は、基本的に図１４の復号手段１１２０と同様である。復号結果は切り替え手段１５５０へ出力される。

切り替え手段１５５０では、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックスに応じて、第２の特徴量の出力元を切り替える。差分符号化インデックスに含まれる次元の場合には、特徴量加算手段１２４０から出力される加算結果を第２の特徴量として出力する。一方、差分符号化インデックスに含まれない次元の場合には、復号手段１５１０から出力される復号結果を第２の特徴量として出力する。

図１８の特徴量復元手段１０００は、図７に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図１９を参照して述べる。

図１９を参照すると、図８の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１６００、復号手段１１１０、復号手段１５１０、特徴量差分復号手段１５３０、特徴量加算手段１２４０、切り替え手段１５４０、切り替え手段１５５０からなる。

構成は、符号列多重分離手段１６００、切り替え手段１５４０、切り替え手段１５５０を除けば図１８の場合と同様である。符号列多重分離手段１６００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１５４０へ出力する。また、差分符号化インデックスを切り替え手段１５４０、切り替え手段１５５０へ出力する。切り替え手段１５４０は、符号列多重分離手段１６００から出力される差分符号化インデックスに応じて、符号列多重分離手段１５００から出力される第３の特徴量符号列を特徴量差分復号手段１５３０か復号手段１５１０のいずれか一方に出力する。切り替え手段１５５０は、特徴量加算手段１２４０から出力される加算結果と、復号手段１５１０から出力される復号結果とを入力とし、符号列多重分離手段１６００から出力される差分符号化インデックスに基づいて第２の特徴量を再構成し、出力する。

次に、図１９の特徴量復元手段１０００の動作について説明する。

符号列多重分離手段１６００以外の動作は、図１８の場合と同様である。符号列多重分離手段１６００の動作も、境界情報のかわりに差分符号化インデックスを多重分離する点を除けば、図１８の符号列多重分離手段１５００と同様である。

図１９の特徴量復元手段１０００は、図８に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図２０を参照して述べる。

図２０を参照すると、図９の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１５００、復号手段１１１０、復号手段１５１０、特徴量差分復号手段１７３０、特徴量加算手段１２４０、切り替え手段１５４０、切り替え手段１５５０からなる。

符号列多重分離手段１５００、特徴量差分復号手段１７３０以外の接続関係は図１８の場合と同様である。符号列多重分離手段１５００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１５４０へ出力する。また、境界情報を差分符号化インデックス決定手段１５６０、および、特徴量差分復号手段１７３０へ出力する。特徴量差分復号手段１７３０は、切り替え手段１５４０から出力される第３の特徴量符号列と符号列多重分離手段１５００から出力される境界情報とを入力とし、特徴量差分値を特徴量加算手段１２４０へ出力する。

次に、図２０の特徴量復元手段１０００の動作について説明する。

特徴量差分復号手段１７３０以外の動作は、図１８の場合と同様である。特徴量差分復号手段１７３０の動作も、境界情報に応じて符号化パラメータを変えて復号を行う以外は図１８の特徴量差分復号手段１５３０と同様である。

図２０の特徴量復元手段１０００は、図９に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図２１を参照して述べる。

図２１を参照すると、図１０の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１７００、復号手段１１１０、復号手段１５１０、特徴量差分復号手段１５３０、特徴量加算手段１２４０、切り替え手段１７４０、切り替え手段１７５０、差分符号化インデックス決定手段１５６０からなる。

復号手段１１１０、復号手段１５１０、特徴量差分復号手段１５３０、特徴量加算手段１２４０の接続関係は図１８の場合と同様である。符号列多重分離手段１７００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１７４０へ出力する。また、境界情報を差分符号化インデックス決定手段１５６０へ出力するとともに、モード情報を切り替え手段１７４０、切り替え手段１７５０へ出力する。差分符号化インデックス決定手段１５６０は、符号列多重分離手段１７００から出力される境界情報を入力とし、差分符号化インデックスを切り替え手段１７４０、切り替え手段１７５０へ出力する。切り替え手段１７４０は、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックス、および符号列多重分離手段１７００から出力されるモード情報に応じて、符号列多重分離手段１７００から出力される第３の特徴量符号列を特徴量差分復号手段１５３０か復号手段１５１０のいずれか一方に出力する。切り替え手段１７５０は、特徴量加算手段１２４０から出力される加算結果と、復号手段１５１０から出力される復号結果とを入力とし、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックス、および符号列多重分離手段１７００から出力されるモード情報に基づいて第２の特徴量を再構成し、出力する。

次に、図２１の特徴量復元手段１０００の動作について説明する。

照合対象となる映像記述子は、まず、符号列多重分離手段１７００へ入力される。符号列多重分離手段１７００では、多重化に用いた方法に応じた多重分離方法により、映像記述子から第１の特徴量符号列と第３の特徴量符号列とを分離する。この動作は図１４に示す特徴量復元手段の符号列多重分離手段１１００と同様である。分離された第１の特徴量符号列と第３の特徴量符号列は、それぞれ復号手段１１１０と切り替え手段１７４０へ出力される。また、黒帯領域やL字によってできる画面の境界を記述する情報である境界情報も、映像記述子から多重分離され、差分符号化インデックス決定手段１５６０へ出力される。また、モード情報も、映像記述子から多重分離され、切り替え手段１７４０、切り替え手段１７５０へ出力される。

差分符号化インデックス決定手段１５６０の動作は図１８の場合と同様であり、差分符号化インデックスを出力する。

切り替え手段１７４０では、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックスと、符号列多重分離手段１７００から出力されるモード情報とに応じて、第３の特徴量符号列の出力先を特徴量の次元単位で変更する。モード情報が、第３の特徴量符号列に含まれる特徴量が特徴量差分値であることを示している場合には、差分符号化インデックスで指定されている次元に対しては第３の特徴量符号列を特徴量差分復号手段１５３０へ出力し、差分符号化インデックスで指定されない次元の場合には、第３の特徴量符号列を復号手段１５１０へ出力する。一方、モード情報が、第３の特徴量符号列に含まれる特徴量が第２の特徴量であることを示している場合には、第３の特徴量符号列を復号手段１５１０へ出力する。

特徴量差分復号手段１５３０、特徴量加算手段１２４０、復号手段１５１０の動作は、図１８の場合と同様である。

切り替え手段１７５０では、差分符号化インデックス決定手段１５６０から出力される差分符号化インデックスと、符号列多重分離手段１７００から出力されるモード情報とに応じて、第２の特徴量の出力元を切り替える。モード情報が、第３の特徴量符号列に含まれる特徴量が特徴量差分値であることを示している場合には、差分符号化インデックスに含まれる次元の場合には、特徴量加算手段１２４０から出力される加算結果を第２の特徴量として出力し、差分符号化インデックスに含まれない次元の場合には、復号手段１５１０から出力される復号結果を第２の特徴量として出力する。一方、モード情報が、第３の特徴量符号列に含まれる特徴量が第２の特徴量であることを示している場合には、復号手段１５１０から出力される復号結果を第２の特徴量として出力する。

図２１の特徴量復元手段は、図１０に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図２２を参照して述べる。

図２２を参照すると、図１１の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１８００、復号手段１１１０、復号手段１５１０、特徴量差分復号手段１５３０、特徴量加算手段１２４０、切り替え手段１７４０、切り替え手段１７５０からなる。

構成は、符号列多重分離手段１８００、切り替え手段１７４０、切り替え手段１７５０を除けば図２０の場合と同様である。符号列多重分離手段１８００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１５４０へ出力する。また、差分符号化インデックスとモード情報を切り替え手段１７４０、切り替え手段１７５０へ出力する。切り替え手段１７４０は、符号列多重分離手段１８００から出力される差分符号化インデックスとモード情報に応じて、符号列多重分離手段１８００から出力される第３の特徴量符号列を特徴量差分復号手段１５３０か復号手段１５１０のいずれか一方に出力する。切り替え手段１７５０は、特徴量加算手段１２４０から出力される加算結果と、復号手段１５１０から出力される復号結果を入力とし、符号列多重分離手段１８００から出力される差分符号化インデックスとモード情報に基づいて第２の特徴量を再構成し、出力する。

次に、図２２の特徴量復元手段１０００の動作について説明する。

符号列多重分離手段１８００以外の動作は、図２１の場合と同様である。符号列多重分離手段１８００の動作も、境界情報のかわりに差分符号化インデックスを多重分離する点を除けば、図２１の符号列多重分離手段１７００と同様である。

図２２の特徴量復元手段１０００は、図１１に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

次に、図１３に示す特徴量復元手段１０００の別の実施の形態について図２３を参照して述べる。

図２３を参照すると、図１２の特徴量統合手段２４０に対応する特徴量復元手段１０００の実施の形態が示されており、符号列多重分離手段１７００、復号手段１１１０、復号手段１５１０、特徴量差分復号手段１５３０、特徴量加算手段１２４０、切り替え手段１７４０、切り替え手段１７５０、差分符号化インデックス決定手段１５６０からなる。

符号列多重分離手段１７００、特徴量差分復号手段１７３０以外の接続関係は図２１の場合と同様である。符号列多重分離手段１７００は、映像記述子を入力とし、分離された第１の特徴量符号列を復号手段１１１０へ出力するとともに、第３の特徴量符号列を切り替え手段１５４０へ出力する。また、境界情報を差分符号化インデックス決定手段１５６０、および、特徴量差分復号手段１７３０へ出力し、モード情報を切り替え手段１７４０、切り替え手段１７５０へ出力する。特徴量差分復号手段１７３０は、切り替え手段１７４０から出力される第３の特徴量符号列と符号列多重分離手段１７００から出力される境界情報とを入力とし、特徴量差分値を特徴量加算手段１２４０へ出力する。

次に、図２３の特徴量復元手段１０００の動作について説明する。

特徴量差分復号手段１７３０以外の動作は、図２１の場合と同様である。特徴量差分復号手段１７３０の動作も、境界情報に応じて符号化パラメータを変えて復号を行う以外は図２１の特徴量差分復号手段１５３０と同様である。

図２３の特徴量復元手段は、図１２に示す特徴量統合手段２４０で統合された特徴量を分離する手段を提供する。

以上が動画像照合装置の実施の形態の説明である。この実施の形態により、前述の映像記述子生成装置で抽出された映像記述子による動画像の照合が可能になる。すなわち、黒帯やL字領域がある場合でも、精度を落とさずに照合することが可能となる。

次に、本発明の他の実施の形態の動作を説明する。

図２６は、ピクチャから特徴量を抽出する方式の一例を示している。この方式では、ピクチャ内の任意の２領域をペアとして予め定めておき、ペアとなった２領域間での特徴量の差を特徴量ベクトルとする。ここで、各領域ペアをＰ１、Ｐ２、Ｐ３、…と表し、ｎ番目のペアＰｎから定まる特徴量をＶｎで表すことにする。領域ペアのとり方は、図に示すように、様々な形・位置の領域の組み合わせがあり得る。そして、ＰｎからＶｎを求める方法も様々な方法が考えられる。例えば、各ペアで斜線の領域と網線をつけた各領域内で輝度の平均値を算出し、その大小関係でＶｎの値を決定する方法がある。具体的には、斜線の領域内で求めた平均輝度値から網線の領域内で求めた平均輝度値を引いて差を求め、差が正のときにＶｎ＝１とし、負のときにＶｎ＝−１とする。あるいは、差の絶対値が閾値より小さい場合は0とし、Ｖｎを３値で表すようにしてもよい。以下、Ｖｎは３値とする。

図１の視覚特徴量抽出手段１２０では、上述の処理をＮ個の各ペアに対して行うことにより、Ｎ次元の特徴量ベクトルＶｎを求める。映像境界検知手段１００では、各ピクチャに対してハフ変換を行い、映像の縁に近い、水平または垂直方向の直線を検出する。次に、ピクチャ間での連続性を計測し、閾値以上のピクチャで継続する場合には、黒帯領域またはL字領域の境界として検知し、境界情報を出力する。位置補正視覚特徴量抽出手段１３０では、境界領域を除いた領域を全画面と見做して、視覚特徴量抽出手段１２０と同じ処理をおこなってＮ次元の特徴量ベクトルV'nを求める。特徴量統合手段１４０または２４０では、各ピクチャに対して求まるＮ次元の特徴量ベクトルＶｎ、V'nを統合し、映像記述子を生成する。

特徴量ベクトルＶｎに対しては、符号化手段３２０において符号化する。各次元の取りえる値は３状態であるため、５次元分を組み合わせると、3⁵=243状態となり、１バイトで表すことができる。よって、５次元分ずつまとめて１バイトで表し、N/5バイトで値を表現し、符号化する。

特徴量統合手段１４０で特徴量差分値を算出する場合には、
Dn=V'n-Vn
により、特徴量の各次元における差分値Dnを算出し、符号化する。特徴量の値が３値であるため、Dnとしてとりえる値は、Vnによって異なるが、３値である。すなわち、Vn=1のときは、Dn=0、-1、-2、Vn=0のときは、Dn=1、0、-1、Vn=-1のときはDn=2、1、0である。特徴量差分値符号化手段３４０では、Vn=1、0、-1のそれぞれの値に対して、Dnの生じる頻度を予め学習しておき、その結果に基づいてエントロピー符号化を行う。

図７の場合のように、差分インデックスを決定する場合には、黒帯領域、あるいは、L字領域の挿入によってVnを算出する際に用いる領域がどの程度移動するかを考慮すればよい。画面の中央にある領域は、黒帯領域が挿入されても、それほど大きくは動かない。一方、画像の周辺の領域の場合には、ずれが大きくなる。よって、Vn算出に用いる領域が画面中央に近い場合には、VnとV'nの相関が大きくなり、周辺に近い場合には、相関が低くなる。したがって、画面中央の領域からVnが求まる次元については、Dnを符号化するようにし、そうでない場合はDnを符号化するようにすればよい。このように幾何的な特性から差分符号化すべき次元を求めることが可能であり、差分符号化インデックスを決定できる。もちろん、画像に対して学習して、VnとV'nの相関の度合いから、差分符号化インデックスを決定するようにしてもよい。

これ以外については、既に述べた方法を適用することにより、上述の特徴量に対する映像記述子生成装置を構築できる。

以上本発明の実施の形態について説明したが、本発明は以上の例にのみ限定されるのもではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、本発明の映像記述子生成装置および動画像照合装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における映像記述子生成装置および動画像照合装置として機能させる。

なお、本発明は、日本国にて２００９年１月２３日に特許出願された特願２００９−１２８１２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明によれば、類似あるいは同一の映像を多くの映像中から高精度に検索するといった用途に適用できる。特に、映像の同一区間検索については、ネットワーク上に流通する違法にコピーされた動画像を識別する用途や、実際の放送波で流されているＣＭを同定するといった用途に用いることができる。

１０…フレーム特徴量抽出手段
２０…特徴量テーブル作成手段
１００…映像境界検知手段
１２０…視覚特徴量抽出手段
１３０…位置補正視覚特徴量抽出手段
１４０…特徴量統合手段
２３０…符号列多重化手段
２４０…特徴量統合手段
３００…特徴量減算手段
３１０…符号化手段
３２０…符号化手段
３３０…符号列多重化手段
４３０…符号列多重化手段
４４０…特徴量差分符号化手段
５２０…符号列選択手段
５３０…符号列多重化手段
６００…差分符号化インデックス決定手段
６１０…符号化手段
６３０…符号列多重化手段
６４０…特徴量差分符号化手段
６６０…特徴量差分符号化手段
７２０…符号列選択手段
７３０…符号列多重化手段
８３０…符号列多重化手段
９３０…符号列多重化手段
１０００…特徴量復元手段
１０１０…特徴量復元手段
１０２０…特徴量照合手段
１０３０…特徴量照合手段
１０４０…特徴量照合手段
１０５０…特徴量照合手段
１０６０…選択手段
１１００…符号列多重分離手段
１１１０…復号手段
１１２０…復号手段
１２００…符号列多重分離手段
１２３０…特徴量差分復号手段
１２４０…特徴量加算手段
１３００…符号列多重分離手段
１３３０…特徴量差分復号手段
１４００…符号列多重分離手段
１４１０…復号手段
１４３０…特徴量差分復号手段
１４４０…切り替え手段
１４５０…切り替え手段
１５００…符号列多重分離手段
１５１０…復号手段
１５３０…特徴量差分復号手段
１５４０…切り替え手段
１５５０…切り替え手段
１５６０…差分符号化インデックス決定手段
１６００…符号列多重分離手段
１７００…符号列多重分離手段
１７３０…特徴量差分復号手段
１７４０…切り替え手段
１７５０…切り替え手段
１８００…符号列多重分離手段

Claims

映像のフレームまたはフィールドであるピクチャ毎に第１の特徴量を抽出する、第１の抽出手段と、
前記ピクチャ内の境界で定まる位置より内側の領域内から第２の特徴量を抽出する、第２の抽出手段と、
前記第１の特徴量と前記第２の特徴量とを含む映像記述子を生成する特徴量統合手段と、
を有する映像記述子抽出装置。
前記第１の抽出手段が抽出する前記第１の特徴量と、前記第２の抽出手段が抽出する前記第２の特徴量は、同じ種類の特徴量である
請求項１に記載の映像記述子抽出装置。
前記ピクチャ内の境界は、黒帯領域付加、Ｌ字領域付加、あるいは画像内画像重畳表示（Picture in Picture）のうち少なくとも１つによって定まる画像の境界である請求項１または２に記載の映像記述子抽出装置。
前記特徴量統合手段は、
前記第１の特徴量を第１の特徴量符号列として符号化する第１の符号化手段と、
前記第２の特徴量を第２の特徴量符号列として符号化する第２の符号化手段と、
前記第１の特徴量符号列と前記第２の特徴量符号列とを含む前記映像記述子を生成する符号列多重化手段と、
を有する請求項１乃至３の何れか１項に記載の映像記述子抽出装置。
前記第１の抽出手段と前記第２の抽出手段は、
前記特徴量を構成する各次元にそれぞれ関連付けられる前記ピクチャ内の２つの部分領域から算出される領域特徴量の差分値に基づいて、前記特徴量を形成する
請求項１乃至４の何れか１項に記載の映像記述子抽出装置。
前記特徴量は、前記特徴量を構成する次元に関連付けられる前記ピクチャ内の２つの部分領域の形状の組み合わせと、当該２つの関連する部分領域の相対的な位置関係との双方が、他の少なくとも１つの次元に関連付けられる前記ピクチャ内の２つの部分領域と相違する１以上の次元を含む請求項５に記載の映像記述子抽出装置。
前記第１の抽出手段と前記第２の抽出手段は、前記次元に関連付けられる前記ピクチャ内の２つの部分領域の双方から領域特徴量を算出し、前記領域特徴量から前記特徴量の各次元の値を算出し、
前記特徴量統合手段は、前記特徴量の各次元の値の集合を前記特徴量とする
請求項５または６に記載の映像記述子抽出装置。
前記第１の抽出手段と前記第２の抽出手段は、前記領域特徴量の差分値を前記特徴量の各次元の値として量子化する請求項７に記載の映像記述子抽出装置。
前記第１の抽出手段と前記第２の抽出手段は、前記差分値を前記特徴量の各次元の値として３値に量子化し、
前記特徴量統合手段は、前記特徴量の各次元の値の５つ分を１バイトの情報に符号化することによって前記特徴量の表現を抽出する請求項８に記載の映像記述子抽出装置。
前記第１の抽出手段と前記第２の抽出手段は、各部分領域の平均輝度値を、当該部分領域の領域特徴量として算出する請求項５乃至９の何れか１項に記載の映像記述子抽出装置。
映像のフレームまたはフィールドであるピクチャ毎に第１の特徴量を抽出し、
前記ピクチャ内の境界で定まる位置より内側の領域内から第２の特徴量を抽出し、
前記第１の特徴量と前記第２の特徴量とを含む映像記述子を生成する
映像記述子抽出方法。
前記第１の特徴量と、前記第２の特徴量は、同じ種類の特徴量である
請求項１１に記載の映像記述子抽出方法。
前記画像の境界は、黒帯領域付加、Ｌ字領域付加、あるいは画像内画像重畳表示（Picture in Picture）のうち少なくとも１つによって定まる画像の境界である請求項１１または１２に記載の映像記述子抽出方法。
前記映像記述子の生成では、
前記第１の特徴量を第１の特徴量符号列として符号化し、
前記第２の特徴量を第２の特徴量符号列として符号化し、
前記第１の特徴量符号列と前記第２の特徴量符号列とを含む前記映像記述子を生成する
請求項１１乃至１３の何れか１項に記載の映像記述子抽出方法。
前記特徴量の抽出では、
前記特徴量を構成する各次元にそれぞれ関連付けられる前記ピクチャ内の２つの部分領域から算出される領域特徴量の差分値に基づいて、前記特徴量を形成する
請求項１１乃至１４の何れか１項に記載の映像記述子抽出方法。
前記特徴量は、前記特徴量を構成する次元に関連付けられる前記ピクチャ内の２つの部分領域の形状の組み合わせと、当該２つの関連する部分領域の相対的な位置関係との双方が、他の少なくとも１つの次元に関連付けられる前記ピクチャ内の２つの部分領域と相違する１以上の次元を含む請求項１５に記載の映像記述子抽出方法。
前記特徴量の抽出では、前記次元に関連付けられる前記ピクチャ内の２つの部分領域の双方から領域特徴量を算出し、前記領域特徴量から前記特徴量の各次元の値を算出し、
前記映像記述子の抽出では、前記特徴量の各次元の値の集合を前記特徴量とする
請求項１５または１６に記載の映像記述子抽出方法。
前記特徴量の抽出では、前記領域特徴量の差分値を前記特徴量の各次元の値として量子化する請求項１７に記載の映像記述子抽出方法。
前記特徴量の抽出では、前記差分値を前記特徴量の各次元の値として３値に量子化し、
前記映像記述子の抽出では、前記特徴量の各次元の値の５つ分を１バイトの情報に符号化することによって前記特徴量の表現を抽出する請求項１８に記載の映像記述子抽出方法。
前記特徴量の抽出では、各部分領域の平均輝度値を、当該部分領域の領域特徴量として算出する
ことを特徴とする請求項１５乃至１９の何れか１項に記載の映像記述子抽出方法。
コンピュータを、
映像のフレームまたはフィールドであるピクチャ毎に第１の特徴量を抽出する、第１の抽出手段と、
前記ピクチャ内の画像の境界で定まる位置より内側の領域内から第２の特徴量を抽出する、第２の抽出手段と、
前記第１の特徴量と前記第２の特徴量とを含む映像記述子を生成する特徴量統合手段と、
として機能させるためのプログラム。
請求項１乃至１０の何れかに記載の映像記述子抽出装置から生成された映像記述子を用いて検索を行うことを特徴とする検索装置。
請求項１乃至１０の何れかに記載の映像記述子抽出装置から生成された映像記述子を用いて識別を行うことを特徴とする識別装置。
請求項１１乃至２０の何れかに記載の映像記述子抽出方法によって生成された映像記述子を用いて検索を行うことを特徴とする検索方法。
請求項１１乃至２０の何れかに記載の映像記述子抽出方法によって生成された映像記述子を用いて識別を行うことを特徴とする識別方法。
第１の映像の第１の映像記述子と第２の映像の第２の映像記述子との照合を行う動画像照合装置であって、
前記第１の映像記述子から、前記第１の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１の映像の第１の特徴量と、前記第１の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１の映像の第２の特徴量とを復元する、第１の特徴量復元手段と、
前記第２の映像記述子から、前記第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第２の映像の第１の特徴量と、前記第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第２の映像の第２の特徴量とを復元する、第２の特徴量復元手段と、
前記第１の映像の第１の特徴量と、前記第２の映像の第１の特徴量とを照合し、第１の照合スコアを算出する第１の特徴量照合手段と、
前記第１の映像の第１の特徴量と、前記第２の映像の第２の特徴量とを照合し、第２の照合スコアを算出する第２の特徴量照合手段と、
前記第１の映像の第２の特徴量と、前記第２の映像の第１の特徴量とを照合し、第３の照合スコアを算出する第３の特徴量照合手段と、
前記第１の映像の第２の特徴量と、前記第２の映像の第２の特徴量とを照合し、第４の照合スコアを算出する第４の特徴量照合手段と、
前記第１から第４の照合スコアを比較し、最良の照合スコアを選択する選択手段と、
を有することを特徴とする動画像照合装置。
前記第１、第２の特徴量復元手段は、
前記第１または第２の映像記述子を多重分離して、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列とを生成する符号列多重分離手段と、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の第１の特徴量を復元する第１の復号手段と、
前記第２の特徴量符号列を復号し、前記第１または第２の映像の第２の特徴量を復元する第２の復号手段と、
を有することを特徴とする請求項２６に記載の動画像照合装置。
前記第１、第２の特徴量復元手段は、
前記第１または第２の映像記述子を多重分離して、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量から、前記第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴量差分値符号列とを生成する符号列多重分離手段と、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の前記第１の特徴量を復元する第１の復号手段と、
前記特徴量差分値符号列を復号し、前記特徴量差分値を復元する特徴量差分復号手段と、
前記特徴量差分値に前記第１の特徴量を加算して、前記第１または第２の映像の前記第２の特徴量を算出する加算手段と、
を有することを特徴とする請求項２６に記載の動画像照合装置。
前記符号列多重分離手段は前記境界情報も多重分離し、
前記特徴量差分復号手段は、前記境界情報に基づいて前記特徴量差分値符号列を復号し、特徴量差分値を復元すること、
を特徴とする請求項２８に記載の動画像照合装置。
前記第１、第２の特徴量復元手段は、
前記第１または第２の映像記述子を多重分離して、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列、および、前記第２の特徴量から、前記第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴量差分値符号列のうち、符号量の小さい方を含む第３の特徴量符号列と、前記第３の特徴量符号列に含まれる特徴量が前記特徴量差分値または前記第２の特徴量のいずれであるかを示すモード情報とを生成する符号列多重分離手段と、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の前記第１の特徴量を復元する第１の復号手段と、
前記第３の特徴量符号列を入力し、その出力先を、前記モード情報に基づいて切り替える第１の切り替え手段と、
前記第１の切り替え手段から出力される前記第３の特徴量符号列を復号し、前記特徴量差分値を復元する特徴量差分復号手段と、
前記第１の切り替え手段から出力される前記第３の特徴量符号列を復号し、前記第２の特徴量を復元する第２の復号手段と、
前記特徴量差分値に前記第１の特徴量を加算して、前記第２の特徴量を算出する加算手段と、
前記加算手段から出力される前記第２の特徴量と前記第２の復号手段から出力される前記第２の特徴量とを、前記モード情報によって切り替えながら合成し、前記第１または第２の映像の前記第２の特徴量を出力する第２の切り替え手段と、
を有することを特徴とする請求項２６に記載の動画像照合装置。
前記第１、第２の特徴量復元手段は、
前記第１または第２の映像記述子を多重分離して、前記境界情報、または前記境界情報から決定された情報であって特徴ベクトルの各要素のうち差分符号化する要素のインデックスを示す差分符号化インデックスのいずれか一方と、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列、および、前記第２の特徴量から、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴列差分値符号列のうち、前記境界情報または前記差分符号化インデックス情報で定まる方を含む第３の特徴量符号列とを出力する符号列多重分離手段と、
前記符号列多重分離手段が前記境界情報を出力する場合には、前記境界情報から特徴ベクトルの各要素のうち、差分符号化する要素のインデックスを決定し、前記差分符号化インデックス情報として出力する差分符号化インデックス決定手段と、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の前記第１の特徴量を復元する第１の復号手段と、
前記第３の特徴量符号列を入力し、その出力先を、前記差分インデックス情報に基づいて切り替える第１の切り替え手段と、
前記第１の切り替え手段から出力される前記第３の特徴量符号列を復号し、前記特徴量差分値を復元する特徴量差分復号手段と、
前記第１の切り替え手段から出力される前記第３の特徴量符号列を復号し、前記第２の特徴量を復元する第２の復号手段と、
前記特徴量差分値に前記第１の特徴量を加算して、前記第２の特徴量を算出する加算手段と、
前記加算手段から出力される前記第２の特徴量と前記第２の復号手段から出力される前記第２の特徴量とを、前記差分符号化インデックス情報によって切り替えながら合成し、前記第１または第２の映像の前記第２の特徴量を出力する第２の切り替え手段と、
を有することを特徴とする請求項２６に記載の動画像照合装置。
前記第１、第２の特徴量復元手段は、
前記第１または第２の映像記述子を多重分離して、前記境界情報、または前記境界情報から決定された情報であって特徴ベクトルの各要素のうち差分符号化する要素のインデックスを示す差分符号化インデックスのいずれか一方と、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像から検知された前記ピクチャ内の境界を示す境界情報を用いて定められた前記第１または第２の映像のピクチャの境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列、および、前記第２の特徴量から、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴列差分符号列のうち、前記差分符号化インデックス情報で指定されないインデックスの要素については前記第２の特徴量符号列を含み、前記差分符号化インデックス情報で指定されたインデックスの要素については符号量の小さい方を含む第３の特徴量符号列と、前記差分符号化インデックス情報で指定されたインデックスの要素について前記第２の特徴量符号列または前記特徴列差分符号列のうちのいずれを含むかを示すモード情報とを出力する符号列多重分離手段と、
前記符号列多重分離手段が前記境界情報を出力する場合には、前記境界情報から特徴ベクトルの各要素のうち、差分符号化する要素のインデックスを決定し、前記差分符号化インデックス情報として出力する差分符号化インデックス決定手段と、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の前記第１の特徴量を復元する第１の復号手段と、
前記第３の特徴量符号列を入力し、その出力先を、前記差分符号化インデックス情報および前記モード情報に基づいて切り替える第１の切り替え手段と、
前記第１の切り替え手段から出力される前記第３の特徴量符号列を復号し、前記特徴量差分値を復元する特徴量差分復号手段と、
前記第１の切り替え手段から出力される前記第３の特徴量符号列を復号し、前記第２の特徴量を復元する第２の復号手段と、
前記特徴量差分値に前記第１の特徴量を加算して、前記第２の特徴量を算出する加算手段と、
前記加算手段から出力される前記第２の特徴量と前記第２の復号手段から出力される前記第２の特徴量とを、前記差分インデックス情報と前記モード情報とによって切り替えながら合成し、前記第１または第２の映像の前記第２の特徴量を出力する第２の切り替え手段と、
を有することを特徴とする請求項２６に記載の動画像照合装置。
前記特徴量差分復号手段は、前記境界情報に基づいて前記特徴量差分値符号列を復号し、特徴量差分値を復元すること、
を特徴とする請求項３１または３２に記載の動画像照合装置。
第１の映像記述子から、第１の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１の映像の第１の特徴量と、前記第１の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１の映像の第２の特徴量とを復元し、
第２の映像記述子から、第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第２の映像の第１の特徴量と、前記第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第２の映像の第２の特徴量とを復元し、
前記第１の映像の第１の特徴量と、前記第２の映像の第１の特徴量とを照合して、第１の照合スコアを算出し、
前記第１の映像の第１の特徴量と、前記第２の映像の第２の特徴量とを照合して、第２の照合スコアを算出し、
前記第１の映像の第２の特徴量と、前記第２の映像の第１の特徴量とを照合して、第３の照合スコアを算出し、
前記第１の映像の第２の特徴量と、前記第２の映像の第２の特徴量とを照合して、第４の照合スコアを算出し、
前記第１から第４の照合スコアを比較し、最良の照合スコアを選択する
ことを特徴とする動画像照合方法。
前記第１および第２の映像の第１および第２の特徴量の復元では、
前記第１または第２の映像記述子を多重分離して、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列とを生成し、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の第１の特徴量を復元し、
前記第２の特徴量符号列を復号し、前記第１または第２の映像の第２の特徴量を復元する
ことを特徴とする請求項３４に記載の動画像照合方法。
前記第１および第２の映像の第１および第２の特徴量の復元では、
前記第１または第２の映像記述子を多重分離して、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量から、前記第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴量差分値符号列とを生成し、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の前記第１の特徴量を復元し、
前記特徴量差分値符号列を復号し、前記特徴量差分値を復元し、
前記特徴量差分値に前記第１の特徴量を加算して、前記第１または第２の映像の前記第２の特徴量を算出する
ことを特徴とする請求項３４に記載の動画像照合方法。
前記多重分離では、前記境界情報も多重分離し、
前記第２の特徴量符号列の復号では、前記境界情報に基づいて前記特徴量差分値符号列を復号し、特徴量差分値を復元する
ことを特徴とする請求項３６に記載の動画像照合方法。
前記第１および第２の映像の第１および第２の特徴量の復元では、
前記第１または第２の映像記述子を多重分離して、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列、および、前記第２の特徴量から、前記第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴量差分値符号列のうち、符号量の小さい方を含む第３の特徴量符号列と、前記第３の特徴量符号列に含まれる特徴量が前記特徴量差分値または前記第２の特徴量のいずれであるかを示すモード情報とを生成し、
前記第１の特徴量符号列を復号し、前記第１または第２の映像の前記第１の特徴量を復元し、
前記第３の特徴量符号列を入力し、その出力先を、前記モード情報に基づいて切り替え、
前記出力される前記第３の特徴量符号列を復号し、前記特徴量差分値を復元し、
前記出力される前記第３の特徴量符号列を復号し、前記第２の特徴量を復元し、
前記特徴量差分値に前記第１の特徴量を加算して、前記第２の特徴量を算出し、
前記第３の特徴量符号列を復号して復元した前記第２の特徴量と、前記特徴量差分値に前記第１の特徴量を加算して算出した前記第２の特徴量とを、前記モード情報によって切り替えながら合成して、前記第１または第２の映像の前記第２の特徴量を出力する
ことを特徴とする請求項３４に記載の動画像照合方法。
前記第１および第２の映像の第１および第２の特徴量の復元では、
前記第１または第２の映像記述子を多重分離して、前記境界情報、または前記境界情報から決定された情報であって特徴ベクトルの各要素のうち差分符号化する要素のインデックスを示す差分符号化インデックスのいずれか一方と、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像の前記ピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列、および、前記第２の特徴量から、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴列差分値符号列のうち、前記境界情報または前記差分符号化インデックス情報で定まる方を含む第３の特徴量符号列とを出力し、
前記境界情報を出力する場合には、前記境界情報から特徴ベクトルの各要素のうち、差分符号化する要素のインデックスを決定し、前記差分符号化インデックス情報として出力し、
前記第１の特徴量符号列を復号して、前記第１または第２の映像の前記第１の特徴量を復元し、
前記第３の特徴量符号列を入力し、その出力先を、前記差分インデックス情報に基づいて切り替え、
前記出力される前記第３の特徴量符号列を復号して、前記特徴量差分値を復元し、
前記出力される前記第３の特徴量符号列を復号して、前記第２の特徴量を復元し、
前記特徴量差分値に前記第１の特徴量を加算して、前記第２の特徴量を算出し、
前記第３の特徴量符号列を復号して復元した前記第２の特徴量と、前記特徴量差分値に前記第１の特徴量を加算して算出した前記第２の特徴量とを、前記差分符号化インデックス情報によって切り替えながら合成し、前記第１または第２の映像の前記第２の特徴量を出力する
ことを特徴とする請求項３４に記載の動画像照合方法。
前記第１および第２の映像の第１および第２の特徴量の復元では、
前記第１または第２の映像記述子を多重分離して、前記境界情報、または前記境界情報から決定された情報であって特徴ベクトルの各要素のうち差分符号化する要素のインデックスを示す差分符号化インデックスのいずれか一方と、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を符号化した第１の特徴量符号列と、前記第１または第２の映像から検知された前記ピクチャ内の境界を示す境界情報を用いて定められた前記第１または第２の映像のピクチャ内の境界で定まる位置より内側の領域内から抽出された第１または第２の映像の第２の特徴量を符号化した第２の特徴量符号列、および、前記第２の特徴量から、前記第１または第２の映像のフレームまたはフィールドであるピクチャ毎に抽出された第１または第２の映像の第１の特徴量を差し引いた特徴量差分値を符号化した特徴列差分符号列のうち、前記差分符号化インデックス情報で指定されないインデックスの要素については前記第２の特徴量符号列を含み、前記差分符号化インデックス情報で指定されたインデックスの要素については符号量の小さい方を含む第３の特徴量符号列と、前記差分符号化インデックス情報で指定されたインデックスの要素について前記第２の特徴量符号列または前記特徴列差分符号列のうちのいずれを含むかを示すモード情報とを出力し、
前記境界情報を出力する場合には、前記境界情報から特徴ベクトルの各要素のうち、差分符号化する要素のインデックスを決定し、前記差分符号化インデックス情報として出力し、
前記第１の特徴量符号列を復号して、前記第１または第２の映像の前記第１の特徴量を復元し、
前記第３の特徴量符号列を入力し、その出力先を、前記差分符号化インデックス情報および前記モード情報に基づいて切り替え、
前記出力される前記第３の特徴量符号列を復号し、前記特徴量差分値を復元し、
前記出力される前記第３の特徴量符号列を復号して、前記第２の特徴量を復元し、
前記特徴量差分値に前記第１の特徴量を加算して、前記第２の特徴量を算出し、
前記第３の特徴量符号列を復号して復元した前記第２の特徴量と、前記特徴量差分値に前記第１の特徴量を加算して算出した前記第２の特徴量とを、前記差分インデックス情報と前記モード情報とによって切り替えながら合成し、前記第１または第２の映像の前記第２の特徴量を出力する
ことを特徴とする請求項３４に記載の動画像照合方法。
前記第３の特徴量符号列の復号による前記特徴量差分値の復元では、前記境界情報に基づいて前記特徴量差分値符号列を復号し、特徴量差分値を復元する
ことを特徴とする請求項３９または４０に記載の動画像照合方法。