JPWO2010084736A1 - 映像記述子生成装置 - Google Patents

Abstract

この映像記述子生成装置は、フレームまたはフィールドであるピクチャ毎に映像から特徴量を抽出し、ピクチャ毎特徴量を出力するピクチャ毎特徴量抽出手段と、上記ピクチャ毎特徴量からピクチャ間の特徴量の差分であるピクチャ間特徴量差分を差分特徴量として算出するとともに、上記差分特徴量が有する情報量を表す差分特徴情報量を算出するピクチャ間特徴量差分算出手段と、上記映像から追加する特徴量を追加特徴量として算出する追加特徴量抽出手段と、上記差分特徴情報量の大きさが一定の基準より小さい場合には、上記差分特徴量に加えて上記追加特徴量も含んで映像記述子を構成する特徴量統合手段とを有する。

Description

本発明は数多くの動画像の中から、類似あるいは同一の動画像区間を検出する映像検索用の映像記述子生成装置、方法、およびプログラムに関する。

映像記述子生成装置の一例が、特許文献１に記載されている。図６は、特許文献１に記された映像記述子生成装置をあらわすブロック図である。

フレーム毎特徴量抽出手段１０００は、入力される映像からフレーム単位特徴量を算出し、特徴量テーブル作成手段１０１０へ出力する。特徴量テーブル作成手段１０１０は、フレーム毎特徴量抽出手段１０００から出力されるフレーム単位特徴量から特徴量テーブルを作成し、映像記述子として出力する。

次に、図６に示す装置の動作について説明する。

フレーム毎特徴量抽出手段１０００では、入力される映像から、フレーム毎に色などの特徴量を抽出する処理を行う。得られた特徴量はフレーム単位特徴量として特徴量テーブル作成手段１０１０へ出力される。

特徴量テーブル作成手段１０１０では、フレーム間の特徴量の変動を閾値処理して、特徴量の時間方向の圧縮を行う。具体的には、フレーム単位特徴量のフレーム間の差分を算出し、それが一定の許容変動範囲内に収まっているかどうかを判定する。そして、映像を許容変動範囲内に収まっている時間区間ごとに分割する。分割した各時間区間に対して、特徴量と時間区間長（フレーム数）の組を映像記述子として出力する。

このようにすることで、フレーム単位で求めた映像の特徴量を時間方向に圧縮することができ、特徴量サイズの削減が可能になる。また、高速なマッチングを可能とする。

特開平１０−３２０４００号公報

しかしながら、上記の方式には、時間的な変化（動き）が乏しいシーンでの性能が悪いという課題がある。その理由は、特徴量のフレーム間変動が許容範囲内であれば、フレーム個々の特徴量の差異は無視し、その区間の代表値で代表させているためである。このため、時間的な変化が乏しいシーンでは、全て同じ特徴量に丸められてしまい、動画像検索の際にこのようなシーンでの性能が低くなる。

［発明の目的］
本発明の目的は、時間的な変化（動き）の乏しい動画像から生成される映像記述子は識別力が低下する、という課題を解決する映像記述子生成装置を提供することにある。

本発明の一形態にかかる映像記述子生成装置は、フレームまたはフィールドであるピクチャ毎に映像から特徴量を抽出し、ピクチャ毎特徴量を出力するピクチャ毎特徴量抽出手段と、上記ピクチャ毎特徴量からピクチャ間の特徴量の差分であるピクチャ間特徴量差分を差分特徴量として算出するとともに、上記差分特徴量が有する情報量を表す差分特徴情報量を算出するピクチャ間特徴量差分算出手段と、上記映像から追加する特徴量を追加特徴量として算出する追加特徴量抽出手段と、上記差分特徴情報量の大きさが一定の基準より小さい場合には、上記差分特徴量に加えて上記追加特徴量も含んで映像記述子を構成する特徴量統合手段とを有する。

本発明は上述したように構成されているため、時間的な変化（動き）の乏しい動画像から生成される映像記述子の識別力を高めることができる効果がある。

本発明の第１の発明を実施するための実施の形態の構成を示すブロック図である。 本発明の第２の発明を実施するための実施の形態の構成を示すブロック図である。 ピクチャ間特徴量差分算出手段１１０の一実施の形態の構成を示すブロック図である。 ピクチャ間特徴量差分算出手段１１０の別の実施の形態の構成を示すブロック図である。 ピクチャ毎特徴量算出方式の例を示す図である。 本発明に関連する映像記述子生成装置の構成を示すブロック図である。

次に、発明を実施するための形態について図面を参照して詳細に説明する。

図１を参照すると、本発明の第１の実施の形態の映像記述子生成装置が示されており、ピクチャ毎特徴量抽出手段１００と、ピクチャ間特徴量差分算出手段１１０と、特徴量追加判定手段１２０と、追加特徴量抽出手段１３０と、特徴量統合手段１４０とからなる。

ピクチャ毎特徴量抽出手段１００は、入力される映像からピクチャ毎の特徴量を算出し、ピクチャ毎特徴量をピクチャ間特徴量差分算出手段１１０へ出力する。ピクチャ間特徴量差分算出手段１１０は、ピクチャ毎特徴量抽出手段１００から出力されるピクチャ毎特徴量から差分特徴量を生成して特徴量統合手段１４０へ出力するとともに、差分特徴量の情報量（差分特徴情報量と呼ぶ）を記述する情報（差分特徴情報量情報と呼ぶ）を特徴量追加判定手段１２０へ出力する。特徴量追加判定手段１２０は、ピクチャ間特徴量差分算出手段１１０から出力される差分特徴情報量情報から、特徴量追加の必要性を判定し、特徴量追加が必要な場合は特徴量追加判定情報を特徴量統合手段１４０へ出力する。追加特徴量抽出手段１３０は、映像から追加する特徴量である追加特徴量を算出し、特徴量統合手段１４０へ出力する。特徴量統合手段１４０は、特徴量追加判定手段１２０から出力される特徴量追加判定情報に基づいて、ピクチャ間特徴量差分算出手段１１０から出力される差分特徴量と、追加特徴量抽出手段１３０から出力される追加特徴量とを統合し、映像記述子を出力する。

次に、図１に示す第１の実施の形態の動作について詳細に説明する。

まず、映像は、ピクチャ毎特徴量抽出手段１００へ入力される。元の映像が符号化されている場合には、復号器によって復号されてから、フレームあるいはフィールドからなるピクチャ単位でデータが入力されるものとする。

ピクチャ毎特徴量抽出手段１００では、ピクチャ毎の特徴量ベクトルを算出する。ピクチャを１枚の静止画とみなし、この色や模様、形などの特徴を示す視覚特徴量のベクトルを抽出する。算出された特徴量ベクトルは、ピクチャ毎特徴量としてピクチャ間特徴量差分算出手段１１０へ出力される。

この特徴量としては、ピクチャ単位で色や模様、形などの特徴を示す視覚特徴量であれば、どのようなものでもよい。例えば、カラーレイアウトやエッジヒストグラムなど、MPEG-7 Part 3で記載されている視覚特徴量をこの目的で使用することができる。

ピクチャ間特徴量差分算出手段１１０では、入力されるピクチャ毎の特徴量を表す特徴量間で差分を算出する。すなわち、時間的に隣接するピクチャ間で特徴量ベクトル間の差分を計算し、差分特徴量ベクトルを求める。次に、この差分特徴量ベクトルを記述するのに要する情報量を差分特徴情報量として算出する。ピクチャ間特徴量差分算出手段１１０の動作の詳細については後述する。

算出された差分特徴量は、特徴量統合手段１４０へ出力される。一方、差分特徴情報量を記述する差分特徴情報量情報は特徴量追加判定手段１２０へ出力される。

特徴量追加判定手段１２０では、ピクチャ間特徴量差分抽出手段１１０から出力される差分特徴情報量情報に基づいて、特徴量の追加の必要性の有無を判定し、特徴量追加判定情報を出力する。具体的には、差分特徴情報量情報によって記述される差分特徴情報量が一定の閾値以内の場合には、ピクチャ間での差分が小さく、シーンのダイナミズムが小さいと考えられるため、特徴量を追加することをシグナリングする情報を特徴量追加判定情報として出力する。ただし、一対の連続ピクチャ間での差分特徴情報量のみを用いて判定を行うと、偶然１ピクチャだけ前のピクチャとの差分が小さくなった場合でも特徴量を追加することになる。これを避けるために、一定数（３ピクチャ以上）の連続ピクチャ間で差分特徴情報量が小さい状態が続いた場合にのみ、特徴量を追加することをシグナリングする情報を特徴量追加判定情報として出力するようになっていてもよい。この場合、特徴量の追加のシグナリングは、差分特徴情報量が小さくなった最初のピクチャから行うようになっていてもよいし、判定を行ったピクチャから行うようになっていてもよい。判定結果を表す特徴量追加判定情報は、特徴量統合手段１４０へ出力される。

一方、追加特徴量抽出手段１３０では、入力される映像から追加の特徴量を抽出する。追加する特徴量としては、ピクチャ毎特徴量抽出手段１００において抽出する特徴量と同種の特徴量をより詳細に抽出したものであってもよいし、全く別のものであってもよい。前者の例としては、例えば、ピクチャ毎特徴量抽出手段１００において大きなブロック単位でのエッジ特徴量を抽出するようにし、追加特徴量抽出手段１３０では、それよりも小さなブロック単位でのエッジ特徴量を抽出するようにする。後者の例としては、ピクチャ毎特徴量抽出手段１００においては色特徴量を抽出するようにしておき、追加特徴量抽出手段１３０では、エッジ特徴量を抽出するようにしてもよい。あるいは、追加特徴量抽出手段１３０で抽出する特徴量は、ピクチャ毎に算出される特徴量ではなくてもよい。例えば、ピクチャ間で動き推定を行い、ピクチャ間での動き量を特徴量としたものであってもよい。あるいは、このピクチャ間での動き量を連続数ピクチャ間で算出しておき、これに統計処理を行って特徴量を算出する方式であってもよい。このようにして算出された追加特徴量は、特徴量統合手段１４０へ出力される。

特徴量統合手段１４０では、特徴量追加判定手段１２０から出力される特徴量追加判定情報に基づいて、ピクチャ間特徴量差分抽出手段１１０から出力される差分特徴量と追加特徴量抽出手段１３０から出力される追加特徴量とを統合し、映像記述子を生成する。特徴量追加判定情報が特徴量を追加することをシグナリングする場合にのみ追加特徴量を映像記述子に加えるようにし、それ以外のときは、差分特徴量のみを映像記述子に加えるようにする。この際、差分特徴量、追加特徴量とも、適切な符号化を行って映像記述子を生成する。差分特徴量の符号化では、後述するピクチャ間特徴量差分算出手段１１０の説明で述べるような様々な差分符号化方式を用いることができる。追加特徴量についても特徴量の値の発生に偏りがある場合には、ハフマン符号化や算術符号化などのエントロピー符号化を用いることで、記述子のサイズを小さくすることができる。

次に、ピクチャ間特徴量差分算出手段１１０の実施の形態について図３を参照して述べる。

図３を参照すると、ピクチャ間特徴量差分算出手段１１０の実施の形態が示されており、記憶素子３００、減算器３１０、差分特徴情報量算出手段３２０からなる。

記憶素子３００は、入力されるピクチャ毎特徴量を１ピクチャ分記憶しており、記憶しているピクチャ毎特徴量を参照ピクチャ特徴量として減算器３１０へ出力する。減算器３１０は、入力されるピクチャ毎特徴量から、記憶素子３００から出力される参照ピクチャ特徴量を減算し、差分特徴量を出力する。差分特徴情報量算出手段３２０は、減算器３１０から出力される差分特徴量を入力とし、差分特徴情報量情報を出力する。

次に、図３に示すピクチャ間特徴量差分算出手段１１０の動作について述べる。

記憶素子３００には、一つ前のピクチャのピクチャ毎特徴量が記憶されており、差分を計算する際には、参照ピクチャ特徴量として、減算器３１０へ出力する。減算器３１０では、入力されるピクチャ毎特徴量から、参照ピクチャ特徴量を減算し、差分特徴量を算出する。具体的には、時刻tにおける特徴量ベクトルをV(t)、ピクチャ間の時間間隔をT、差分ベクトルをD(t)とすると、
［数１］
D(t)=V(t)-V(t-T)
により、差分特徴量を算出する。D(t)を算出した後、記憶素子３００における特徴量は、現在時刻のピクチャ毎特徴量で上書きされる。この特徴量は、時刻t+Tの差分特徴量を算出する際に、参照ピクチャ特徴量として用いられる。

算出された差分特徴量D(t)は、差分特徴情報量算出手段３２０へも入力される。差分特徴情報量算出手段３２０では、差分特徴量ベクトルD(t)の値から差分特徴量の情報量（つまり差分特徴情報量）を推測し、これを記述する情報（つまり差分特徴情報量情報）を求めて出力する。ここで、差分特徴情報量情報は、D(t)を実際に差分符号化したと仮定した場合に推測される発生符号量であってもよい。あるいは、D(t)のうちで差分が生じた特徴量ベクトルの要素の数とその差分量のように、発生符号量そのものではないが、符号量の大小との相関が大きい量であってもよい。あるいは、実際に差分符号化を行って算出した符号量の実測値であってもよい。この際、用いる差分符号化としてはどのようなものを用いても良い。例えば、特徴量ベクトルの次元ごとに、差分値の出現確率をあらかじめ学習データを用いて算出しておき、この確率を用いて、ハフマン符号化や算術符号化により、差分符号化を行ってもよい。あるいは、特徴量ベクトルのうち、差分が生じた要素（次元）のみ、差分値をその要素のインデックスとともに符号化するようにしてもよい。

次に、ピクチャ間特徴量差分算出手段１１０の別の実施の形態について図４を参照して述べる。

図４を参照すると、ピクチャ間特徴量差分算出手段１１０の実施の形態が示されており、記憶素子３００、減算器３１０、ピクチャ毎特徴情報量算出手段４００、比較器４１０、差分特徴情報量算出手段４２０、スイッチ４３０からなる。

記憶素子３００、減算器３１０の接続関係は、図３に示すピクチャ間特徴量差分算出手段１１０と同様である。ピクチャ毎特徴情報量算出手段４００は、ピクチャ毎特徴量を入力とし、ピクチャ毎特徴量の情報量（ピクチャ毎特徴情報量と呼ぶ）を比較器４１０へ出力する。差分特徴情報量算出手段４２０は、減算器３１０から出力される差分特徴量を入力とし、差分特徴情報量を比較器４１０へ出力するとともに、差分特徴情報量情報を出力する。比較器４１０では、ピクチャ毎特徴情報量算出手段４００から出力されるピクチャ毎特徴情報量と、差分特徴情報量算出手段４２０から出力される差分特徴情報量とを比較し、特徴量選択信号をスイッチ４３０へ出力する。スイッチ４３０へは、ピクチャ毎特徴量と、減算器３１０から出力される差分特徴量とが入力され、比較器４１０から出力される特徴量選択信号に基づいていずれか一方を選択し、差分特徴量として出力する。

次に、図４に示すピクチャ間特徴量差分算出手段１１０の動作について述べる。

記憶素子３００、減算器３１０、差分特徴情報量算出手段３２０については、図３のものと同様である。

ピクチャ毎特徴情報量算出手段４００では、特徴量V(t)の値からピクチャ毎特徴量の情報量（つまりピクチャ毎特徴情報量）を推測する。このピクチャ毎特徴は、V(t)から推測される発生符号量であってもよいし、実際に符号化を行って算出した符号量の実測値であってもよい。この際の符号化は、上述の差分符号化の場合と同様のエントロピー符号化を適用することができる。あるいは、V(t)の値によらず、発生符号量がほぼ一定の場合には、符号量として固定値を用いてもよい。得られたピクチャ毎特徴情報量は、比較器４１０へ出力される。

一方、差分特徴情報量算出手段４２０の動作は、図３の差分特徴情報量算出手段３２０と同等であり、差分特徴情報量とそれを記述する差分特徴情報量情報を算出する。差分特徴情報量算出手段３２０との違いは、差分特徴情報量も出力する点である。得られた差分特徴情報量は、比較器４１０へ出力される。

比較器４１０では、ピクチャ毎特徴情報量算出手段４００から出力されるピクチャ毎特徴情報量と、差分特徴情報量算出手段４２０から出力される差分特徴情報量とを比較する。そして、小さい方の値を選択し、スイッチ４３０を制御する信号を出力する。すなわち、ピクチャ毎特徴情報量の方が小さいときには、スイッチ４３０はピクチャ毎特徴量に接続するようにし、差分特徴情報量の方が小さいときには、スイッチ４３０は減算器３１０から出力される差分特徴量に接続するように制御される。

次に、第１の実施の形態の効果について説明する。

第１の実施の形態では、ピクチャ間の特徴量差分が小さく、性能の低下が予想される場合には、追加特徴量を挿入する構成になっているため、時間方向の変化が乏しいシーンであっても、識別能力を上げることができ、検索時の性能を向上させることができる。さらに、特徴量の追加は、ピクチャ間での特徴量差分が小さい場合に限られるため、不要に特徴量の大きさを増やすことなく、性能向上を実現できる。

次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。

図２を参照すると、本発明の第２の実施の形態の映像記述子生成装置が示されており、ピクチャ毎特徴量抽出手段１００と、ピクチャ間特徴量差分算出手段１１０と、特徴量追加判定手段１２０と、追加特徴量抽出手段２３０と、特徴量統合手段２４０とからなる。

ピクチャ毎特徴量抽出手段１００、ピクチャ間特徴量差分算出手段１１０、特徴量追加判定手段１２０の接続関係は図１の映像記述子生成装置と同様である。ただし、特徴量追加判定手段１２０の出力は、追加特徴量抽出手段２３０へも入力される。追加特徴量抽出手段２３０は、特徴量追加判定手段１２０から出力される特徴量追加判定情報に基づいて、入力される映像から追加特徴量を抽出し、特徴量統合手段１４０へ出力する。特徴量統合手段２４０は、ピクチャ間特徴量差分算出手段１１０から出力される差分特徴量と追加特徴量抽出手段２３０から出力される追加特徴量とを統合し、映像記述子を出力する。

次に、本発明の第２の実施の形態の動作について詳細に説明する。ピクチャ毎特徴量抽出手段１００と、ピクチャ間特徴量差分算出手段１１０と、特徴量追加判定手段１２０の動作は図１の映像記述子生成装置と同様である。

追加特徴量抽出手段２３０の動作も、基本的には図１の映像記述子生成装置の追加特徴量抽出手段１３０と同様であるが、特徴量追加判定手段１２０から出力される特徴量追加判定情報に基づいて動作する点が異なる。すなわち、特徴量追加判定情報が特徴量の追加をシグナリングしたときにのみ、追加特徴量を抽出する。それ以外のときは、特徴量を抽出しない。抽出された追加特徴量は、特徴量統合手段２４０へ出力される。

特徴量統合手段２４０の動作も、基本的には、図１の映像記述子生成装置の特徴量統合手段１４０と同様であるが、追加特徴量抽出手段２３０から断続的に出力される追加特徴量を差分特徴量と統合して映像記述子を生成する点が異なる。この統合は、特徴量追加判定手段１２０から出力される特徴量追加判定情報が特徴量の追加をシグナリングしたときに実行される。

第２の実施の形態では、追加特徴量の算出は、追加特徴量が実際に必要な場合のみに限定されるため、より効率的に映像記述子を生成できる。

次に、本発明の第３の実施の形態を説明する。

図５は、ピクチャから特徴量を抽出する方式の一例を示している。この方式では、ピクチャ内の任意の２領域をペアとして予め定めておき、ペアとなった２領域間での特徴量の差を特徴量ベクトルとする。ここで、各領域ペアをＰ１，Ｐ２，Ｐ３，…と表し、ｎ番目のペアＰｎから定まる特徴量をＶｎで表すことにする。領域ペアのとり方は、図に示すように、様々な形・位置の領域の組み合わせがあり得る。そして、ＰｎからＶｎを求める方法も様々な方法が考えられる。例えば、各ペアで斜線の領域と網線をつけた各領域内で輝度の平均値を算出し、その大小関係でＶｎの値を決定する方法がある。具体的には、斜線の領域内で求めた平均輝度値から網線の領域内で求めた平均輝度値を引いて差を求め、差が正のときにＶｎ＝１とし、負のときにＶｎ＝−１とする。あるいは、差の絶対値が閾値より小さい場合は０とし、Ｖｎを３値で表すようにしてもよい。

図１のピクチャ毎特徴量抽出手段１００では、上述の処理をＮ個の各ペアに対して行うことにより、Ｎ次元の特徴量ベクトルＶｎを求める。次に、ピクチャ間特徴量差分算出手段１１０では、前のピクチャと現在のピクチャとの間でＶｎの差分を求め、差分特徴量として出力する。同時に、差分特徴量の次元のうち、差分が０以外となる次元数をカウントし、この数を差分特徴情報量情報として出力する。特徴量追加判定手段１２０では、差分特徴情報量情報の値が一定の閾値ＴＨ以下の場合には、特徴量の追加をシグナリングする。一方、追加特徴量としても、図５と同じ方法で求めた特徴量を用いることができる。例えば、ピクチャ毎特徴量抽出手段１００とは異なるＭ通りのペアを用いて追加特徴量抽出手段１３０でも同様に特徴量を算出する。そして、特徴量の追加がシグナリングされた場合には、特徴量統合手段１４０で、差分特徴量と追加特徴量の両方をつなげて統合して映像記述子を生成する。この場合には、もともとの特徴量Ｎ次元に対し、追加特徴量が追加されるフレームでは、さらにＭ次元の特徴量が用いられることになる。

この際、差分特徴量に対して様々な差分符号化が適用可能であるが、例えば、前のピクチャと値が異なる次元に対して、その次元のインデックスと、差分の値をペアで符号化する方式を用いることができる。もともとのＶｎのとりえる値が上述のように、−１，０，１の３値の場合には、前ピクチャの値が確定している状況では、差分としてとりえる値は２通り（たとえば、前のピクチャで値が１の場合は、差分は−１か−２のいずれか）のため、この２値を区別するための情報が1ビットにより、差分を表すことができる。このように、差分の符号化を行うことができる。

ここで述べた例では、追加特徴量として同種の特徴量を用いる場合について述べたが、追加特徴量は別の特徴量でもよい。例えば、ピクチャ間で動きベクトルを算出し、この統計量を特徴量として用いてもよい。

以上本発明の実施の形態について説明したが、本発明は以上の例にのみ限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、ピクチャ間特徴量差分算出手段１１０は、一定のピクチャ周期で、差分特徴量の代わりにピクチャ毎特徴量を特徴量統合手段１４０へ出力するようにしても良い。具体的な実現方法としては、図４のピクチャ間特徴量差分算出手段１１０の場合、比較器４１０が、過去一定のピクチャ周期内にピクチャ毎特徴量を選択する信号をスイッチ４３０に出力したか否かを判定し、若し出力していなければ、比較判定の結果にかかわらず、ピクチャ毎特徴量を選択する信号をスイッチ４３０に出力するようにすればよい。また、図３のピクチャ間特徴量差分算出手段１１０の場合、入力のピクチャ毎特徴量と減算器３１０から出力される差分特徴量とを入力とし、その何れか一方を特徴量統合手段１４０へ出力するスイッチと、一定のピクチャ周期内で１回だけ入力のピクチャ毎特徴量を選択する制御信号を前記スイッチへ出力し、それ以外は差分特徴量を選択する制御信号を前記スイッチへ出力するスイッチ制御手段とを設ければよい。

また、本発明の映像記述子生成装置は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における映像記述子生成装置として機能させる。

なお、本発明は、日本国にて２００９年１月２３日に特許出願された特願２００９−１２８０９の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。

本発明によれば、類似あるいは同一の映像を多くの映像中から高精度に検索するといった用途に適用できる。特に、映像の同一区間検索については、ネットワーク上に流通する違法にコピーされた動画像を識別する用途や、実際の放送波で流されているＣＭを同定するといった用途に用いることができる。

１００…ピクチャ毎特徴量抽出手段
１１０…ピクチャ間特徴量差分算出手段
１２０…特徴量追加判定手段
１３０…追加特徴量抽出手段
１４０…特徴量統合手段
２３０…追加特徴量抽出手段
２４０…特徴量統合手段
３００…記憶素子
３１０…減算器
３２０…差分特徴情報量算出手段
４００…ピクチャ毎特徴情報量算出手段
４１０…比較器
４２０…差分特徴情報量算出手段
４３０…スイッチ
１０００…フレーム毎特徴量抽出手段
１０１０…特徴量テーブル作成手段

Claims (19)

1. フレームまたはフィールドであるピクチャ毎に映像から特徴量を抽出し、ピクチャ毎特徴量を出力するピクチャ毎特徴量抽出手段と、
   前記ピクチャ毎特徴量からピクチャ間の特徴量の差分であるピクチャ間特徴量差分を差分特徴量として算出するとともに、前記差分特徴量が有する情報量を表す差分特徴情報量を算出するピクチャ間特徴量差分算出手段と、
   前記映像から追加する特徴量を追加特徴量として算出する追加特徴量抽出手段と、
   前記差分特徴情報量の大きさが一定の基準より小さい場合には、前記差分特徴量に加えて前記追加特徴量も含んで映像記述子を構成する特徴量統合手段と
   を有することを特徴とする映像記述子生成装置。
2. 前記追加特徴量抽出手段は、前記差分特徴情報量の大きさが一定の基準より小さい場合にのみ追加特徴量を算出する
   ことを特徴とする請求項１に記載の映像記述子生成装置。
3. 前記ピクチャ間特徴量差分算出手段は、前記ピクチャ毎特徴量が有する情報量であるピクチャ毎特徴量情報量と前記差分特徴情報量とを比較し、前記差分特徴情報量の方が大きい場合には、前記ピクチャ毎特徴量を前記差分特徴量として算出する
   ことを特徴とする請求項１または請求項２に記載の映像記述子生成装置。
4. 前記ピクチャ毎特徴量情報量と前記差分特徴情報量は、実際の符号化を行って符号量を計測することによって算出する
   ことを特徴とする請求項３に記載の映像記述子生成装置。
5. 前記一定の基準では、ピクチャ単位で前記差分特徴情報量の大きさを判定する
   ことを特徴とする請求項１乃至４の何れか１項に記載の映像記述子生成装置。
6. 前記一定の基準では、一定数の連続したピクチャにおける前記差分特徴情報量によって大きさを判定する
   ことを特徴とする請求項１乃至４の何れか１項に記載の映像記述子生成装置。
7. 前記追加特徴量は、前記ピクチャ毎特徴量と同種の特徴量であり、前記ピクチャ毎特徴量をより詳細化する特徴量である
   ことを特徴とする請求項１乃至６の何れか１項に記載の映像記述子生成装置。
8. 前記追加特徴量は、前記ピクチャ毎特徴量と異なる種類の特徴量である
   ことを特徴とする請求項１乃至６の何れか１項に記載の映像記述子生成装置。
9. 前記ピクチャ間特徴量差分算出手段は、一定のピクチャ周期で、前記ピクチャ毎特徴量を前記差分特徴量として算出する
   ことを特徴とする請求項１または請求項２に記載の映像記述子生成装置。
10. フレームまたはフィールドであるピクチャ毎に映像から特徴量を抽出して、ピクチャ毎特徴量を出力し、
    前記ピクチャ毎特徴量からピクチャ間の特徴量の差分であるピクチャ間特徴量差分を差分特徴量として算出するとともに、前記差分特徴量が有する情報量を表す差分特徴情報量を算出し、
    前記映像から追加する特徴量を追加特徴量として算出し、
    前記差分特徴情報量の大きさが一定の基準より小さい場合には、前記差分特徴量に加えて前記追加特徴量も含んで映像記述子を構成する
    を含むことを特徴とする映像記述子生成方法。
11. 前記追加特徴量の算出では、前記差分特徴情報量の大きさが一定の基準より小さい場合にのみ追加特徴量を算出する
    ことを特徴とする請求項１０に記載の映像記述子生成方法。
12. 前記差分特徴情報量の算出では、前記ピクチャ毎特徴量が有する情報量であるピクチャ毎特徴量情報量と前記差分特徴情報量とを比較し、前記差分特徴情報量の方が大きい場合には、前記ピクチャ毎特徴量を前記差分特徴量として算出する
    ことを特徴とする請求項１０または請求項１１に記載の映像記述子生成方法。
13. 前記ピクチャ毎特徴量情報量と前記差分特徴情報量は、実際の符号化を行って符号量を計測することによって算出する
    ことを特徴とする請求項１２に記載の映像記述子生成方法。
14. 前記一定の基準では、ピクチャ単位で前記差分特徴情報量の大きさを判定する
    ことを特徴とする請求項１０乃至１３の何れか１項に記載の映像記述子生成方法。
15. 前記一定の基準では、一定数の連続したピクチャにおける前記差分特徴情報量によって大きさを判定する
    ことを特徴とする請求項１０乃至１３の何れか１項に記載の映像記述子生成方法。
16. 前記追加特徴量は、前記ピクチャ毎特徴量と同種の特徴量であり、前記ピクチャ毎特徴量をより詳細化する特徴量である
    ことを特徴とする請求項１０乃至１５の何れか１項に記載の映像記述子生成方法。
17. 前記追加特徴量は、前記ピクチャ毎特徴量と異なる種類の特徴量である
    ことを特徴とする請求項１０乃至１５の何れか１項に記載の映像記述子生成方法。
18. 前記差分特徴情報量の算出では、一定のピクチャ周期で、前記ピクチャ毎特徴量を前記差分特徴量として算出する
    ことを特徴とする請求項１０または請求項１１に記載の映像記述子生成方法。
19. コンピュータを、
    フレームまたはフィールドであるピクチャ毎に映像から特徴量を抽出し、ピクチャ毎特徴量を出力するピクチャ毎特徴量抽出手段と、
    前記ピクチャ毎特徴量からピクチャ間の特徴量の差分であるピクチャ間特徴量差分を差分特徴量として算出するとともに、前記差分特徴量が有する情報量を表す差分特徴情報量を算出するピクチャ間特徴量差分算出手段と、
    前記映像から追加する特徴量を追加特徴量として算出する追加特徴量抽出手段と、
    前記差分特徴情報量の大きさが一定の基準より小さい場合には、前記差分特徴量に加えて前記追加特徴量も含んで映像記述子を構成する特徴量統合手段と
    して機能させるためのプログラム。

Images