JP5155210B2 - 画像比較装置及びその方法、画像検索装置、並びにプログラム及び記録媒体 - Google Patents

Description

本発明は、画像比較装置及びその方法、画像検索装置、並びにプログラム及び記録媒体に関する。詳しくは、ＪＰＥＧ（Joint Photographic Experts Group）２０００方式などに従って圧縮符号化された画像と特定画像とを比較して一致判定や類似度判定を行う画像比較装置及びその方法に関する。また、ＪＰＥＧ２０００方式などに従って圧縮符号化された映像コンテンツから特定画像と略々一致する画像を検索する画像検索装置及びその方法、並びにプログラム及び記録媒体に関する。

従来から、例えば映像コンテンツの検索などの目的のために、特定画像を検索クエリとして、未知の映像コンテンツの中から特定画像と略々一致する画像を検索する技術が必要とされている。下記特許文献１には、映像コンテンツから短時間フレーム毎に特徴量を抽出して特徴ベクトルを構成し、その特徴ベクトルと特定画像の特徴ベクトルとを比較することにより、映像コンテンツの中から特定画像と略々一致する画像を検索する技術が提案されている。

ところで、近年、デジタルカメラやデジタルカムコーダといった商品の普及に伴い、画像が直接デジタルで撮影され、画像圧縮を施されて記録されることが多くなっている。また、テレビジョン番組をデジタル化した上で画像圧縮を施し、アーカイブとして保存することも行われている。さらに、２００４年にデジタルシネマの規格化において画像圧縮方式としてＪＰＥＧ２０００方式が採用されることが決定され、多くの映画フィルムがデジタル化された上、ＪＰＥＧ２０００方式に従って圧縮符号化されて利用される流れとなっている。

そこで、今後は、特にＪＰＥＧ２０００方式に従って圧縮符号化された多数の画像から特定画像と略々一致する画像を検索するニーズが一層高まることが予想される。また、ＪＰＥＧ２０００方式に従って圧縮符号化された映像コンテンツの中から特定画像と略々一致する画像を検索したりするニーズが一層高まることが予想される。しかしながら、特許文献１などの従来の技術では、検索前に画像や映像コンテンツを完全に復号する必要があるため、処理全体の演算量が多くなるという問題があった。

このため、下記特許文献２では、ＪＰＥＧ２０００方式などに従って圧縮符号化された画像を完全に復号することなく、特定画像との一致判定や類似度判定を行う画像比較装置及びその方法を開示している。また、ＪＰＥＧ２０００方式などに従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と略々一致する画像を検索する画像検索装置及びその方法、並びにプログラム及び記録媒体を開示している。

この特許文献２に記載された技術においては、ＪＰＥＧ２０００のコードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎のゼロビットプレーン数と、上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えている。

特開２００４−４５５６５号公報 特開２００６−２８５６１５号公報

上記特許文献２に記載された技術によれば、ＪＰＥＧ２０００方式などに従って圧縮符号化された映像コンテンツを完全に復号することなく、コードストリームと特定画像を比較することができる利点がある。その反面、コードストリームから符号化パラメータを抽出して、そのパラメータに基づいて特定画像を圧縮符号化する必要がある。従って、両者間で量子化ステップサイズが異なると、ゼロビットプレーン数が異なってしまうために、比較ができなくなる、という点で改善が望まれている。

本発明は、上述したような実情に鑑みて提案されたものであり、ＪＰＥＧ２０００方式などに従って圧縮符号化されたコードストリームと特定画像との間で、量子化ステップサイズが異なっても、コードストリームを完全に復号することなく高い精度で比較を行って、一致判定や類似度判定が行えるような画像比較装置及びその方法、特定画像と略々一致する画像を検索する画像検索装置、並びにプログラム及び記録媒体を提供することを目的とする。

上述の課題を解決するために、本発明は、画像を符号化して得られるコードストリームと特定画像とを比較して一致するかを判定する画像比較装置であって、上記コードストリームのゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出部と、上記特定画像における着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力部と、上記ベクトル算出部からの第１のベクトルと上記ベクトル出力部からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較部とを備える。

ここで、上記ベクトル出力部は、上記コードストリームを符号化する際に用いられた符号化パラメータの内の量子化ステップサイズを含まない符号化パラメータを用いて上記特定画像を符号化する際に得られるコードブロック毎のゼロビットプレーン数に基づき算出された上記第２のベクトルを出力することが好ましい。

上記第１、第２のベクトルは、例えば、上記着目コードブロックのゼロビットプレーン数と、該着目コードブロックに隣接する周囲８箇所のコードブロックの内の１以上のコードブロックのゼロビットプレーン数との差分をベクトルで表現したものである、と定義することができる。

上記比較部は、上記ベクトル算出部からの着目コードブロックの第１のベクトルと上記ベクトル出力部からの上記着目コードブロックと同じ位置のコードブロックの第２のベクトルとを比較し、一致したコードブロックの数が予め設定された閾値以上となる場合に、上記コードストリームと上記特定画像とが一致したと判定することが挙げられる。この場合の比較部としては、上記コードストリーム及び上記特定画像における各画像内の全てのコードブロックについて、上記第１のベクトルと上記第２のベクトルとが一致した場合に、上記コードストリームと上記特定画像とが一致したと判定することが挙げられる。あるいは、上記比較部は、上記コードストリームと上記特定画像とについて、一部のコンポーネント、又は一部のサブバンドについてのみ、上記第１のベクトルと上記第２のベクトルとを比較することが挙げられる。

また、上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析部を備え、上記ベクトル算出部は、上記コードストリーム解析部により抽出されたゼロビットプレーン数に基づき上記第１のベクトルを算出することが挙げられる。

また、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出部を備え、上記ベクトル出力部は、上記コードストリーム抽出部により抽出された符号化パラメータの内の量子化ステップサイズを含まない符号化パラメータを用いて上記特定画像を符号化する際に得られるコードブロック毎のゼロビットプレーン数に基づき上記第２のベクトルを算出する第２のベクトル算出部を有する構成としてもよい。

また例えば、上記コードストリームは、上記画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたものであり、上記符号化パラメータは、ウェーブレット変換フィルタ情報、ウェーブレット変換の分解レベル数、量子化ステップサイズ、コードブロックサイズ、ガードビット情報、目標圧縮率を含み、上記ベクトル出力部は、上記コードストリームを符号化する際に用いられた符号化パラメータの内の量子化ステップサイズを含まない符号化パラメータを用いて上記特定画像をＪＰＥＧ２０００方式に従って符号化する際に得られるコードブロック毎のゼロビットプレーン数に基づき算出された上記第２のベクトルを出力することが挙げられる。

このような構成の画像比較装置は、コードストリーム及び特定画像における、処理対象となる同じ位置の着目するコードブロックのゼロビットプレーン数とその近傍の（例えば隣接する）１以上のコードブロックのゼロビットプレーン数との相関（例えば差分）を表すベクトル（あるいはベクトル値）を特徴量として、コードストリームと特定画像との一致判定（同定）を行っている。これは、量子化ステップサイズが異なっていても、生成される量子化係数のゼロビットプレーン数の相関、例えば大小関係は変わらないため、ゼロビットプレーン数の差分を表すベクトルを特徴量とすることにより、量子化ステップサイズに影響されず高精度の比較が行えることを考慮したものである。

次に、本発明に係る画像比較方法は、上記目的を達成するために、画像を符号化して得られるコードストリームと特定画像とを比較して一致するかを判定する画像比較方法であって、上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析工程と、上記コードストリーム解析工程により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出工程と、上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力工程と、上記ベクトル算出工程からの第１のベクトルと上記ベクトル出力工程からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較工程とを有する。

次に、本発明に係る画像検索装置は、上記目的を達成するため、複数の画像を符号化して得られるコードストリーム列と特定画像とを比較して一致する画像のコードストリームを検索する画像検索装置であって、上記コードストリーム列の上記コードストリームを順次解析することにより当該コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析部と、上記コードストリーム解析部により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出部と、上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力部と、上記ベクトル算出部からの第１のベクトルと上記ベクトル出力部からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較部と、上記コードストリーム列の内の上記比較部により一致すると判定された上記コードストリームを選択する選択部とを備える。

次に、本発明に係る画像比較装置は、上記目的を達成するため、画像を符号化して得られるコードストリームと特定画像とを比較して類似度を出力する画像比較装置であって、上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析部と、上記コードストリーム解析部により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出部と、上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力部と、上記ベクトル算出部からの第１のベクトルと上記ベクトル出力部からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果を出力する比較部と、上記比較部からの比較結果を累積して上記コードストリームと上記特定画像との類似度を出力する累積部とを備える。

さらに、本発明に係るプログラムは、上述した画像比較処理、画像検索処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。

本発明によれば、コードストリームと特定画像とを比較する際に、両者間で量子化ステップサイズが異なってゼロビットプレーン数が異なる場合でも、着目するコードブロックのゼロビットプレーン数とその近傍の１以上のコードブロックのゼロビットプレーン数との相関を表すベクトルを特徴量として比較を行うことにより、コードストリームを完全に復号することなく、コードストリームと特定画像とを高い精度で比較し、一致判定や類似度判定を行うことができる。

画像をＪＰＥＧ２０００方式に従って符号化してコードストリームを生成する画像符号化装置の概略構成を示すブロック図である。 ＪＰＥＧ２０００方式におけるウェーブレット変換処理後のサブバンドの一例を示す図である。 コードブロックとビットプレーンとの関係を示す図である。 コードストリームをＪＰＥＧ２０００方式に従って復号して復号画像を生成する画像復号装置の概略構成を示すブロック図である。 特許文献２（特開２００６−２８５６１５号公報）に記載された画像比較装置の概略構成を示すブロック図である。 同一位置にあるコードブロック同士の比較を説明するための図である。 量子化ステップサイズによって最大ビットプレーン数が変化することを説明するための図である。 本発明の第１の実施の形態の画像比較装置の概略構成を示すブロック図である。 ＪＰＥＧ２０００コードストリームのデータベースに対する特定画像の検索を説明するための図である。 処理対象となる着目コードブロック及びその周辺８方向で隣接する８個のコードブロックを説明する図である。 着目コードブロック及び隣接コードブロックのゼロビットプレーン間の相関を表すベクトルを算出するための隣接コードブロックのパターンの３つのケースを示す図である。 本発明の第１の実施の形態の画像比較装置の動作を説明するためのフローチャートである。 サブバンドの選択順序及び特定のサブバンド内での比較を行うことを説明するための図である。 本発明の第２の実施の形態の画像比較装置の概略構成を示すブロック図である。 本発明の第３の実施の形態の画像比較装置の概略構成を示すブロック図である。 本発明の第４の実施の形態となる画像検索装置の概略構成を示すブロック図である。 本発明の第４の実施の形態となる画像検索装置の動作を説明するためのフローチャートである。 本発明の第５の実施の形態の画像比較装置の概略構成を示すブロック図である。 本発明の第５の実施の形態の画像比較装置の動作を説明するためのフローチャートである。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、説明は以下の順序で行う。

１．ＪＰＥＧ２０００方式（図１〜図４）
２．特許文献２に記載の画像比較装置（図５〜図７）
３．第１の実施の形態（図８〜図１３）
４．第２の実施の形態（図１４）
５．第３の実施の形態（図１５）
６．第４の実施の形態（図１６、図１７）
７．実施の形態の実験例（シミュレーション例）
８．第５の実施の形態（図１８、図１９）
９．他の構成例

＜１．ＪＰＥＧ２０００方式＞
［本発明に適用可能な符号化方式］
以下に説明する実施の形態は、本発明を、例えばＪＰＥＧ２０００方式に従って圧縮符号化されたコードストリームの符号化前の画像と特定画像とを比較して一致判定や類似度判定を行うための画像比較装置及びその方法に適用したものである。また、本発明を、例えばＪＰＥＧ２０００方式に従って圧縮符号化された映像コンテンツやコードストリームのデータベースから特定画像と略々一致する画像を検索する画像検索装置及びその方法に適用したものである。

ここで、本発明の具体的な実施の形態について説明するに先立って、画像をＪＰＥＧ２０００方式に従って符号化してコードストリームを生成する画像符号化装置について、図１を参照しながら説明する。また、この符号化されて得られたコードストリームをＪＰＥＧ２０００方式に従って復号して復号画像を生成する画像復号装置についても、図面を参照しながら説明する。

［ＪＰＥＧ２０００方式の画像符号化装置の概略構成］
先ず、画像をＪＰＥＧ２０００方式に従って符号化してコードストリームを生成する画像符号化装置の概略構成を図１のブロック図に示す。

図１に示す画像符号化装置１００において、ウェーブレット変換器１０１は、入力された画像に対してウェーブレット変換を施し、サブバンド毎のウェーブレット係数を生成する。なお、ＪＰＥＧ２０００方式におけるウェーブレット変換は、図２に示すように、縦横２次元のフィルタでフィルタリング処理を施し、低域のサブバンドについては再帰的にフィルタリング処理を施すMallat分割である。図２の例では、３回のウェーブレット変換により、合計１０個のサブバンドが形成されている。

量子化器１０２は、サブバンド毎のウェーブレット係数を量子化し、量子化係数を生成する。コードブロック化器１０３は、サブバンド毎の量子化係数を同じ大きさの矩形領域であるコードブロックに分割し、コードブロック毎の量子化係数を２値（０又は１）の係数ビットの集合であるビットプレーンに展開する。

ここで図３は、ウェーブレット変換後に生成されるサブバンド、コードブロック、ビットプレーンの関係の一例を示している。図３（Ａ）に示すように形成された各サブバンド毎の量子化係数を同じ大きさの矩形領域であるコードブロックに分割する。コードブロックのサイズは通常６４×６４または３２×３２であるが、図３（Ｂ）の例では、説明の都合上、４×３のサイズで、計１２個の量子化係数からなるコードブロックとしている。この図３（Ｂ）に示すコードブロックは、図３（Ｃ）に示すように、符号のビットプレーンと絶対値のビットプレーンとに展開される。ビットプレーン数検出器１０４は、コードブロック毎にゼロビットプレーン数を検出する。ここで、ゼロビットプレーン数とは、全ての係数ビットの値が０であるビットプレーンが最上位ビット（ＭＳＢ：Most Significant Bit)側に幾つあるかを表したものである。例えば図３（Ｃ）の場合、ゼロビットプレーン数は２である。そして、ゼロビットプレーン削除器１０５は、コードブロックからゼロビットプレーンを削除する。

ビットモデリング器１０６は、ゼロビットプレーンを含まないコードブロックについてビットモデリングを行い、ＭＱシンボルとＭＱコンテキストとの組を生成する。ＭＱ符号化器１０７は、ＭＱシンボルとＭＱコンテキストとの組をＭＱ符号化し、ＭＱ符号を生成する。最後に、コードストリーム生成器１０８は、ＭＱ符号とゼロビットプレーン数とからコードストリームを生成して出力する。

［ＪＰＥＧ２０００方式の画像復号装置の概略構成］
次に、このコードストリームをＪＰＥＧ２０００方式に従って復号して復号画像を生成する画像復号装置の概略構成を図４のブロック図に示す。

図４に示す画像復号装置２００において、コードストリーム解析器２０１は、入力されたコードストリームを解析してＭＱ符号とゼロビットプレーン数とを抽出する。ＭＱ復号器２０２は、ビットモデリング器２０３から与えられるＭＱコンテキストを用いてＭＱ符号を復号し、ＭＱシンボルを生成する。

ビットモデリング器２０３は、ＭＱシンボルに基づいてゼロビットプレーンを含まないコードブロックを構成し、ゼロビットプレーン付加器２０４は、ゼロビットプレーンを含まないコードブロックに対してゼロビットプレーンを付加する。フレーム化器２０５は、ゼロビットプレーンを含むコードブロックをサブバンド毎に纏めてサブバンド毎の量子化係数を生成する。逆量子化器２０６は、フレーム化器２０５からのサブバンド毎の量子化係数を逆量子化してサブバンド毎のウェーブレット係数を生成する。最後に、逆ウェーブレット変換器２０７は、サブバンド毎のウェーブレット係数に対して逆ウェーブレット変換を施し、復号画像を生成する。

＜特許文献２に記載の画像比較装置＞
［画像比較装置の概略構成及び動作］
ここで、上記特許文献２（特開２００６−２８５６１５号公報）に記載された画像比較装置の概略構成を図５に示す。この画像比較装置３０１は、一方の端子から入力された、上記ＪＰＥＧ２０００方式に従って符号化して生成されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うものである。

この画像比較装置３０１において、コードストリームは、符号化パラメータ抽出器３１０と、コードストリーム特徴量抽出器３２０とに入力される。一方、特定画像は、画像特徴量抽出器３３０に入力される。

符号化パラメータ抽出器３１０は、コードストリームの符号化パラメータを抽出し、この符号化パラメータを画像特徴量抽出器３３０内のウェーブレット変換器３３１、量子化器３３２、コードブロック化器３３３に供給する。この符号化パラメータとしては、例えばウェーブレット変換の部分では、フィルタの種類や、ウェーブレット変換の回数である。また、量子化の部分では、量子化ステップの大きさが挙げられ、コードブロック化の部分では、コードブロックの大きさである。

コードストリーム特徴量抽出器３２０は、コードストリーム解析器３２１を有し、このコードストリーム解析器３２１は、コードストリームを解析してコードブロック毎のゼロビットプレーン数を抽出する。

画像特徴量抽出器３３０は、ウェーブレット変換器３３１、量子化器３３２、コードブロック化器３３３及びゼロビットプレーン数検出器３３４を有する。この画像特徴量抽出器３３０は、コードストリームの符号化パラメータに基づいて、特定画像のコードブロック毎のゼロビットプレーン数を検出する。具体的に、ウェーブレット変換器３３１は、特定画像に対してウェーブレット変換を施してサブバンド毎のウェーブレット係数を生成し、量子化器３３２は、サブバンド毎のウェーブレット係数を量子化して量子化係数を生成する。コードブロック化器３３３は、サブバンド毎の量子化係数をコードブロックに分割すると共に、コードブロック毎の量子化係数をビットプレーンに展開し、ゼロビットプレーン数検出器３３４は、コードブロック毎のゼロビットプレーン数を検出する。

比較器３４０は、コードストリーム解析器３２１から供給されたゼロビットプレーン数とゼロビットプレーン数検出器３３４から供給されたゼロビットプレーン数とを比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。

この比較器３４０における比較は、図６に示すように、同一位置にあるコードブロック同士で比較して、一致か否かの判定結果を出力する。

この比較器３４０における比較方法を含めて、画像比較装置３０１の処理について説明する。先ず、符号化パラメータ抽出器３１０はコードストリームの符号化パラメータを抽出する。この符号化パラメータに基づいて、画像特徴量抽出器３３０内のウェーブレット変換器３３１、量子化器３３２、コードブロック化器３３３は、特定画像に対してウェーブレット変換、量子化を施し、コードブロックに分割する。

次に、コードストリームに未処理のコードブロックがあるか否かを判別し、未処理のコードブロックがある場合には、コードストリームの次の未処理のコードブロックを設定し、該未処理のコードブロックに対応する特定画像のコードブロックを設定する。そして、これらの対応するコードストリームのコードブロックと特定画像のコードブロックの各ゼロビットプレーン数を比較し、ゼロビットプレーン数が一致しているか否かを判別する。ゼロビットプレーン数が一致していない場合には、コードストリームと特定画像とが不一致であると判定し、ゼロビットプレーン数が一致している場合には、さらに次の未処理のコードブロックがあるか否かを判別する。一方、未処理のコードブロックがない場合、すなわち全てのコードブロックのゼロビットプレーン数が一致と判定された場合には、コードストリームと特定画像とが一致していると判定する。

このように、上記特許文献２に記載の画像比較装置３０１によれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士でゼロビットプレーン数を比較している。そして、全てのコードブロックでゼロビットプレーン数が一致するか否かにより、コードストリームの符号化前の画像と特定画像との一致判定（同定）を行うことができる。この場合、コードストリームからはゼロビットプレーン数を抽出するのみで完全に復号することがないため、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になる。

［改善が望まれる点］
ところで、ＪＰＥＧ２０００規格においては、量子化ステップサイズΔ_ｂは、下記の（式１）によって定義される。この（式１）において、Ｒ_ｂは画像信号のダイナミックレンジ、ｂはサブバンド、ε_ｂは指数値、μ_ｂは仮数値を示す。同様に、最大許容ビットプレーン数Ｍ_ｂは下記の（式２）によって定義される。

Δ_ｂ＝２^ＲＥ（１＋μ_ｂ／２^１１） ・・・（式１）
Ｍ_ｂ＝Ｇ＋ε_ｂ−１ ・・・（式２）
ただし、ＲＥ＝Ｒ_ｂ・ε_ｂ

これより、量子化ステップサイズの値が変われば、その因子の１つであるε_ｂが変わるので、Ｍ_ｂの値も変わる。従って、ＪＰＥＧ２０００エンコード時の量子化パラメータの値の違いによって、全ビットプレーン数が変化することになる。

上記図３は、ウェーブレット変換後に生成されるサブバンド、コードブロック、ビットプレーンの関係を図示したものである。コードブロックのサイズは通常６４×６４または３２×３２であるが、上記図３の例では、説明の都合上４×３としている。量子化係数値は、符号（±）と絶対値情報とに分けられ、後者は２進数表現によって生成されるビットプレーンに展開される。

ＭＳＢ（Most Significant Bit）からＬＳＢ（Least Significant Bit）に至るビットプレーンの中で、すべての係数値が０であるビットプレーンをゼロビットプレーンと呼ぶ。従って上記図３の場合ではゼロビットプレーン数＝２になる。

これに対して、図７は、３つのコードブロック（ＣＢ０、ＣＢ１、ＣＢ２）のＭＳＢからＬＳＢに至る有効ビットプレーン、ゼロビットプレーン、切り捨て後のビットプレーンを図示したものである。図７（Ａ）は最大ビットプレーン数＝Ｍｂの場合で、左のコードブロックから順番に、
ＣＢ０：ゼロビットプレーン（ＺＢＰ）＝１
ＣＢ１：ゼロビットプレーン（ＺＢＰ）＝３
ＣＢ２：ゼロビットプレーン（ＺＢＰ）＝２
となっている。なお、最下位側のビットプレーンは、レート制御の結果、切り捨てられているので、有効ビットプレーンには含まれない。

一方、図７（Ｂ）は最大ビットプレーン数Ｍｂ’＝Ｍｂ＋１、すなわち、図７（Ａ）の場合よりも１つ多い場合を示している。この場合は、ゼロビットプレーン数も自動的にそれぞれ１つ大きな値になる。従って、以上のことから、量子化ステップサイズの値が変わればＭｂの値が変わり、その結果ゼロビットプレーン数も変化することがわかる。

このため、コードストリームと特定画像との両者間で量子化ステップサイズが異なると、ゼロビットプレーン数が異なってしまうため、比較器３４０での比較ができなくなり、上述したような一致判定が行えなくなる。

このような点に鑑み、本発明の実施の形態では、コードストリームと特定画像とを比較する際に、両者間で量子化ステップサイズが異なってゼロビットプレーン数が異なる場合でも、高い精度で比較が行えるようにしている。

すなわち、本発明の実施の形態においては、着目するコードブロックのゼロビットプレーン数とその近傍の（例えば隣接する）１以上のコードブロックのゼロビットプレーン数との相関（例えば差分）を表すベクトル（あるいはベクトル値）を特徴量としている。これは、後述するように、量子化ステップサイズが異なっていても、生成される量子化係数の相関、例えば大小関係は変わらないため、ゼロビットプレーン数の差分を表すベクトルを特徴量とすることにより、高精度の比較が行えるためである。

＜３．第１の実施の形態＞
［第１の実施の形態の概略構成］
以下、本発明に係る画像比較装置の第１の実施の形態について、図８を参照しながら説明する。図８は、本発明の第１の実施の形態となる画像比較装置の概略構成を示すブロック図である。

この図８に示す画像比較装置１は、一方の端子から入力されたコードストリーム５００と、他方の端子から入力された特定画像５０１とを比較し、一致判定（同定）を行うものである。コードストリーム５００は、例えばＪＰＥＧ２０００方式により符号化されて得られたものであり、例えば図９に示すように、ＪＰＥＧ２０００コードストリームのデータベースＤＢに記憶保持されている。本発明の実施の形態は、このデータベースＤＢに記憶保持されているＪＰＥＧ２０００コードストリームの中から、特定画像ＱＵと同一の画像Ｄを検索する、あるいは同定することが目的である。

この画像比較装置１において、コードストリーム５００は、符号化パラメータ抽出部１０と、コードストリーム特徴量抽出部２０とに入力される。一方、特定画像５０１は、特定画像特徴量出力部３０に入力される。この図８に示す画像比較装置と上記図５に示した上記特許文献２に記載の画像比較装置との差異点は、ベクトル算出部２２とベクトル算出部３５とを設けたことである。ベクトル算出部２２からのベクトル５０４とベクトル算出部３５からのベクトル５０９との比較は、上記図６で示したように、同一位置のコードブロック単位に行う。

符号化パラメータ抽出部１０は、コードストリーム５００の符号化パラメータ５０２を抽出し、この符号化パラメータ５０２を特定画像特徴量出力部３０内のウェーブレット変換部３１、量子化部３２、コードブロック化部３３に供給する。ここで、上記符号化パラメータ５０２は、コードブロック毎の量子化係数がどのように作成されているかを示すものである。例えばウェーブレット変換の部分では、フィルタの種類（可逆５−３フィルタ、非可逆９−７フィルタなど）や、ウェーブレット変換の回数（５回、４回など）が挙げられる。また、量子化の部分では、量子化ステップの大きさ（１／１２８、１／６４など）が挙げられ、コードブロック化の部分では、コードブロックの大きさ（縦６４横６４、縦３２横１２８、縦３２横３２など）が挙げられる。

ここで、上記量子化ステップの大きさ（量子化ステップサイズ）については、コードストリームと同一にする必要がない。これは、後述するように、隣接するコードブロックのゼロビットプレーン数の相関を表すベクトル（あるいはベクトル値）を用いて比較を行っているからである。この量子化ステップサイズ以外の符号化パラメータについては、コードストリームを一度解析すればよく、例えば同定処理に先立って抽出しておいてもよい。また、量子化ステップサイズ以外の全ての符号化パラメータが必要ではなく、特定画像５０１を符号化していく途中段階のコードブロック化までを行って、コードブロックのゼロビットプレーン数を求めるために必要なパラメータのみでよい。例えば、ＪＰＥＧ２０００符号化で規定されているビット打ち切りのパラメータは、ゼロビットプレーン数に影響を与えないため不要である。すなわち、符号化パラメータ抽出部１０がコードストリーム５００から抽出して特定画像特徴量出力部３０に供給すべき符号化パラメータは、ゼロビットプレーン数を求めるために必要な符号化パラメータの内の量子化ステップサイズ以外のパラメータとなる。特定画像５０１に対して、コードブロック化までの符号化を行ってゼロビットプレーン数を求める際の量子化ステップサイズとしては、コードストリーム５００の量子化ステップサイズとは異なっても、任意の量子化ステップサイズを適宜用いればよい。

コードストリーム特徴量抽出部２０は、コードストリーム解析部２１及びベクトル算出部２２を有し、コードストリーム解析部２１は、コードストリーム５００を解析してコードブロック毎のゼロビットプレーン数５０３を抽出する。ベクトル算出部２２は、後述するように、隣接するコードブロック同士でゼロビットプレーン数の相関に基づいて、ベクトル（あるいはベクトル値）５０４を算出する。このベクトルとしては、例えば具体的には、着目コードブロックのゼロビットプレーン数と該着目コードブロックに隣接するコードブロックのゼロビットプレーン数との差分を要素（元）とするベクトルを用いることができる。

特定画像特徴量出力部３０は、ウェーブレット変換部３１、量子化部３２、コードブロック化部３３、ゼロビットプレーン数検出部３４及びベクトル算出部３５を有している。この特定画像特徴量出力部３０は、コードストリームの符号化パラメータに基づいて特定画像を符号化する際のコードブロック毎のゼロビットプレーン数を検出し、隣接するコードブロック同士でゼロビットプレーン数の相関によりベクトルを算出する。具体的に、ウェーブレット変換部３１は、特定画像５０１に対してウェーブレット変換を施してサブバンド毎のウェーブレット係数５０５を生成する。量子化部３２は、サブバンド毎のウェーブレット係数５０５を量子化して量子化係数５０６を生成する。この量子化の際の量子化ステップサイズは、上述したように、コードストリーム５００を解析して得られた量子化ステップサイズに等しくする必要はなく、量子化の際に適宜設定すればよい。コードブロック化部３３は、サブバンド毎の量子化係数５０６をコードブロック５０７に分割すると共に、コードブロック毎の量子化係数をビットプレーンに展開する。ゼロビットプレーン数検出部３４は、コードブロック毎のゼロビットプレーン数５０８を検出する。ベクトル算出部３５は、後述するように、隣接するコードブロック同士でゼロビットプレーン数の相関によりベクトル５０９を算出する。

比較部４０は、ベクトル算出部２２から供給されたベクトル５０４とベクトル算出部３５から供給されたベクトル５０９とを比較することで、コードストリームと特定画像との一致判定を行い、判定結果５１０を出力する。

［ベクトル算出の例］
次に、上記ベクトル（あるいはベクトル値）の算出の具体例について、図１０を参照しながら説明する。

図１０は、比較処理を進めている際の処理対象となる着目コードブロック及びその近傍のコードブロックの例を示しており、図１０の中心位置の斜線部の着目コードブロックと、その周囲近傍の８方向で隣接するコードブロックを示している。図中の各コードブロック内の数字は、ゼロビットプレーン数を示している。

ここで、上記図７と共に説明したように、量子化ステップサイズの値が変われば最大ビットプレーン数が変化し、その結果ゼロビットプレーン数も変化する。しかしながら、図７（Ａ）と図７（Ｂ）とを見比べると、隣接するコードブロック同士のゼロビットプレーン数の相関関係は変化していない。すなわち、図７の中央のコードブロックＣＢ１のゼロビットプレーン数に対して、コードブロックＣＢ０のゼロビットプレーン数を引き算すると（−２）、コードブロックＣＢ２のゼロビットプレーン数を引き算すると（−１）になる。この相関関係は、図７の（Ａ）の最大ビットプレーン数＝Ｍｂの場合と、図７（Ｂ）の最大ビットプレーン数Ｍｂ’＝Ｍｂ＋１の場合とで変化していない。このような点を考慮し、着目コードブロックと隣接コードブロックとの間のゼロビットプレーン数の相関関係をベクトルで表し、コードストリームと特定画像とを、両者間で量子化ステップサイズが異なっても比較できるようにしている。

着目コードブロックに隣接するコードブロックとしては、種々の例が考えられるが、図１１（Ａ）〜（Ｃ）には、Case-1、Case-2、Case-3の３つのケースの場合のベクトル算出の具体例を示している。図１１（Ａ）〜（Ｃ）の斜線部のコードブロックが、処理対象となる着目コードブロックである。

ここで、一般に、着目コードブロックのゼロビットプレーン数をＺとし、着目コードブロックの近傍の（例えば隣接する）コードブロックの数をｎ個とし、各隣接コードブロックのゼロビットプレーン数をＺ_１，Ｚ_２，・・・，Ｚ_ｎ−１，Ｚ_ｎとする。このとき、ベクトルＳ_ｎを、
Ｓ_ｎ＝（ｓ_１，ｓ_２，・・・，ｓ_ｎ−１，ｓ_ｎ） ・・・（式３）
で表す。このベクトルＳ_ｎのｉ番目（１≦ｉ≦ｎ）の元（要素）ｓ_ｉは、次の条件式を満たすものとする。

ｓ_ｉ＝１（ｉｆ （Ｚ−Ｚ_ｉ）＞０）
０（ｉｆ Ｚ−Ｚ_ｉ ＝０）
−１（ｉｆ （Ｚ−Ｚ_ｉ）＜０） ・・・（式４）
すなわち、上記ベクトルのｉ番目（１≦ｉ≦ｎ）の元（要素）ｓ_ｉは、着目コードブロックのゼロビットプレーン数Ｚから、ｉ番目の隣接コードブロックのゼロビットプレーン数Ｚ_ｉを減算した値の符号（正のとき１、０のとき０、負のとき−１）に相当する。あるいは、着目コードブロックのゼロビットプレーン数Ｚに対する、ｉ番目の隣接コードブロックのゼロビットプレーン数Ｚ_ｉの大小判定結果とも考えられる。この他、隣接するコードブロック同士のゼロビットプレーン数の相関を表すベクトルとしては、例えば、差分値そのものを上記ベクトルの元（要素）としてもよい。

上記図１１の３つのケースCase-1、Case-2、Case-3において、Case-1の場合は、着目コードブロックのゼロビットプレーン数と図中右隣のコードブロックのゼロビットプレーン数との相関をベクトルＳ_１で表している。Case-2の場合は、着目コードブロックのゼロビットプレーン数と図中上下左右で隣接する４つのコードブロックのゼロビットプレーン数との相関をベクトルＳ_４で表している。Case-3の場合は、着目コードブロックのゼロビットプレーン数と図中上下左右及び斜め方向で隣接する８つのコードブロックのゼロビットプレーン数との相関をベクトルＳ_８で表している。

図１１の場合の各ケースCase-1、Case-2、Case-3における各ベクトルＳ_１、Ｓ_４、Ｓ_８は、それぞれ次のようになる。
（１）Case-1：
着目コードブロックのゼロビットプレーン数（Ｚ）と図中右隣のコードブロックのゼロビットプレーン数（Ｚ_１）との間で大小判定を行うと、Ｓ_１＝３−３＝０になる。
（２）Case-2：
上記Case-1と同様にして、着目コードブロックのゼロビットプレーン数（Ｚ）と、周囲（上下左右）の４個のコードブロックのゼロビットプレーン数（Ｚ_１〜Ｚ_４）との大小判定によって、Ｓ_４＝（０，−１，１，１）が得られる。
（３）Case-3：
上記の各ケースと同様の計算を、周囲８方向の８個のコードブロックのゼロビットプレーン数（Ｚ_１〜Ｚ_８）に対して行うと、Ｓ_８＝（０，１，−１，−１，１，０，１，１）が得られる。

比較部４０における比較としては、上記各ケースCase-1、Case-2、Case-3のいずれか１つ、あるいは２つ以上のベクトルを用い、コードストリームと特定画像との同一位置にある着目コードブロック同士でベクトルを比較する。そして、コードストリーム及び特定画像における全てのコードブロックについて、あるいは一定以上のコードブロックについて、上記ベクトルが一致する場合に、該コードストリームの画像は上記特定画像と同一であると判定（同定）する。

［画像比較装置の動作説明］
以下、上記図８の画像比較装置１の比較部４０における比較方法を含めて、画像比較装置１の同定処理の一例について、図１２のフローチャートを参照しながら説明する。ここで、図８のコードストリーム５００は、例えば上記図９に示すようなＪＰＥＧ２０００コードストリームが記憶保持されたデータベースＤＢから読み出して供給されるものである。図８の画像比較装置１は、例えばこのようなデータベースＤＢに記憶保持されたＪＰＥＧ２０００コードストリームの中から、上記特定画像と同一の画像を検索するために用いられるものである。

先ず、図８のコードストリーム５００の符号化パラメータ５０２が、符号化パラメータ抽出部１０により抽出され、特定画像特徴量出力部３０のウェーブレット変換部３１、量子化部３２、コードブロック化部３３に供給される。このコードストリーム５００から抽出すべき符号化パラメータ５０２としては、ＪＰＥＧ２０００符号化方式における、量子化ステップサイズを含まない符号化パラメータのみでよい。量子化ステップサイズを含まない符号化パラメータとしては、ＤＷＴフィルタ、ＤＷＴ分解レベル数、コードブロックサイズなどが挙げられる。

図１２のステップＳ１において、図８のコードストリーム特徴量抽出部２０が、コードストリーム５００の特徴量としてのベクトル５０４を出力する。すなわち、コードストリーム特徴量抽出部２０のコードストリーム解析部２１がコードストリーム５００を解析して抽出されたコードブロック毎のゼロビットプレーン数５０３に基づいて、ベクトル算出部２２が算出する。このベクトル５０４は、上述したように、入力されたコードストリームの処理対象となる着目コードブロックのゼロビットプレーン数と、この着目コードブロックに隣接するコードブロックのゼロビットプレーン数との相関を表す特徴量である。ここで、ＪＰＥＧ２０００のコードストリームは、複数のパケットから構成され、各パケットはパケットヘッダとパケットボディから構成されている。パケットヘッダには、各コードブロックの符号化パス数、ゼロビットプレーン数などの情報が格納されている。すなわち、コードブロックのゼロビットプレーン数は、パケットヘッダを解析するだけで復号することなく取得可能である。

次のステップＳ２においては、図８の特定画像特徴量出力部３０が、特定画像５０１について、上記コードストリームの着目コードブロックと同一位置のコードブロックのベクトル５０９を出力する。すなわち、符号化パラメータ抽出部１０により抽出されたコードストリーム５００の符号化パラメータ５０２に基づいて、先ず、ウェーブレット変換部３１、量子化部３２、コードブロック化部３３が、特定画像５０１をＪＰＥＧ２０００符号化する。コードブロック化部３３からのコードブロック５０７がゼロビットプレーン数検出部３４に送られ、ゼロビットプレーン数検出部３４は、コードブロック毎のゼロビットプレーン数５０８を検出する。そして、ベクトル算出部３５が、隣接するコードブロック同士でゼロビットプレーン数の相関によりベクトル５０９を算出し、特定画像５０１の特徴量として、比較部４０に出力する。

図１２の次のステップＳ３において、コードストリーム５００の着目コードブロックのベクトル５０４と、特定画像５０１の同一位置のコードブロックのベクトル５０９とを比較し、一致しているか否かを判別する。一致している場合（ＹＥＳ）には、ステップＳ４に進み、一致していない場合（ＮＯ）には、ステップＳ６に進んで、後述するようにコードストリームの画像は上記特定画像と不一致であると判定する。

ステップＳ４では、上記コードストリームの画像内にまだ未処理コードブロックがあるか否かを判別し、未処理コードブロックがある場合（ＹＥＳ）には、ステップＳ５に進む。未処理コードブロックが無くなった場合（ＮＯ）、すなわち処理すべき全てのコードブロックについてのベクトルの一致判別が終了した場合には、ステップＳ７に進んで、後述するようにコードストリームの画像は上記特定画像に一致すると判定（同定）する。

ステップＳ５では、コードストリームの画像内の次の未処理コードブロックに移って、これを新たな着目コードブロックとして、上記ステップＳ１に戻る。ステップＳ１では、コードストリームの画像内での更新された着目コードブロックについて、上述したような隣接コードブロックとの間のゼロビットプレーン数の相関（差分）を表すベクトルを算出する。ステップＳ２では、特定画像内での更新された着目コードブロックと同じ位置のコードブロックについてのベクトルを算出する。ステップＳ３以降では、上述と同様な一致判定（同定）処理を進める。

上記ステップＳ１、Ｓ２においては、毎回コードストリームの解析や、特定画像のコードブロック化などを行う必要はなく、処理対象となる着目コードブロックについてのベクトル５０４、５０９を算出する処理のみを行うようにしてもよい。例えば、画像内で処理すべき全てのコードブロックについてのゼロビットプレーン数を先に求めておくようにしたり、サブバンド毎に全てのコードブロックのゼロビットプレーン数を予めまとめて計算しておくようにしてもよい。

そして、ステップＳ３で、一つでもベクトルが不一致のコードブロックが検出されれば、残りのコードブロックについての処理を進めることなく、ステップＳ６に進んで、コードストリームの画像は上記特定画像と不一致であると判定される。

これに対して、ステップＳ４で、未処理コードブロックが無くなった場合は、コードストリームの画像内で処理すべき全てのコードブロックのベクトルについて、特定画像の対応する位置のコードブロックのベクトルと完全に一致した場合に相当する。従って、ステップＳ７に進んで、当該コードストリームの画像は特定画像と同一であると判定（同定）する。

上記ステップＳ３におけるコードブロック及び特定画像の各ベクトル５０４と５０９との一致、不一致の判別について説明する。上記図１１と共に説明したようなｎ個の元（要素）ｓ_ｉ（１≦ｉ≦ｎ）から成るベクトルＳ_ｎの場合、全ての要素ｓ_ｉが完全に一致していれば、各ベクトル５０４、５０９は一致とする。

ここで、上記（式４）に示したように、ベクトルＳ_ｎのｉ番目（１≦ｉ≦ｎ）の元（要素）ｓ_ｉは、着目コードブロックのゼロビットプレーン数Ｚからｉ番目の隣接コードブロックのゼロビットプレーン数Ｚ_ｉを減算した値の符号に相当する。すなわち、減算した値が正のとき１、減算した値が０のとき０、減算した値が負のとき−１の値をとる。この場合、要素ｓ_ｉの一致は、コードストリームの画像と特定画像とで、ベクトルの要素ｓ_ｉが互いに完全に等しい場合を条件としてもよいが、どちらか一方が０であれば、一致と判定するようにしてもよい。すなわち、ベクトルの要素ｓ_ｉの一方が−１で他方が０の場合や、一方が０で他方が１の場合なども、一致と判定する。これは、ｓ_ｉ＝０となった場合は、同じ原画像を異なる量子化ステップサイズで量子化した際に、ゼロビットプレーンの差分（ｓ_ｉ）が変わる可能性があることを考慮したものである。一方がｓ_ｉ＝０の場合を一致とみなすことで、同定漏れを防ぐことが可能となる。

以上のような要素ｓ_ｉの一致条件の下に、コードブロックのベクトルと特定画像の対応する位置のコードブロックのベクトルとの全ての要素ｓ_ｉが完全に一致するとき、各ベクトルは一致していると判定する。

ところで、未処理のコードブロックを選択する順番（着目コードブロックの選択順序）は任意で構わないが、コードストリーム中で並んでいる順番と同じにすると処理が単純となり、好ましい。コードストリーム中で並んでいる順番は、通常、低域のサブバンドから高域のサブバンドへの順、例えばウェーブレット変換を３回行っている場合には、図１３に示すようになる。この図１３の例では、最低域であるＬＬ−３のサブバンドから始め、ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３、ＨＬ−２、ＬＨ−２、ＨＨ−２、ＨＬ−１、ＬＨ−１、ＨＨ−１の順である。また、各サブバンド内ではラスタスキャン順である。一般的な画像の場合には、低域のサブバンドから高域のサブバンドへの順番で選択することにより、少ないループ回数で不一致の判定が行える。ただし、画像のインタレース成分に特徴がある場合、インタレース成分は図１３のＬＨ−１で示されるサブバンドに現れるため、このサブバンド内のコードブロックをより早く処理するような順番で選択することにより、少ないループ回数で不一致の判定が行える。

また、上述の説明では、全てのコードブロックについてベクトルを比較したが、必ずしも全てのコードブロックについて比較する必要はない。上記図１３のように、ウェーブレット変換を３分割して１０個のサブバンドを形成している例では、例えば、低域の４つのサブバンド（ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３）内での、マッチングを取るようにしてもよい。この場合、ウェーブレット変換の特徴から低域成分に多くの情報が集中していることを利用でき、画面全体に比べて圧倒的にコードブロック数が少ないので、高速にかつ精度低下を抑えながら比較の計算を終了することができる。

このように、本実施の形態における画像比較装置１によれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士でベクトルを比較し、処理すべき全てのコードブロックでベクトルが一致するか否かにより一致判定を行っている。従って、量子化ステップサイズが異なっていても、高精度に画像の一致判定（同定）が行える。特に、コードストリームからはゼロビットプレーン数を抽出してベクトルを算出するのみで、完全に復号する必要がないため、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。中でも、コードストリームからゼロビットプレーン数を抽出するには、ヘッダ解析のみでよく、ＭＱ符号を復号する必要がないため、処理の簡単さの点でも処理速度の点でも、非常に有利である。

＜４．第２の実施の形態＞
［第２の実施の形態の概略構成］
本発明に係る画像比較装置の第２の実施の形態について、図１４を参照しながら説明する。

上記図８に示す本発明の第１の実施の形態においては、コードストリーム５００から符号化パラメータを抽出して、抽出した符号化パラメータ（量子化ステップを含まない）を特定画像５０１の符号化時にそのまま利用する例である。しかしながら、予めコードストリーム５００の符号化パラメータが既知の場合には、図１４に示すように、符号化パラメータ出力部３６からのパラメータ情報を特定画像特徴量出力部３０Ａの各部分に供給する構成とすればよい。

すなわち、図１４に示す本発明の第２の実施の形態となる画像比較装置１Ａは、特定画像特徴量出力部３０Ａ内に、予めコードストリーム５００を解析して得られた符号化パラメータ（既設定値）５０２を出力する符号化パラメータ出力部３６を有している。この符号化パラメータ出力部３６からの符号化パラメータ（既設定値）５０２を、特定画像特徴量出力部３０Ａ内のウェーブレット変換部３１、量子化部３２、コードブロック化部３３に供給している。

符号化パラメータとしては、例えばウェーブレット変換の部分では、フィルタの種類や、ウェーブレット変換の回数が挙げられ、量子化の部分では、量子化ステップの大きさが挙げられ、コードブロック化の部分では、コードブロックの大きさが挙げられる。ただし、本発明においては、前述したように、量子化ステップの大きさをコードストリーム５００と同じにする必要がない。このため、例えば上記図９に示したようなＪＰＥＧ２０００コードストリームのデータベースＤＢを構築する際に、量子化ステップを含まない符号化パラメータを予め設定あるいは規格化しておくことにより、この既定のパラメータをそのまま使用して検索が行える。すなわち、上記図９のデータベースＤＢを構築するための画像を符号化する際に、予め設定あるいは規格化された符号化パラメータ（量子化ステップを含まない）を用いてＪＰＥＧ２０００符号化する。量子化ステップについては、符号化時に適宜設定すればよい。このようにして構築されたデータベースＤＢのコードストリームの量子化ステップ以外の符号化パラメータは、既設定値そのままであるから、コードストリームを解析しなくとも符号化パラメータ（量子化ステップ以外）を得ることができる。この他、符号化の際の量子化ステップ以外の符号化パラメータが予め分かっているコードストリームや、先にパラメータ解析が終了しているコードストリームの場合には、比較の際にコードストリームを解析する必要がない。図１４の符号化パラメータ出力部３６は、このような既知の符号化パラメータ（量子化ステップ以外）を出力して、特定画像特徴量出力部３０Ａ内のウェーブレット変換部３１、量子化部３２、コードブロック化部３３に供給するものである。

コードストリーム特徴量抽出部２０は、前記第１の実施の形態と同様に、コードストリーム解析部２１及びベクトル算出部２２を有している。コードストリーム解析部２１は、コードストリーム５００を解析してコードブロック毎のゼロビットプレーン数５０３を抽出し、ベクトル算出部２２は、隣接するコードブロック同士でゼロビットプレーン数の相関を表すベクトル５０４を算出する。

特定画像特徴量出力部３０Ａは、特定画像５０１をウェーブレット変換、量子化、コードブロック化するためのウェーブレット変換部３１、量子化部３２、コードブロック化部３３を有している。これらのウェーブレット変換部３１、量子化部３２、コードブロック化部３３には、符号化パラメータ出力部３６からの量子化ステップを含まない既知の符号化パラメータが供給される。なお、量子化部３２における量子化時の量子化ステップは、適宜設定される。コードブロック化部３３からのコードブロックはゼロビットプレーン数検出部３４に送られ、コードブロック毎にゼロビットプレーン数５０８が検出される。ゼロビットプレーン数検出部３４からのゼロビットプレーン数５０８は、ベクトル算出部３５に送られ、隣接するコードブロック同士でゼロビットプレーン数の相関によりベクトル５０９が算出される。

比較部４０は、前記第１の実施の形態と同様に、ベクトル算出部２２から供給されたベクトル５０４とベクトル算出部３５からのベクトル５０９とを比較し、コードストリームと特定画像との一致判定を行い、判定結果５１０を出力するものである。

［第２の実施の形態の動作］
図１４に示す本発明の第２の実施の形態の画像比較装置１Ａの場合には、検索対象となるデータベースなどのコードストリームの符号化の際の量子化ステップを含まない符号化パラメータが予め分かっており、符号化パラメータ出力部３６から供給される。従って、上記第１の実施の形態のように、入力されたコードストリーム５００を解析して符号化パラメータを抽出する必要がない。特定画像特徴量出力部３０Ａ内のウェーブレット変換部３１、量子化部３２、コードブロック化部３３には、符号化パラメータ出力部３６から量子化ステップ以外の既知の符号化パラメータを読み出して供給している。

コードストリーム特徴量抽出部２０は、コードストリーム５００の特徴量としてのベクトル５０４を出力する。このベクトル５０４は、前述したように、入力されたコードストリームの処理対象となる着目コードブロックのゼロビットプレーン数と、この着目コードブロックに隣接する１以上のコードブロックのゼロビットプレーン数との相関としての大小関係を表す特徴量である。

特定画像５０１は、特定画像特徴量出力部３０Ａにより、上記既設定値の符号化パラメータ（量子化ステップを含まない）を用いて、ウェーブレット変換、量子化、コードブロック化が施される。量子化時の量子化ステップは、コードストリーム５００と同じにする必要がなく、適宜設定すればよい。ゼロビットプレーン数検出部３４は、コードブロック化部３３からのコードブロック毎にゼロビットプレーン数５０８を検出する。ベクトル算出部３５は、コードストリーム特徴量抽出部２０において現在処理対象とされている着目コードブロックと同じ位置のコードブロックについてのベクトル５０９を算出する。

比較部４０では、コードストリーム５００の着目コードブロックのベクトル５０４と、特定画像５０１の同一位置のコードブロックのベクトル５０９とを比較し、一致しているか否かを判別する。一致している場合（ＹＥＳ）には、上記コードストリームの画像内に未処理コードブロックがあるか否かを判別し、次の未処理コードブロックを新たな着目コードブロックとして未処理コードブロックが無くなるまで上記比較処理を繰り返す。ベクトル５０４と５０９が一致していない場合（ＮＯ）には、コードストリームの画像は上記特定画像と不一致であると判定する。そして、コードストリームの画像内で処理すべき全てのコードブロックのベクトルについて、特定画像の対応する位置のコードブロックのベクトルと完全に一致した場合には、当該コードストリームの画像は特定画像と同一であると判定（同定）する。

以上説明した本発明の第２の実施の形態の画像比較装置１Ａによれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士でベクトルを比較し、処理すべき全てのコードブロックでベクトルが一致するか否かにより、画像の一致判定が行える。このとき、入力されたコードストリームからはゼロビットプレーン数を抽出してベクトルを算出するのみで、完全に復号する必要がないのみならず、コードストリームを解析して符号化パラメータを抽出する必要もない。また、量子化ステップサイズが異なっていても、高精度に一致判定（同定）が行える。従って、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になると共に、符号化パラメータを抽出する処理も不要になり、処理の簡単さの点でも処理速度の点でもさらに有利である。

＜５．第３の実施の形態＞
［第３の実施の形態の概略構成］
図１５は、本発明の第３の実施の形態となる画像比較装置１Ｂの概略構成を示すブロック図である。

この図１５に示す画像比較装置１Ｂは、上記第２の実施の形態の画像比較装置１Ａのように、特定画像の特徴量を得る際に既知（既設定値）の符号化パラメータを用いるのみならず、特定画像も比較前に既知である場合に適用可能なものである。すなわち、検索クエリとしての特定画像が例えば番組のタイトル画面のように予め分かっている場合には、この既知の特定画像を、比較処理に先立って、上記既知の符号化パラメータを用いて、少なくともコードブロック化まで符号化を進めておくことができる。図１５の特定画像特徴量出力部３０Ｂは、この予めコードブロック化された特定画像の各コードブロック毎のゼロビットプレーン数を保存し、特定画像のゼロビットプレーン数出力部３７から出力するようにしている。特定画像のゼロビットプレーン数出力部３７からの各コードブロック毎のゼロビットプレーン数５０８は、ベクトル算出部３５に送られる。ベクトル算出部３５は、上記第１、第２の実施の形態と同様に、隣接するコードブロック同士でゼロビットプレーン数の相関を表すベクトル５０９を算出する。この第３の実施の形態の画像比較装置１Ｂにおける他の構成及び動作は、上述した第１、第２の実施の形態と同様であるため、対応する部分に同じ指示符号を付して説明を省略する。

このような第３の実施の形態によれば、上述した第２の実施の形態と同様に、符号化されたコードストリームを完全に復号する必要がなく、コードストリームを解析して符号化パラメータを抽出する必要もない。また、量子化ステップサイズが異なっていても、高精度に特定画像との一致判定（同定）が行える。さらに、この第３の実施の形態によれば、既知の特定画像から予め各コードブロック毎のゼロビットプレーン数を求めているため、検索のための比較を行う際に、特定画像をコードブロック化してゼロビットプレーン数を算出する処理が不要となる。従って、特定画像の一致判定のための比較の処理時間を大幅に減らすことができる。

ここで、図１５に示す画像比較装置１Ｂにおいては、特定画像の各コードブロック毎のゼロビットプレーン数を求めて、ゼロビットプレーン数出力部３７に保存しているが、特定画像の各コードブロック毎のベクトルを算出して保存するようにしてもよい。この場合には、コードストリーム特徴量抽出部２０から出力される着目コードブロックの上述したようなベクトルに対して、特定画像の同じ位置のコードブロックのベクトルをベクトル保存部から読み出して、比較部４０で比較するように構成すればよい。

＜６．第４の実施の形態＞
［第４の実施の形態の概略構成］
次に、本発明の第４の実施の形態として、複数のコードストリームの中から特定画像に一致する画像のコードストリームを検索する画像検索装置について、図１６を参照しながら説明する。

図１６は、本発明の第４の実施の形態としての画像検索装置３を示すブロック図である。この画像検索装置３は、一方の端子から入力された映像コンテンツとしてのコードストリーム列５５０から、他方の端子から入力された特定画像５０１と一致するコードストリームを検索するものである。ここでコードストリーム列５５０とは、映像コンテンツとしての動画の各フレームの画像や、画像データベースの複数の画像を、ＪＰＥＧ２０００方式で符号化したコードストリームの集合のことである。

この画像検索装置３において、コードストリーム列５５０はコードストリーム５００とそのインデクス５６０との組に分離される。コードストリーム５００は、上記第１〜第３の実施の形態で説明したような画像比較装置１（あるいは１Ａ，１Ｂ）に入力され、インデクス５６０は選択部６０に入力される。特定画像５０１は、画像比較装置１（あるいは１Ａ，１Ｂ）に入力される。

画像比較装置１は、第１の実施の形態と同様のものであり、コードストリームと特定画像との一致判定を行い、判定結果を選択部６０に供給する。画像比較装置１の代わりに、上記第２、第３の実施の形態の画像比較装置１Ａ，１Ｂのいずれを用いてもよい。なお、上記第３の実施の形態の画像比較装置１Ｂの場合は、既に特定画像のゼロビットプレーン数が図１５のゼロビットプレーン数出力部３７に保存されているため、比較処理時に特定画像５０１を入力する必要がないことは勿論である。選択部６０は、特定画像と一致するものと判定されたコードストリームのインデクスを出力する。

このような構成の画像検索装置３を用いて、コードストリーム列５５０から特定画像５０１と一致する画像のコードストリームを検索する処理について、図１７のフローチャートを参照しながら説明する。

先ず、図１７のステップＳ３１において、コードストリーム列内に未処理のコードストリームがあるか否かを判別し、ある場合にはステップＳ３２において、次の未処理のコードストリームＳを設定する。次にステップＳ３３において、コードストリームＳと特定画像とが一致するか否かを判別し、一致しない場合にはステップＳ３１に戻り、一致する場合には、ステップＳ３４でインデクスを出力した後、ステップＳ３１に戻る。一方、ステップＳ３１において未処理のコードストリームがない場合には、処理を終了する。

このように、図１６に示す第４の実施の形態における画像検索装置３によれば、コードストリーム列５５０から特定画像５０１と一致するコードストリームを検索し、そのインデクスを出力することができる。特に、第１〜第３の実施の形態と同様の画像比較装置１，１Ａ，１Ｂを用いており、コードストリーム列を構成する各コードストリームと特定画像との一致判定を行う際に、コードストリームからゼロビットプレーン数を抽出し、ベクトルを算出するのみでよい。すなわち、コードストリームを完全に復号する必要がないため、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。また、量子化ステップサイズが異なっていても、高精度に一致判定が行える。特に、量子化ステップサイズ以外の符号化パラメータはコードストリーム列を通じて殆ど変わることがない。このため、画像比較装置１，１Ａの内部のウェーブレット変換部３１、量子化部３２、コードブロック化部３３、ゼロビットプレーン数検出部３４をコードストリーム毎に動作させる必要がない。従って、少ない処理量で高精度の検索を行うことが可能である。

ここで、上記特許文献２（特開２００６−２８５６１５号公報）に記載された画像比較装置を用いて、異なる量子化ステップサイズにより圧縮符号化された複数のコードストリームから特定画像に一致するコードストリームを検索する場合を考察する。この場合には、入力されるコードストリーム毎に、量子化ステップサイズを抽出し、抽出された量子化ステップサイズを用いて特定画像を符号化（少なくともコードブロック化まで）する必要がある。これに対して本発明の実施の形態によれば、量子化ステップサイズをコードストリームの量子化ステップサイズに一致させる必要がないため、コードストリーム毎に特定画像をコードブロック化まで符号化する必要がなく、処理が簡略化できる。例えば、コードストリーム列に対して、量子化ステップサイズ以外の共通の符号化パラメータを用いて、特定画像をコードブロック化してコードブロック毎のゼロビットプレーン数を一度求めておけば、コードストリーム毎に流用することができる。特定画像が予め定まっていれば、上記第３の実施の形態のように、特定画像のゼロビットプレーン数出力部３７からコードブロック毎に出力することで、さらに処理を簡略化することも可能である。

＜７．実施の形態の実験例（シミュレーション例）＞
［実施の形態の画像比較装置の実験条件］
次に、上述した本発明の実施の形態の画像比較装置の実験例（シミュレーション例）について説明する。

以下の実験例（シミュレーション例）では、解像度１９２０（Ｈ）×１０８０（Ｖ）、ＲＧＢ各８ビットのフォーマットで、フレーム数が１５６９１フレームから成る動画に対して、３０００フレーム目を特定画像（クエリ画像）として判定を行っている。先ず、上記動画を、ウェーブレット変換フィルタとして、ＤＷＴ分解レベル数５（９×７フィルタ）を使用し、量子化のベースステップサイズを１／２５６とし、コードブロックサイズを３２×３２としてＪＰＥＧ２０００方式で符号化した。この符号化データが、例えば図８のコードストリーム５００として画像比較装置１に供給される。図８の特定画像５０１としては、この動画の３０００フレーム目を用いている。この特定画像５０１を、ウェーブレット変換部３１、量子化部３２、コードブロック化部３３で符号化処理する際に、量子化ステップサイズ以外の符号化パラメータを上記動画の符号化パラメータと同じにしている。すなわち、ウェーブレット変換部３１、コードブロック化部３３での符号化パラメータを、ＤＷＴ分解レベル数５（９×７フィルタ）、コードブロックサイズを３２×３２としている。これに対して、量子化部３２での量子化のベースステップサイズは、上記動画の符号化パラメータとは異なる値、例えば、１／２００、１／３００としている。これは、上記図１４に示した第２の実施の形態の場合も同様である。また、比較判定処理に先立って特定画像５０１の各コードブロック毎のゼロビットプレーン数を求めて、図１５の特定画像のゼロビットプレーン数出力部３７に保存しておけば、上記第３の実施の形態の場合も同様の実験（シミュレーション）が行える。

上述したような条件の下に、本発明の実施の形態の画像比較装置を用いて動画のコードストリームから上記特定画像（クエリ画像）を検索するための一致判定（同定）を行った場合の判定結果を表１に示す。

この表１において、ゼロビットプレーン数との相関を表すベクトルとしては、上記図１１（Ａ）〜（Ｃ）で説明したベクトルＳ_１、Ｓ_４、Ｓ_８を用いている。また、比較例として、上記特許文献２（特開２００６−２８５６１５号公報）に記載された画像比較装置の場合の判定結果も示している。上記シミュレーションの条件によれば、使用した符号化画像には６３２１個のコードブロックがある。従って、一致率は、
（同一コードブロックと判定された数）／６３２１
となる。

［判定結果の考察］
上記表１の判定結果によれば、上記ベクトルＳ_１、Ｓ_４、Ｓ_８のいずれを用いた場合でも同定漏れ無く一致判定が行えている。これに対して、上記特許文献２に記載された画像比較装置の場合には、量子化ステップサイズが異なるとゼロビットプレーン数が異なることから、同定漏れが生じている。

なお、表１によれば、誤同定されている画像が約１４０フレームあるが、これらの画像は真っ白や真っ黒などの単一の輝度値を持つ画像である。ここで、コードブロックの全てのビットプレーンがゼロビットプレーンとなって、コードブロックに符号化すべきデータが無い場合を、“not inculuded”なる特殊な状態として取り扱う。上記単一の輝度値を持つ画像の場合には、ゼロビットプレーン数＝“not inculuded”となるコードブロックが大半となり、判定に使用できるコードブロック数が少なくなってしまう。これが、異なる画像であるにもかかわらず同一画像として誤判定された原因と考えられる。

誤同定を減らすには、上記のような“not inculuded”のコードブロックを判定に使用しないことが好ましい。例えば、ベクトルの一致判定の条件として、ベクトルの要素ｓ_ｉの値（−１，０，１）について、どちらか一方が０であれば一致と判定するようにしていたが、互いに完全に等しい場合を条件とすることが挙げられる。この場合、同定漏れを防止するために、後述するような類似度計算と組み合わせて、類似度が一定の閾値を超えたものを一致した画像と判定することが挙げられる。

＜８．第５の実施の形態（類似度判定）＞
［第５の実施の形態の概略構成］
ところで、上述した第１〜第３の実施の形態においては、コードストリームの中から、特定画像と同じ符号化前の画像を検索して同定するために、全てあるいは予め定められた一部のコードブロックについて、全てのベクトルが一致することを条件としていた。また、処理範囲内の１つのコードブロックでベクトルの不一致が見つかると、残りのコードブロックのベクトルの一致判別を行うことなく即座に不一致と判定していた。

これに対して、本発明の第５の実施の形態として、図１８に示す画像比較装置１Ｃにおいては、コードストリームの中から、特定画像に類似する符号化前の画像を見つける、あるいは符号化前の画像の類似度を出力するようにしている。

図１８に示す画像比較装置１Ｃは、上述した第１〜第３の実施の形態と同様の、コードストリーム特徴量抽出部２０と、特定画像特徴量出力部３０（あるいは３０Ａ，３０Ｂ）とを備えている。すなわち、図１８のコードストリーム特徴量抽出部２０は、上記第１〜第３の実施の形態のコードストリーム特徴量抽出部２０と同様の構成を有するものである。図１８の特定画像特徴量出力部には、上記第１〜第３の実施の形態の特定画像特徴量出力部３０，３０Ａ，３０Ｂのいずれを用いてもよい。

コードストリーム特徴量抽出部２０のベクトル算出部２２からのベクトル５０４と、特定画像特徴量出力部３０（あるいは３０Ａ，３０Ｂ）のベクトル算出部３５からのベクトル５０９とは、比較部４０Ａに送られて比較される。この比較部４０Ａは、コードストリーム及び特定画像の対応する位置のコードブロック毎のベクトルの比較結果５１１（一致及び不一致を含む）を順次出力し、累積部４２に送っている。累積部４２は、比較部４０Ａからのコードブロック毎のベクトルの比較結果５１１を、予め定められた処理範囲内の全てのコードブロックについて累積して、類似度５２０を出力する。

この図１８に示す画像比較装置１Ｃは、基本構造は上述した第１〜第３の実施の形態と同様であるが、累積部４２を有する点が異なっており、比較部４０Ａから供給されるコードブロック毎のベクトルの比較結果５１１を累積して類似度５２０を計算している。また、比較部４０Ａは、コードストリームと特定画像との一致判定までは行わず、コードブロック毎のベクトルの比較結果５１１を、不一致の場合も含めて、予め定められた処理範囲内の全てのコードブロックについて出力している。

［第５の実施の形態の動作説明］
上述したような構成を有する画像比較装置１Ｃにおける、主として比較部４０Ａ及び累積部４２の類似度算出のための処理や動作について、図１９のフローチャートを参照しながら説明する。なお、類似度計算に使用する変数sameの値と変数diffの値とを０にするなどの各種初期化処理や、ベクトル５０４，５０９を算出するためのコードストリーム及び特定画像のコードブロック毎のゼロビットプレーン数の抽出については、図１９では省略している。なお、上記ベクトル５０４，５０９とは、上述したように、処理対象となる着目コードブロックに対して、例えば隣接する１以上のコードブロックとの間のゼロビットプレーン数の相関（差分）を表す特徴量のことである。

先ず、図１９のステップＳ１１において、図１８のコードストリーム特徴量抽出部２０のベクトル算出部２２が、コードストリーム５００の着目コードブロックについてのベクトル５０４を算出して出力する。

次のステップＳ１２において、特定画像特徴量出力部３０（あるいは３０Ａ，３０Ｂ）のベクトル算出部３５が、コードストリームの着目コードブロックと同じ位置の特定画像のベクトル５０９を出力する。

次のステップＳ１３では、比較部４０Ｃが、これらのベクトル５０４と５０９とを比較し、一致しているか否かを判別し、判別結果を図１８の比較出力５１１として累積部４２に送る。ステップＳ１３において一致している（ＹＥＳ）と判別された場合にはステップＳ１４に進み、一致していない（ＮＯ）と判別された場合にはステップＳ１５に進む。これらのステップＳ１４，Ｓ１５の動作は、累積部４２において実行される。

ステップＳ１４では、累積部４２において、類似している度合いを表す変数sameの値を１増やし（same＝same＋１）、ステップＳ１６に進む。ステップＳ１５では、累積部４２において、類似していない度合いを表す変数diffの値を１増やし（diff＝diff＋１）、ステップＳ１６に進む。

ステップＳ１６では、上記コードストリームの画像内にまだ未処理コードブロックがあるか否かを判別し、未処理コードブロックがある場合（ＹＥＳ）には、ステップＳ１７に進む。未処理コードブロックが無くなった場合（ＮＯ）、すなわち処理すべき全てのコードブロックについてのベクトルの比較が終了した場合には、ステップＳ１８に進んで、累積部４２が、後述するように類似度を計算する。

ステップＳ１７では、コードストリームの画像内の次の未処理コードブロックに移って、これを新たな着目コードブロックとして、上記ステップＳ１１に戻る。ステップＳ１１では、コードストリームの画像内での更新された着目コードブロックについてベクトルを算出する。また、ステップＳ１２では、特定画像内での更新された着目コードブロックと同じ位置のコードブロックについてのベクトルを算出する。さらに、ステップＳ１３以降の上述と同様な処理を進める。

ステップＳ１６でＮＯと判別されるのは、処理すべき範囲内の全てのコードブロックについてのベクトルの比較が終了した場合であり、累積部４２が、ステップＳ１８に示すような計算を行って、類似度５２０を出力する。この類似度は、
類似度＝same／（same＋diff）
の式により計算される。

このように、本発明の第５の実施の形態における画像比較装置１Ｃによれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士で上述したようなベクトルを比較し、その比較結果を全てのコードブロックについて累積する。これにより、コードストリームと特定画像との類似度判定を行うことができる。この場合にも、コードストリームからはゼロビットプレーン数を抽出するのみで完全に復号することがなく、量子化ステップサイズが異なっても高精度の比較が行え、処理の簡単さや処理速度の点で非常に有利である。

なお、上述の説明では、ゼロビットプレーン数が同じ場合や異なる場合に変数（same，diff）の値を１増やすものとしたが、実際には重み付けをしても構わない。この際、画像の特徴があると考えられる部分を優先して重み付けすることが好ましい。例えば、通常の画像の場合には低域側に特徴があると考えられるため、低域側のコードブロックにおける比較結果が優先されるように重み付けすることが好ましい。また、輝度のコンポーネントにおける比較結果が色のコンポーネントにおける比較結果よりも優先されるように重み付けすることが好ましい。

さらに、上述の説明では、コードストリームと特定画像との類似度判定を行うものとしたが、最後に類似度を閾値と比較することにより、一致判定を行うこともできる。勿論、変数sameの値と変数diffの値とに偏りがでれば、処理の最後に至る前に一致判定を行うこともできる。

＜９．他の構成例＞
［他の構成例及び変形例］
本発明は、上述した第１〜第５の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において他に種々の構成が可能である。

例えば、着目コードブロックのゼロビットプレーン数とその近傍のコードブロックのゼロビットプレーン数との相関を表すベクトルとしては、上記図１１（Ａ）〜（Ｃ）において、Case-1、Case-2、Case-3の３つのケースを挙げているが、これに限定されない。すなわち、図１１（Ａ）〜（Ｃ）の例では、着目コードブロックに対して、図中右隣の１つのコードブロック、図中上下左右で隣接する４つのコードブロック、図中上下左右及び斜め方向の８方向で隣接する８つのコードブロックの場合を示している。この他、着目コードブロックに対して、図中左隣の１つのコードブロック、図中上又は下で隣接する１つのコードブロック、図中左右で隣接する２つのコードブロック、図中上下で隣接する２つのコードブロックなどが挙げられる。また、ベクトルの元（要素）としては、着目コードブロックのビットプレーン数に対する隣接コードブロックのビットプレーン数の大小関係を−１，０，１で表していたが、差分値をそのままベクトルの元（要素）としてもよい。

また、上述した実施の形態の説明では、画像内の全てのコードブロックについてベクトルを比較することを主として説明したが、必ずしも全てのコードブロックについて比較する必要はない。ただし、一部のコードブロックについてベクトルの比較処理を省略すると、実際には不一致であるにも拘わらず、一致しているという判定結果になる割合が増加する。利用条件から考えて判定精度が十分にある場合には、一部のコードブロックについての処理を省略することで、処理の高速化と簡略化を実現することができる。実際、実験によると、殆どの場合に輝度コンポーネントの低域側のコードブロックで不一致が判定されているため、輝度コンポーネントのみ、或いは高域側のサブバンドを除くなどの制限を加えても問題がないことが多い。例えば、ウェーブレット変換の特徴から低域成分に多くの情報が集中していることを利用できる。すなわち、前記図１３の例では、ウェーブレット変換を３分割して１０個のサブバンドを形成しているが、その中の例えば低域の４つのサブバンド（ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３）内でのマッチングを取るようにしてもよい。この場合、画面全体に比べて圧倒的にコードブロック数が少ないので、比較精度の低下を抑えながら、高速に比較の計算を終了することができる。

また、上述した実施の形態では、特定画像を途中まで符号化して特徴量を抽出するものとして説明したが、特定画像を完全に符号化してコードストリームを生成した後、このコードストリームから特徴量を抽出するようにしてもよい。例えば一致判定を行う場合、特定画像をＪＰＥＧ２０００方式に従って圧縮符号化し、コードストリームを生成し、このコードストリームから特徴量としての上記ベクトルを算出するようにしてもよい。この特定画像を符号化したコードストリームのヘッダ部には、上述したようにコードブロック毎のゼロビットプレーン数などが格納されているから、隣接する複数のコードブロックの相関を表すベクトル算出は容易に行える。この特定画像用のコードストリーム特徴量抽出部は、上記第１〜第３の実施の形態のコードストリーム特徴量抽出部２０と同様のものである。このような構成では、同じコードストリーム特徴量抽出部を２つと、一般的な符号化部を並べればよいため、設計するのが楽であるという利点がある。

また、上記第４の実施の形態（図１６）の説明では、第１〜第３の実施の形態と同様の画像比較装置１，１Ａ，１Ｂを用いるものとしたが、第５の実施の形態（図１８）の画像比較装置１Ｃを用いるようにしてもよい。この場合、図１６の選択部６０は、例えば類似度が所定の閾値を超えたコードストリームのインデクスを出力するように構成することができる。

また、上述した実施の形態における一連の処理をソフトウェアにより実行するようにしても構わない。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばＲＯＭ（Read Only Memory）やハードディスクに予め組み込むようにしてもよい。また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークや記録媒体を介してインストールするようにしてもよい。この記録媒体としては、例えば磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク、あるいは半導体メモリなどのパッケージメディアが利用可能である。

また、上述した実施の形態では、画像圧縮方式としてＪＰＥＧ２０００方式を用いて説明したが、本発明はこれに限定されるものではなく、例えばＪＰＥＧやＭＰＥＧ（Moving Picture Experts Group）などの他の画像圧縮方式の場合にも適用可能である。

ここで、従来、データベース中に保存されている複数のＪＰＥＧ２０００符号化コードストリームの中から、特定画像と同じ圧縮前の画像を検索して同定する際、ＪＰＥＧ２０００符号化規格の制約から、完全に量子化ステップサイズが一致している必要があった。しかし本発明の実施の形態によれば、周囲のコードブロックのゼロ・ビットプレーン情報との相関値をベクトル化することで、量子化ステップサイズが異なっていても、高精度に同定することができる効果がある。この場合、コードストリームからはゼロビットプレーン数を抽出するのみで完全に復号することがないため、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になる、という利点がある。中でも、コードストリームからゼロビットプレーン数を抽出するにはＭＱ符号を復号する必要がなく、また、量子化ステップサイズが異なっても高精度に比較が行えるため、処理の簡単さの点でも処理速度の点でも、非常に有利である。また、比較対象のコードブロックの範囲を、特定のサブバンド内に限定することで、比較の処理時間を大幅に減らすことができるという効果もある。

本発明の実施の形態の応用分野としては、デジタルシネマ用データベース、アーカイブシステム、放送局の画像データベース、医用画像の記録システム、ネットワークサーバ、ノンリニア編集装置、ゲーム機、ＰＣ上のオーサリング・ツールまたはそのソフトウェア・モジュールなどが挙げられる。

１，１Ａ，１Ｂ，１Ｃ 画像比較装置、 ３ 画像検索装置、 １０ 符号化パラメータ抽出部、 ２０ コードストリーム特徴量出力部、 ２１ コードストリーム解析部、２２ ベクトル算出部、 ３０，３０Ａ，３０Ｂ 特定画像特徴量出力部、 ３１ ウェーブレット変換部、 ３２ 量子化部、 ３３ コードブロック化部、 ３４ ゼロビットプレーン数検出部、 ３５ ベクトル算出部、 ４０，４０Ａ 比較部、 ４２ 累積部

Claims (14)

1. 画像を符号化して得られるコードストリームと特定画像とを比較して一致するかを判定する画像比較装置であって、
   上記コードストリームのゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出部と、
   上記特定画像における着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力部と、
   上記ベクトル算出部からの第１のベクトルと上記ベクトル出力部からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較部と
   を備える画像比較装置。
2. 上記ベクトル出力部は、上記コードストリームを符号化する際に用いられた符号化パラメータの内の量子化ステップサイズを含まない符号化パラメータを用いて上記特定画像を符号化する際に得られるコードブロック毎のゼロビットプレーン数に基づき算出された上記第２のベクトルを出力する請求項１記載の画像比較装置。
3. 上記第１、第２のベクトルは、上記着目コードブロックのゼロビットプレーン数と、該着目コードブロックに隣接する周囲８箇所のコードブロックの内の１以上のコードブロックのゼロビットプレーン数との差分をベクトルで表現したものである請求項２記載の画像比較装置。
4. 上記比較部は、上記ベクトル算出部からの着目コードブロックの第１のベクトルと上記ベクトル出力部からの上記着目コードブロックと同じ位置のコードブロックの第２のベクトルとを比較し、一致したコードブロックの数が予め設定された閾値以上となる場合に、上記コードストリームと上記特定画像とが一致したと判定する請求項３記載の画像比較装置。
5. 上記比較部は、上記コードストリーム及び上記特定画像における各画像内の全てのコードブロックについて、上記第１のベクトルと上記第２のベクトルとが一致した場合に、上記コードストリームと上記特定画像とが一致したと判定する請求項４記載の画像比較装置。
6. 上記比較部は、上記コードストリームと上記特定画像とについて、一部のコンポーネント、又は一部のサブバンドについてのみ、上記第１のベクトルと上記第２のベクトルとを比較する請求項４記載の画像比較装置。
7. 上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析部を備え、
   上記ベクトル算出部は、上記コードストリーム解析部により抽出されたゼロビットプレーン数に基づき上記第１のベクトルを算出する
   請求項２記載の画像比較装置。
8. 上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出部を備え、
   上記ベクトル出力部は、上記コードストリーム抽出部により抽出された符号化パラメータの内の量子化ステップサイズを含まない符号化パラメータを用いて上記特定画像を符号化する際に得られるコードブロック毎のゼロビットプレーン数に基づき上記第２のベクトルを算出する特定画像用のベクトル算出部を有する
   請求項２記載の画像比較装置。
9. 上記コードストリームは、上記画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたものであり、
   上記符号化パラメータは、ウェーブレット変換フィルタ情報、ウェーブレット変換の分解レベル数、量子化ステップサイズ、コードブロックサイズ、ガードビット情報、目標圧縮率を含み、
   上記ベクトル出力部は、上記コードストリームを符号化する際に用いられた符号化パラメータの内の量子化ステップサイズを含まない符号化パラメータを用いて上記特定画像をＪＰＥＧ２０００方式に従って符号化する際に得られるコードブロック毎のゼロビットプレーン数に基づき算出された上記第２のベクトルを出力する請求項２記載の画像比較装置。
10. 画像を符号化して得られるコードストリームと特定画像とを比較して一致するかを判定する画像比較方法であって、
    上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析工程と、
    上記コードストリーム解析工程により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出工程と、
    上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力工程と、
    上記ベクトル算出工程からの第１のベクトルと上記ベクトル出力工程からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較工程と
    を有する画像比較方法。
11. 画像を符号化して得られるコードストリームと特定画像とを比較して一致するかを判定する処理をコンピュータに実行させるプログラムであって、
    コンピュータに、
    上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析手順と、
    上記コードストリーム解析手順により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出手順と、
    上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力手順と、
    上記ベクトル算出手順からの第１のベクトルと上記ベクトル出力手順からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較手順と
    を実行させるためのプログラム。
12. 画像を符号化して得られるコードストリームと特定画像とを比較して一致するかを判定する処理をコンピュータに実行させるプログラムを記録した記録媒体であって、
    コンピュータに、
    上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析手順と、
    上記コードストリーム解析手順により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出手順と、
    上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力手順と、
    上記ベクトル算出手順からの第１のベクトルと上記ベクトル出力手順からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較手順と
    を実行させるためのプログラムを記録した記録媒体。
13. 複数の画像を符号化して得られるコードストリーム列と特定画像とを比較して一致する画像のコードストリームを検索する画像検索装置であって、
    上記コードストリーム列の上記コードストリームを順次解析することにより当該コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析部と、
    上記コードストリーム解析部により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出部と、
    上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力部と、
    上記ベクトル算出部からの第１のベクトルと上記ベクトル出力部からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果に応じて上記コードストリームと上記特定画像とが一致するか否かを判定する比較部と、
    上記コードストリーム列の内の上記比較部により一致すると判定された上記コードストリームを選択する選択部と
    を備える画像検索装置。
14. 画像を符号化して得られるコードストリームと特定画像とを比較して類似度を出力する画像比較装置であって、
    上記コードストリームを解析することにより上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出するコードストリーム解析部と、
    上記コードストリーム解析部により抽出されたゼロビットプレーン数に基づき、処理対象となる着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第１のベクトルを算出するベクトル算出部と、
    上記特定画像について着目コードブロックのゼロビットプレーン数と該着目コードブロックの近傍のコードブロックのゼロビットプレーン数との間の相関を表す第２のベクトルを出力するベクトル出力部と、
    上記ベクトル算出部からの第１のベクトルと上記ベクトル出力部からの第２のベクトルとを、上記コードストリームと上記特定画像との同じ位置の着目コードブロックについて順次比較し、比較結果を出力する比較部と、
    上記比較部からの比較結果を累積して上記コードストリームと上記特定画像との類似度を出力する累積部と
    を備える画像比較装置。

Images