JP4697111B2 - 画像比較装置および方法、並びに、画像検索装置および方法 - Google Patents

Description

本発明は、画像比較装置および方法、並びに、画像検索装置および方法に関し、特に、JPEG（Joint Photographic Experts Group）2000方式等に従って圧縮符号化された画像と特定画像とを比較して一致判定や類似度判定を行ったり、JPEG2000方式等に従って圧縮符号化された映像コンテンツから特定画像と略々一致する画像を検索したりすることができるようにした画像比較装置および方法、並びに、画像検索装置および方法に関する。

従来から、例えば映像コンテンツの検索等の目的のために、特定画像を検索クエリとして、未知の映像コンテンツの中から特定画像と略々一致する画像を検索する技術が必要とされている。例えば下記特許文献１には、映像コンテンツから短時間フレーム毎に特徴量を抽出して特徴ベクトルを構成し、その特徴ベクトルと特定画像の特徴ベクトルとを比較することにより、映像コンテンツの中から特定画像と略々一致する画像を検索する技術が提案されている。
特開２００４−４５５６５号公報

ところで、近年、デジタルカメラやデジタルカムコーダといった商品の普及に伴い、画像が直接デジタルで撮影され、画像圧縮を施されて記録されることが多くなっている。また、テレビジョン番組をデジタル化した上で画像圧縮を施し、アーカイブとして保存することも行われている。さらに、２００４年にデジタルシネマの規格化において画像圧縮方式としてJPEG2000方式が採用されることが決定され、多くの映画フィルムがデジタル化された上、JPEG2000方式に従って圧縮符号化されて利用される流れとなっている。

そこで、今後は、特にJPEG2000方式に従って圧縮符号化された多数の画像から特定画像と略々一致する画像を検索したり、JPEG2000方式に従って圧縮符号化された映像コンテンツの中から特定画像と略々一致する画像を検索したりするニーズが一層高まることが予想される。しかしながら、特許文献１等の従来の技術では、検索前に画像や映像コンテンツを完全に復号する必要があるため、処理全体の演算量が多くなるという問題があった。

本発明は、このような従来の実情に鑑みて提案されたものであり、JPEG2000方式等に従って圧縮符号化された画像を完全に復号することなく、特定画像との一致判定や類似度判定を行ったり、JPEG2000方式等に従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と略々一致する画像を検索したりすることができるようにする。

本発明の第１の側面は、画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出手段と、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段とを備える画像比較装置である。

前記比較手段は、前記コードストリームのコードブロック毎の各量子化係数の符号と、前記特定画像のコードブロック毎の各量子化係数の符号とが全てのコードブロックで一致した場合に、前記コードストリームと前記特定画像とが略々一致すると判定することができる。

前記比較手段は、所定のコンポーネント及び／又は所定のサブバンドについてのみ、前記コードストリームのコードブロック毎の各量子化係数の符号と、前記特定画像のコードブロック毎の各量子化係数の符号とを比較することができる。

前記比較手段によるコードブロック毎の比較結果を累積し、前記比較結果に基づいて、前記コードストリームと前記特定画像との類似度を算出する累積手段をさらに備えることができる。

前記累積手段は、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とが一致したコードブロックの数を累積し、当該一致したコードブロックの割合に応じて前記類似度を算出することができる。

前記累積手段は、コンポーネントの種類及び／又はサブバンドの位置に応じて、累積する数に重み付けを行うことができる。

本発明の第１の側面はまた、画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置の画像比較方法であって、前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手ステップと、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出ステップと、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップとを含む画像比較方法である。

本発明の第２の側面は、画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割した後、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出手段と、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段とを備える画像比較装置である。

前記比較手段によるコードブロック毎の比較結果を累積し、前記比較結果に基づいて、前記コードストリームと前記特定画像との類似度を算出する累積手段をさらに備えることができる。

本発明の第２の側面はまた、画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置の画像比較方法であって、前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出ステップと、前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割した後、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出ステップと、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップとを含む画像比較方法である。

本発明の第３の側面は、画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出手段と、前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出手段と、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段とを備える画像比較装置である。

本発明の第３の側面はまた、画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置の画像比較方法であって、前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出ステップと、前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出ステップと、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップとを含む画像比較方法である。

本発明の第４の側面は、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出手段と、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と、前記比較手段による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索手段とを備える画像検索装置である。

本発明の第４の側面はまた、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置の画像検索方法であって、前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出ステップと、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出ステップと、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと、前記比較ステップの処理による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索ステップとを含む画像検索方法である。

本発明の第５の側面は、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、各前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出手段と、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と、前記比較手段による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索手段とを備える画像検索装置である。

本発明の第５の側面はまた、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置の画像検索方法であって、前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出ステップと、各前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出ステップと、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと、前記比較ステップの処理による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索ステップとを含む画像検索方法である。

本発明の第６の側面は、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出手段と、前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出手段と、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と、前記比較手段による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索手段とを備える画像検索装置である。

本発明の第６の側面はまた、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置の画像検索方法において、前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出ステップと、前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出ステップと、コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと、前記比較ステップの処理による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索ステップとを含む画像検索方法である。

本発明の第１の側面においては、コードストリームからコードブロック毎のMQ符号が抽出され、当該MQ符号を復号して各量子化係数の符号が抽出され、コードストリームから符号化パラメータが抽出され、符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化が施された後、量子化係数がコードブロックに分割され、コードブロック内の各量子化係数の符号が抽出され、コードストリームのコードブロック毎の各量子化係数の符号と特定画像のコードブロック毎の各量子化係数の符号とが同一位置のコードブロック同士で比較され、比較結果に応じてコードストリームと特定画像とが略々一致するか否かが判定される。

本発明の第２の側面においては、コードストリームからコードブロック毎のMQ符号が抽出され、当該MQ符号が復号されて各量子化係数の符号が抽出され、コードストリームからコードブロック毎のゼロビットプレーン数が抽出され、コードストリームから符号化パラメータが抽出され、符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化が施された後、量子化係数がコードブロックに分割された後、コードブロック内の各量子化係数の符号が抽出され、コードブロック毎のゼロビットプレーン数が抽出され、コードストリームのコードブロック毎の各量子化係数の符号と特定画像のコードブロック毎の各量子化係数の符号とが同一位置のコードブロック同士で比較され、かつ、コードストリームのコードブロック毎のゼロビットプレーン数と特定画像のコードブロック毎のゼロビットプレーン数とが同一位置のコードブロック同士で比較され、比較結果に応じてコードストリームと特定画像とが略々一致するか否かが判定される。

本発明の第３の側面においては、コードストリームからコードブロック毎のMQ符号が抽出され、当該MQ符号が復号されてMQシンボルが生成され、コードストリームからコードブロック毎のゼロビットプレーン数が抽出され、コードストリームから符号化パラメータが抽出され、符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化が施された後、量子化係数がコードブロックに分割され、当該コードブロックからゼロビットプレーンが削除されてビットモデリングが行われることにより、コードブロック毎のMQシンボルが抽出され、コードブロック毎のゼロビットプレーン数が抽出され、コードストリームのコードブロック毎のMQシンボルと特定画像のコードブロック毎のMQシンボルとが同一位置のコードブロック同士で比較され、かつ、コードストリームのコードブロック毎のゼロビットプレーン数と特定画像のコードブロック毎のゼロビットプレーン数とが同一位置のコードブロック同士で比較され、比較結果に応じてコードストリームと特定画像とが略々一致するか否かが判定される。

本発明の第４の側面においては、コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号が抽出され、当該MQ符号が復号されて各量子化係数の符号が抽出され、コードストリームから符号化パラメータが抽出され、符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化が施された後、量子化係数がコードブロックに分割されて、コードブロック内の各量子化係数の符号が抽出され、コードストリームのコードブロック毎の各量子化係数の符号と特定画像のコードブロック毎の各量子化係数の符号とが同一位置のコードブロック同士で比較され、比較結果に応じてコードストリームと特定画像とが略々一致するか否かが判定され、比較結果に基づいて、コードストリーム列から特定画像と略々一致するコードストリームが検索される。

本発明の第５の側面においては、コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号が抽出され、当該MQ符号が復号されて各量子化係数の符号が抽出され、各コードストリームからコードブロック毎のゼロビットプレーン数が抽出され、コードストリームから符号化パラメータが抽出され、符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化が施された後、量子化係数がコードブロックに分割され、コードブロック内の各量子化係数の符号が抽出され、コードブロック毎のゼロビットプレーン数が抽出され、コードストリームのコードブロック毎の各量子化係数の符号と特定画像のコードブロック毎の各量子化係数の符号とが同一位置のコードブロック同士で比較され、かつ、コードストリームのコードブロック毎のゼロビットプレーン数と特定画像のコードブロック毎のゼロビットプレーン数とが同一位置のコードブロック同士で比較され、比較結果に応じてコードストリームと特定画像とが略々一致するか否かが判定され、比較結果に基づいて、コードストリーム列から特定画像と略々一致するコードストリームが検索される。

本発明の第６の側面においては、コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号が抽出され、当該MQ符号が復号されてMQシンボルが生成され、コードストリームからコードブロック毎のゼロビットプレーン数が抽出され、コードストリームから符号化パラメータが抽出され、符号化パラメータに基づいて、特定画像に対してウェーブレット変換及び量子化が施された後、量子化係数がコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングが行われることにより、コードブロック毎のMQシンボルが抽出され、コードブロック毎のゼロビットプレーン数が抽出され、コードストリームのコードブロック毎のMQシンボルと特定画像のコードブロック毎のMQシンボルとが同一位置のコードブロック同士で比較され、かつ、コードストリームのコードブロック毎のゼロビットプレーン数と特定画像のコードブロック毎のゼロビットプレーン数とが同一位置のコードブロック同士で比較され、比較結果に応じてコードストリームと特定画像とが略々一致するか否かが判定され、比較結果に基づいて、コードストリーム列から特定画像と略々一致するコードストリームが検索される。

本発明の一側面によれば、画像を比較することができる。特に、コードストリームを完全に復号することなく、コードストリームと特定画像との一致判定や類似度判定を行うことができる。

本発明の他の側面によれば、画像を検索することができる。特に、コードストリーム列を完全に復号することなく、コードストリーム列から特定画像と略々一致するコードストリームを検索することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。以下に説明する実施の形態は、本発明を、JPEG（Joint Photographic Experts Group）2000方式に従って圧縮符号 化された画像と特定画像とを比較して一致判定や類似度判定を行う画像比較装置及びその方法、並びにJPEG2000方式に従って圧縮符号化された映像コンテンツから特定画像と略々一致する画像を検索する画像検索装置及びその方法に適用したものである。

ここで、具体的な実施の形態について説明する前に、画像をJPEG2000方式に従って符号化してコードストリームを生成する画像符号化装置と、このコードストリームをJPEG2000方式に従って復号して復号画像を生成する画像復号装置とについて説明する。

先ず、画像をJPEG2000方式に従って符号化してコードストリームを生成する画像符号化装置の概略構成を図１のブロック図に示す。

図１に示す画像符号化装置１０において、ウェーブレット変換器１１は、入力された画像に対してウェーブレット変換を施し、サブバンド毎のウェーブレット係数を生成する。なお、JPEG2000方式におけるウェーブレット変換は、図２に示すように、縦横２次元のフィルタでフィルタリング処理を施し、低域のサブバンドについては再帰的にフィルタリング処理を施すMallat分割である。図２の例では、３回のウェーブレット変換により、合計１０個のサブバンドが形成されている。

量子化器１２は、サブバンド毎のウェーブレット係数を量子化し、量子化係数を生成する。コードブロック化器１３は、サブバンド毎の量子化係数を同じ大きさの矩形領域であるコードブロックに分割し、コードブロック毎の量子化係数を２値（０又は１）の係数ビットの集合であるビットプレーンに展開する。例えば、図３に示されるような３個×４個の合計１２個の量子化係数からなるコードブロック３１は、符号のビットプレーン４１と絶対値のビットプレーン４２乃至ビットプレーン４６に展開される。つまり、コードブロック３１の各量子化係数は、１ビット毎、つまり位毎に分割されて、各位毎にビットプレーンとしてまとめられる。

ゼロビットプレーン数検出器１４は、このコードブロック３１毎にゼロビットプレーン数を検出する。ここで、ゼロビットプレーン数とは、全ての係数ビットの値が０であるビットプレーンが最上位ビット（ＭＳＢ：Most Significant Bit)側に幾つあるかを表したものである。図３の例の場合、ゼロビットプレーン数は２である（ビットプレーン４２およびビットプレーン４３）。そして、ゼロビットプレーン削除器１５は、コードブロックからその検出されたゼロビットプレーンを削除する。

ビットモデリング器１６は、ゼロビットプレーンを含まないコードブロックについてビットモデリングを行い、MQシンボルとMQコンテキストとの組を生成する。MQ符号化器１７は、MQシンボルとMQコンテキストとの組をMQ符号化し、MQ符号を生成する。最後に、コードストリーム生成器１８は、MQ符号とゼロビットプレーン数とからコードストリームを生成して出力する。

次に、このコードストリームをJPEG2000方式に従って復号して復号画像を生成する画像復号装置の概略構成を図４のブロック図に示す。

図４に示す画像復号装置６０において、コードストリーム解析器６１は、入力されたコードストリームを解析してMQ符号とゼロビットプレーン数とを抽出する。MQ復号器６２は、ビットモデリング器６３から与えられるMQコンテキストを用いてMQ符号を復号し、MQシンボルを生成する。

ビットモデリング器６３は、MQシンボルに基づいてゼロビットプレーンを含まないコードブロックを構成し、ゼロビットプレーン付加器６４は、ゼロビットプレーンを含まないコードブロックに対してゼロビットプレーンを付加する。フレーム化器６５は、ゼロビットプレーンを含むコードブロックをサブバンド毎に纏めてサブバンド毎の量子化係数を生成し、逆量子化器６６は、サブバンド毎の量子化係数を逆量子化してサブバン ド毎のウェーブレット係数を生成する。最後に、逆ウェーブレット変換器６７は、サブバンド毎のウェーブレット係数に対して逆ウェーブレット変換を施し、復号画像を生成する。

（第１の実施の形態）
図５は、本発明を適用した一致判定装置の構成例を示すブロック図である。図５において、一致判定装置１００は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、それらが一致するか否かを判定する装置であり、主な構成として、符号化パラメータ抽出器１１０、コードストリーム特徴量抽出器１２０、画像特徴量抽出器１３０、および、比較器１４０を有する。

符号化パラメータ抽出器１１０は、入力されたコードストリームより、符号化の際に用いられた各種の符号化パラメータを抽出し、それを画像特徴量抽出器１３０に供給する。コードストリーム特徴量抽出器１２０は、入力されたコードストリームに対して復号処理の一部を行う等して、コードストリームより所定の特徴量を抽出する。画像特徴量抽出器１３０は、入力された特定画像に対して、符号化パラメータ抽出器１１０より供給された符号化パラメータを用いて符号化処理の一部を行う等して、特定画像より、コードストリーム特徴量抽出器１２０により抽出される特徴量と同種の特徴量を抽出する。比較器１４０は、コードストリーム特徴量抽出器１２０により抽出された特徴量と、画像特徴量抽出器１３０により抽出された特徴量とを比較し、コードストリームと特定画像が一致するか否かを判定し、その判定結果を出力する。

このようにすることにより、一致判定装置１００は、JPEG2000のコードストリームを完全に復号することなく、容易かつ高速に特定画像との一致判定を行うことができる。つまり、一致判定装置１００は、一致判定に関する処理の負荷を軽減させることができる。

第１の実施の形態の場合、図５に示されるように、コードストリーム特徴量抽出器１２０は、コードストリーム解析器１５１、MQ復号器１５２、およびビットモデリング器１５３を有し、画像特徴量抽出器１３０は、ウェーブレット変換器１６１、量子化器１６２、コードブロック化器１６３、および符号抽出器１６４を有する。

コードストリーム特徴量抽出器１２０の、コードストリーム解析器１５１、MQ復号器１５２、およびビットモデリング器１５３は、それぞれ、図４に示される画像復号装置６０の、コードストリーム解析器６１、MQ復号器６２、およびビットモデリング器６３に対応する。ただし、ビットモデリング器１５３は、MQシンボルに基づいて生成したゼロビットプレーンを含まないコードブロックより、符号のビットプレーンを抽出する。

また、画像特徴量抽出器１３０の、ウェーブレット変換器１６１、量子化器１６２、およびコードブロック化器１６３は、それぞれ、図１のウェーブレット変換器１１、量子化器１２、およびコードブロック化器１３に対応する。符号抽出器１６４は、コードブロック化器１６３より出力されるコードブロックより符号のビットプレーンを抽出する。

この一致判定装置１００において、コードストリームは、符号化パラメータ抽出器１１０とコードストリーム解析器１５１に入力される。一方、特定画像は、ウェーブレット変換器１６１に入力される。

符号化パラメータ抽出器１１０は、コードストリームの符号化パラメータを抽出し、この符号化パラメータをウェーブレット変換器１６１、量子化器１６２、およびコードブロック化器１６３に供給する。この符号化パラメータは、コードブロック毎の量子化係数がどのように作成されているかを示すものであり、例えばウェーブレット変換の部分では、フィルタの種類（可逆５−３フィルタ、非可逆９−７フィルタなど）や、ウェーブレット変換の回数（５回、４回など）が挙げられる。また、量子化の部分では、量子化ステップの大きさ（１／１２８、１／６４など）が挙げられ、コードブロック化の部分では、コードブロックの大きさ（縦６４横６４、縦３２横１２８、縦３２横３２など）が挙げられる。

ウェーブレット変換器１６１は、取得した特定画像に対してウェーブレット変換を施してサブバンド毎のウェーブレット係数を生成し、それを量子化器１６２に供給する。量子化器１６２は、そのサブバンド毎のウェーブレット係数を量子化して量子化係数を生成し、それをコードブロック化器１６３に供給する。コードブロック化器１６３は、サブバンド毎の量子化係数をコードブロックに分割すると共に、コードブロック毎の量子化係数をビットプレーンに展開し、符号抽出器１６４に供給する。符号抽出器１６４は、そのビットプレーン群より、各量子化係数の符号をコードブロック毎に抽出し、それを比較器１４０に供給する。

ここで符号はコードブロックの量子化係数毎に１つずつ出力される。符号の種類には、「＋」と「−」の他に「０」もある。符号「＋」はその量子化係数の値が「０」より大きいことを表す。符号「−」はその量子化係数の値が「０」より小さいことを表す。符号「０」はその量子化係数の値が「０」であることを表す。JPEG2000においては、量子化係数が「０」として符号化されている場合は符号が復号されない。従って、ここでは、量子化係数が「０」である場合の符号を便宜上「０」とする。これに対して、量子化係数の絶対値が「０」でないとして符号化されている場合、その符号は復号されるので、その復号により得られる「＋」または「−」を量子化係数の符号とする。

また、コードストリームを取得したコードストリーム解析器１５１は、そのコードストリームを解析してMQ符号を得る。そのMQ符号はMQ復号器１５２に入力される。MQ復号器１５２はビットモデリング器１５３から送られたMQコンテキストを使ってMQ符号を復号してMQシンボルを出力する。ビットモデリング器１５３は、MQ復号器１５２から入力されるMQシンボルを受けとり、次のMQ復号のためのMQコンテキストをMQ復号器１５２に出力するとともに、復号した符号を比較器１４０に出力する。

比較器１４０は、ビットモデリング器１５３および符号抽出器１６４のそれぞれより出力される符号を互いに比較する。比較器１４０は、同じ分割レベル、同じサブバンド、同じ位置のコードブロック同士についてその２つの符号を比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。

この比較器４０における比較方法を含めて、一致判定装置１００により実行される処理の例を、図６のフローチャートを参照して説明する。

ステップＳ１において、符号化パラメータ抽出器１１０は、コードストリームの符号化パラメータを抽出して調べる。この符号化パラメータに基づいて、画像特徴量抽出器１３０は、ステップＳ２において、ウェーブレット変換器１６１により、特定画像に対してウェーブレット変換を行い、量子化器１６２により、ウェーブレット変換により得られたウェーブレット係数に対して量子化を施し、コードブロック化器１６３により、量子化により得られた量子化係数をコードブロックに分割する。

比較器１４０は、コードブロック毎に符号を比較する。これに対してコードストリーム特徴量抽出器１２０と画像特徴量抽出器１３０は、コードブロック毎に符号を準備する。

つまり、ステップＳ３において、コードストリーム特徴量抽出器１２０（コードストリーム解析器１５１）は、コードストリームに未処理のコードブロックが存在するか否かを判定し、存在すると判定した場合、処理をステップＳ４に進め、そのコードストリームの次の未処理コードブロックを処理対象コードブロックCcに設定する。

これに対して画像特徴量抽出器１３０の符号抽出器１６４は、ステップＳ５において、特定画像に対して、処理対象コードブロックCcに設定されたコードブロックに対応するコードブロックを処理対象コードブロックCiに設定し、ステップＳ６において、その処理対象コードブロックCiに含まれる各量子化係数の符号を調べ、符号列を得る。

これに対して、ステップＳ７において、コードストリーム特徴量抽出器１２０は、コードストリーム解析器１５１により、処理対象コードブロックCcよりMQ符号を取得し、MQ復号器１５２によりMQ復号を行い、ビットモデリング器１５３によりビットモデリングを行い、符合列を得る。

比較器１４０は、ステップＳ６において得られた符号列の各符号と、ステップＳ７において得られた符号列の各符号を１つずつ比較し、全ての符号が一致した場合、そのコードブロックに対する比較を終了し、処理対象を次のコードブロックに変更させる。また、一致しない符号が検出された場合、比較器１４０は、その時点で、コードストリームと特定画像が不一致であるとし、比較を終了する。

すなわち、比較器１４０は、ステップＳ８において、処理対象コードブロックCcに未処理の符号が存在するか否かを判定し、未処理の符号が存在すると判定した場合、符号の比較を行い、ステップＳ９において、処理対象コードブロックCiの次の未処理の符号と、処理対象コードブロックCcの次の未処理の符号が一致するか否かを判定し、符号が一致しないと判定した場合、比較器１４０は、処理をステップＳ１０に進め、コードストリームと特定画像が不一致であると判定し、その判定結果を出力して一致判定処理を終了する。

また、ステップＳ９において、符号が一致すると判定した場合、比較器１４０は、処理をステップＳ８に戻し、次の未処理の符号に対する処理を実行させる。すなわち、比較器１４０は、符号が一致しないと判定しない限り、ステップＳ８およびステップＳ９の処理を繰り返すことにより、各符号を１つずつ比較する。そして、ステップＳ８において処理コードブロックCcに未処理の符号が存在しないと判定した場合、比較器１４０は、処理をステップＳ３に戻し、次の未処理のコードブロックに対する処理を実行させる。

以上のように、一致判定装置１００の各部は、コードストリームと特定画像が不一致であると判定されない限り、ステップＳ３乃至ステップＳ９の処理を繰り返すことにより、コードブロック毎に符号の一致判定のための処理を行う。そして、ステップＳ３において、コードストリームに未処理のコードブロックが存在しないと判定した場合、すなわち、全てのコードブロックにおいて、符号が一致すると判定した場合、コードストリーム特徴量抽出器１２０（コードストリーム解析器１５１）は、処理をステップＳ１１に進め、コードストリームと特定画像が一致すると判定し、その判定結果を出力して一致判定処理を終了する。

なお、符号の一致判定は、例えば、比較した２つの符号の値がそれぞれ「＋」と「−」である場合のみ不一致と判定し、他の組み合わせは全て一致と判定するように行う。この定義においては、値が「０」の符号は、値が「＋」の符号、値が「−」の符号、値が「０」の符号のいずれに対しても「一致」と判定されることになる。実際においては、符号の値が「＋」や「−」であるウェーブレット係数も、量子化によって絶対値が「０」になり、符号の値が「０」になることがあるが、この定義を用いることにより、一致判定装置１００は、そのような状況にも対応し、正確に画像の一致判定を行うことができる。

また、未処理のコードブロックを選択する順番は任意であるが、コードストリーム中において並べられた順番と同じ順番で選択するようにすると処理が単純となる。コードストリーム中においてコードブロックは、通常、低域のサブバンドから高域のサブバンドへの順に並べられている。例えば、ウェーブレット変換を３回行っている場合、コードブロックは、図７に示されるように、最低域であるＬＬ−３のサブバンドから、ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３、ＨＬ−２、ＬＨ−２、ＨＨ−２、ＨＬ−１、ＬＨ−１、ＨＨ−１の順で並べられる。また、各サブバンド内においてはラスタスキャン順に並べられる。一般的な画像の場合には、低域のサブバンドから高域のサブバンドへの順番で選択することにより、少ないループ回数で不一致の判定を行うことができる。ただし、インタレース成分は図７のＬＨ−１で示されるサブバンドに現れるため、画像のインタレース成分に特徴がある場合、このサブバンド内のコードブロックをより早く処理するような順番で選択することにより、少ないループ回数で不一致の判定を行うことができる。

このように、本実施の形態における一致判定装置１００によれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士で各量子化係数の符号を比較し、全てのコードブロックで全ての量子化係数の符号が一致するか否かにより、コードストリームと特定画像との一致判定を行うことができる。特に、コードストリームからは符号を抽出するのみで完全に復号することがないため、コードブロック毎の量子化係数を作る処理、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。

上述した一致判定において、コードストリームと特定画像とが不一致であると判定された場合、その判定が間違っていることはない。これに対して、コードストリームと特定画像とが一致していると判定されながら実際には不一致であることは、理論上あり得る。しかしながら、実験の結果においては、このような判定の間違いはほとんど生じない。例えば、通常の圧縮率である１bpp（bit per pixel）のコードストリームと特定画像を比較する場合、判定の間違いは生じなかった。また、高圧縮率である０．１bppのコードストリームと特定画像を比較する場合であっても、判定の間違いは、動きの少ない画像３００フレームの比較において３フレームで発生した程度であった。この程度の不一致を一致と判定しても、通常、画像検索という目的に対しては実用上の問題は生じない。

なお、以上においては、全てのコードブロックについて符号を比較するように説明したが、必ずしも全てのコードブロックについて比較する必要はない。比較処理を行うコードブロックが少ないほど、処理全体の高速化と簡略化を実現することができるが、その分、実際には不一致であるにも拘わらず、一致しているという判定結果が得られる可能性が高くなる恐れもある。従って、実際の利用条件下において十分な判定精度が得られる範囲内で、比較処理の省略を行うのが望ましい。例えば、実験において、不一致の判定は、殆どの場合、輝度コンポーネントの低域側のコードブロックで発生しており、このような場合、輝度コンポーネントのコードブロックのみ比較処理を行うようにしたり、或いは高域側のサブバンドのコードブロックの比較処理を省略するようにしたりしても実用上問題がないことが多い。

（第２の実施の形態）
以上のように、コードストリームと特定画像の一致不一致を判定するだけでなく、上述の一致判定装置１００を利用して、コードストリームと特定画像の類似度を算出することも可能である。以下において、この類似度を算出する方法について、第２の実施の形態として説明する。第１の実施の形態において説明した構成と同様の構成については、適宜説明を省略する。

図８は、本発明を適用した類似度計算装置の構成例を示すブロック図である。図８において、類似度計算装置１８０は、一方の入力端子から入力されたコードストリームと、他方の入力端子から入力された特定画像とを比較し、それらの類似度を算出する装置である。この類似度計算装置１８０は、図５を参照して説明した一致判定装置１００の構成に加え、累積器１８１を有する。この累積器１８１は、比較器１４０より出力される判定結果を累積して類似度を算出する。

この類似度計算装置１８０が行う類似度計算処理の流れの例を図９のフローチャートを参照して説明する。ステップＳ３１において、累積器１８１は、演算用パラメータである変数sameの値と変数diffの値をそれぞれ「０」に初期化する。変数sameおよび変数diffは後述するように類似度を算出する際に利用されるパラメータである。変数sameは、コードストリームと特定画像が類似している度合いを表し、変数diffは、それらが類似していない度合いを表す。

符号化パラメータ抽出器１１０、コードストリーム特徴量抽出器１２０、画像特徴量抽出器１３０、および比較器１４０の各部は、ステップＳ３２乃至ステップＳ４０の各処理を、図６のステップＳ２乃至ステップＳ９の場合と同様に実行し、処理対象コードブロックCcの各符号と処理対象コードブロックCiの各符号を比較する。

ステップＳ４０において、処理対象コードブロックCiの次の未処理の符号と、処理対象コードブロックCcの未処理の符号が一致しないと判定した場合、比較器１４０は、処理をステップＳ４１に進める。比較器１４０より「不一致」との判定結果を取得すると累積器１８１は、ステップＳ４１において、不一致を示す変数diffの値に「＋１」を加算し、処理をステップＳ３４に戻し、次の未処理のコードブロックに対する処理を実行させる。

また、ステップＳ３９において、処理対象コードブロックCcに未処理の符号が存在しないと判定した場合、比較器１４０は、ステップＳ４２に処理を進める。比較器１４０より「一致」との判定結果を取得すると累積器１８１は、ステップＳ４２において、一致を示す変数sameの値に「＋１」を加算し、処理をステップＳ３４に戻し、次の未処理のコードブロックに対する処理を実行させる。

すなわち、類似時計算装置１８０は、符号の不一致が検出されても処理を終了せずに、全ての処理対象コードブロックに対して符号の比較を行い、その判定結果を累積する。

そして、ステップＳ３４において、コードストリームに未処理のコードブロックが存在しないと判定した場合、すなわち、全てのコードブロックについて、符号の比較が終了したと判定した場合、コードストリーム特徴量抽出器１２０（コードストリーム解析器１５１）は、処理をステップＳ４３に進める。ステップＳ４３において、累積器１８１は、コードストリームと特定画像の類似度を算出して出力し、類似度計算処理を終了する。なお、類似度は、変数sameと変数diffの各値を用いて算出される。例えば、累積器１８１は、same／(same＋diff)の値をコードストリームと特定画像との類似度として出力する。

このように、本実施の形態における類似度計算装置１８０によれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士で符号を比較し、その比較結果を全てのコードブロックについて累積することにより、コードストリームと特定画像との類似度判定を行うことができる。この場合にも、コードストリームからは量子化係数の符号を抽出するのみで完全に復号することがないため、処理の簡単さや処理速度の点で非常に有利である。

なお、上述の説明では、どの符号の比較であっても、その比較結果に基づいて変数sameまたは変数diffの値が「＋１」加算されるように説明したが、これに限らず、例えば比較された符号によって重み付けを行うようにしてもよい。この際、画像の特徴があると考えられる部分を優先して重み付けすることが好ましい。例えば、通常の画像の場合には低域側に特徴があると考えられるため、低域側のコードブロックにおける比較結果が優先されるように重み付けすることが好ましい。また、輝度のコンポーネントにおける比較結果が色のコンポーネントにおける比較結果よりも優先されるように重み付けすることが好ましい。

また、類似度計算装置１８０は、コードストリームと特定画像との類似度判定を行うだけでなく、一致判定を行うようにしてもよい。例えば、累積器１８１がステップＳ４３において類似度を所定の閾値と比較することにより一致判定を行うようにしてもよい。勿論、変数sameの値と変数diffの値とに偏りが生じる場合、累積器１８１が処理の最後に至る前に一致判定を行うようにすることも可能である。

（第３の実施の形態）
また、上述の一致判定装置１００を利用して、複数のコードストリームの中から特定画像と一致するコードストリームを検索することも可能である。以下において、このようなコードストリームを検索する方法について、第３の実施の形態として説明する。第１の実施の形態において説明した構成と同様の構成については、適宜説明を省略する。

図１０は、本発明を適用した画像検索装置２００の構成例を示すブロック図である。図１０において、画像検索装置２００は、一方の入力端子より入力された映像コンテンツとしてのコードストリーム列（各画像を符号化したコードストリームの集合）の中から、他方の入力端子より入力された特定画像と一致するコードストリームを検索する装置である。

この画像検索装置２００は、図５を参照して説明した一致判定装置１００の構成に加え、その一致判定装置１００（比較器１４０）より出力される判定結果に基づいて、特定画像に一致するコードストリームを選択する選択器２０１を有する。

画像検索装置２００に入力されたコードストリーム列はコードストリームとそのインデクスとの組にされ、コードストリームは一致判定装置１００に入力され、インデクスは選択器２０１に入力される。また、画像検索装置２００に入力された特定画像は、一致判定装置１００に入力される。一致判定装置１００は、上述したようにコードストリームと特定画像との一致判定を行い、その判定結果を選択器２０１に供給する。選択器２０１は、その判定結果を参照し、特定画像に「一致する」と判定されたコードストリームのインデクスを出力する。

この画像検索装置２００が実行する画像検索処理の流れの例を、図１１のフローチャートを参照して説明する。ステップＳ６１において、画像検索装置２００（一致判定装置１００および選択器２０１）は、未処理のコードストリームが存在するか否かを判別し、存在すると判定した場合、処理をステップＳ６２に進め、次の未処理のコードストリームを、処理対象コードストリームＳに設定する。一致判定装置１００は、ステップＳ６３において、その処理対象コードストリームＳと特定画像とが一致するか否かを判定する。一致すると判定した場合、選択器２０１は、ステップＳ６４において、処理対象コードストリームＳのインデックスを出力する。ステップＳ６４の処理を終了すると、選択器２０１は、処理をステップＳ６１に戻し、次の未処理のコードストリームに対してそれ以降の処理を実行させる。また、ステップＳ６３において、処理対象コードストリームと特定画像とが一致しないと判定した場合、一致判定装置１００は、ステップＳ６４の処理を行わずにステップＳ６１に処理を戻し、次の未処理のコードストリームに対してそれ以降の処理を実行させる。画像検索装置２００（一致判定装置１００および選択器２０１）は、以上のように処理を繰り返すことにより各コードストリームについて処理を行い、ステップＳ６１において未処理のコードストリームが存在しないと判定した場合、画像検索処理を終了する。

このように、本実施の形態における画像検索装置２００によれば、コードストリーム列から特定画像と一致するコードストリームを検索し、そのインデクスを出力することができる。特に、第１の実施の形態と同様の一致判定装置１００を利用することにより、画像検索装置２００は、コードストリーム列を構成する各コードストリームと特定画像との一致判定を行う際に、コードストリームからは符号を抽出するのみで完全に復号することがないため、逆量子化や逆ウェーブレット変換などの処理が不要になるという利点がある。また、符号化パラメータはコードストリーム列を通じて殆ど変わることがないため、一致判定装置１００の内部の、ウェーブレット変換器１６１、量子化器１６２、コードブロック化器１６３、および符号抽出器１６４をコードストリーム毎に動作させる必要がない。したがって、画像検索装置２００は、少ない処理量で検索を行うことができる。

なお、以上においては、第１の実施の形態において説明した一致判定装置１００を利用するように説明したが、これ以外にも例えば、第２の実施の形態において説明した類似度計算装置１８０を利用するようにしてもよい。この場合、例えば、上述した判定結果の代わりに、累積器１８１より出力される類似度が選択器２０１に供給されるようにし、選択器２０１が、その類似度と所定の閾値とを比較し、類似度が閾値よりも大きいとき、コードストリームのインデクスを出力するようにしてもよい。また、例えば、累積器１８１より出力される類似度が選択器２０１に供給されるようにし、選択器２０１が、その類似度がもっとも大きなコードストリームを選択し、そのコードストリームのインデックスを出力するようにしてもよい。

（第４の実施の形態）
以上においては、一致判定装置１００が、符号により、コードストリームと特定画像の一致判定を行うように説明したが、それ以外の特徴量により一致判定を行うようにしてもよく、例えば、ゼロビットプレーン数、MQシンボル、量子化係数、またはウェーブレット係数等を用いて一致判定を行うようにしてもよい。どの特徴量を用いるかは、コードストリーム特徴量抽出器１２０の内部の構成と、画像特徴量抽出器１３０の内部の構成によって決定される。例えば、コードストリーム特徴量抽出器１２０が、図４に示される画像復号装置６０の内部の構成のうち、いずれに対応する構成を有し、画像特徴量抽出器１３０が、図１に示される画像符号化装置１０の内部の構成のうち、いずれに対応する構成を有するかによって、一致判定に用いる特徴量が決定される。

なお、一致判定は、複数種類の特徴量を用いて行うようにしてもよい。以下において、符号の他にゼロビットプレーン数も比較する例を第４の実施の形態として説明する。第１の実施の形態において説明した構成と同様の構成については、適宜説明を省略する。

図１２は、第４の実施の形態における一致判定装置の構成例を示すブロック図である。図１２において、一致判定装置３００は、第１の実施の形態の一致判定装置１００の場合と同様に、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うが、その際、符号の比較だけでなく、ゼロビットプレーン数の比較も行う。

一致判定装置３００は、符号化パラメータ抽出器１１０の他に、一致判定装置１００におけるコードストリーム特徴量抽出器１２０の代わりに、ゼロビットプレーン数も検出するコードストリーム特徴量抽出器３２０を有し、一致判定装置１００における画像特徴量抽出器１３０の代わりに、ゼロビットプレーン数も検出する画像特徴量抽出器３３０を有し、一致判定装置１００における比較器１４０の代わりに、符号およびゼロビットプレーン数を比較する比較器３４０を有する。

コードストリーム特徴量抽出器３２０は、入力されたコードストリームより符号およびゼロビットプレーン数をコードブロック毎に検出すると、それらを比較器３４０に供給する。画像特徴量抽出器３３０は、入力された特定画像より符号およびゼロビットプレーン数をコードブロック毎に検出すると、それらを比較器３４０に供給する。比較器３４０は、コードストリーム特徴量抽出器３２０より供給された符号と、画像特徴量抽出器３３０より供給された符号とを比較するとともに、コードストリーム特徴量抽出器３２０より供給されたゼロビットプレーン数と、画像特徴量抽出器３３０より供給されたゼロビットプレーン数を比較し、それらの比較結果に基づいて、コードストリームと特定画像の一致判定を行う。

コードストリーム特徴量抽出器３２０は、基本的にコードストリーム特徴量抽出器１２０の構成と同様の構成を有するが、コードストリーム解析器１５１の代わりに、コードストリームよりMQ符号を得るだけでなくゼロビットプレーン数の検出も行うコードストリーム解析器３５１を有する。コードストリーム解析器３５１は、コードストリーム解析器１５１の場合のように、入力されたコードストリームよりMQ符号を得て、それをMQ復号器１５２に供給するだけでなく、入力されたコードストリームのゼロビットプレーン数を検出してそれを比較器３４０に供給する。

コードブロックのすべての係数が０の場合、少なくともそのコートブロックのビットプレーン数まではすべての係数が０である。そして、量子化で切り捨てられたより下位のビットプレーンも、すべての係数が０であることが続く可能性がある。そこでコードブロックのすべての係数が０の場合、そのゼロビットプレーン数は「そのコードブロックのビットプレーン数以上」であると定義する。

画像特徴量抽出器３３０は、基本的に画像特徴量抽出器１３０の構成と同様の構成を有するが、画像特徴量抽出器１３０の構成に加えて、ゼロビットプレーン数検出器３６５を有する。ゼロビットプレーン数検出器３６５は、コードブロック化器１６３より出力されるコードブロックのゼロビットプレーン数を検出し、その値を比較器３４０に供給する。

この一致判定装置３００による一致判定処理の流れの例を図１３のフローチャートを参照して説明する。

一致判定装置３００の各部は、ステップＳ８１乃至ステップＳ８５の各処理を、図６のステップＳ１乃至ステップＳ５の場合と同様に実行し、処理対象コードブロックCcと処理対象コードブロックCiを設定する。

ステップＳ８６において、コードストリーム解析器３５１は、処理対象コードブロックCcのゼロビットプレーン数を調べ、ゼロビットプレーン数検出器３６５は、処理対象コードブロックCiのゼロビットプレーン数を調べる。

ステップＳ８７において、符号抽出器１６４は、ステップＳ６の場合と同様に符号列を得る。また、ステップＳ８８において、MQ復号器１５２およびビットモデリング部１５３は、ステップＳ７の場合と同様に符号列を得る。

比較器３４０は、ステップＳ８９において、処理対象コードブロックCiのゼロビットプレーン数が、処理対象コードブロックCcのゼロビットプレーン数と一致するか否かを判定し、一致すると判定した場合のみ、図５のステップＳ８およびステップＳ９の場合と同様にステップＳ９０およびステップＳ９１の処理を実行し、各符号の一致判定を行う。

Ｓ８９のゼロビットプレーン数の一致判定では、基本的にゼロビットプレーン数が同じであれば一致とする。コードストリームにゼロビットプレーン数が書かれていないコードブロックについては比較する値がないことになるが、一致と定義する。そのコードブロックを見ても不一致かどうか分からず判定を以降のコードブロックの比較にゆだねるという意味で、この定義は自然である。

また、すべての係数が値０のコードブロックであったため画像から抽出したゼロビットプレーン数が「α以上」（αは非負整数）となった場合には、コードストリームの対応するコードブロックのゼロビットプレーン数がα以上の任意の値であるときに一致と定義する。つまり、コードストリームの対応するコードブロックのゼロビットプレーン数がα、α＋１、α＋２、…といったα以上の値であれば一致とし、α−１、α−２、…といったα未満の値であれば不一致とする。

ステップＳ９１において、符号が一致しないと判定された場合、比較器３４０は、ステップＳ９２において、ステップＳ１０の場合と同様に不一致と判定して一致判定処理を終了する。また、ステップＳ９０において、処理対象コードブロックCcに未処理の符号が存在しないと判定した場合、比較器３４０は、処理をステップＳ８３に戻し、次の未処理のコードブロックに対する処理を実行させる。

なお、ステップＳ８９においてゼロビットプレーン数が一致しないと判定された場合も、比較器３４０は、ステップＳ９２に処理を進め、不一致と判定して一致判定処理を終了する。

すなわち、比較器３４０は、コードブロック毎に符号およびゼロビットプレーン数をそれぞれ比較し、いずれか一方で不一致が発生した場合、一致判定処理を終了する。符号とゼロビットプレーン数がともに一致した場合、比較器３４０は、次の未処理のコードブロックに処理対象を移す。

このように、本実施の形態における一致判定装置３００は、コードストリームと特定画像とについて、符号とゼロビットプレーン数の２種類の特徴量を比較し、その両方が全てのコードブロックにおいて一致するか否かにより、コードストリームと特定画像との一致判定を行うので、どちらか一方だけを比較する場合よりも一致判定の精度を向上させることができる。なお、コードストリームからは符号とゼロビットプレーン数を抽出するのみで完全に復号することがないため、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点は、第１の実施の形態の場合と同様に存在する。

（第５の実施の形態）
もちろん、特徴量の組み合わせは、符号とビットプレーン以外であってもよい。以下において、MQシンボルとゼロビットプレーン数を比較して一致判定を行う例を第５の実施の形態として説明する。上述した実施の形態において説明した構成と同様の構成については、適宜説明を省略する。

図１４は、第５の実施の形態における一致判定装置の構成例を示すブロック図である。図１４において、一致判定装置４００は、第１の実施の形態の一致判定装置１００の場合と同様に、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うが、その際、ゼロビットプレーン数の比較と、MQシンボルの比較を行う。

従って、一致判定装置４００は、基本的に図１２を参照して説明した一致判定装置３００と同様の構成を有しており、符号化パラメータ抽出器１１０に対応する符号化パラメータ抽出器４１０、コードストリーム特徴量抽出器３２０に対応するコードストリーム特徴量抽出器４２０、画像特徴量抽出器３３０に対応する画像特徴量抽出器４３０、および、比較器３４０に対応する比較器４４０を有する。

ただし、符号化パラメータ抽出器４１０は、入力されたコードストリームより、ウェーブレット変換器１６１、量子化器１６２、およびコードブロック化器１６３において利用される符号化パラメータだけでなく、後述するビットモデリング器４６７において利用される符号化パラメータも抽出し、それを画像特徴量抽出器４３０のビットモデリング器４６７に供給する。

また、コードストリーム特徴量抽出器４２０は、コードストリーム特徴量抽出器３２０の場合と同様に、コードストリーム解析器３５１、MQ復号器１５２、およびビットモデリング器１５３を有するものの、符号の代わりにMQ復号器１５２より出力されるMQシンボルを、ゼロビットプレーン数とともに出力する。

さらに、画像特徴量抽出器４３０は、画像特徴量抽出器３３０の場合と同様に、ウェーブレット変換器１６１、量子化器１６２、コードブロック化器１６３、およびゼロビットプレーン数検出器３６５を有し、符号抽出器１６４の代わりに、ゼロビットプレーン削除器４６６およびビットモデリング器４６７を有し、ゼロビットプレーン数とともにビットモデリング器４６７より出力されるMQシンボルを出力する。

この画像特徴量抽出器４３０において、コードブロック化器１６３より出力されるコードブロックは、ゼロビットプレーン数検出器３６５に供給されるとともに、ゼロビットプレーン削除器４６６にも供給される。また、ゼロビットプレーン数検出器３６５が検出したコードブロックに含まれるゼロビットプレーン数の情報は、比較器４４０に供給されるとともに、ゼロビットプレーン削除器４６６にも供給される。ゼロビットプレーン削除器４６６は、ゼロビットプレーン数検出器３６５より供給されるゼロビットプレーン数の情報に基づいて、コードブロック化器１６３より供給されるコードブロックに含まれるゼロビットプレーンを削除し、そのゼロビットプレーンを削除したコードブロックをビットモデリング器４６７に供給する。ビットモデリング器４６７は、符号化パラメータ抽出器４１０より供給される符号化パラメータに基づいて、ゼロビットプレーン削除器４６６より供給されるゼロビットプレーンを含まないコードブロックよりMQシンボルを得る。ビットモデリング器４６７は、そのMQシンボルを比較器４４０に供給する。

比較器４４０は、コードストリーム特徴量抽出器４２０と画像特徴量抽出器４３０より供給されるゼロビットプレーン数とMQシンボルをそれぞれ比較し、画像とコードストリームの一致判定を行う。

この一致判定装置４００による一致判定処理の流れの例を図１５のフローチャートを参照して説明する。

一致判定装置４００の各部は、ステップＳ１１１乃至ステップＳ１１５の各処理を、図１３のステップＳ８１乃至ステップＳ８６の場合と同様に実行し、処理対象コードブロックCcと処理対象コードブロックCiを設定し、それぞれのゼロビットプレーン数を調べる。

ステップＳ１１７において、ゼロビットプレーン削除器４６６は、処理対象コードブロックCiよりゼロビットプレーンを削除し、ビットモデリング器４６７は、そのゼロビットプレーンを含まない処理対象コードブロックCiのビットモデリングを行い、MQシンボル列を得る。

ステップＳ１１８において、MQ復号器１５２およびビットモデリング部１５３は、MQ復号およびビットモデリングを行い、MQシンボル列を得る。

比較器４４０は、ステップＳ１１９において、ステップＳ８９の場合と同様に、処理対象コードブロックCiのゼロビットプレーン数が、処理対象コードブロックCcのゼロビットプレーン数と一致するか否かを判定し、一致すると判定した場合、処理をステップＳ１２０に進め、MQシンボルの比較を行う。

ステップＳ１２０において、比較器４４０は、処理対象コードブロックCcに未処理のMQシンボルが存在するか否かを判定し、存在すると判定した場合、処理をステップＳ１２１に進め、処理対象コードブロックCiの次の未処理のMQシンボルと処理対象コードブロックCcの次の未処理のMQシンボルが一致するか否かを判定する。一致すると判定した場合、比較器４４０は、処理をステップＳ１２０に戻し、次の未処理のMQシンボルに対して処理を実行させる。

ステップＳ１２１において、MQシンボルが一致しないと判定された場合、比較器４４０は、ステップＳ１２２において、ステップＳ１０の場合と同様に不一致と判定して一致判定処理を終了する。また、ステップＳ１２０において、処理対象コードブロックCcに未処理のMQシンボルが存在しないと判定した場合、比較器４４０は、処理をステップＳ１１３に戻し、次の未処理のコードブロックに対する処理を実行させる。

なお、ステップＳ１１９においてゼロビットプレーン数が一致しないと判定された場合も、比較器４４０は、ステップＳ１２２に処理を進め、不一致と判定して一致判定処理を終了する。

すなわち、比較器４４０は、コードブロック毎にゼロビットプレーン数およびMQシンボル列をそれぞれ比較し、いずれか一方で不一致が発生した場合、一致判定処理を終了する。ゼロビットプレーン数とMQシンボル列がともに一致した場合、比較器４４０は、次の未処理のコードブロックに処理対象を移す。

そして、ステップＳ１１３において、コードストリームに未処理のコードブロックが存在しないと判定した場合、つまり、全てのコードブロックにおいてゼロビットプレーン数とMQシンボル列が一致すると判定した場合、比較器４４０は、処理をステップＳ１２３に進め、コードストリームと特定画像が一致すると判定し、一致判定処理を終了する。

このように、本実施の形態における一致判定装置４００は、コードストリームと特定画像とについて、ゼロビットプレーン数とMQシンボルの２種類の特徴量を比較し、その両方が全てのコードブロックにおいて一致するか否かにより、コードストリームと特定画像との一致判定を行うので、どちらか一方だけを比較する場合よりも一致判定の精度を向上させることができる。なお、コードストリームからはゼロビットプレーン数とMQシンボルを抽出するのみで完全に復号することがないため、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点は、第１の実施の形態の場合と同様に存在する。

以上において、本発明を実施するための最良の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、以上においては２種類の特徴量を組み合わせて利用する場合について説明したが、もちろん、３つ以上組み合わせて使うようにしてもよい。また、第４の実施の形態において説明した一致判定装置３００（図１２）や、第５の実施の形態において説明した一致判定装置４００（図１４）を、第１の実施の形態において説明した一致判定装置１００（図５）の代わりに、第２の実施の形態において説明した類似度計算装置１８０（図８）や、第３の実施の形態において説明した画像検索装置２００（図１０）に適用するようにしてもよい。

また、上述した実施の形態では、特定画像を途中まで符号化して特徴量を抽出するものとして説明したが、特定画像を完全に符号化してコードストリームを生成した後、このコードストリームから特徴量を抽出するようにしても構わない。

例えば、図１６に示される一致判定装置５００は、画像特徴量抽出器５３０として、特定画像をJPEG2000方式に従って圧縮符号化してコードストリームを生成する符号化器５６１と、そのコードストリームから特徴量を抽出するコードストリーム特徴量抽出器５６２とを有する。比較器５４０は、コードストリーム特徴量抽出器１２０より供給されるコードストリーム特徴量と、コードストリーム特徴量抽出器５６２より供給されるコードストリーム特徴量とを比較して一致判定を行う。つまり、コードストリーム特徴量抽出器５６２は、コードストリーム特徴量抽出器１２０と同一である。換言すれば、一致判定装置５００は、同一のコードストリーム特徴量抽出器２つと、一般的な符号化器によって構成することができ、その設計が容易である。

すなわち、この一致判定装置５００のように、特定画像を完全に符号化してコードストリームを生成した後、このコードストリームから特徴量を抽出するようにすることにより、一般的な符号化器を使えるという条件の下で、一致判定装置の設計が容易になる。

なお、コードストリーム特徴量抽出器１２０が実行する処理と、コードストリーム特徴量抽出器５６２が実行する処理を、例えば時分割処理等によって、１つのコードストリーム特徴量抽出器において実行するようにしてもよい。このようにすることにより、一致判定装置の構成が簡略化されるので、装置の回路規模を縮小させることができるだけでなく、設計や製造等が容易になり、様々なコストを低減させることができる。

また、上述した各実施の形態では、コードストリームと圧縮符号化されていない特定画像とを比較するものとして説明したが、特定画像が既に圧縮符号化されている場合には、コードストリーム同士を比較するようにしても構わない。ここで、両方のコードストリームの符号化パラメータが同一の場合には、両方のコードストリームに対してコードストリーム特徴量抽出器を用いて特徴量を抽出して比較すればよい。一方、両方のコードストリームの符号化パラメータが異なる場合には、一方のコードストリームを復号して画像にしてから入力端子に入力することになる。但し、後者の場合、元々が同じ画像であっても不一致と判定されることがあるため、類似度判定を行い、ある程 度の差は同じとみなす必要がある。

上述したように、本発明を適用した一致判定装置においては、様々な特徴量を適用することができるが、適用する特徴量によって、処理の容易さや判定の精度等が異なってくる。

図１７に示される表６０１は、適用した特長量による、処理容易度、一致判定精度、および類似度計算精度の違いを示している。表６０１の左端の「方式」は、適用した特長量の例を示している。もちろん、これ以外の特徴量を適用する方式も考えられるが、ここでは説明の簡略化のため省略する。

表６０１において、「処理容易度」は、各方式における一致判定処理の容易さを、方式間の比較形式で示している。この欄において数値が小さいほど処理が易しいことを示している。「一致判定精度」は、各方式における一致判定の精度を、方式間の比較形式で示している。また、「類似度計算精度」は、各方式における一致判定結果を利用した類似度の算出結果の精度を、方式間の比較形式で示している。これらの欄において数値が小さいほど精度が高いことを示している。

例えば、一番上の行に示されるように、ゼロビットプレーン数を比較することにより一致判定を行う方式の場合、「処理容易度」の値は「１」であり、表６０１に示される方式の中では最も一致判定を容易に行うことができる。しかしながら、「一致判定精度」の値は「６」であり、「類似度計算精度」の値は「８」である。つまり、表６０１に示される各方式の中で最も精度が低い。

また、例えば、上から４番目の行に示されるように、符号を比較することにより一致判定を行う方式（第１の実施の形態）の場合、「処理容易度」の値は「４」であり、「一致判定精度」と「類似度計算精度」の値はともに「５」である。このように方式（適用した特徴量）によって、処理の容易さや判定の精度が異なってくる。

なお、例えば、上から３番目の行に示されるように、MQシンボルとゼロビットプレーン数を比較することにより一致判定を行う方式の場合、「処理容易度」の値は「３」であり、「一致判定精度」の値は「１」であり、「類似度計算精度」の値は「６」である。「一致判定精度」は、特定画像とコードストリームにおいて特徴量が一致すると判定したときの正確さを示すものであり、「類似度計算精度」は、特定画像とコードストリームにおいて特徴量が似ていると判定したときの正確さを示すものであるので、同じ方式であっても一致判定と類似度計算の精度が異なることがある。例えば、類似度の計算において「不一致」と判定されても、どの程度不一致であるかは評価されないので、不一致と判定されたコードブロックにおいて画像がほとんど同じ場合であっても、全体において不一致と判定されたコードブロックの数が多ければ「似ていない」と判定されてしまうことも考えられる。

従って、表６０１に示されるような各方式の内、いずれを採用するかは、容易度や精度のいずれを優先させるかによって異なる。しかしながら、実用化が困難な方式を選択しても無意味なので、実現可能な範囲においての方式選択が求められる。例えば、処理が容易な方式から順番に検討してもよい。処理が容易な方式で必要な精度が出ていれば、より処理が複雑な他の方式を使う必要はない。実際、表６０１において最も処理が容易なゼロビットプレーン数を使う方式であっても精度はかなり高く、この方式で済むことが多い。仮に、このゼロビットプレーン数を利用する方式では精度が不足する場合、次に処理が容易な方式を検討していくようにすればよい。

表６０１の例においては、２番目に処理が容易なのはMQシンボルを使う方式で、３番目に処理が容易なのはMQシンボルとゼロビットプレーン数を使う方式である。これらを順番に必要な精度に達しているかどうか検討していくことにより、必要な精度が十分に得られ、かつ、最も処理が容易な方式を選択することができる。

ここで、類似度計算精度については、処理容易度と順番がまったく逆になっている。そのため、処理を難しくしていくことによって類似度計算精度を上げていくことができる。つまり、処理容易度と類似度計算精度のトレードオフを判断して方式を選ぶことができる。

一方、一致判定精度については、処理容易度との関連が変則的になっている。MQシンボルとゼロビットプレーン数を使う方式よりも一致判定精度が高い方式はない。そのため、基本的には、MQシンボルとゼロビットプレーン数数を使う方式よりも処理が難しい方式を選択する必要性はなく、ゼロビットプレーン数を使うか、MQシンボルを使うか、MQシンボルとゼロビットプレーン数を使うかの３通りの中から処理容易度と一致判定精度のトレードオフを判断して方式を選ぶのが望ましい。

ただし、この表６０１に書かれた処理容易度は、通常の環境におけるものである。専用ハードウェアが使えるためコードストリームから容易にウェーブレット係数が取り出せるなどという環境の場合には、それに合わせた処理容易度に置き換えて検討する必要がある。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図１８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図１８において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。

入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRTやLCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、以上において、一つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて一つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。

また、上述した実施の形態では、画像圧縮方式としてJPEG2000方式を用いて説明したが、本発明はこれに限定されるものではなく、例えばJPEGやMPEG（Moving Picture Experts Group）などの他の画像圧縮方式の場合にも適用可能である。

本発明は、画像検索装置に適用することが可能である。

画像をJPEG2000方式に従って符号化してコードストリームを生成する画像符号化装置の概略構成を示すブロック図である。 JPEG2000方式におけるウェーブレット変換の一例を示す図である。 コードブロックとビットプレーンとの関係を示す図である。 コードストリームをJPEG2000方式に従って復号して復号画像を生成する画像復号装置の概略構成を示すブロック図である。 一致判定装置の構成例を示すブロック図である。 一致判定処理の流れの例を説明するフローチャートである。 サブバンドの選択順序を示す図である。 類似度計算装置の構成例を示すブロック図である。 類似度計算処理の流れの例を説明するフローチャートである。 画像検索装置の構成例を示すブロック図である。 画像検索処理の流れの例を説明するフローチャートである。 一致判定装置の他の構成例を示すブロック図である。 一致判定処理の流れの、他の例を説明するフローチャートである。 一致判定装置のさらに他の構成例を示すブロック図である。 一致判定処理の流れの、さらに他の例を説明するフローチャートである。 一致判定装置のさらに他の構成例を示すブロック図である。 適用した特長量による、処理容易度、一致判定精度、および類似度計算精度の違いを示す表である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０ 画像符号化装置， ６０ 画像復号装置， １００ 一致判定装置， １１０ 符号化パラメータ抽出器， １２０ コードストリーム特徴量抽出器， １３０ 画像特徴量抽出器， １４０ 比較器， １５１ コードストリーム解析器， １５２ MQ復号器， １５３ ビットモデリング器， １６１ ウェーブレット変換器， １６２ 量子化器， １６３ コードブロック化器， １６４ 符号抽出器， １８０ 類似度計算装置， １８１ 累積器， ２００ 画像検索装置， ２０１ 選択器， ３００ 一致判定装置， ３２０ コードストリーム特徴量抽出器， ３３０ 画像特徴量抽出器， ３４０ 比較器， ３５１ コードストリーム解析器， ３６５ ゼロビットプレーン数検出器， ４００ 一致判定装置， ４１０ 符号化パラメータ抽出器， ４２０ コードストリーム特徴量抽出器， ４３０ 画像特徴量抽出器， ４４０ 比較器， ４６６ ゼロビットプレーン削除器， ４６７ ビットモデリング器， ５００ 一致判定装置， ５３０ 画像特徴量抽出器， ５４０ 比較器， ５６１ 符号化器， ５６２ コードストリーム特徴量抽出器

Claims (18)

1. 画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、
   前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、
   前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
   前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出手段と、
   前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と
   を備える画像比較装置。
2. 前記比較手段は、前記コードストリームのコードブロック毎の各量子化係数の符号と、前記特定画像のコードブロック毎の各量子化係数の符号とが全てのコードブロックで一致した場合に、前記コードストリームと前記特定画像とが略々一致すると判定する
   請求項１に記載の画像比較装置。
3. 前記比較手段は、所定のコンポーネント及び／又は所定のサブバンドについてのみ、前記コードストリームのコードブロック毎の各量子化係数の符号と、前記特定画像のコードブロック毎の各量子化係数の符号とを比較する
   請求項１に記載の画像比較装置。
4. 前記比較手段によるコードブロック毎の比較結果を累積し、前記比較結果に基づいて、前記コードストリームと前記特定画像との類似度を算出する累積手段をさらに備える
   請求項１に記載の画像比較装置。
5. 前記累積手段は、前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とが一致したコードブロックの数を累積し、当該一致したコードブロックの割合に応じて前記類似度を算出する
   請求項４に記載の画像比較装置。
6. 前記累積手段は、コンポーネントの種類及び／又はサブバンドの位置に応じて、累積する数に重み付けを行う
   請求項４に記載の画像比較装置。
7. 画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置の画像比較方法であって、
   前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手ステップと、
   前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、
   前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出ステップと、
   前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと
   を含む画像比較方法。
8. 画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、
   前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、
   前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
   前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
   前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割した後、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出手段と、
   コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、
   前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と
   を備える画像比較装置。
9. 前記比較手段によるコードブロック毎の比較結果を累積し、前記比較結果に基づいて、前記コードストリームと前記特定画像との類似度を算出する累積手段をさらに備える
   請求項８に記載の画像比較装置。
10. 画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置の画像比較方法であって、
    前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出ステップと、
    前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割した後、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出ステップと、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、
    前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと
    を含む画像比較方法。
11. 画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、
    前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出手段と、
    前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出手段と、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、
    前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と
    を備える画像比較装置。
12. 画像をJPEG2000方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置の画像比較方法であって、
    前記コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出ステップと、
    前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出ステップと、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、
    前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと
    を含む画像比較方法。
13. 複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、
    前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出手段と、
    前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と、
    前記比較手段による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索手段と
    を備える画像検索装置。
14. 複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置の画像検索方法であって、
    前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出ステップと、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第２の特徴量抽出ステップと、
    前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと、
    前記比較ステップの処理による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索ステップと
    を含む画像検索方法。
15. 複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、
    前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出手段と、
    各前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出手段と、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、
    前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と、
    前記比較手段による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索手段と
    を備える画像検索装置。
16. 複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置の画像検索方法において、
    前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号して各量子化係数の符号を抽出する第１の特徴量抽出ステップと、
    各前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック内の各量子化係数の符号を抽出する第３の特徴量抽出ステップと、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、
    前記コードストリームのコードブロック毎の各量子化係数の符号と前記特定画像のコードブロック毎の各量子化係数の符号とを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと、
    前記比較ステップの処理による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索ステップと
    を含む画像検索方法。
17. 複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、
    前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出手段と、
    前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出手段と、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出手段と、
    前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較手段と、
    前記比較手段による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索手段と
    を備える画像検索装置。
18. 複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置の画像検索方法において、
    前記コードストリーム列を構成する各コードストリームからコードブロック毎のMQ符号を抽出し、当該MQ符号を復号してMQシンボルを生成する第１の特徴量抽出ステップと、
    前記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出ステップと、
    前記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出ステップと、
    前記符号化パラメータに基づいて、前記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のMQシンボルを抽出する第３の特徴量抽出ステップと、
    コードブロック毎のゼロビットプレーン数を抽出する第４の特徴量抽出ステップと、
    前記コードストリームのコードブロック毎のMQシンボルと前記特定画像のコードブロック毎のMQシンボルとを同一位置のコードブロック同士で比較し、かつ、前記コードストリームのコードブロック毎のゼロビットプレーン数と前記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて前記コードストリームと前記特定画像とが略々一致するか否かを判定する比較ステップと、
    前記比較ステップの処理による比較結果に基づいて、前記コードストリーム列から前記特定画像と略々一致するコードストリームを検索する検索ステップと
    を含む画像検索方法。

Images