JP3921015B2 - 画像解析装置及び方法並びにプログラム記録媒体 - Google Patents
画像解析装置及び方法並びにプログラム記録媒体 Download PDFInfo
- Publication number
- JP3921015B2 JP3921015B2 JP27017599A JP27017599A JP3921015B2 JP 3921015 B2 JP3921015 B2 JP 3921015B2 JP 27017599 A JP27017599 A JP 27017599A JP 27017599 A JP27017599 A JP 27017599A JP 3921015 B2 JP3921015 B2 JP 3921015B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- image
- wavelet transform
- frequency band
- wavelet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Description
【０００１】
【産業上の利用分野】
本発明は、自動的に画像の特徴を抽出する画像解析装置および方法並びに画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体に関し、特に、ウェーブレット変換の各周波数域の係数を利用して画像のレイアウト、形状、テクスチャの特徴量を抽出する画像解析装置および方法並びに画像特徴量ならびにプログラム記録媒体に関する。
【０００２】
【従来の技術】
現在、インターネットの普及に伴なうデジタル画像の広範な利用により、個人のデジタルライブラリからインターネットプロバイダの検索サービスや公共のデジタルライブラリ等で、画像内容に基づく類似画像の検索がデジタル画像の広まりと共に注目されている。この類似画像検索のためには、画像から特徴量を抽出して画像検索に利用することが考えられている。
【０００３】
画像の特徴量については、色、テクスチャ、形状などに注目して多くの研究が今までに取り組まれている。例えば色の特徴量については、次の文献１によるヒストグラムが最も簡便に特徴量として使われている。
【０００４】
［文献１］M. Ortega et al. IEEE Trans. Knowledge and Data Engineering,vol.10, no.6, pp905-925, 1998.
しかし、色のヒストグラム等による特徴量だけでは、画像内の空間的な情報が欠落しているため、画像をブロック化したレイアウトの特徴量も使われることが多い。テクスチャに関しては、無数の研究があり、自己回帰モデルや周波数解析などに基づくものがある。また最近はウエーブレット変換を用いたものが良い性能を示すという報告もある。
【０００５】
形状に関する特徴量については、エッジの検出が基本として広く使われている。エッジ検出は変位に対して敏感すぎるため、様々な工夫が必要となる。
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の画像検索等のための特徴抽出にあっては、レイアウトや形状やテクスチャといった項目別に専用のアルゴリズムを用いて特徴量を抽出していたため、キー画像からレイアウト、形状、テクスチャといった各項目毎に特徴抽出を行わなければならず、これでは画像検索に時間がかかりずぎるという問題がある。
【０００７】
一方、ウエーブレット変換を用いた高速な画像検索が次の文献２及び文献３にある。
【０００８】
［文献２］C. E. Jacobs et al. Computer Graphics Proceedings, Annual
Conference Series, pp.277-286, 1995
［文献３］E. J. Stollnitz et al. "Wavelets for Computer Graphics",
Morgan Kaufmann Publishers, Inc. 1996
しかし、これらのウエーブレット変換を用いた画像検索は、画像全体をウエーブレット変換して各周波数帯域の全体を特徴量としているため、キー画像に全体として類似する画像しか検索することができず、キー画像のもつレイアウトや形状やテクスチャといった個別の特徴を把えて類似する画像を検索するといった柔軟な検索ができない難点がある。
【０００９】
本発明は、画像の特徴抽出が高速にでき、更に、レイアウトや形状やテクスチャといった特徴を個別的に抽出可能な柔軟性の高い特徴抽出ができる画像解析装置及び方法並びに画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体を提供することを目的とする。
【００１０】
また本発明は、サイズが異なっても中身の同じ画像を同じものと認識できるスケール不変性とカラー画像とグレースケール画像が混在しても検索可能な特徴抽出ができる画像解析装置及び方法並びに画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
図１は本発明の原理説明図である。本発明の画像解析装置は、図１（Ａ）（Ｂ）のように、グレースケール画像又はカラー画像を入力してウエーブレット変換を施すウエーブレット変換部２２と、ウエーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状およびテクスチャの各々に分けて特徴量を抽出する特徴量抽出部（２４，２６，２８）とを備える。
【００１２】
このためレイアウト、形状、テクスチャの特徴量が無関係なアルゴリズムによって抽出されてきた従来例に比べ、本発明はウエーブレット変換を利用してレイアウト、形状、テクスチャの各特徴量を抽出するアルゴリズムを統一したことによって、異なるカテゴリの特徴量を高速に抽出することができる。
【００１３】
また本発明のウエーブレット変換部２２は、ウエーブレット変換したデータの最低周波数帯域のサイズが所定サイズ以下となるように分解回数決定部２０で分解回数を決定して多重解像度解析のウエーブレット変換を行う。このように本発明は、ウエーブレット変換の多重解像度性を利用しているので画像のサイズに依存することのなく特徴量を抽出することができ、サイズが異なっても内容の一致する画像を類似するものとして捉えることができるスケール不変性をもつ。
【００１４】
本発明の特徴量抽出部は、図１（Ａ）のように、グレースケールの画像で特徴抽出ができることが基本であり、このためウエーブレット変換後の図１（Ｃ）のデータ構造における最低周波数帯域ＬＬの係数に基づいてレイアウトの特徴量を求めるレイアウト特徴量抽出部２４と、ウエーブレット変換後の２番目に低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０の係数に基づいて形状の特徴量を求める形状特徴量抽出部２６と、ウエーブレット変換後の最低周波数帯域ＬＬを除く各周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎ（但し，ｎ＝０，１、一般にはｎ＝０，１，２，・・・）の平均と分散に基づいてテクスチャの特徴量を求めるテクスチャ特徴量抽出部２８とを備える。
【００１５】
また本発明がカラー画像を扱う場合には、図１（Ｂ）のように、ウエーブレット変換部２２は、ＲＧＢ／ＹＵＶ変換部３２でＲＧＢ色空間のカラー画像を入力した場合、入力ＲＧＢカラー画像をＹＵＶ空間のカラー画像に変換した後にウエーブレット変換を施す。
【００１６】
カラー画像の場合、レイアウトについては色の分布に依存するため、レイアウト特徴量抽出部２４は、ウエーブレット変換における最も粗い解像度部分の色の扱いだけを考えれば良く、従ってウエーブレット変換後の最低周波数帯域ＬＬの係数を人間の感性にマッチする他の色空間の色表現に変換してレイアウトの特徴量を求める。
【００１７】
また形状とテクスチャの特徴量には色の概念はないので、色空間としてＹＵＶを用いた場合、最も信号量が集中するので輝度成分Ｙの特徴量を取り出す。即ち、形状特徴量抽出部２６は、ウエーブレット変換後の２番目に低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求める。
【００１８】
更に、テクスチャ特徴量抽出部２８は、ウエーブレット変換後の各周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎ（ｎ＝０，１，２，・・・）の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める。
【００１９】
レイアウト特徴量抽出部２４は、ウエーブレット変換後の最低周波数帯域ＬＬの係数を、人間の間隔に沿ったＨＳＶ色空間、Ｌａｂ色空間、又はマンセル色空間の色表現に変換してレイアウトの特徴量を求める。
【００２０】
またレイアウト特徴量抽出部２４は、ウエーブレット変換後の最低周波数帯域を予め定めた所定サイズに正規化する。これによってサイズが異なっても中身の同じ画像を同じものと認識できるスケール不変性が確保される。具体的には、レイアウト特徴量抽出部２４は、ウエーブレット変換後の最低周波数帯域ＬＬの短い方の辺を予め定めた長さとなるように補間してサイズを正規化する。
【００２１】
形状特徴量抽出部２６は、ウエーブレット変換後の２番目に低い周波数帯域の係数が配置される３つの帯域ＨＬ０，ＬＨ０，ＨＨ０につき、各係数の絶対値を求めると共に各帯域の相対的に同じ位置の係数を平均して１つの帯域の係数にまとめる。これによってレイアウト特徴量と形状特徴量は同じデータ量となる。
【００２２】
テクスチャ特徴量抽出部２８は、ウエーブレット変換後の最低周波数帯域ＬＬを除く輪郭縦成分の各周波数帯域ＨＬ０，ＨＬ１の係数の平均と分散を成分とするベクトル、輪郭横成分ＬＨ０，ＬＨ１の各周波数帯域の係数の平均と分散を成分とするベクトル、及び輪郭斜め成分ＨＨ０，ＨＨ１の各周波数帯域の係数の平均と分散を成分とするベクトルをテクスチャ特徴量として生成する。
【００２３】
本発明の画像解析装置は、ウエーブレット変換後の周波数帯域の係数に基づいて求めたレイアウト特徴量、形状特徴量、及びテクスチャ特徴量の各値を１バイト長に納まるように量子化し、データ量を低減して高速化を図る。
【００２４】
更に画像解析装置は、特徴量抽出部（２４，２６，２８）で抽出された画像のレイアウト特徴量、形状特徴量及びテクスチャ特徴量について、２つの画像間の類似度を各々算出すると共に、各類似度に重み付けを行なって２つの画像間の総合的な類似度を算出する類似度算出部を設ける。
【００２５】
このレイアウト、形状又はテクスチャの特徴量の類似度に対しては、重みを変えれば、目的に応じた柔軟性の高い検索ができる。例えば、形状特徴量の類似度だけを有効にすれば、形状が似ていて白黒が反転したポスター、車種が同じで色違いの車などの画像を検索することができる。また、テクスチャ特徴量の類似度の重みだけを有効にすれば、生地の折り目の粗さの類似した画像や、鉱物や化石の表面の類似した画像を取り出すことができる。
【００２６】
また、本発明は、画像解析方法を提供するものであり、グレースケール画像又はカラー画像を入力してウエーブレット変換を施し、ウエーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状およびテクスチャの各々に分けて特徴量を抽出することを特徴とする。
【００２７】
即ち、本発明の画像解析方法は、グレースケール画像の特徴量抽出を基本とし、ウエーブレット変換後の最低周波数帯域の係数に基づいてレイアウトの特徴量を求め、ウエーブレット変換後の２番目に低い周波数帯域の係数に基づいて形状の特徴量を求め、更に、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求める。
【００２８】
また本発明の画像解析方法は、カラー画像を入力した場合、ＲＧＢ色空間の入力カラー画像をＹＵＶ空間のカラー画像に変換した後にウエーブレット変換を施した後、ウーブレット変換後の最低周波数帯域の係数を人間の感性にマッチする他の色空間の色表現に変換してレイアウトの特徴量を求め、ウエーブレット変換後の２番目に低い周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求め、更に、ウエーブレット変換後の各周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める。この画像解析方法の詳細は、画像解析装置の場合と同じになる。
【００２９】
更に、本発明は、画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体を提供するものである。このプログラム記録媒体は、グレースケール画像又はカラー画像を入力してウエーブレット変換を施し、ウエーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状およびテクスチャの各々に分けて特徴量を抽出する画像特徴量抽出プログラムを格納している。
【００３０】
即ち、プログラム記録媒体に格納した画像特徴量抽出プログラムは、ウエーブレット変換後の最低周波数帯域の係数に基づいてレイアウトの特徴量を求め、ウエーブレット変換後の２番目に低い周波数帯域の係数に基づいて形状の特徴量を求め、更に、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求める。
【００３１】
またプログラム記録媒体に格納した画像特徴量抽出プログラムは、カラー画像を入力した場合、ＲＧＢ色空間の入力カラー画像をＹＵＶ空間のカラー画像に変換した後にウエーブレット変換を施し、ウエーブレット変換後の最低周波数帯域の係数を人間の感性にマッチするＨＳＶ等の他の色空間の色表現に変換してレイアウトの特徴量を求め、またウエーブレット変換後の２番目に低い周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求め、更に、ウエーブレット変換後の各周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める。
【００３２】
この画像特徴量抽出プログラムを格納したコンビュータ可読のプログラム記録媒体についても、その詳細は、画像解析装置の場合と同じになる。
【００３３】
【発明の実施の形態】
図２は、本発明の画像解析装置が使用される類似画像検索システムのブロック図である。この類似画像検索システムは、特徴量抽出部１０、類似度算出部１２及び画像メモリ１４で構成される。特徴量抽出部１０は本発明の画像解析装置を構成するもので、グレースケール画像特徴量抽出部１６とカラー画像特徴量抽出部１８を備えている。
【００３４】
画像メモリ１４には類似画像検索のために入力されたキー画像５０と候補画像６０の特徴量が格納されている。またキー画像５０と候補画像６０のそれぞれについて、特徴量抽出部１０で抽出されたレイアウト特徴量５２，６２、形状特徴量５４，６４及びテクスチャ特徴量５６，６６のそれぞれが格納されている。
【００３５】
この内、候補画像６０のレイアウト特徴量６２、形状特徴量６４及びテクスチャ特徴量６６は、予め準備されたデータベースから読込まれた特徴量データであり、このデータベースを作成する際の特徴抽出にも本発明がそのまま適用されている。
【００３６】
類似度算出部１２は、キー画像５０と候補画像６０のそれぞれについて、特徴量抽出部１０で抽出されたレイアウト特徴量、形状特徴量，テクスチャ特徴量について類似度を算出して総合的に判断する。
【００３７】
図３は、図２の類似画像検索システムの処理動作のフローチャートである。実際の類似画像検索にあっては、検索対象となる各画像の特徴量を本発明に従って抽出して格納した特徴量のデータベースを準備している。例えばサーバ上に特徴量のデータベースを構築し、クライアントからのキー画像の提供による類似画像の検索要求を受けた際に、サーバ上でキー画像の特徴量を抽出し、データベースから抽出しておいた画像の特徴量とを比較して類似を判断し、結果をクライアントに表示させるようになる。
【００３８】
まずステップＳ１でキー画像とデータベース内の特徴量のデータを入力する。この場合、入力するキー画像はグレースケール画像であってもよいしカラー画像であってもよい。次にステップＳ２で、入力した画像がカラー画像か否かチェックする。
【００３９】
グレースケール画像であればステップＳ３に進み、グレースケール画像特徴量抽出部１６の処理によってグレースケール画像特徴量抽出処理を行う。カラー画像であればステップＳ４に進み、カラー画像特徴量抽出部１８によってカラー画像特徴量抽出処理を行う。
【００４０】
続いてステップＳ５に進み、類似度算出部１２でキー画像とデータベースから入力している候補画像の特徴量との類似度算出処理を行う。本発明にあっては、この類似度の算出処理はキー画像と候補画像のレイアウト特徴量、形状特徴量，テクスチャ特徴量のそれぞれについて行うもので、必要に応じていずれかの特徴量に重み付けを行った類似度算出を行い、算出結果を合わせ、総合的に画像の類似度を判断する。
【００４１】
図４は、図２の特徴量抽出部１０に設けているグレースケール画像特徴量抽出部１６の機能ブロック図である。このグレースケール画像特徴量抽出部１６は、分解回数決定部２０−１、ウエーブレット変換部２２−１、レイアウト特徴量抽出部２４−１、形状特徴量抽出部２６−１及びテクスチャ特徴量抽出部２８−１で構成される。
【００４２】
この図４のグレースケール画像特徴量抽出部１６の機能をプログラム構造として見ると、分解回数決定部２０−１に対応した画像のサイズ情報から解像度の分解回数を決定する関数、ウエーブレット変換部２２−１に対応したウエーブレット変換によって解像度分解を行う関数、及びレイアウト特徴量抽出部２４−１、形状特徴量抽出部２６−１及びテクスチャ特徴量抽出部２８−２に対応したウエーブレット変換後のデータからレイアウト、形状、テクスチャの各特徴量を取り出す関数から構成されることになる。
【００４３】
図５は、図４のグレースケール画像特徴量抽出処理のフローチャートである。この処理にあっては、ステップＳ１でグレースケールの画像を入力し、ステップＳ２でウエーブレット変換における分解回数Ｋを決定する。この分解回数の決定は画像サイズに依存して動的に決定し、ウエーブレット変換後のデータ構造における最低周波数帯域ＬＬのサイズが予め定めた一定サイズ以下となるまで分解する。この分解回数決定処理は、後の説明で更に明らかにされる。
【００４４】
続いてステップＳ３でウエーブレット変換によって分解回数Ｋに応じた多重解像度解析（ＭＲＡ）を行う。続いてウエーブレット変換後のデータを対象に、ステップＳ４，Ｓ５，Ｓ６でそれぞれテクスチャ特徴量抽出、形状特徴量抽出及びレイアウト特徴量抽出の特徴量抽出処理を行い、ステップＳ７で特徴量データを出力する。
【００４５】
ステップＳ４のレイアウト特徴量抽出は、ウエーブレット変換後の最低周波数帯域の係数に基づいてレイアウトの特徴量を求める。ステップＳ５の形状特徴量抽出は、ウエーブレット変換後の２番目に低い周波数帯域の係数に基づいて形状の特徴量を求める。更に、ステップＳ６のテクスチャ特徴量抽出にあっては、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求める。
【００４６】
図６は、図２の特徴量抽出部１０に設けたカラー画像特徴量抽出部１８の機能ブロック図である。図６のカラー画像特徴量抽出部１８は、ＲＧＢ／ＹＵＶ変換部３２、分解回数決定部２０−２、ウエーブレット変換部２２−２、ＹＵＶ／ＨＳＶ変換部３４、レイアウト特徴量抽出部２４−２、形状特徴量抽出部２６−２及びテクスチャ特徴量抽出部２８−２で構成される。
【００４７】
このカラー画像特徴量抽出部１８で処理対象とするカラー画像は例えばＲＧＢ色空間のＲＧＢカラー画像データ３６であり、図４のグレースケール画像特徴量抽出部１６における１成分の画像データに対しＲＧＢの３成分の画像データを処理する点が相違する。
【００４８】
図７は、図６のカラー画像特徴量抽出処理のフローチャートである。ステップＳ１でＲＧＢのＲＧＢカラー画像データを入力すると、ステップＳ２でＲＧＢ色空間からＹＵＶ色空間への色表現の変換を行う。次にステップＳ３でウエーブレット変換を行う分解回数Ｋを決定する。この分解回数の決定は図５のグレースケール画像の場合と同じ処理となる。
【００４９】
次にステップＳ４でウエーブレット変換を分解回数Ｋに従って行う。このウエーブレット変換にあっては、ＹＵＶの３成分のそれぞれについて行う。次にステップＳ５，Ｓ６，Ｓ７において、ウエーブレット変換後のデータを対象にテクスチャ特徴量抽出、形状特徴量抽出及びレイアウト特徴量抽出の特徴量抽出処理を行い、次にステップＳ８で特徴量データを出力する。
【００５０】
ステップＳ５のレイアウト特徴量抽出にあっては、カラー画像の場合、レイアウトについての色の分布が重要となり、ウエーブレット変換後の最低周波数帯域に基づいてレイアウトの特徴量を求めるが、この場合、人間の感覚に沿った最適な色空間として知られたＨＳＶ色空間に最低周波数帯域のＹＵＶ色空間のデータを変換してレイアウト特徴量を抽出する。
【００５１】
この実施形態にあっては、レイアウト特徴量抽出のための色空間としてＨＳＶ色空間を例にとっているが、人間の感覚にマッチするような他の色空間としてＬａｂ色空間やマンセル色空間等に変換してもよい。
【００５２】
ここでステップＳ２のＲＧＢ色空間からＹＵＶ色空間への変換、及びステップＳ５におけるＹＵＶ色空間からＨＳＶ色空間への変換は、次の変換式（１）（２）（３）式を用いればよい。
【００５３】
【数１】
【００５４】
即ち図７のステップＳ２にあっては、（１）式によってＲＧＢ色空間からＹＵＶ色空間に色表現を変換する。またステップＳ５にあっては、ウエーブレット変換後の最低周波数帯域のＹＵＶ色空間のデータを例えば（２）式でＲＧＢ色空間に変換した後、（３）式によりＨＳＶ色空間に変換する。
【００５５】
ステップＳ６の形状特徴量の抽出は、ウエーブレット変換後の２番目に低い周波数帯域に基づいて形状の特徴量を求めるが、形状の特徴量には色の概念がないことから、色空間としてＹＵＶ空間の場合には信号量が最も集中するＹ成分を用いて形状の特徴量を求める。
【００５６】
またステップＳ７のテクスチャ特徴量抽出にあっては、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求めるが、この場合にもテクスチャには色の概念がないことから、ＹＵＶ色空間における最も信号量が集中するＹ成分を使用してテクスチャ特徴量を抽出する。
【００５７】
ここで図６に示したカラー画像特徴量抽出部１８の機能ブロックをプログラム構造として見ると、図４のグレースケール画像特徴量抽出部１６の場合と同様、画像のサイズ情報から解像度の分解回数を決定する関数、ウエーブレット変換によって解像度分解を行う関数、変換後のデータからレイアウト、形状、テクスチャの特徴量を取り出す関数に加え、ＲＧＢ、ＹＵＶ、ＨＳＶの各色空間の間で双方向に自由に変換できる関数から構成されることになる。
【００５８】
図８は、図５のステップＳ２及び図７のステップＳ３におけるウエーブレット変換を使用した多重解像度解析の分解回数Ｋを決定するためのアルゴリズムのフローチャートである。この分解回数決定処理にあっては、まずステップＳ１で、入力したグレースケール画像またはカラー画像の縦画像数と横画像数のうちの小さい方を最小画素数Ｎとして選択し、またウエーブレット変換フィルタの最大長をＭとし、分解回数Ｋを初期値Ｋ＝０とする。
【００５９】
続いてステップＳ２に進み、縦または横の最小画素数Ｎとフィルタ最大長Ｍを比較し、縦または横画素数Ｎがフィルタ最大長Ｍより大きければ、ステップＳ３で小さい方の縦または横画素数に１を加算して半分のサイズに縮小し、同時に分解回数をＫ＝Ｋ＋１と１つアップする 。
【００６０】
このステップＳ２，Ｓ３の処理を、ステップＳ２でサイズを分解して縮小した縦または横画素数がフィルタ最大長Ｍ以下となるまで繰り返し、そのときの回数をステップＳ４に進んで分解回数Ｋとする。
【００６１】
この分解回数決定処理のアルゴリズムによって、ウエーブレット変換を用いた多重解像度解析のための分解回数Ｋは画像サイズに依存して動的に決定され、ウエーブレット変換後の最低周波数帯域ＬＬのサイズが、ある一定値以下となるまで分解されることになる。
【００６２】
図９は、図５のステップＳ３及び図７のステップＳ４で行われるウエーブレット変換処理のフローチャートである。このウエーブレット変換処理にあっては、ステップＳ１で分解回数Ｋを定義すると共にカウンタＩをＩ＝０にセットした後、ステップＳ２で分解回数Ｋに図８のアルゴリズムで決定した分解回数をセットする。
【００６３】
続いてステップＳ３で分解回数ＫとカウンタＩを比較し、カウンタＩが分解回数Ｋより小さければ、ステップＳ４でウエーブレットフィルタを使用したウエーブレット変換によって周波数帯域のＸ方向を２つの帯域に分割し、続いてステップＳ５でウエーブレット変換により最低周波数帯域のＹ方向を２つの帯域に分解する。
【００６４】
続いてステップＳ６でカウンタＩを１つインクリメントし、ステップＳ３に戻る。以下、ステップＳ４，Ｓ５の最低周波数帯域のＸ方向及びＹ方向のそれぞれについて、ウエーブレット変換によって２つの帯域に分解する処理を繰り返す。
【００６５】
図９のウエーブレット変換処理として、この実施形態にあっては例えばスプライン・ウエーブレット・フイルタを使用し、そのフィルタ係数としては例えば図１０に示すものからローパスフィルタ係数（スケール関数φ（Ｘ）の係数）とハイパスフィルタ係数（ウエーブレット関数ψ（Ｘ）の係数）を用いている。
【００６６】
図１１は、図９のウエーブレット変換処理で得られた周波数帯域データであり、分解回数ＫをＫ＝２回とした場合のウエーブレット変換後のｎ＝０，１の２階層のデータ構造を例にとっている。
【００６７】
この図１１のウエーブレット変換後のデータ構造について、本発明によるレイアウト特徴量、形状特徴量及びテクスチャ特徴量の抽出を説明すると次のようになる。
【００６８】
まずテクスチャ特徴量の抽出は、ウエーブレット変換後のデータ構造の最低周波数帯域ＬＬに画像全体の大まかな輝度分布が反映されているため、最低周波数帯域ＬＬのデータに基づいてテクスチャ特徴量を取り出す。
【００６９】
図１２は、図１１のウエーブレット変換後のデータ構造を対象とした本発明によるレイアウト特徴量抽出処理のフローチャートである。まずステップＳ１で最低周波数帯域ＬＬ成分のサイズの正規化を行う。最低周波数帯域ＬＬ成分のサイズの正規化は、特徴量に基づいて行われる類似度算出でのデータサイズのマッチングのためである。
【００７０】
サイズ正規化の方法は、最低周波数帯域ＬＬ成分の縦または横のうちの短い方の辺を予め定めた長さ例えば１６データ点となるように補間する。ステップＳ１でサイズ正規化が済むと、ステップＳ２でカラー画像か否かチェックする。
【００７１】
カラー画像であった場合にはステップＳ３に進み、最低周波数帯域ＬＬ成分の色表現をＹＵＶ色空間からＨＳＶ色空間への色表現に変換する。この変換には前記（２）（３）式を用いる。グレースケール画像の場合はステップＳ３はスキップする。
【００７２】
次にステップＳ４でデータ量を最小限にし、類似判定の際の参照を高速化するためにデータの量子化を行う。この量子化は、グレースケール画像の場合は１データ点につき１バイトの大きさとなるように最低周波数帯域成分ＬＬの各値を量子化する。またカラー画像の場合はＨＳＶの３成分で構成されるが、同じく類似判定の際の参照を高速化するためＨＳＶのそれぞれにつき量子化ステップを大きくとり、１データ点につきＨＳＶの３成分を合わせて１バイトとなるように量子化する。
【００７３】
次に図１１のウエーブレット変換後のデータ構造に基づく形状特徴量の抽出を説明する。ウエーブレット変換後のデータ構造において、２番目に周波数が低い１階層目（ｎ＝０）の周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の各成分には大まかな輪郭の形状が反映されている。そこで、２番目に周波数の少ない１階層目の周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の成分を用いて形状の特徴量を取り出す。
【００７４】
図１３は、図１１のウエーブレット変換後のデータ構造を対象とした本発明による形状特徴量抽出処理のフローチャートである。まずステップＳ１でカラー画像か否かチェックし、カラー画像であればステップＳ２に進み、周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の成分をＹ成分のみとする。
【００７５】
続いてステップＳ３で周波数帯域ＨＬ０、ＬＨ０、ＨＨ０のＹ成分を絶対値に置き換える。これは形状の特徴量については周波数帯域ＨＬ０、ＬＨ０、ＨＨ０について、そこに輪郭が存在するか否かであることから絶対値を求めておけばよい。グレースケール画像の場合はステップＳ２はスキップする。
【００７６】
次にステップＳ４で、形状特徴量「Ｓｈａｐｅ」を定義し、周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の相対的に同じ位置のＹ成分の値を平均して１つのデータとして保存する。このため形状特徴量は３つの周波数帯域から取り出しているが、ステップＳ４の処理によりデータの数はレイアウト特徴量と同じになる。
【００７７】
続いてステップＳ５で、１つの帯域にまとめた形状特徴量Ｓｈａｐｅの成分について、図１２のステップＳ１の場合と同様、サイズの正規化を行う。続いてステップＳ６で類似判定の際の参照を高速化するため量子化を行って、１データ点当たり１バイトに収まるようにしておく。
【００７８】
次に図１１のウエーブレット変換後のデータ構造から求めるテクスチャ特徴量を説明する。このウエーブレット変換後のデータ構造において、周波数帯域ＨＬ０，ＨＬ１には各周波数帯域ごとの輪郭の縦成分が反映され、周波数帯域ＬＨ０，ＬＨ１には各周波数帯域ごとの輪郭の横成分が反映され、更に周波数帯域ＨＨ０，ＨＨ１には各周波数帯域ごとの輪郭の斜め成分が反映されている。
【００７９】
そこで周波数帯域の組（ＨＬ０、ＨＬ１），（ＬＨ０、ＬＨ１），（ＨＨ０、ＨＨ１）からテクスチャの特徴量を取り出す。このテクスチャの特徴量については、最低周波数帯域ＬＬを除く各周波数帯域ごとに平均値Ａと分散値σを求め、周波数帯域ＨＬ方向、ＬＨ方向及びＨＨ方向の各方向ごとにベクトルを構成する。例えば階層ｎ番めのＨＬ方向の平均をＡn HL、分散をσn HLとすると、各方向のベクトルは次のように定義できる。
【００８０】
【数２】
【００８１】
図１４は、本発明によるテクスチャ特徴量抽出処理のフローチャートである。まず、ステップＳ１でカラー画像か否かチェックし、カラー画像であればステップＳ２に進み、周波数帯域ＨＬｎ，ＬＨｎ（但しｎ＝０，１，２，・・・）の成分をＹ成分のみとする。グレースケール画像の場合はステップＳ２をスキップする。
【００８２】
次にステップＳ３に進み、周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎの成分を絶対値に置き換える。次にステップＳ４で周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎの平均値と分散値を求める。そしてステップＳ５で（４）〜（９）式のように、テクスチャ特徴量を表す特徴ベクトルを構成する。
【００８３】
最終的にステップＳ６で、類似判定の際の参照を高速化するため特徴ベクトルの各成分に量子化を施してデータ量を削減する。
【００８４】
図１５は、図２の類似画像検索システムに設けている類似度算出部１２の機能ブロック図である。図１５の類似度算出部１２は、レイアウト類似度算出部４０、形状類似度算出部４２、テクスチャ類似度算出部４４、重み付け値設定部４６及び総合類似度算出部４８で構成される。
【００８５】
この類似度算出部１２の機能ブロックをプログラム構成として見ると、図２の画像メモリ１４のようにキー画像５０及び候補画像６０について得られたレイアウト、形状、テクスチャの各特徴量ごとに類似度を算出する関数と、レイアウト、形状、テクスチャの各類似度ごとに予め定められた重みを付けて全体の類似度を算出する関数から構成されることになる。
【００８６】
図１６は、図１５の類似度算出処理のフローチャートである。この類似度算出処理は、まずステップＳ１で図２の特徴量抽出部１０により変換されたキー画像と候補画像についてのレイアウト、形状及びテクスチャの各特徴量のデータを読み込む。
【００８７】
続いてステップＳ２，Ｓ３，Ｓ４のそれぞれで、レイアウト、形状及びテクスチャの各特徴量について２つの画像間の距離ｘを求め、（１−ｘ）として類似度を算出する。続いてステップＳ５で、算出されたレイアウト、形状及びテクスチャの各類似度について予め定められた重み付けまたはユーザが指定した重み付けを行い、ステップＳ６で重み付けの済んだ３つの類似度の加算によって総合類似度を求めて出力する。
【００８８】
ここでレイアウト、形状及びテクスチャの各類似度の算出の詳細を説明すると次のようになる。レイアウトの類似度を算出する際には、キー画像と候補画像について求められたレイアウト特徴量のデータ点ごとに２つの画像間の距離を算出する。
【００８９】
このレイアウト特徴量にあっては、図１１のウエーブレット変換後のデータ構造における最低周波数帯域ＬＬの成分をＨＳＶ成分に変換した成分値が与えられており、このＨＳＶ成分の数値を用いて２つの画像間の距離を求める。
【００９０】
ここで２つの画像のＨＳＶ色空間における距離の算出を行う２つのデータ点の成分を（Ｈｉ，Ｓｉ，Ｖｉ）及び（Ｈｊ，Ｓｊ，Ｖｊ）とすると、ＨＳＶ色空間での距離は次式で与えられる。
【００９１】
【数３】
【００９２】
またキー画像と候補画像のサイズユニットは、ウエーブレット変換後に例えば図１１のようにして得られる最低周波数帯域ＬＬの画像の縦横比が異なる場合には、図１７のように、例えばキー画像テクスチャ特徴量帯域７０と候補画像テクスチャ特徴量帯域７２の中心部分を重ね合わせ、重複する部分７４についてのみテクスチャ特徴量について距離を求める。
【００９３】
図１８は、図１７のように縦横比が異なる場合の類似度算出のフローチャートであり、図１７のように２つの画像の領域を中心部分で重ね合わせて距離を算出するアルゴリズムである。ここで図１７の２つの画像特徴領域７０，７２は、画像Ａ，Ｂとしている。
【００９４】
まずステップＳ１で画像Ａのｘ方向の長さと画像Ｂのｘ方向の長さのうち短い方Ｍｉｎｘとし、同じく画像Ａのｙ方向の長さと画像Ｂのｙ方向の長さのうちの短い方をＭｉｎｙとする。続いてステップＳ２で、図１７のように２つの画像を中心に合わせた状態で比較するためのデータ点を選択するため、画像Ａ，Ｂについてのｘ方向及びｙ方向のオフセットを算出する。
【００９５】
続いてステップＳ３で画像ＡのカウンタＩと画像ＢのカウンタＪをそれぞれ０にリセットした後、ステップＳ４でカウンタＩ，ＪがステップＳ１で選択した画像Ａ，Ｂのｘ方向及びｙ方向の短い方の長さＭｉｎｘ，Ｍｉｎｙ以上となるまで、ステップＳ５，Ｓ６，Ｓ７の処理を繰り返す。
【００９６】
ステップＳ５にあっては、比較を行う画像Ａのデータ点Ｐｔ Ａと比較を行う画像Ｂのデータ点Ｐｔ Ｂを、それぞれ現在地（Ｉ，Ｊ）とステップＳ２で求めたオフセットから算出する。続いてステップＳ６で画像Ａのデータ点Ｐｔ Ａ番地のデータと画像Ｂのデータ点Ｐｔ Ｂ番地のデータを比較し、レイアウトの類似度を算出する。
【００９７】
続いてステップＳ７でカウンタＩ，Ｊを１つずつアップした後、ステップＳ４で重複領域を越えるまで、ステップＳ５，Ｓ６の類似度の算出処理を繰り返す。
【００９８】
この図１８の縦横比対応の類似度算出処理は、画像Ａ，Ｂの縦横比が同じ場合についても、そのまま適用できる。縦横比が同じ場合には、ステップＳ２におけるオフセットがそれぞれ０となるだけである。
【００９９】
また図１８はレイアウト特徴量の類似度算出を例にとっているが、図１１の２番目に周波数が低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０をまとめて作った形状の特徴量についても、レイアウト特徴量の場合と同様に適用することができる。
【０１００】
またレイアウト特徴量の類似度算出において、キー画像と候補画像の一方がグレースケール画像で他方がカラー画像の場合については、カラー画像のＶ成分がグレースケール画像の輝度に対応することから、カラー画像のレイアウト特徴量のＨＳＶ成分のうちＶ成分のみを使用してグレースケール画像のレイアウト特徴量との間で距離を求め、類似度を算出する。
【０１０１】
次に形状特徴量に基づく類似度の算出は、レイアウト特徴量の成分とデータ点の数と配置が同じであることから、レイアウト特徴量に基づく類似度と同じ手順で類似度を算出する。相違点としては、形状特徴量は色成分の区別がない色成分Ｙのみであることから、キー画像の形状特徴量の輝度成分Ｙｉと候補画像の形状特徴量の輝度成分Ｙｊの距離（Ｙｉ−Ｙｊ）2 を求めればよい。
【０１０２】
更にテクスチャ特徴量の類似度の算出は、前記（４）〜（９）式に示したようなキー画像と候補画像についてテクスチャ特徴量として求めたベクトル同士の比較となる。このベクトル同士の比較による距離の算出は各ベクトルのマンハッタン距離を求めればよい。即ち２つのベクトルの距離Ｌは次式で求められる。勿論、マンハッタン距離以外にベクトル同士の比較を行う適宜の距離演算が適用できる。
【０１０３】
【数４】
【０１０４】
図１９は、図１５においてレイアウト類似度のみを有効とするように重み付けを行った場合の類似画像検索結果の一例である。図１９（Ａ）がキー画像７４であり、キー画像のレイアウトは青空７４−１，地面７４−２で２分割され、中央に建物７４−３が配置されている。
【０１０５】
このようなキー画像７４に対し、図１９（Ｂ）（Ｃ）（Ｄ）の第１候補７６，第２候補７８，第３候補８０について、ウエーブレット変換に基づく最低周波数帯域ＬＬのＨＳＶ成分として求めたテクスチャ特徴量について類似度を算出すると、キー画像７４に対しアングルが異なる第１候補７６の類似度は９０％が得られ、キー画像７４に対し建物７８−３が異なる第２候補７８は類似度８０％が得られ、更にキー画像７４に対し建物８０−３が異なる第３候補８０は類似度６０％となる。
【０１０６】
図２０は、図１５において形状類似度のみを有効とする重み付けを行った場合の類似画像検索結果の一例である。図２０（Ａ）の電気機関車のキー画像８２に対し、図２０（Ｂ）の第１候補８４及び図２０（Ｃ）の第２候補８６について、それぞれのウエーブレット変換で得られた２番目に周波数の低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０に基づく形状特徴量について類似度を求めると、キー画像８２を白黒反転した第１候補８４は類似度１００％が得られる。またキー画像８２に対し中の車両を窓付きとした第２候補８６については類似度９０％を得ることができる。
【０１０７】
図２１は、図１５でテクスチャ類似度のみを有効とする重み付けを行った場合の類似画像検索結果の一例である。図２１（Ａ）はキー画像８８であり、これに対し図２１（Ｂ）の第１候補９０、図２１（Ｃ）の第２候補９２、・・・、図２１（Ｄ）の第ｎ候補９４との間で類似度を算出する。
【０１０８】
このようなキー画像８８に対する各候補９０，９２，・・・９４にあっては、キー画像８８のテクスチャに対し第１候補９０が類似度９０％、第２候補９２が類似度８０％、更に第ｎ候補９４が類似度５％となっている。
【０１０９】
このように本発明にあっては、ウエーブレット変換による周波数帯域に基づいてレイアウト、形状及びテクスチャのそれぞれについて固有の特徴量を求め、この特徴量についてキー画像と候補画像との間で類似度を算出し、必要に応じてレイアウト、形状またはテクスチャの各類似度に重み付けを行って総合類似度を求めることで、非常に柔軟性の高い類似画像の検索を高速で行うことができる。
【０１１０】
更に本発明は図２の本発明による特徴量抽出部１０、具体的には図４のグレースケール画像特徴量抽出部１６と図６のカラー画像特徴量抽出部１８の機能ブロックを実現する関数で構成された画像特徴量抽出プログラムを格納したコンピュータ読取り可能なプログラム記録媒体を提供する。
【０１１１】
この本発明による画像特徴量抽出プログラムを格納したコンピュータ読取り可能なプログラム記録媒体としては、ＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＤＶＤ−ＲＯＭ，ＭＤ，ＦＤ等の適宜の可搬記録媒体に本発明による画像特徴量抽出プログラムを格納したものを含む。
【０１１２】
更にまた、図２の特徴量抽出部１０に対応した画像特徴量抽出プログラムに加え、図２の類似度算出部１２に対応した類似度算出プログラム、具体的には図１５の機能ブロックを実現する類似度算出プログラムを合わせて格納したコンピュータ読取り可能な記録媒体を提供することも含む。勿論、類似度算出プログラムを独立に記録した記録媒体であってもよい。
【０１１３】
更に本発明の画像特徴量抽出プログラムを格納した記録媒体としては、パーソナルコンピュータ等の情報処理装置に対し着脱自在で記録媒体単体で取引される適宜の記録媒体を含むことは勿論である。
【０１１４】
また本発明は上記の実施形態に限定されず、その目的と利点を損なわない適宜の変形を含む。更に本発明は上記の実施形態に示した数値による限定は受けない。
【０１１５】
【発明の効果】
以上説明してきたように本発明によれば、ウエーブレット変換の多重解像度解析を利用することによって変換後の各周波数帯域からレイアウト、形状、テクスチャの３種類の特徴量を高速に求めることができる。
【０１１６】
またウエーブレット変換後のデータから得られるレイアウト、形状、テクスチャは人間の主観に適合した特徴量であり、これらの特徴量に基づく類似度算出結果について適宜の重み付けを行うことで、類似画像を検索する際に高い柔軟性が得られる。
【０１１７】
またウエーブレット変換を利用したレイアウト、形状、テクスチャの特徴量の抽出にあっては、画像サイズが異なっても中身の同じ画像を同じものとして認識できるスケール不変性が得られ、画像サイズに依存することなく中身の特徴量を適切に抽出することができる。
【０１１８】
更にカラー画像とグレースケール画像が混在していても形状及びテクスチャ成分は同じ輝度成分であり、レイアウト特徴量はカラー画像については輝度成分のみとしてグレースケール画像のレイアウト特徴量と対比でき、この結果、カラー画像とグレースケール画像が混在していても、本発明で抽出されたレイアウト、形状、テクスチャの各特徴量から類似画像の検索が適切に実現できる。
【０１１９】
更に本発明のウエーブレット変換を利用して得られたレイアウト、形状、テクスチャといった人間の主観に適合する特徴量から類似度を算出して類似画像を検索するような場合、形状の重みだけを有効にすれば、形状が似ている白黒が反転したポスターや車種が同じで色違いの車等の画像を適切に検索できる。
【０１２０】
また、テクスチャから算出した類似度の重みだけを有効にしたような場合には、生地の折り目の粗さの類似した画像や鉱物や化石の表面の類似した画像の検索が適切にでき、特徴の種類を適切に選ぶことで柔軟な類似画像の検索が実現できる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明の画像解析装置を用いた類似画像検索システムのブロック図
【図３】図２の類似画像検索処理のフローチャート
【図４】本発明の一実施形態である図２のグレースケール画像特徴抽出部の機能ブロック図
【図５】図４のグレースケール画像特徴抽出処理のフローチャート
【図６】本発明の他の実施形態である図２のカラー画像特徴抽出部の機能ブロック図
【図７】図６のカラー画像特徴抽出処理のフローチャート
【図８】図４と図６における分解回数決定処理のフローチャート
【図９】図４と図６におけるフエーブレット変換処理のフローチャート
【図１０】図９のウエーブレット変換に使用するフィルタ係数の説明図
【図１１】分解回数を２回とした場合のウエーブレット変換帯域の説明図
【図１２】図４と図６におけるレイアウト特徴量抽出処理のフローチャート
【図１３】図４と図６における形状特徴量抽出処理のフローチャート
【図１４】図４と図６におけるテクスチャ特徴量抽出処理のフローチャート
【図１５】図２の類似度算出部の機能ブロック図
【図１６】図１５の類似度算出処理のフローチャート
【図１７】サイズの異なるウエーブレット変換帯域の類似度を算出するための帯域の位置合せの説明図
【図１８】図１７の縦横比対応の類似度算出処理のフローチャート
【図１９】レイアウト特徴量のみを用いた類似画像検索結果の説明図
【図２０】形状特徴量のみを用いた類似画像検索結果の説明図
【図２１】テクスチャ特徴量のみを用いた類似画像検索結果の説明図
【符号の説明】
１０：特徴抽出部
１２：類似度算出部
１４：画像メモリ
１６：グレースケール画像特徴量抽出部
１８：カラー画像特徴量抽出部
２０−１，２０−２：分解回数決定部
２４，２２−１，２２−２：ウエーブレット変換部
２４，２４−１，２４−２：レイアウト特徴抽出部
２６，２６−１，２６−２：形状特徴量抽出部
２８，２８−１，２８−２：テクスチャ特徴量抽出部
３０：グレースケール画像データ
３２：ＲＧＢ／ＹＵＶ変換部
３４：ＹＵＶ／ＨＳＶ変換部
３６：カラー画像データ
４０：レイアウト類似度算出部
４２：形状類似度算出部
４４：テクスチャ類似度算出部
５０：キー画像
５２，６２：レイアウト特徴量
５４，６４：形状特徴量
５６，６６：テクスチャ特徴量
７０：キー画像特徴量領域
７２：候補画像特徴量領域
７４：類似度算出領域
７４，８２，８８：キー画像
７６，７８，７８，８０，８４，８６，９０，９２，９４：候補画像
【産業上の利用分野】
本発明は、自動的に画像の特徴を抽出する画像解析装置および方法並びに画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体に関し、特に、ウェーブレット変換の各周波数域の係数を利用して画像のレイアウト、形状、テクスチャの特徴量を抽出する画像解析装置および方法並びに画像特徴量ならびにプログラム記録媒体に関する。
【０００２】
【従来の技術】
現在、インターネットの普及に伴なうデジタル画像の広範な利用により、個人のデジタルライブラリからインターネットプロバイダの検索サービスや公共のデジタルライブラリ等で、画像内容に基づく類似画像の検索がデジタル画像の広まりと共に注目されている。この類似画像検索のためには、画像から特徴量を抽出して画像検索に利用することが考えられている。
【０００３】
画像の特徴量については、色、テクスチャ、形状などに注目して多くの研究が今までに取り組まれている。例えば色の特徴量については、次の文献１によるヒストグラムが最も簡便に特徴量として使われている。
【０００４】
［文献１］M. Ortega et al. IEEE Trans. Knowledge and Data Engineering,vol.10, no.6, pp905-925, 1998.
しかし、色のヒストグラム等による特徴量だけでは、画像内の空間的な情報が欠落しているため、画像をブロック化したレイアウトの特徴量も使われることが多い。テクスチャに関しては、無数の研究があり、自己回帰モデルや周波数解析などに基づくものがある。また最近はウエーブレット変換を用いたものが良い性能を示すという報告もある。
【０００５】
形状に関する特徴量については、エッジの検出が基本として広く使われている。エッジ検出は変位に対して敏感すぎるため、様々な工夫が必要となる。
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の画像検索等のための特徴抽出にあっては、レイアウトや形状やテクスチャといった項目別に専用のアルゴリズムを用いて特徴量を抽出していたため、キー画像からレイアウト、形状、テクスチャといった各項目毎に特徴抽出を行わなければならず、これでは画像検索に時間がかかりずぎるという問題がある。
【０００７】
一方、ウエーブレット変換を用いた高速な画像検索が次の文献２及び文献３にある。
【０００８】
［文献２］C. E. Jacobs et al. Computer Graphics Proceedings, Annual
Conference Series, pp.277-286, 1995
［文献３］E. J. Stollnitz et al. "Wavelets for Computer Graphics",
Morgan Kaufmann Publishers, Inc. 1996
しかし、これらのウエーブレット変換を用いた画像検索は、画像全体をウエーブレット変換して各周波数帯域の全体を特徴量としているため、キー画像に全体として類似する画像しか検索することができず、キー画像のもつレイアウトや形状やテクスチャといった個別の特徴を把えて類似する画像を検索するといった柔軟な検索ができない難点がある。
【０００９】
本発明は、画像の特徴抽出が高速にでき、更に、レイアウトや形状やテクスチャといった特徴を個別的に抽出可能な柔軟性の高い特徴抽出ができる画像解析装置及び方法並びに画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体を提供することを目的とする。
【００１０】
また本発明は、サイズが異なっても中身の同じ画像を同じものと認識できるスケール不変性とカラー画像とグレースケール画像が混在しても検索可能な特徴抽出ができる画像解析装置及び方法並びに画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
図１は本発明の原理説明図である。本発明の画像解析装置は、図１（Ａ）（Ｂ）のように、グレースケール画像又はカラー画像を入力してウエーブレット変換を施すウエーブレット変換部２２と、ウエーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状およびテクスチャの各々に分けて特徴量を抽出する特徴量抽出部（２４，２６，２８）とを備える。
【００１２】
このためレイアウト、形状、テクスチャの特徴量が無関係なアルゴリズムによって抽出されてきた従来例に比べ、本発明はウエーブレット変換を利用してレイアウト、形状、テクスチャの各特徴量を抽出するアルゴリズムを統一したことによって、異なるカテゴリの特徴量を高速に抽出することができる。
【００１３】
また本発明のウエーブレット変換部２２は、ウエーブレット変換したデータの最低周波数帯域のサイズが所定サイズ以下となるように分解回数決定部２０で分解回数を決定して多重解像度解析のウエーブレット変換を行う。このように本発明は、ウエーブレット変換の多重解像度性を利用しているので画像のサイズに依存することのなく特徴量を抽出することができ、サイズが異なっても内容の一致する画像を類似するものとして捉えることができるスケール不変性をもつ。
【００１４】
本発明の特徴量抽出部は、図１（Ａ）のように、グレースケールの画像で特徴抽出ができることが基本であり、このためウエーブレット変換後の図１（Ｃ）のデータ構造における最低周波数帯域ＬＬの係数に基づいてレイアウトの特徴量を求めるレイアウト特徴量抽出部２４と、ウエーブレット変換後の２番目に低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０の係数に基づいて形状の特徴量を求める形状特徴量抽出部２６と、ウエーブレット変換後の最低周波数帯域ＬＬを除く各周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎ（但し，ｎ＝０，１、一般にはｎ＝０，１，２，・・・）の平均と分散に基づいてテクスチャの特徴量を求めるテクスチャ特徴量抽出部２８とを備える。
【００１５】
また本発明がカラー画像を扱う場合には、図１（Ｂ）のように、ウエーブレット変換部２２は、ＲＧＢ／ＹＵＶ変換部３２でＲＧＢ色空間のカラー画像を入力した場合、入力ＲＧＢカラー画像をＹＵＶ空間のカラー画像に変換した後にウエーブレット変換を施す。
【００１６】
カラー画像の場合、レイアウトについては色の分布に依存するため、レイアウト特徴量抽出部２４は、ウエーブレット変換における最も粗い解像度部分の色の扱いだけを考えれば良く、従ってウエーブレット変換後の最低周波数帯域ＬＬの係数を人間の感性にマッチする他の色空間の色表現に変換してレイアウトの特徴量を求める。
【００１７】
また形状とテクスチャの特徴量には色の概念はないので、色空間としてＹＵＶを用いた場合、最も信号量が集中するので輝度成分Ｙの特徴量を取り出す。即ち、形状特徴量抽出部２６は、ウエーブレット変換後の２番目に低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求める。
【００１８】
更に、テクスチャ特徴量抽出部２８は、ウエーブレット変換後の各周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎ（ｎ＝０，１，２，・・・）の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める。
【００１９】
レイアウト特徴量抽出部２４は、ウエーブレット変換後の最低周波数帯域ＬＬの係数を、人間の間隔に沿ったＨＳＶ色空間、Ｌａｂ色空間、又はマンセル色空間の色表現に変換してレイアウトの特徴量を求める。
【００２０】
またレイアウト特徴量抽出部２４は、ウエーブレット変換後の最低周波数帯域を予め定めた所定サイズに正規化する。これによってサイズが異なっても中身の同じ画像を同じものと認識できるスケール不変性が確保される。具体的には、レイアウト特徴量抽出部２４は、ウエーブレット変換後の最低周波数帯域ＬＬの短い方の辺を予め定めた長さとなるように補間してサイズを正規化する。
【００２１】
形状特徴量抽出部２６は、ウエーブレット変換後の２番目に低い周波数帯域の係数が配置される３つの帯域ＨＬ０，ＬＨ０，ＨＨ０につき、各係数の絶対値を求めると共に各帯域の相対的に同じ位置の係数を平均して１つの帯域の係数にまとめる。これによってレイアウト特徴量と形状特徴量は同じデータ量となる。
【００２２】
テクスチャ特徴量抽出部２８は、ウエーブレット変換後の最低周波数帯域ＬＬを除く輪郭縦成分の各周波数帯域ＨＬ０，ＨＬ１の係数の平均と分散を成分とするベクトル、輪郭横成分ＬＨ０，ＬＨ１の各周波数帯域の係数の平均と分散を成分とするベクトル、及び輪郭斜め成分ＨＨ０，ＨＨ１の各周波数帯域の係数の平均と分散を成分とするベクトルをテクスチャ特徴量として生成する。
【００２３】
本発明の画像解析装置は、ウエーブレット変換後の周波数帯域の係数に基づいて求めたレイアウト特徴量、形状特徴量、及びテクスチャ特徴量の各値を１バイト長に納まるように量子化し、データ量を低減して高速化を図る。
【００２４】
更に画像解析装置は、特徴量抽出部（２４，２６，２８）で抽出された画像のレイアウト特徴量、形状特徴量及びテクスチャ特徴量について、２つの画像間の類似度を各々算出すると共に、各類似度に重み付けを行なって２つの画像間の総合的な類似度を算出する類似度算出部を設ける。
【００２５】
このレイアウト、形状又はテクスチャの特徴量の類似度に対しては、重みを変えれば、目的に応じた柔軟性の高い検索ができる。例えば、形状特徴量の類似度だけを有効にすれば、形状が似ていて白黒が反転したポスター、車種が同じで色違いの車などの画像を検索することができる。また、テクスチャ特徴量の類似度の重みだけを有効にすれば、生地の折り目の粗さの類似した画像や、鉱物や化石の表面の類似した画像を取り出すことができる。
【００２６】
また、本発明は、画像解析方法を提供するものであり、グレースケール画像又はカラー画像を入力してウエーブレット変換を施し、ウエーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状およびテクスチャの各々に分けて特徴量を抽出することを特徴とする。
【００２７】
即ち、本発明の画像解析方法は、グレースケール画像の特徴量抽出を基本とし、ウエーブレット変換後の最低周波数帯域の係数に基づいてレイアウトの特徴量を求め、ウエーブレット変換後の２番目に低い周波数帯域の係数に基づいて形状の特徴量を求め、更に、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求める。
【００２８】
また本発明の画像解析方法は、カラー画像を入力した場合、ＲＧＢ色空間の入力カラー画像をＹＵＶ空間のカラー画像に変換した後にウエーブレット変換を施した後、ウーブレット変換後の最低周波数帯域の係数を人間の感性にマッチする他の色空間の色表現に変換してレイアウトの特徴量を求め、ウエーブレット変換後の２番目に低い周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求め、更に、ウエーブレット変換後の各周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める。この画像解析方法の詳細は、画像解析装置の場合と同じになる。
【００２９】
更に、本発明は、画像特徴量抽出プログラムを格納したコンピュータ可読のプログラム記録媒体を提供するものである。このプログラム記録媒体は、グレースケール画像又はカラー画像を入力してウエーブレット変換を施し、ウエーブレット変換後の各周波数帯域の係数に基づいて、画像のレイアウト、形状およびテクスチャの各々に分けて特徴量を抽出する画像特徴量抽出プログラムを格納している。
【００３０】
即ち、プログラム記録媒体に格納した画像特徴量抽出プログラムは、ウエーブレット変換後の最低周波数帯域の係数に基づいてレイアウトの特徴量を求め、ウエーブレット変換後の２番目に低い周波数帯域の係数に基づいて形状の特徴量を求め、更に、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求める。
【００３１】
またプログラム記録媒体に格納した画像特徴量抽出プログラムは、カラー画像を入力した場合、ＲＧＢ色空間の入力カラー画像をＹＵＶ空間のカラー画像に変換した後にウエーブレット変換を施し、ウエーブレット変換後の最低周波数帯域の係数を人間の感性にマッチするＨＳＶ等の他の色空間の色表現に変換してレイアウトの特徴量を求め、またウエーブレット変換後の２番目に低い周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求め、更に、ウエーブレット変換後の各周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める。
【００３２】
この画像特徴量抽出プログラムを格納したコンビュータ可読のプログラム記録媒体についても、その詳細は、画像解析装置の場合と同じになる。
【００３３】
【発明の実施の形態】
図２は、本発明の画像解析装置が使用される類似画像検索システムのブロック図である。この類似画像検索システムは、特徴量抽出部１０、類似度算出部１２及び画像メモリ１４で構成される。特徴量抽出部１０は本発明の画像解析装置を構成するもので、グレースケール画像特徴量抽出部１６とカラー画像特徴量抽出部１８を備えている。
【００３４】
画像メモリ１４には類似画像検索のために入力されたキー画像５０と候補画像６０の特徴量が格納されている。またキー画像５０と候補画像６０のそれぞれについて、特徴量抽出部１０で抽出されたレイアウト特徴量５２，６２、形状特徴量５４，６４及びテクスチャ特徴量５６，６６のそれぞれが格納されている。
【００３５】
この内、候補画像６０のレイアウト特徴量６２、形状特徴量６４及びテクスチャ特徴量６６は、予め準備されたデータベースから読込まれた特徴量データであり、このデータベースを作成する際の特徴抽出にも本発明がそのまま適用されている。
【００３６】
類似度算出部１２は、キー画像５０と候補画像６０のそれぞれについて、特徴量抽出部１０で抽出されたレイアウト特徴量、形状特徴量，テクスチャ特徴量について類似度を算出して総合的に判断する。
【００３７】
図３は、図２の類似画像検索システムの処理動作のフローチャートである。実際の類似画像検索にあっては、検索対象となる各画像の特徴量を本発明に従って抽出して格納した特徴量のデータベースを準備している。例えばサーバ上に特徴量のデータベースを構築し、クライアントからのキー画像の提供による類似画像の検索要求を受けた際に、サーバ上でキー画像の特徴量を抽出し、データベースから抽出しておいた画像の特徴量とを比較して類似を判断し、結果をクライアントに表示させるようになる。
【００３８】
まずステップＳ１でキー画像とデータベース内の特徴量のデータを入力する。この場合、入力するキー画像はグレースケール画像であってもよいしカラー画像であってもよい。次にステップＳ２で、入力した画像がカラー画像か否かチェックする。
【００３９】
グレースケール画像であればステップＳ３に進み、グレースケール画像特徴量抽出部１６の処理によってグレースケール画像特徴量抽出処理を行う。カラー画像であればステップＳ４に進み、カラー画像特徴量抽出部１８によってカラー画像特徴量抽出処理を行う。
【００４０】
続いてステップＳ５に進み、類似度算出部１２でキー画像とデータベースから入力している候補画像の特徴量との類似度算出処理を行う。本発明にあっては、この類似度の算出処理はキー画像と候補画像のレイアウト特徴量、形状特徴量，テクスチャ特徴量のそれぞれについて行うもので、必要に応じていずれかの特徴量に重み付けを行った類似度算出を行い、算出結果を合わせ、総合的に画像の類似度を判断する。
【００４１】
図４は、図２の特徴量抽出部１０に設けているグレースケール画像特徴量抽出部１６の機能ブロック図である。このグレースケール画像特徴量抽出部１６は、分解回数決定部２０−１、ウエーブレット変換部２２−１、レイアウト特徴量抽出部２４−１、形状特徴量抽出部２６−１及びテクスチャ特徴量抽出部２８−１で構成される。
【００４２】
この図４のグレースケール画像特徴量抽出部１６の機能をプログラム構造として見ると、分解回数決定部２０−１に対応した画像のサイズ情報から解像度の分解回数を決定する関数、ウエーブレット変換部２２−１に対応したウエーブレット変換によって解像度分解を行う関数、及びレイアウト特徴量抽出部２４−１、形状特徴量抽出部２６−１及びテクスチャ特徴量抽出部２８−２に対応したウエーブレット変換後のデータからレイアウト、形状、テクスチャの各特徴量を取り出す関数から構成されることになる。
【００４３】
図５は、図４のグレースケール画像特徴量抽出処理のフローチャートである。この処理にあっては、ステップＳ１でグレースケールの画像を入力し、ステップＳ２でウエーブレット変換における分解回数Ｋを決定する。この分解回数の決定は画像サイズに依存して動的に決定し、ウエーブレット変換後のデータ構造における最低周波数帯域ＬＬのサイズが予め定めた一定サイズ以下となるまで分解する。この分解回数決定処理は、後の説明で更に明らかにされる。
【００４４】
続いてステップＳ３でウエーブレット変換によって分解回数Ｋに応じた多重解像度解析（ＭＲＡ）を行う。続いてウエーブレット変換後のデータを対象に、ステップＳ４，Ｓ５，Ｓ６でそれぞれテクスチャ特徴量抽出、形状特徴量抽出及びレイアウト特徴量抽出の特徴量抽出処理を行い、ステップＳ７で特徴量データを出力する。
【００４５】
ステップＳ４のレイアウト特徴量抽出は、ウエーブレット変換後の最低周波数帯域の係数に基づいてレイアウトの特徴量を求める。ステップＳ５の形状特徴量抽出は、ウエーブレット変換後の２番目に低い周波数帯域の係数に基づいて形状の特徴量を求める。更に、ステップＳ６のテクスチャ特徴量抽出にあっては、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求める。
【００４６】
図６は、図２の特徴量抽出部１０に設けたカラー画像特徴量抽出部１８の機能ブロック図である。図６のカラー画像特徴量抽出部１８は、ＲＧＢ／ＹＵＶ変換部３２、分解回数決定部２０−２、ウエーブレット変換部２２−２、ＹＵＶ／ＨＳＶ変換部３４、レイアウト特徴量抽出部２４−２、形状特徴量抽出部２６−２及びテクスチャ特徴量抽出部２８−２で構成される。
【００４７】
このカラー画像特徴量抽出部１８で処理対象とするカラー画像は例えばＲＧＢ色空間のＲＧＢカラー画像データ３６であり、図４のグレースケール画像特徴量抽出部１６における１成分の画像データに対しＲＧＢの３成分の画像データを処理する点が相違する。
【００４８】
図７は、図６のカラー画像特徴量抽出処理のフローチャートである。ステップＳ１でＲＧＢのＲＧＢカラー画像データを入力すると、ステップＳ２でＲＧＢ色空間からＹＵＶ色空間への色表現の変換を行う。次にステップＳ３でウエーブレット変換を行う分解回数Ｋを決定する。この分解回数の決定は図５のグレースケール画像の場合と同じ処理となる。
【００４９】
次にステップＳ４でウエーブレット変換を分解回数Ｋに従って行う。このウエーブレット変換にあっては、ＹＵＶの３成分のそれぞれについて行う。次にステップＳ５，Ｓ６，Ｓ７において、ウエーブレット変換後のデータを対象にテクスチャ特徴量抽出、形状特徴量抽出及びレイアウト特徴量抽出の特徴量抽出処理を行い、次にステップＳ８で特徴量データを出力する。
【００５０】
ステップＳ５のレイアウト特徴量抽出にあっては、カラー画像の場合、レイアウトについての色の分布が重要となり、ウエーブレット変換後の最低周波数帯域に基づいてレイアウトの特徴量を求めるが、この場合、人間の感覚に沿った最適な色空間として知られたＨＳＶ色空間に最低周波数帯域のＹＵＶ色空間のデータを変換してレイアウト特徴量を抽出する。
【００５１】
この実施形態にあっては、レイアウト特徴量抽出のための色空間としてＨＳＶ色空間を例にとっているが、人間の感覚にマッチするような他の色空間としてＬａｂ色空間やマンセル色空間等に変換してもよい。
【００５２】
ここでステップＳ２のＲＧＢ色空間からＹＵＶ色空間への変換、及びステップＳ５におけるＹＵＶ色空間からＨＳＶ色空間への変換は、次の変換式（１）（２）（３）式を用いればよい。
【００５３】
【数１】
即ち図７のステップＳ２にあっては、（１）式によってＲＧＢ色空間からＹＵＶ色空間に色表現を変換する。またステップＳ５にあっては、ウエーブレット変換後の最低周波数帯域のＹＵＶ色空間のデータを例えば（２）式でＲＧＢ色空間に変換した後、（３）式によりＨＳＶ色空間に変換する。
【００５５】
ステップＳ６の形状特徴量の抽出は、ウエーブレット変換後の２番目に低い周波数帯域に基づいて形状の特徴量を求めるが、形状の特徴量には色の概念がないことから、色空間としてＹＵＶ空間の場合には信号量が最も集中するＹ成分を用いて形状の特徴量を求める。
【００５６】
またステップＳ７のテクスチャ特徴量抽出にあっては、ウエーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求めるが、この場合にもテクスチャには色の概念がないことから、ＹＵＶ色空間における最も信号量が集中するＹ成分を使用してテクスチャ特徴量を抽出する。
【００５７】
ここで図６に示したカラー画像特徴量抽出部１８の機能ブロックをプログラム構造として見ると、図４のグレースケール画像特徴量抽出部１６の場合と同様、画像のサイズ情報から解像度の分解回数を決定する関数、ウエーブレット変換によって解像度分解を行う関数、変換後のデータからレイアウト、形状、テクスチャの特徴量を取り出す関数に加え、ＲＧＢ、ＹＵＶ、ＨＳＶの各色空間の間で双方向に自由に変換できる関数から構成されることになる。
【００５８】
図８は、図５のステップＳ２及び図７のステップＳ３におけるウエーブレット変換を使用した多重解像度解析の分解回数Ｋを決定するためのアルゴリズムのフローチャートである。この分解回数決定処理にあっては、まずステップＳ１で、入力したグレースケール画像またはカラー画像の縦画像数と横画像数のうちの小さい方を最小画素数Ｎとして選択し、またウエーブレット変換フィルタの最大長をＭとし、分解回数Ｋを初期値Ｋ＝０とする。
【００５９】
続いてステップＳ２に進み、縦または横の最小画素数Ｎとフィルタ最大長Ｍを比較し、縦または横画素数Ｎがフィルタ最大長Ｍより大きければ、ステップＳ３で小さい方の縦または横画素数に１を加算して半分のサイズに縮小し、同時に分解回数をＫ＝Ｋ＋１と１つアップする 。
【００６０】
このステップＳ２，Ｓ３の処理を、ステップＳ２でサイズを分解して縮小した縦または横画素数がフィルタ最大長Ｍ以下となるまで繰り返し、そのときの回数をステップＳ４に進んで分解回数Ｋとする。
【００６１】
この分解回数決定処理のアルゴリズムによって、ウエーブレット変換を用いた多重解像度解析のための分解回数Ｋは画像サイズに依存して動的に決定され、ウエーブレット変換後の最低周波数帯域ＬＬのサイズが、ある一定値以下となるまで分解されることになる。
【００６２】
図９は、図５のステップＳ３及び図７のステップＳ４で行われるウエーブレット変換処理のフローチャートである。このウエーブレット変換処理にあっては、ステップＳ１で分解回数Ｋを定義すると共にカウンタＩをＩ＝０にセットした後、ステップＳ２で分解回数Ｋに図８のアルゴリズムで決定した分解回数をセットする。
【００６３】
続いてステップＳ３で分解回数ＫとカウンタＩを比較し、カウンタＩが分解回数Ｋより小さければ、ステップＳ４でウエーブレットフィルタを使用したウエーブレット変換によって周波数帯域のＸ方向を２つの帯域に分割し、続いてステップＳ５でウエーブレット変換により最低周波数帯域のＹ方向を２つの帯域に分解する。
【００６４】
続いてステップＳ６でカウンタＩを１つインクリメントし、ステップＳ３に戻る。以下、ステップＳ４，Ｓ５の最低周波数帯域のＸ方向及びＹ方向のそれぞれについて、ウエーブレット変換によって２つの帯域に分解する処理を繰り返す。
【００６５】
図９のウエーブレット変換処理として、この実施形態にあっては例えばスプライン・ウエーブレット・フイルタを使用し、そのフィルタ係数としては例えば図１０に示すものからローパスフィルタ係数（スケール関数φ（Ｘ）の係数）とハイパスフィルタ係数（ウエーブレット関数ψ（Ｘ）の係数）を用いている。
【００６６】
図１１は、図９のウエーブレット変換処理で得られた周波数帯域データであり、分解回数ＫをＫ＝２回とした場合のウエーブレット変換後のｎ＝０，１の２階層のデータ構造を例にとっている。
【００６７】
この図１１のウエーブレット変換後のデータ構造について、本発明によるレイアウト特徴量、形状特徴量及びテクスチャ特徴量の抽出を説明すると次のようになる。
【００６８】
まずテクスチャ特徴量の抽出は、ウエーブレット変換後のデータ構造の最低周波数帯域ＬＬに画像全体の大まかな輝度分布が反映されているため、最低周波数帯域ＬＬのデータに基づいてテクスチャ特徴量を取り出す。
【００６９】
図１２は、図１１のウエーブレット変換後のデータ構造を対象とした本発明によるレイアウト特徴量抽出処理のフローチャートである。まずステップＳ１で最低周波数帯域ＬＬ成分のサイズの正規化を行う。最低周波数帯域ＬＬ成分のサイズの正規化は、特徴量に基づいて行われる類似度算出でのデータサイズのマッチングのためである。
【００７０】
サイズ正規化の方法は、最低周波数帯域ＬＬ成分の縦または横のうちの短い方の辺を予め定めた長さ例えば１６データ点となるように補間する。ステップＳ１でサイズ正規化が済むと、ステップＳ２でカラー画像か否かチェックする。
【００７１】
カラー画像であった場合にはステップＳ３に進み、最低周波数帯域ＬＬ成分の色表現をＹＵＶ色空間からＨＳＶ色空間への色表現に変換する。この変換には前記（２）（３）式を用いる。グレースケール画像の場合はステップＳ３はスキップする。
【００７２】
次にステップＳ４でデータ量を最小限にし、類似判定の際の参照を高速化するためにデータの量子化を行う。この量子化は、グレースケール画像の場合は１データ点につき１バイトの大きさとなるように最低周波数帯域成分ＬＬの各値を量子化する。またカラー画像の場合はＨＳＶの３成分で構成されるが、同じく類似判定の際の参照を高速化するためＨＳＶのそれぞれにつき量子化ステップを大きくとり、１データ点につきＨＳＶの３成分を合わせて１バイトとなるように量子化する。
【００７３】
次に図１１のウエーブレット変換後のデータ構造に基づく形状特徴量の抽出を説明する。ウエーブレット変換後のデータ構造において、２番目に周波数が低い１階層目（ｎ＝０）の周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の各成分には大まかな輪郭の形状が反映されている。そこで、２番目に周波数の少ない１階層目の周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の成分を用いて形状の特徴量を取り出す。
【００７４】
図１３は、図１１のウエーブレット変換後のデータ構造を対象とした本発明による形状特徴量抽出処理のフローチャートである。まずステップＳ１でカラー画像か否かチェックし、カラー画像であればステップＳ２に進み、周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の成分をＹ成分のみとする。
【００７５】
続いてステップＳ３で周波数帯域ＨＬ０、ＬＨ０、ＨＨ０のＹ成分を絶対値に置き換える。これは形状の特徴量については周波数帯域ＨＬ０、ＬＨ０、ＨＨ０について、そこに輪郭が存在するか否かであることから絶対値を求めておけばよい。グレースケール画像の場合はステップＳ２はスキップする。
【００７６】
次にステップＳ４で、形状特徴量「Ｓｈａｐｅ」を定義し、周波数帯域ＨＬ０、ＬＨ０、ＨＨ０の相対的に同じ位置のＹ成分の値を平均して１つのデータとして保存する。このため形状特徴量は３つの周波数帯域から取り出しているが、ステップＳ４の処理によりデータの数はレイアウト特徴量と同じになる。
【００７７】
続いてステップＳ５で、１つの帯域にまとめた形状特徴量Ｓｈａｐｅの成分について、図１２のステップＳ１の場合と同様、サイズの正規化を行う。続いてステップＳ６で類似判定の際の参照を高速化するため量子化を行って、１データ点当たり１バイトに収まるようにしておく。
【００７８】
次に図１１のウエーブレット変換後のデータ構造から求めるテクスチャ特徴量を説明する。このウエーブレット変換後のデータ構造において、周波数帯域ＨＬ０，ＨＬ１には各周波数帯域ごとの輪郭の縦成分が反映され、周波数帯域ＬＨ０，ＬＨ１には各周波数帯域ごとの輪郭の横成分が反映され、更に周波数帯域ＨＨ０，ＨＨ１には各周波数帯域ごとの輪郭の斜め成分が反映されている。
【００７９】
そこで周波数帯域の組（ＨＬ０、ＨＬ１），（ＬＨ０、ＬＨ１），（ＨＨ０、ＨＨ１）からテクスチャの特徴量を取り出す。このテクスチャの特徴量については、最低周波数帯域ＬＬを除く各周波数帯域ごとに平均値Ａと分散値σを求め、周波数帯域ＨＬ方向、ＬＨ方向及びＨＨ方向の各方向ごとにベクトルを構成する。例えば階層ｎ番めのＨＬ方向の平均をＡn HL、分散をσn HLとすると、各方向のベクトルは次のように定義できる。
【００８０】
【数２】
図１４は、本発明によるテクスチャ特徴量抽出処理のフローチャートである。まず、ステップＳ１でカラー画像か否かチェックし、カラー画像であればステップＳ２に進み、周波数帯域ＨＬｎ，ＬＨｎ（但しｎ＝０，１，２，・・・）の成分をＹ成分のみとする。グレースケール画像の場合はステップＳ２をスキップする。
【００８２】
次にステップＳ３に進み、周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎの成分を絶対値に置き換える。次にステップＳ４で周波数帯域ＨＬｎ，ＬＨｎ，ＨＨｎの平均値と分散値を求める。そしてステップＳ５で（４）〜（９）式のように、テクスチャ特徴量を表す特徴ベクトルを構成する。
【００８３】
最終的にステップＳ６で、類似判定の際の参照を高速化するため特徴ベクトルの各成分に量子化を施してデータ量を削減する。
【００８４】
図１５は、図２の類似画像検索システムに設けている類似度算出部１２の機能ブロック図である。図１５の類似度算出部１２は、レイアウト類似度算出部４０、形状類似度算出部４２、テクスチャ類似度算出部４４、重み付け値設定部４６及び総合類似度算出部４８で構成される。
【００８５】
この類似度算出部１２の機能ブロックをプログラム構成として見ると、図２の画像メモリ１４のようにキー画像５０及び候補画像６０について得られたレイアウト、形状、テクスチャの各特徴量ごとに類似度を算出する関数と、レイアウト、形状、テクスチャの各類似度ごとに予め定められた重みを付けて全体の類似度を算出する関数から構成されることになる。
【００８６】
図１６は、図１５の類似度算出処理のフローチャートである。この類似度算出処理は、まずステップＳ１で図２の特徴量抽出部１０により変換されたキー画像と候補画像についてのレイアウト、形状及びテクスチャの各特徴量のデータを読み込む。
【００８７】
続いてステップＳ２，Ｓ３，Ｓ４のそれぞれで、レイアウト、形状及びテクスチャの各特徴量について２つの画像間の距離ｘを求め、（１−ｘ）として類似度を算出する。続いてステップＳ５で、算出されたレイアウト、形状及びテクスチャの各類似度について予め定められた重み付けまたはユーザが指定した重み付けを行い、ステップＳ６で重み付けの済んだ３つの類似度の加算によって総合類似度を求めて出力する。
【００８８】
ここでレイアウト、形状及びテクスチャの各類似度の算出の詳細を説明すると次のようになる。レイアウトの類似度を算出する際には、キー画像と候補画像について求められたレイアウト特徴量のデータ点ごとに２つの画像間の距離を算出する。
【００８９】
このレイアウト特徴量にあっては、図１１のウエーブレット変換後のデータ構造における最低周波数帯域ＬＬの成分をＨＳＶ成分に変換した成分値が与えられており、このＨＳＶ成分の数値を用いて２つの画像間の距離を求める。
【００９０】
ここで２つの画像のＨＳＶ色空間における距離の算出を行う２つのデータ点の成分を（Ｈｉ，Ｓｉ，Ｖｉ）及び（Ｈｊ，Ｓｊ，Ｖｊ）とすると、ＨＳＶ色空間での距離は次式で与えられる。
【００９１】
【数３】
またキー画像と候補画像のサイズユニットは、ウエーブレット変換後に例えば図１１のようにして得られる最低周波数帯域ＬＬの画像の縦横比が異なる場合には、図１７のように、例えばキー画像テクスチャ特徴量帯域７０と候補画像テクスチャ特徴量帯域７２の中心部分を重ね合わせ、重複する部分７４についてのみテクスチャ特徴量について距離を求める。
【００９３】
図１８は、図１７のように縦横比が異なる場合の類似度算出のフローチャートであり、図１７のように２つの画像の領域を中心部分で重ね合わせて距離を算出するアルゴリズムである。ここで図１７の２つの画像特徴領域７０，７２は、画像Ａ，Ｂとしている。
【００９４】
まずステップＳ１で画像Ａのｘ方向の長さと画像Ｂのｘ方向の長さのうち短い方Ｍｉｎｘとし、同じく画像Ａのｙ方向の長さと画像Ｂのｙ方向の長さのうちの短い方をＭｉｎｙとする。続いてステップＳ２で、図１７のように２つの画像を中心に合わせた状態で比較するためのデータ点を選択するため、画像Ａ，Ｂについてのｘ方向及びｙ方向のオフセットを算出する。
【００９５】
続いてステップＳ３で画像ＡのカウンタＩと画像ＢのカウンタＪをそれぞれ０にリセットした後、ステップＳ４でカウンタＩ，ＪがステップＳ１で選択した画像Ａ，Ｂのｘ方向及びｙ方向の短い方の長さＭｉｎｘ，Ｍｉｎｙ以上となるまで、ステップＳ５，Ｓ６，Ｓ７の処理を繰り返す。
【００９６】
ステップＳ５にあっては、比較を行う画像Ａのデータ点Ｐｔ Ａと比較を行う画像Ｂのデータ点Ｐｔ Ｂを、それぞれ現在地（Ｉ，Ｊ）とステップＳ２で求めたオフセットから算出する。続いてステップＳ６で画像Ａのデータ点Ｐｔ Ａ番地のデータと画像Ｂのデータ点Ｐｔ Ｂ番地のデータを比較し、レイアウトの類似度を算出する。
【００９７】
続いてステップＳ７でカウンタＩ，Ｊを１つずつアップした後、ステップＳ４で重複領域を越えるまで、ステップＳ５，Ｓ６の類似度の算出処理を繰り返す。
【００９８】
この図１８の縦横比対応の類似度算出処理は、画像Ａ，Ｂの縦横比が同じ場合についても、そのまま適用できる。縦横比が同じ場合には、ステップＳ２におけるオフセットがそれぞれ０となるだけである。
【００９９】
また図１８はレイアウト特徴量の類似度算出を例にとっているが、図１１の２番目に周波数が低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０をまとめて作った形状の特徴量についても、レイアウト特徴量の場合と同様に適用することができる。
【０１００】
またレイアウト特徴量の類似度算出において、キー画像と候補画像の一方がグレースケール画像で他方がカラー画像の場合については、カラー画像のＶ成分がグレースケール画像の輝度に対応することから、カラー画像のレイアウト特徴量のＨＳＶ成分のうちＶ成分のみを使用してグレースケール画像のレイアウト特徴量との間で距離を求め、類似度を算出する。
【０１０１】
次に形状特徴量に基づく類似度の算出は、レイアウト特徴量の成分とデータ点の数と配置が同じであることから、レイアウト特徴量に基づく類似度と同じ手順で類似度を算出する。相違点としては、形状特徴量は色成分の区別がない色成分Ｙのみであることから、キー画像の形状特徴量の輝度成分Ｙｉと候補画像の形状特徴量の輝度成分Ｙｊの距離（Ｙｉ−Ｙｊ）2 を求めればよい。
【０１０２】
更にテクスチャ特徴量の類似度の算出は、前記（４）〜（９）式に示したようなキー画像と候補画像についてテクスチャ特徴量として求めたベクトル同士の比較となる。このベクトル同士の比較による距離の算出は各ベクトルのマンハッタン距離を求めればよい。即ち２つのベクトルの距離Ｌは次式で求められる。勿論、マンハッタン距離以外にベクトル同士の比較を行う適宜の距離演算が適用できる。
【０１０３】
【数４】
図１９は、図１５においてレイアウト類似度のみを有効とするように重み付けを行った場合の類似画像検索結果の一例である。図１９（Ａ）がキー画像７４であり、キー画像のレイアウトは青空７４−１，地面７４−２で２分割され、中央に建物７４−３が配置されている。
【０１０５】
このようなキー画像７４に対し、図１９（Ｂ）（Ｃ）（Ｄ）の第１候補７６，第２候補７８，第３候補８０について、ウエーブレット変換に基づく最低周波数帯域ＬＬのＨＳＶ成分として求めたテクスチャ特徴量について類似度を算出すると、キー画像７４に対しアングルが異なる第１候補７６の類似度は９０％が得られ、キー画像７４に対し建物７８−３が異なる第２候補７８は類似度８０％が得られ、更にキー画像７４に対し建物８０−３が異なる第３候補８０は類似度６０％となる。
【０１０６】
図２０は、図１５において形状類似度のみを有効とする重み付けを行った場合の類似画像検索結果の一例である。図２０（Ａ）の電気機関車のキー画像８２に対し、図２０（Ｂ）の第１候補８４及び図２０（Ｃ）の第２候補８６について、それぞれのウエーブレット変換で得られた２番目に周波数の低い周波数帯域ＨＬ０，ＬＨ０，ＨＨ０に基づく形状特徴量について類似度を求めると、キー画像８２を白黒反転した第１候補８４は類似度１００％が得られる。またキー画像８２に対し中の車両を窓付きとした第２候補８６については類似度９０％を得ることができる。
【０１０７】
図２１は、図１５でテクスチャ類似度のみを有効とする重み付けを行った場合の類似画像検索結果の一例である。図２１（Ａ）はキー画像８８であり、これに対し図２１（Ｂ）の第１候補９０、図２１（Ｃ）の第２候補９２、・・・、図２１（Ｄ）の第ｎ候補９４との間で類似度を算出する。
【０１０８】
このようなキー画像８８に対する各候補９０，９２，・・・９４にあっては、キー画像８８のテクスチャに対し第１候補９０が類似度９０％、第２候補９２が類似度８０％、更に第ｎ候補９４が類似度５％となっている。
【０１０９】
このように本発明にあっては、ウエーブレット変換による周波数帯域に基づいてレイアウト、形状及びテクスチャのそれぞれについて固有の特徴量を求め、この特徴量についてキー画像と候補画像との間で類似度を算出し、必要に応じてレイアウト、形状またはテクスチャの各類似度に重み付けを行って総合類似度を求めることで、非常に柔軟性の高い類似画像の検索を高速で行うことができる。
【０１１０】
更に本発明は図２の本発明による特徴量抽出部１０、具体的には図４のグレースケール画像特徴量抽出部１６と図６のカラー画像特徴量抽出部１８の機能ブロックを実現する関数で構成された画像特徴量抽出プログラムを格納したコンピュータ読取り可能なプログラム記録媒体を提供する。
【０１１１】
この本発明による画像特徴量抽出プログラムを格納したコンピュータ読取り可能なプログラム記録媒体としては、ＣＤ，ＣＤ−ＲＯＭ，ＤＶＤ，ＤＶＤ−ＲＯＭ，ＭＤ，ＦＤ等の適宜の可搬記録媒体に本発明による画像特徴量抽出プログラムを格納したものを含む。
【０１１２】
更にまた、図２の特徴量抽出部１０に対応した画像特徴量抽出プログラムに加え、図２の類似度算出部１２に対応した類似度算出プログラム、具体的には図１５の機能ブロックを実現する類似度算出プログラムを合わせて格納したコンピュータ読取り可能な記録媒体を提供することも含む。勿論、類似度算出プログラムを独立に記録した記録媒体であってもよい。
【０１１３】
更に本発明の画像特徴量抽出プログラムを格納した記録媒体としては、パーソナルコンピュータ等の情報処理装置に対し着脱自在で記録媒体単体で取引される適宜の記録媒体を含むことは勿論である。
【０１１４】
また本発明は上記の実施形態に限定されず、その目的と利点を損なわない適宜の変形を含む。更に本発明は上記の実施形態に示した数値による限定は受けない。
【０１１５】
【発明の効果】
以上説明してきたように本発明によれば、ウエーブレット変換の多重解像度解析を利用することによって変換後の各周波数帯域からレイアウト、形状、テクスチャの３種類の特徴量を高速に求めることができる。
【０１１６】
またウエーブレット変換後のデータから得られるレイアウト、形状、テクスチャは人間の主観に適合した特徴量であり、これらの特徴量に基づく類似度算出結果について適宜の重み付けを行うことで、類似画像を検索する際に高い柔軟性が得られる。
【０１１７】
またウエーブレット変換を利用したレイアウト、形状、テクスチャの特徴量の抽出にあっては、画像サイズが異なっても中身の同じ画像を同じものとして認識できるスケール不変性が得られ、画像サイズに依存することなく中身の特徴量を適切に抽出することができる。
【０１１８】
更にカラー画像とグレースケール画像が混在していても形状及びテクスチャ成分は同じ輝度成分であり、レイアウト特徴量はカラー画像については輝度成分のみとしてグレースケール画像のレイアウト特徴量と対比でき、この結果、カラー画像とグレースケール画像が混在していても、本発明で抽出されたレイアウト、形状、テクスチャの各特徴量から類似画像の検索が適切に実現できる。
【０１１９】
更に本発明のウエーブレット変換を利用して得られたレイアウト、形状、テクスチャといった人間の主観に適合する特徴量から類似度を算出して類似画像を検索するような場合、形状の重みだけを有効にすれば、形状が似ている白黒が反転したポスターや車種が同じで色違いの車等の画像を適切に検索できる。
【０１２０】
また、テクスチャから算出した類似度の重みだけを有効にしたような場合には、生地の折り目の粗さの類似した画像や鉱物や化石の表面の類似した画像の検索が適切にでき、特徴の種類を適切に選ぶことで柔軟な類似画像の検索が実現できる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明の画像解析装置を用いた類似画像検索システムのブロック図
【図３】図２の類似画像検索処理のフローチャート
【図４】本発明の一実施形態である図２のグレースケール画像特徴抽出部の機能ブロック図
【図５】図４のグレースケール画像特徴抽出処理のフローチャート
【図６】本発明の他の実施形態である図２のカラー画像特徴抽出部の機能ブロック図
【図７】図６のカラー画像特徴抽出処理のフローチャート
【図８】図４と図６における分解回数決定処理のフローチャート
【図９】図４と図６におけるフエーブレット変換処理のフローチャート
【図１０】図９のウエーブレット変換に使用するフィルタ係数の説明図
【図１１】分解回数を２回とした場合のウエーブレット変換帯域の説明図
【図１２】図４と図６におけるレイアウト特徴量抽出処理のフローチャート
【図１３】図４と図６における形状特徴量抽出処理のフローチャート
【図１４】図４と図６におけるテクスチャ特徴量抽出処理のフローチャート
【図１５】図２の類似度算出部の機能ブロック図
【図１６】図１５の類似度算出処理のフローチャート
【図１７】サイズの異なるウエーブレット変換帯域の類似度を算出するための帯域の位置合せの説明図
【図１８】図１７の縦横比対応の類似度算出処理のフローチャート
【図１９】レイアウト特徴量のみを用いた類似画像検索結果の説明図
【図２０】形状特徴量のみを用いた類似画像検索結果の説明図
【図２１】テクスチャ特徴量のみを用いた類似画像検索結果の説明図
【符号の説明】
１０：特徴抽出部
１２：類似度算出部
１４：画像メモリ
１６：グレースケール画像特徴量抽出部
１８：カラー画像特徴量抽出部
２０−１，２０−２：分解回数決定部
２４，２２−１，２２−２：ウエーブレット変換部
２４，２４−１，２４−２：レイアウト特徴抽出部
２６，２６−１，２６−２：形状特徴量抽出部
２８，２８−１，２８−２：テクスチャ特徴量抽出部
３０：グレースケール画像データ
３２：ＲＧＢ／ＹＵＶ変換部
３４：ＹＵＶ／ＨＳＶ変換部
３６：カラー画像データ
４０：レイアウト類似度算出部
４２：形状類似度算出部
４４：テクスチャ類似度算出部
５０：キー画像
５２，６２：レイアウト特徴量
５４，６４：形状特徴量
５６，６６：テクスチャ特徴量
７０：キー画像特徴量領域
７２：候補画像特徴量領域
７４：類似度算出領域
７４，８２，８８：キー画像
７６，７８，７８，８０，８４，８６，９０，９２，９４：候補画像
Claims (6)
- 入力された画像にウェーブレット変換を施すウェーブレット変換手段と、
前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域から画像内の空間的情報であるレイアウトの特徴量を求めるレイアウト特徴量抽出手段と、
前記ウェーブレット変換手段によるウェーブレット変換後の２番目に低い周波数帯域の係数が配置される３つの帯域につき、各係数の絶対値を求めると共に各帯域の相対的に同じ位置の係数を平均して１つの帯域の係数にまとめることで形状の特徴量を求める形状特徴量抽出手段と、
前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求めるテクスチャ特徴量抽出手段と、
を備え、
前記特徴量は前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域の短い方の辺を予め定めた長さとなるように補間してサイズを正規化するとともに、
前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域の係数を、ＨＳＶ色空間、Ｌａｂ色空間、又はマンセル色空間のいずれかの色表現に変換して求めることを特徴とする請求項１記載の画像解析装置。 - 前記ウェーブレット変換手段は、入力されたＲＧＢカラー空間のカラー画像をＹＵＶ空間のカラー画像に変換した後にウェーブレット変換を施し、
前記形状特徴量抽出手段は、前記ウェーブレット変換手段によるウェーブレット変換後の２番目に低い周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみを用いて形状の特徴量を求め、
前記テクスチャ特徴量抽出手段は、前記ウェーブレット変換手段によるウェーブレット変換後の各周波数帯域の係数を構成するＹＵＶ成分の内の輝度値Ｙのみの平均と分散に基づいてテクスチャの特徴量を求める
ことを特徴とする請求項１記載の画像解析装置。 - 前記テクスチャ特徴量抽出手段は、前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域を除く輪郭縦成分の各周波数帯域の係数の平均と分散をベクトル成分とするベクトル、輪郭横成分の各周波数帯域の係数の平均と分散をベクトル成分とするベクトル、及び輪郭斜め成分の各周波数帯域の係数の平均と分散をベクトル成分とするベクトルをテクスチャ特徴量として生成する
ことを特徴とする請求項１記載の画像解析装置。 - 前記レイアウト特徴量抽出手段で抽出されたレイアウト特徴量、前記形状特徴量抽出手段で抽出された形状特徴量及び前記テクスチャ特徴量抽出手段で抽出されたテクスチャ特徴量について２つの画像間の類似度を各々算出すると共に、前記各類似度に重み付けを行なって２つの画像間の総合的な類似度を算出する類似度算出手段
を更に備えることを特徴とする請求項１記載の画像解析装置。 - 画像解析装置が、
入力された画像にウェーブレット変換を施すウェーブレット変換ステップと、
前記ウェーブレット変換ステップによるウェーブレット変換後の最低周波数帯域から画像内の空間的情報であるレイアウトの特徴量を求めるレイアウト特徴量抽出ステップと、
前記ウェーブレット変換ステップによるウェーブレット変換後の２番目に低い周波数帯域の係数が配置される３つの帯域につき、各係数の絶対値を求めると共に各帯域の相対的に同じ位置の係数を平均して１つの帯域の係数にまとめることで形状の特徴量を求める形状特徴量抽出ステップと、
前記ウェーブレット変換ステップによるウェーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求めるテスクチャ特徴量抽出ステップと、
を備え、
前記特徴量は前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域の短い方の辺を予め定めた長さとなるように補間してサイズを正規化するとともに、
前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域の係数を、ＨＳＶ色空間、Ｌａｂ色空間、又はマンセル色空間のいずれかの色表現に変換して求めることを特徴とする画像解析方法。 - 画像解析装置に、
入力された画像にウェーブレット変換を施すウェーブレット変換ステップと、
前記ウェーブレット変換ステップによるウェーブレット変換後の最低周波数帯域の短い方の辺を予め定めた長さとなるように補間してサイズを正規化するとともに、前記ウェーブレット変換手段によるウェーブレット変換後の最低周波数帯域の係数を、ＨＳＶ色空間、Ｌａｂ色空間、又はマンセル色空間のいずれかの色表現に変換して画像内の空間的情報であるレイアウトのイアウトの特徴量を求めるレイアウト特徴量抽出ステップと、
前記ウェーブレット変換ステップによるウェーブレット変換後の２番目に低い周波数帯域の係数が配置される３つの帯域につき、各係数の絶対値を求めると共に各帯域の相対的に同じ位置の係数を平均して１つの帯域の係数にまとめることで形状の特徴量を求める形状特徴量抽出ステップと、
前記ウェーブレット変換ステップによるウェーブレット変換後の最低周波数帯域を除く各周波数帯域の平均と分散に基づいてテクスチャの特徴量を求めるテクスチャ特徴量抽出ステップと、
を動作させる画像解析プログラムを格納したコンピュータ可読のプログラム記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27017599A JP3921015B2 (ja) | 1999-09-24 | 1999-09-24 | 画像解析装置及び方法並びにプログラム記録媒体 |
| US09/634,911 US6728406B1 (en) | 1999-09-24 | 2000-08-09 | Image analyzing apparatus and method as well as program record medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27017599A JP3921015B2 (ja) | 1999-09-24 | 1999-09-24 | 画像解析装置及び方法並びにプログラム記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001092973A JP2001092973A (ja) | 2001-04-06 |
| JP2001092973A5 JP2001092973A5 (ja) | 2004-12-09 |
| JP3921015B2 true JP3921015B2 (ja) | 2007-05-30 |
Family
ID=17482581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27017599A Expired - Lifetime JP3921015B2 (ja) | 1999-09-24 | 1999-09-24 | 画像解析装置及び方法並びにプログラム記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6728406B1 (ja) |
| JP (1) | JP3921015B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
| KR100406508B1 (ko) * | 2000-06-23 | 2003-11-20 | 주식회사 코난테크놀로지 | 컬러영상 처리 시스템 및 그 방법 |
| US7099860B1 (en) * | 2000-10-30 | 2006-08-29 | Microsoft Corporation | Image retrieval systems and methods with semantic and feature based relevance feedback |
| US6970860B1 (en) * | 2000-10-30 | 2005-11-29 | Microsoft Corporation | Semi-automatic annotation of multimedia objects |
| FR2825224A1 (fr) * | 2001-05-22 | 2002-11-29 | Canon Kk | Procede et dispositif de compression et ou d'indexation d'images numeriques |
| WO2004008338A1 (en) * | 2002-07-12 | 2004-01-22 | Chroma Energy, Inc. | Oil exploration and production pattern recognition template |
| JP4521747B2 (ja) * | 2002-12-13 | 2010-08-11 | シャープ株式会社 | 物体情報処理装置、画像処理システム、ゲーム装置および画像処理方法 |
| JPWO2004093006A1 (ja) * | 2003-04-16 | 2006-07-06 | 富士通株式会社 | 知識発見装置、知識発見プログラムおよび知識発見方法 |
| JP2004348706A (ja) * | 2003-04-30 | 2004-12-09 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
| JP2004361987A (ja) * | 2003-05-30 | 2004-12-24 | Seiko Epson Corp | 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法 |
| TWI255429B (en) * | 2003-12-29 | 2006-05-21 | Ind Tech Res Inst | Method for adjusting image acquisition parameters to optimize objection extraction |
| CN1296861C (zh) * | 2004-09-10 | 2007-01-24 | 倪蔚民 | 基于图像纹理特征随机度信息的模式识别方法 |
| JP3967367B2 (ja) * | 2004-12-07 | 2007-08-29 | 松下電器産業株式会社 | 画像変換方法、装置およびプログラム、テクスチャマッピング方法、装置およびプログラム、並びに、サーバークライアントシステム |
| JP4645186B2 (ja) * | 2004-12-22 | 2011-03-09 | 富士ゼロックス株式会社 | 画像処理装置 |
| US20080175513A1 (en) * | 2005-04-19 | 2008-07-24 | Ming-Jun Lai | Image Edge Detection Systems and Methods |
| US7907148B1 (en) | 2005-12-07 | 2011-03-15 | Marvell International Ltd. | Intelligent color remapping of video data |
| JP4859025B2 (ja) * | 2005-12-16 | 2012-01-18 | 株式会社リコー | 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体 |
| JP3921496B1 (ja) * | 2006-03-15 | 2007-05-30 | 松下電器産業株式会社 | 画像変換方法および画像変換装置 |
| US7340098B2 (en) | 2006-03-15 | 2008-03-04 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for image conversion |
| JP4882680B2 (ja) | 2006-07-31 | 2012-02-22 | 富士ゼロックス株式会社 | 画像処理システムおよび画像処理プログラム |
| JP4850652B2 (ja) * | 2006-10-13 | 2012-01-11 | キヤノン株式会社 | 画像検索装置及びその制御方法、プログラム、記憶媒体 |
| KR100886339B1 (ko) * | 2007-01-09 | 2009-03-03 | 삼성전자주식회사 | 영상의 속성에 기초한 영상 분류 방법 및 장치 |
| EP2018070A1 (en) * | 2007-07-17 | 2009-01-21 | Thomson Licensing | Method for processing images and the corresponding electronic device |
| GB2454213A (en) * | 2007-10-31 | 2009-05-06 | Sony Corp | Analyzing a Plurality of Stored Images to Allow Searching |
| GB2454212B (en) * | 2007-10-31 | 2012-08-08 | Sony Corp | Method and apparatus of searching for images |
| CN101504717B (zh) * | 2008-07-28 | 2012-07-11 | 上海高德威智能交通系统有限公司 | 特征区域的定位方法、车身深浅色与车身颜色的识别方法 |
| CN101686389B (zh) * | 2008-09-28 | 2012-10-03 | 富士通株式会社 | 图像下采样方法和系统 |
| US8284450B2 (en) * | 2008-10-07 | 2012-10-09 | Xerox Corporation | Streak compensation in compressed image paths |
| EP2175416A1 (en) * | 2008-10-13 | 2010-04-14 | Sony Corporation | Method and system for image deblurring |
| US8483433B1 (en) | 2009-09-17 | 2013-07-09 | Lockheed Martin Corporation | Detection of faint perturbations of interest using statistical models of image texture |
| JP5664120B2 (ja) * | 2010-10-25 | 2015-02-04 | ソニー株式会社 | 編集装置、編集方法、プログラム、および記録媒体 |
| CN103632156B (zh) * | 2013-12-23 | 2016-06-22 | 中南大学 | 基于多尺度邻域相关矩阵的泡沫图像纹理特征提取方法 |
| JP6050284B2 (ja) * | 2014-06-20 | 2016-12-21 | ヤフー株式会社 | 抽出装置、抽出方法及び抽出プログラム |
| CN105718882B (zh) * | 2016-01-19 | 2018-12-18 | 上海交通大学 | 一种分辨率自适应特征提取与融合的行人重识别方法 |
| CN106779055B (zh) * | 2017-01-10 | 2019-06-21 | 北京邮电大学 | 图像特征提取方法和装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1070722A (ja) | 1996-05-13 | 1998-03-10 | Fujitsu Ltd | ウエーブレット画像圧縮装置およびウエーブレット画像復元装置，並びにプログラム記憶媒体 |
| JP2000048036A (ja) * | 1998-07-28 | 2000-02-18 | Canon Inc | 画像処理装置およびその方法 |
| US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
-
1999
- 1999-09-24 JP JP27017599A patent/JP3921015B2/ja not_active Expired - Lifetime
-
2000
- 2000-08-09 US US09/634,911 patent/US6728406B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001092973A (ja) | 2001-04-06 |
| US6728406B1 (en) | 2004-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3921015B2 (ja) | 画像解析装置及び方法並びにプログラム記録媒体 | |
| Tu et al. | A new look at IHS-like image fusion methods | |
| JP3740065B2 (ja) | 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法 | |
| Bourennane et al. | Improvement of classification for hyperspectral images based on tensor modeling | |
| Kwon et al. | Kernel orthogonal subspace projection for hyperspectral signal classification | |
| AU2017201281B2 (en) | Identifying matching images | |
| WO2006083023A1 (en) | Computer implemented method for extracting integral histogram from sampled data | |
| CN101140325A (zh) | 高光谱图像的空间-光谱信息协同提高分辨率的方法 | |
| CN114187520B (zh) | 一种建筑物提取模型的构建及应用方法 | |
| JP3141004B2 (ja) | 動画中のオブジェクトを分類する方法 | |
| Tseng et al. | Wavelet-based multispectral image fusion | |
| US7389005B2 (en) | Interpolation of video and audio digital data | |
| Ye et al. | Cross-scene hyperspectral image classification based on DWT and manifold-constrained subspace learning | |
| Meenakshisundaram | Quality assessment of IKONOS and Quickbird fused images for urban mapping | |
| CN115082337A (zh) | 一种基于双重全变分的高光谱混合噪声去除方法 | |
| Ge et al. | Remote sensing image fusion based on Bayesian linear estimation | |
| CN114463379A (zh) | 一种视频关键点的动态捕捉方法及装置 | |
| Sarmah et al. | A correlation based band selection approach for hyperspectral image classification | |
| Hariharan et al. | Performance enhanced hyperspectral and multispectral image fusion technique using ripplet type-II transform and deep neural networks for multimedia applications | |
| KR101200378B1 (ko) | 국소 각 위상을 이용한 강건한 텍스처 특징 추출 방법 | |
| Gormus et al. | Exploiting spatial domain and wavelet domain cumulants for fusion of SAR and optical images | |
| WO2020196918A1 (ja) | 画像処理装置、及び画像処理プログラム | |
| JP6539469B2 (ja) | 特徴量抽出装置、特徴量抽出方法及び特徴量抽出用プログラム | |
| Das et al. | A Comparative Analysis of Image Fusion Techniques for Remote Sensed Images. | |
| Prasad et al. | Rotation invariance through structured sparsity for robust hyperspectral image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070216 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3921015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130223 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140223 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |