JP4148642B2 - 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 - Google Patents
類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4148642B2 JP4148642B2 JP2000327867A JP2000327867A JP4148642B2 JP 4148642 B2 JP4148642 B2 JP 4148642B2 JP 2000327867 A JP2000327867 A JP 2000327867A JP 2000327867 A JP2000327867 A JP 2000327867A JP 4148642 B2 JP4148642 B2 JP 4148642B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- region
- area
- search result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、類似画像検索装置、及び類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、ユーザが所望する画像を大量の画像から探し出すための画像検索の技術に係る類似画像検索装置、及び類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、コンピュータ技術や画像処理技術の発達に伴って、大量の電子画像を蓄積して画像データベースを構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索方法である。
【０００３】
画像検索方法の１つとして、各画像に言葉を用いた検索キーを付与し、文書の検索と同様な方法で入力されたキーワードと画像に付された検索キーとを照合し、キーワードに一致する検索キーが付された画像を検索結果として返すというものがある。また、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像（以下「問合せ画像」と記述する）を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索方法を実現するために、問合せ画像及び検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索方法は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。
【０００４】
このような検索方法を開示するものとして以下の二つの論文がある。第１の論文には、画像そのものを解析し、各画像の特徴量として画像の色（色のヒストグラム），テクスチャ，オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を指定することによって、指定した特徴量を有する画像を得るという検索方法が開示されている（Myron Flickner et al, "Query by Image and Video Content: The QBIC System, "Computer, September 1995, pp23-32）。また、第２の論文には、シリンダー状に分割したＨＳＶの色空間を用いて各画像の色のヒストグラムを生成し、生成した色のヒストグラムを各画像の特徴量として用いることにより、類似する画像を検索する方法が開示されている（John R. Smith and Shih-Fu Chang,"Tools and Techniques for Color Image Retrieval,"SPIE, Vol. 2670, pp426-437）。
【０００５】
また、画像の特徴量の抽出に関しては、本出願人による特開２０００−１８７７３１号公報において、画像から特徴量を抽出する際の作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにした画像特徴抽出方法及びその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が記載されている。特開２０００−１８７７３１号公報に記載の発明においては、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成する。生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、色空間として、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術では画像全体を検索する技術に関するものであり、ユーザが画像中の一部の物体を検索したい要望があった場合には対応できない。
【０００７】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像中の１領域を検索することを可能とする類似画像検索装置、及び類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る類似画像検索装置は、予め登録された登録画像から問い合わせ画像に類似する画像を検索し、該検索の結果を出力する類似画像検索装置であって、色クラスタリングにより、各登録画像から複数の被検索画像を抽出し、複数の該被検索画像から複数の階層を有する木構造を生成する手段と、生成された前記木構造の各階層に含まれる被検索画像毎に取得された特徴量と、前記問い合わせ画像から取得された特徴量とに基づいて検索結果を出力する手段と、備え、前記被検索画像は、前記登録画像の色クラスタリングにより抽出された複数の領域画像と、抽出された領域画像同士をエッジの有無により統合した統合領域画像とからなり、前記検索結果を出力する手段は、前記領域画像と前記統合領域画像との関係を木構造で表現した検索結果であって、該領域画像と該統合領域画像とが同じ木構造に属する場合に、木構造上での領域間の関係を考慮して不要な被検索画像を除去した検索結果を出力することを特徴とする。
【００２６】
【発明の実施の形態】
図１は、本発明の一実施形態に係る画像領域検索システムの構成の一例を示すブロック図で、図中、１はパーソナルコンピュータやワークステーションで構成された画像領域検索システム、２は画像領域検索システム１と接続されたデジタルカメラ，スキャナ等の周辺機器、３は画像領域検索システム１と接続されたネットワークである。画像領域検索システム１は、全体を制御するＣＰＵ１１と、ブートプログラム等を記憶したＲＯＭ１２と、ＣＰＵ１１のワークエリアとして使用されるＲＡＭ１３と、問合せ画像領域，検索実行命令等の入力を行うためのキーボード１４及びマウス１５等の入力装置と、例えば検索結果の画像を表示するためのＣＲＴや液晶ディスプレイ等のモニタ（表示装置）１６と、入力装置により入力された画像領域を検索するための画像領域検索ソフト２１，画像領域データベース（ＤＢ）２２，領域特徴ＤＢ２３等を記憶したハードディスク１７と、周辺機器２とのインタフェースであるペリフェラルＩ／Ｆ１８と、ネットワーク３とのインタフェースであるＩ／Ｆ１９と、上記各部を接続するバス２０とを有し、キーボード１４及びマウス１５等の入力装置から入力された画像等のデータに類似した領域を、ＲＯＭ１２，ハードディスク１７，又はネットワーク３上の記憶装置に保管されたデータベースから検索するようにしている。なお、本実施形態においては、ハードディスク１７にデータベースを登録したものを例に説明する。また、画像領域検索ソフト２１は本発明の画像特徴検索方法の各工程を実行する機能、及びユーザに対して画像検索を行うための検索条件入力画面，検索結果表示画面等を表示して、検索条件の入力，検索結果の出力処理等を実行するユーザ・インタフェース（Ｕ／Ｉ）を有し、画像領域ＤＢ２２には複数の画像領域が登録され、領域特徴ＤＢ２３には画像領域ＤＢ２２中の画像領域から抽出した特徴量が登録されているものとする。なお、ＤＢ２２及びＤＢ２３を１つのデータベースとしてもよい。
【００２７】
図２は、本発明の一実施形態に係る画像領域検索システムの構成の他の例を示すブロック図で、図中、１1，１1'はクライアントＰＣ、１2はクライアントＰＣ１1，１1'とネットワーク３を介して接続されたサーバである。この例では、図１を用いて説明した例と基本的な機能は同じであるが、クライアントＰＣ１1，１1'側の領域検索ソフト２１，２１'においてサーバ１2に登録された画像領域ＤＢ２２，領域特徴ＤＢ２３から問合わせを行うようになっている。
【００２８】
本実施形態においては、以下のごとき領域抽出方法を用いて画像領域の検索を行うようにしている。
画像を構成する領域単位に検索を可能とするためには、画像から領域を自動的に抽出する必要がある。画像から領域を抽出する方法として、色のクラスタリングによる手法では、画像中の局所的な変化が取れない場合、すなわち変化の幅は少ないが急激に変化している場合がある。一方、エッジを抽出して領域分割を行う手法では、マクロ的な変化を取れない場合、すなわち変化の幅は大きいが徐々に変化している場合がある。そこで、両者の方法を組合わせることで問題点を回避する。その手順を以下に述べる。
【００２９】
図３は、本発明の一実施形態に係る画像領域検索方法を説明するためのフロー図である。
本実施形態の画像領域検索方法は、登録された大量の画像からユーザの所望する画像内の領域を検索する（ステップＳ９）画像領域検索方法であって、ユーザ所望の領域である問合わせ画像（ステップＳ１にて指定）から又は該問合わせ画像及び登録された画像から領域を抽出する際に（ステップＳ３／Ｓ８）、画像からエッジを抽出し（ステップＳ４）、前記画像を該画像中のピクセルの色によりクラスタリングし（ステップＳ５）、前記抽出したエッジにより得られた領域と前記クラスタリングにより得られた領域とに基づいて、領域分割を行う（ステップＳ６／Ｓ８）ことにより画像から領域を抽出することを可能としたものである。本実施形態によれば、画像中の領域をより正確に抽出することが可能となり、ユーザの所望する領域を適切に検索することが可能となる。
【００３０】
実際には、登録された大量の画像からユーザが問合わせ画像を指定し（ステップＳ１）、該問合わせ画像が１つの領域のみ指定しているのであれば（ステップＳ２にて判断）、ステップＳ７へ進む。複数の領域が指定されていれば、問合わせ画像から領域の抽出を開始する（ステップＳ３）。この抽出とは、まず、画像からエッジを抽出し（ステップＳ４）、前記画像を該画像中のピクセルの色によりクラスタリングし（ステップＳ５）、前記抽出したエッジにより得られた領域と前記クラスタリングにより得られた領域とに基づいて、領域分割を行う（ステップＳ６）。登録画像が既に領域抽出されているものであれば、その登録画像からステップＳ６で分割した各領域を検索して（ステップＳ９）、結果をユーザに示す。登録画像が既に領域抽出されていなければ、その登録画像からステップＳ４〜Ｓ６と同様に領域を抽出して（ステップＳ８）、それらの領域からステップＳ６で分割した各領域を検索して（ステップＳ９）、結果をユーザに示す。なお、フロー図として、登録画像が既に領域抽出されているものかを判断するステップは、説明の便宜上記載したもので、実際には、領域抽出されたものをデータベースに保存するのか、或いは検索の段階で抽出するのか（計算上、前者の方がよい）は、システムの設計段階で決まっていることが多い。これは、後述する各実施形態に共通する。
【００３１】
図４は、図３の検索方法における画像領域分割方法を詳細に説明するためのフロー図、図５乃至図８は、図４の画像領域分割方法を説明するための画像の例を示す図で、図５は画像サイズを正規化した図、図６はクラスタリングにより分割された画像を示す図、図７は領域の境界上のエッジ強度を示す図、図８は図７のエッジ強度に従って統合した画像領域の例を示す図である。
【００３２】
エッジ画像を抽出するには、まず、画像サイズの正規化（例えば、１００×１００）を行う（ステップＳ１１；図５を参照）。次に、細かなエッジを抽出しないようにするために、単純平滑化法による平滑化を行う（ステップＳ１２）。その後、ｓｏｂｅｌオペレータなどの一般的なエッジ抽出法によりエッジ抽出を行う（ステップＳ１３）。ステップＳ１５以降に示す色のクラスタリングの境界線とのずれを吸収するために、単純平滑化法により抽出したエッジ画像の平滑化を行う（ステップＳ１４）。
【００３３】
次に、色によるクラスタリングで基本的な領域を生成し、上記エッジ画像で領域を統合する。まず、画像サイズの正規化（例えば１００×１００）を行う（ステップＳ１５）。次に色によるクラスタリングを行い（ステップＳ１６）、クラスタリングされた領域をラベリングすることにより基本的な領域が生成される（ステップＳ１７；図６を参照）。これら領域をエッジ画像（図７を参照）により統合する（ステップＳ１８，Ｓ１９；図８を参照）。すなわち、生成された任意の二つの領域の境界上にエッジがないものを検索し（ステップＳ１８）、エッジがない場合にはセグメントを統合する（ステップＳ１９）。なお、エッジの抽出及び色のクラスタリングに関しては、それぞれ事前に閾値を設定しておく必要がある。
【００３４】
図９及び図１０は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態の画像領域検索方法は、図３で説明した実施形態において、ステップＳ６／Ｓ８で前記領域分割された複数の領域につき領域間の境界における色及びエッジの情報に基づいて領域の統合を行うことにより（ステップＳ２１）、前記複数の領域より少ない数の領域を抽出し、予め定められた回数又は条件だけ前記統合を繰り返すことにより（ステップＳ２２において判断）さらに少ない数の領域を抽出し、各段階で抽出した領域からなる集合に基づいて画像領域の検索（ステップＳ９）を行うようにしたものである。
【００３５】
ここで、本実施形態において、前記統合は、再度前記領域分割を、色の相違度に関する閾値及びエッジ強度に関する閾値を大きく設定することにより行う（図１０のステップＳ２３，Ｓ２４）ようにしてもよい。本実施形態によれば、領域を統合することにより、ユーザの所望する領域に近い領域として抽出することが可能となり検索の精度を向上させることができる。
【００３６】
図１１は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態の画像領域検索方法は、図３で説明した実施形態において、ステップＳ８で抽出された領域間の関係を木構造で表現する（ステップＳ２５）ようにしたものである。本実施形態によれば、領域の関係を木構造として表すことにより、多様な領域の切出しの結果、及び、その領域間の関係も保持することができ、ユーザの多様な検索要求に答えることが可能となる。
なお、ステップＳ２５は、問合わせ領域及び登録画像領域それぞれの領域に対して実行されるが、図３におけるステップＳ６で問合わせ画像の領域を抽出する毎に、或いは繰り返して統合した後に、その領域に対して実行してもよい。
【００３７】
図１２は、図９乃至図１１の検索方法における画像領域統合・木構造表示方法を説明するためのフロー図、図１３及び図１４はその検索方法により図７のエッジ強度に従って統合した画像領域の例を示す図、図１５は画像領域の木構造表示の例を示す図である。
本実施形態においては、領域分割処理により生成された領域３１（図８）を統合した領域を利用して検索を行うようにしている。まず上記処理により最も小さい領域に分割されたことになる（ステップＳ３１；図４のステップＳ１１〜Ｓ１９を参照）。これらの領域を統合する。事前に統合する処理の色とエッジの閾値を設定し、また、領域の併合関係を示す木構造を生成するために、現時点で抽出した領域を木構造のリーフノードに設定する（ステップＳ３２）。実際には、隣接する領域間の色の相違度が閾値より小さい、かつ、領域の境界エッジの強度が閾値より小さい場合には、当該隣接領域を併合する（ステップＳ３３）。これを全ての領域について行う。その後、生成された領域を１レベル上位の木構造に設定する（ステップＳ３４）。
【００３８】
閾値を順次変えた上で上記処理を数回行うことで領域を統合することができ（図８，図１３，図１４を参照）、かつ、木構造（図１５を参照）を生成することができる。なお、この領域の関係を示す木構造である領域木のルートノードには画像全体を対応付ける。また図１５においては、図８，図１３，図１４で示した画像３１，３２，３３を各ノードに対応付けた木構造を生成した例を示している。
【００３９】
図１６は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態に係る画像領域検索方法は、図３で説明した実施形態において、ステップＳ８で抽出された領域から該領域の特徴量を算出し（ステップＳ４１）、該算出した領域特徴量により前記問合わせ画像中の領域を検索する（ステップＳ９）ようにしたものである。
【００４０】
本実施形態においては、領域の検索に関し、領域から特徴抽出された特徴量に基づいて行うようにする。色に関しては色のヒストグラム、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴、といった特徴量を各領域から抽出する。なお、元々の問合わせ画像からは形状、曲率は抽出しない。これは画像の矩形から形状や曲率を抽出しても検索時に有効な特徴とは言えないからである。また、特徴量の具体的な抽出方法は、上述の特開２０００−１８７７３１号公報に記載の通りである。本実施形態によれば、個々の領域から特徴量を抽出することにより、領域単位の検索が可能となる。
【００４１】
図１７は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態に係る画像領域検索方法は、図１１で説明した実施形態において、木構造で表現された領域（ステップＳ２５）から該領域の特徴量を算出し（ステップＳ４２）、該算出した領域特徴量により前記問合わせ画像中の領域を検索する（ステップＳ９）ようにすればよい。
【００４２】
すなわち、本実施形態においては、領域の検索に関し、領域から特徴抽出された特徴量に基づいて行うようにする。色に関しては色のヒストグラム、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴、といった特徴量を、領域木の各領域から抽出する。なお、ルートノードに対応する全体画像からは形状、曲率は抽出しない。これは画像の矩形から形状や曲率を抽出しても検索時に有効な特徴とは言えないからである。また、特徴量の具体的な抽出方法は、上述の特開２０００−１８７７３１号公報に記載の通りである。本実施形態によれば、個々の領域から特徴量を抽出することにより、木表現された領域単位の検索が可能となる。
【００４３】
上述の方法により画像から領域及び領域木を抽出し、データベース（図１又は図２を参照）に登録（蓄積）する。画像の領域を検索する場合に、問合わせとして検索したい画像領域の特徴量を直接指定する方法が考えられるが、本実施形態では画像領域を問合わせとして類似する領域を検索する方法を説明する。
【００４４】
背景を白（背景を識別できれば他の色でも当然構わない）とし特徴を抽出したい領域のみが存在する画像を問合わせ画像とする。こうすることで容易に背景部分である白の領域を自動的に除くことができ、問合わせである領域を抽出しその領域から特徴量を前述のように抽出することが可能である。抽出した特徴量とすでにデータベースに登録済みの領域（その特徴量）を逐一比較することで、類似する領域を検索することが可能である。検索結果は類似度順に並替えられて検索者の指定件数分の領域が表示される。
【００４５】
図１８は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、前記領域特徴量により検索された領域が同じ木構造に属する場合に（ステップＳ４３でＹＥＳ）、木構造上での領域間の関係を考慮して不要な検索領域を検索結果から除去して検索結果を再編する（ステップＳ４４）ようにしている。本実施形態によれば、領域間の関係を表した木構造により不要な検索結果を削除することで、検索結果の精度を向上することが可能となる。
【００４６】
前述のように検索された領域は場合によって１つの画像内で、包含関係にあるような領域である場合もあり、領域検索結果の再編を行うことが好ましい。本実施形態においては、この場合を説明する。このような場合には包含されている領域は検索結果として表示されない方がよい場合がある。そこで包含されている領域や、又は大きなサイズの領域の一部として付属しているような領域の場合は検索結果から除く検索結果の再編の処理を行う。
領域間の関係は木構造として表現されているので、検索結果を上位の領域から順に画像中の木構造中の位置を調べる。木構造上の上位に既に調べた検索結果の領域（検索結果上の上位の領域）があれば当該領域を検索結果から削除する。
これを検索件数分行い、不必要な検索結果を除去する。
【００４７】
図１９及び図２０は本発明の一実施形態に係る検索結果表示方法を説明するためのフロー図、図２１は図２０の表示方法で表示した検索結果の一例を示す図である。
本実施形態においては、登録された大量の画像からユーザの所望する画像内の領域を検索（ステップＳ４５）する画像領域検索方法であって、登録されたオリジナルの画像上に検索結果の領域を縁取りすることで検索結果を示す（ステップＳ４６）ようにしてもよい。
【００４８】
さらに、登録された大量の画像からユーザの所望する画像内の領域を検索する画像領域検索方法であって、登録されたオリジナルの画像上に検索結果の領域を縁取りすることで検索結果を示し（ステップＳ４７）、木構造上の領域間の関係を考慮して検索結果から除去された領域も同時に前記オリジナル画像上に縁取りすることで検索結果の領域を示す（ステップＳ４８；図２１を参照）ようにしてもよい。
すなわち、本実施形態においては、検索結果の表示に関し、検索結果の領域はオリジナルの画像全体を表示し当該領域を縁取りして表示することで示すようにする。さらに検索結果の再編により削除された関連のある領域も同時に色の違う縁取で示す（図２１を参照）ことにより、正確な検索結果を表示することが可能である。本実施形態によれば、オリジナル画像における領域の位置関係を即座に判断でき、かつ、削除された関連領域も表示することで、検索結果を適切にかつ効率よくユーザに提示することが可能となる。
【００４９】
以上の各実施形態においては、画像の領域に基づいた検索に際して行う、主に画像の領域への分割及び分割領域の統合（条件を変えた画像の分割）、及びその領域の木表現に関する発明を説明した。
【００５０】
以下に、本発明の他の実施形態として、上記画像領域を検索する方法について説明する。なお、以下に説明する実施形態に係る画像領域検索システムは、図１及び図２を用いて説明したものと同じ構成をもち、その説明は省略する。
【００５１】
図２２は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態に係る画像領域検索方法は、画像から複数の粗さで抽出した領域を木構造で表したデータが大量に登録されたデータベースから、ユーザにより問合わせとして指定された（ステップＳ６１）１つ以上の領域を検索する画像領域検索方法であって、該指定された１つ以上の領域である問合わせ領域集合に対して、各領域と、検索対象となる前記登録された領域（すなわち登録画像領域）である検索対象領域との類似度を算出し（ステップＳ６２）、該算出した検索対象領域毎の類似度から、前記問合わせ領域集合と、前記類似度の高い領域を有する検索対象画像との類似度を算出し（ステップＳ６３）、該算出した検索対象画像毎の類似度に応じて検索結果を示す（ステップＳ６４）ようにしたものである。本実施形態によれば、画像ではなく画像中の領域の検索が可能となる。
【００５２】
本実施形態においては、領域の検索に関し、領域から特徴抽出された特徴量に基づいて行うようにする。色に関しては色のヒストグラム、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴、といった前述の特徴量に加え、色分布，面積，位置といった特徴量を、生成された領域木のデータベースへの登録と共に各領域画像から抽出する。色分布及び位置に関しては後述する実施形態で説明する。面積に関しては、例えば、領域面積を全画像により正規化した面積値（０−１.０の値をとる）を特徴量として抽出する。
【００５３】
図２３は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、ステップＳ６２で算出した、前記検索対象領域毎の類似度から前記問合わせ画像に対する検索対象画像毎の類似度を算出する（ステップＳ６３）際に、前記問合わせ画像から抽出した各領域の面積比を算出し、該面積比を各検索対象領域の類似度の重み付けとする（ステップＳ６５）。本実施形態によれば、人の類似性の感覚は領域の大きさに依存するので、人の類似性の感覚に近い検索が可能となる。
【００５４】
図２４は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、前記検索対象領域からユーザ指定の問合わせ領域を検索する際に、領域の色、テクスチャ、形状等の特徴を抽出し（ステップＳ６６）、該特徴を利用して前記問合わせ領域と検索対象領域間の類似度を算出する（ステップＳ６２）ようにしている。本実施形態によれば、人の様々な類似性感覚に則して特徴を抽出することで、人の類似性感覚に近い検索が可能となる。
【００５５】
図２５は本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図で、図２６は図２５の画像領域検索方法に係る特徴抽出した色分布の一例を示す図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、前記検索対象領域からユーザ指定の問合わせ領域（ステップＳ６１）を検索する際に、領域をブロックに分割し（ステップＳ６７）、個々のブロックから色の特徴を抽出することにより、前記領域内の色の分布の特徴を抽出し（ステップＳ６８）、該特徴を利用して前記問合わせ領域と検索対象領域間の類似度を算出する（ステップＳ６２）ようにしている。
【００５６】
すなわち、色の分布の特徴として、領域をＮ×Ｎ（例えば５×５）のブロックに分割し（ステップＳ６７）、個々のブロックから色の特徴を抽出する（ステップＳ６８）ようにしている。その抽出例を図２６に示す。色の特徴としてヒストグラムとしても良いし、簡便な特徴として平均色又は代表色としても良い。領域の形状によってはブロック中に領域が含まれない場合がある。この場合には無効のデータを入れることとする。本実施形態によれば、領域が複数の色から構成されている場合でも、その色の分布により検索が可能となる。
【００５７】
図２７は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、前記検索対象領域からユーザ指定の問合わせ領域を検索する際に、重心等の領域を代表する点を算出し（ステップＳ６９）、該点で画像中の領域の位置を表し、該位置を利用して前記問合わせ領域集合と検索対象画像との類似度を算出する（ステップＳ７０）ようにしている。本実施形態によれば、画像中の位置の類似性により検索することが可能となる。なお、その他の類似度はステップＳ６２において算出する。
位置に関しては、例えば、画像サイズにより正規化した重心座標（縦軸、横軸でそれぞれ０−１.０値をとる）を特徴量として抽出する。
【００５８】
図２８は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、ステップＳ６３を実行するに際し、重心等の領域を代表する点を算出し（ステップＳ６９）、該点を用いて画像内の領域間の位置関係を抽出し（ステップＳ７１）、該位置関係を利用して領域集合間の位置関係の類似度を算出する（ステップＳ７２）ようにしている。本実施形態によれば、領域間の位置関係の類似性を抽出することにより複数の領域の位置関係による検索が可能となる。なお、他の類似度はステップＳ６３において算出する。
【００５９】
図２９は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態において、画像からの複数領域抽出に関し、前述の実施形態を利用してもよい。すなわち、前記登録された大量の画像は、図３乃至図１８を用いて説明したような、前記抽出し或いは前記各段階で抽出し木構造で表した複数の領域を有し、当該画像領域検索方法は、該複数の領域から、ユーザにより問合わせとして指定された（ステップＳ６１）１つ以上の領域である問合わせ領域集合に対して、各領域（Ｓ６で抽出）と、検索対象となる前記登録された領域である検索対象領域（Ｓ８で抽出）との類似度を算出し（ステップＳ７３）、該算出した検索対象領域毎の類似度から、前記問合わせ領域集合と、前記類似度の高い領域を有する検索対象画像との類似度を算出し（ステップＳ６３）、該算出した検索対象画像毎の類似度に応じて検索結果を示す（ステップＳ６４）ようにするとよい。
【００６０】
図３０は、上述の各実施形態に係る画像領域検索方法を詳細に説明するための図である。
画像領域を検索するためには、まず、問合わせ領域の指定を行う必要がある（ステップＳ８１）。問合わせの画像領域を指定する１つの方法として、ユーザが既存の任意の画像中の領域を囲む線をマウスなどにより描くことで領域を指定する。もちろん複数の領域を同様にして指定することも可能である。また、ユーザがドローツールで検索したい領域を直接描くことも可能である。例えば背景を白（背景を自動的に識別できれば他の色でも当然構わない）とし特徴を抽出したい領域のみが存在する画像を問合わせ画像とする。その結果容易に背景部分である白の領域を自動的に除くことができ、問合わせの領域を抽出し、その領域から特徴量を前述のように抽出することが可能である。
複数の領域を指定する場合には１つの画像に複数の領域を描き、背景を除去し個々の領域を抽出しても良いし、個々の領域を個別に描いた画像を問合わせ画像としても良い。
【００６１】
指定された個々の問合わせ領域から特徴を抽出する（ステップＳ８２）。次に、個々の特徴とデータベース中の領域の特徴と逐一以下に説明する領域類似度を計算し、予め指定されている類似度より高い領域を検索結果とする（ステップＳ８３）。１つの領域のみの問合わせかを判断し（ステップＳ８４）、１つの場合には以下の処理は不要となる。
【００６２】
複数の領域が指定されていた場合、個々の問合わせ画像に対する検索結果のＡＮＤ又はＯＲをとり、すべての問合わせ領域に類似する領域をもつ画像、又は、いずれかの問合わせ領域に類似する領域をもつ画像を抽出する（ステップＳ８５）。なお、ＡＮＤ／ＯＲはユーザ選択を可能とする。次に、問合わせ画像集合と上記処理によって得られた画像の領域集合に対して以下に説明する領域集合類似度を算出し（ステップＳ８６）、領域集合間の類似度によりランキングしてユーザに提示する（ステップＳ８７）。
【００６３】
ステップＳ８３に関し、領域類似度（距離）の算出について説明する。類似度は特徴量空間上での距離で表されるので、類似度を距離と呼ぶこととする。問合わせ領域として指定された領域から前述の特徴を個々に抽出し、その特徴により個々の領域間の距離（類似度）を以下の式により算出する。
【００６４】
【数１】
【００６５】
Ｒｑ，Ｒｄは問合わせ領域とデータベースの領域、ｆｑｉ，ｆｄｉは比較する領域の特徴ｉ、Ｄｉ（）は特徴ｉの距離（類似度）関数、Ｗｉは特徴ｉに対する重み付けである。つまり個々の特徴の重み付けした合計が領域間の類似度となる。
【００６６】
色、テクスチャ、形状、曲率のＤｉ（）は特開２０００−１８７７３１号公報のとおりであり、一般的なユークリッド距離や差分距離などを用いて算出する。
また、色分布の距離は次式で与えられる。
【００６７】
【数２】
【００６８】
Ｂｑｉ，Ｂｄｉはブロックの平均色、Ｄｃ（）は色差である。なお、ブロックの平均色として無効の色を指定された時には色差Ｄｃ（）は最大値を返すか、そのブロックは無視する。つまりＮ×Ｎで割っているが、無視した分Ｎ×Ｎの値を減らす。なお、ブロック分割例は図２６に示してある。
下式のように領域の面積の距離は単に差分でもよいし、問合わせ画像の面積を上記の重み付けＷＦｉとして利用してもよい。
Ｄ＝｜Ａｑ，Ａｄ｜
Ａｑ，Ａｄは領域の面積である。
【００６９】
位置の距離は重心座標間のユークリッド距離（他の距離式を利用することも可能）を距離とする。
Ｄ＝ｓｑｒｔ（（Ｘｑ−Ｘｄ）2＋（Ｙｑ−Ｙｄ）2）
【００７０】
ステップＳ８６に関し、領域集合類似度（距離）の算出について説明する。問合わせ領域集合から任意の領域を二つ選択し、その領域間の類似度を下式により算出する。そして、すべての問合わせ領域集合からの任意の二つの領域の組合わせに対する領域間の類似度の平均値を領域集合類似度とする。
【００７１】
問合わせ領域から選択された任意の２つの領域と、ステップＳ８３で検索された領域が属するデータベース中の画像単位にその画像中でＳ８３により検索された領域から選択された任意の２つの領域と、から下式を計算する。
【００７２】
【数３】
【００７３】
Ｒｑ１，Ｒｑ２は問合わせ領域集合から選択された二つの領域で、Ｒｄｎ，Ｒｄｍはデータベースから選択された二つの領域である。Ｗは重み付け（Ｗｑ＋４×Ｗ＝１.０）、Ｄ（）は領域類似度、Ｄｐ（）は位置関係の距離で以下の式により与えられる。Ｒｑ１，Ｒｑ２及びＲｄ１，Ｒｄ２の重心座標から重心座標の変移ベクトルＶｑ，Ｖｄがそれぞれ得られる。ベクトルの類似度は様々考えられるがここではＤｐは次式で与えられることとする。
Ｄｐ＝Ｍｉｎ（｜Ｖｑ−Ｖｄ｜，｜Ｖｑ＋Ｖｄ｜）
【００７４】
また、ここでの計算は、問合わせ領域から選択された任意の２つの領域と、ステップＳ８３で検索された領域が属するデータベース中の画像単位にその画像中から選択された任意の２つの領域（Ｓ８３で検索されなくても距離計算対象とする）と、から行なってもよい。
【００７５】
また、画像中にデータベース中の画像内に領域が一つの場合には、問合わせ画像中の各領域とデータベース中の各画像の領域に対し、前記実施例と同様に距離計算する。
【００７６】
以上、本発明の各実施形態を、画像領域検索システムにおける画像領域検索方法として、或いはその方法の各工程を実行する機能をもつ画像領域検索ソフト（プログラム）として説明しているが、この画像領域検索プログラムを記録したコンピュータ読み取り可能な記録媒体として、或いは画像領域検索方法としては勿論、各工程を実行する手段としてのハード或いはソフトモジュールを有する画像領域検索システムとしても実現可能である。
【００７７】
【発明の効果】
本発明によれば、画像ではなく、画像中の領域の検索が可能になるとともに、領域間の関係を表した木構造により不要な検索結果を削除することで、検索結果の精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係る画像領域検索システムの構成の一例を示すブロック図である。
【図２】 本発明の一実施形態に係る画像領域検索システムの構成の他の例を示すブロック図である。
【図３】 本発明の一実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図４】 図３の検索方法における画像領域分割方法を詳細に説明するためのフロー図である。
【図５】 図４の画像領域分割方法を説明するための画像の例を示す図で、画像サイズを正規化した図である。
【図６】 図４の画像領域分割方法を説明するための画像の例を示す図で、クラスタリングにより分割された画像を示す図である。
【図７】 図４の画像領域分割方法を説明するための画像の例を示す図で、領域の境界上のエッジ強度を示す図である。
【図８】 図４の画像領域分割方法を説明するための画像の例を示す図で、図７のエッジ強度に従って統合した画像領域の例を示す図である。
【図９】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１０】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１１】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１２】 図９乃至図１１の検索方法における画像領域統合・木構造表示方法を説明するためのフロー図である。
【図１３】 図９乃至図１１の検索方法により図７のエッジ強度に従って統合した画像領域の例を示す図である。
【図１４】 図９乃至図１１の検索方法により図７のエッジ強度に従って統合した画像領域の例を示す図である。
【図１５】 画像領域の木構造表示の例を示す図である。
【図１６】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１７】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１８】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１９】 本発明の一実施形態に係る検索結果表示方法を説明するためのフロー図である。
【図２０】 本発明の一実施形態に係る検索結果表示方法を説明するためのフロー図である。
【図２１】 図２０の表示方法で表示した検索結果の一例を示す図である。
【図２２】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２３】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２４】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２５】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２６】 図２５の画像領域検索方法に係る特徴抽出した色分布の一例を示す図である。
【図２７】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２８】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２９】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図３０】 各実施形態に係る画像領域検索方法を詳細に説明するための図である。
【符号の説明】
１…画像領域検索システム、１1，１1'…クライアントＰＣ、１2…サーバ、２，２'…デジタルカメラ・スキャナ等の周辺機器、３…ネットワーク、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…キーボード、１５…マウス、１６…モニタ（表示装置）、１７…ハードディスク、１８…ペリフェラルＩ／Ｆ、１９…Ｉ／Ｆ、２０…バス、２１，２１'…画像領域検索ソフト、２２…画像領域データベース、２３…領域特徴データベース。
【発明の属する技術分野】
本発明は、類似画像検索装置、及び類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体に関し、より詳細には、ユーザが所望する画像を大量の画像から探し出すための画像検索の技術に係る類似画像検索装置、及び類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、コンピュータ技術や画像処理技術の発達に伴って、大量の電子画像を蓄積して画像データベースを構築する試みが盛んに行われている。画像データベースを構築する際に重要となるのは、大量に蓄積した画像の中から利用したい画像を簡単に得ることができるようにするための画像検索方法である。
【０００３】
画像検索方法の１つとして、各画像に言葉を用いた検索キーを付与し、文書の検索と同様な方法で入力されたキーワードと画像に付された検索キーとを照合し、キーワードに一致する検索キーが付された画像を検索結果として返すというものがある。また、キーワードと言葉による検索キーとを照合することによって画像を検索するのではなく、検索条件として特定の画像（以下「問合せ画像」と記述する）を与え、問合せ画像に類似する画像を画像データベースの中から検索できるようにすることが望ましい。このような検索方法を実現するために、問合せ画像及び検索対象の画像からそれぞれ画像の特徴を表す特徴量を抽出し、問合せ画像の特徴量と検索対象の画像の特徴量との類似性を判定し、問合せ画像の特徴量と類似する特徴量を有する画像を検索結果として返すという方法が提案されている。つまり、この画像検索方法は、特徴間の類似性を画像自体の類似性と考えることによって、類似する画像を検索するというものである。
【０００４】
このような検索方法を開示するものとして以下の二つの論文がある。第１の論文には、画像そのものを解析し、各画像の特徴量として画像の色（色のヒストグラム），テクスチャ，オブジェクトの形状等を抽出してデータベース化しておき、画像を検索する際に、データベース化した画像の特徴量を指定することによって、指定した特徴量を有する画像を得るという検索方法が開示されている（Myron Flickner et al, "Query by Image and Video Content: The QBIC System, "Computer, September 1995, pp23-32）。また、第２の論文には、シリンダー状に分割したＨＳＶの色空間を用いて各画像の色のヒストグラムを生成し、生成した色のヒストグラムを各画像の特徴量として用いることにより、類似する画像を検索する方法が開示されている（John R. Smith and Shih-Fu Chang,"Tools and Techniques for Color Image Retrieval,"SPIE, Vol. 2670, pp426-437）。
【０００５】
また、画像の特徴量の抽出に関しては、本出願人による特開２０００−１８７７３１号公報において、画像から特徴量を抽出する際の作業の自動化を図り、人手を要することなく人間の類似感覚に即した画像の特徴量を抽出できるようにした画像特徴抽出方法及びその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が記載されている。特開２０００−１８７７３１号公報に記載の発明においては、用意された画像を構成する画素毎の色に基づいて、各画素が予め複数の領域に分割された色空間中のいずれの領域に属するかを特定し、各領域に属する画素の数に基づいて、画像の色のヒストグラムを生成する。生成した色のヒストグラムを画像の特徴を表す特徴量として抽出する際に、色空間として、人間が有する色の感覚に即した色空間であり、かつ、人間が有する色の感覚に即した単位の領域に分割された色空間を用いている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術では画像全体を検索する技術に関するものであり、ユーザが画像中の一部の物体を検索したい要望があった場合には対応できない。
【０００７】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像中の１領域を検索することを可能とする類似画像検索装置、及び類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る類似画像検索装置は、予め登録された登録画像から問い合わせ画像に類似する画像を検索し、該検索の結果を出力する類似画像検索装置であって、色クラスタリングにより、各登録画像から複数の被検索画像を抽出し、複数の該被検索画像から複数の階層を有する木構造を生成する手段と、生成された前記木構造の各階層に含まれる被検索画像毎に取得された特徴量と、前記問い合わせ画像から取得された特徴量とに基づいて検索結果を出力する手段と、備え、前記被検索画像は、前記登録画像の色クラスタリングにより抽出された複数の領域画像と、抽出された領域画像同士をエッジの有無により統合した統合領域画像とからなり、前記検索結果を出力する手段は、前記領域画像と前記統合領域画像との関係を木構造で表現した検索結果であって、該領域画像と該統合領域画像とが同じ木構造に属する場合に、木構造上での領域間の関係を考慮して不要な被検索画像を除去した検索結果を出力することを特徴とする。
【００２６】
【発明の実施の形態】
図１は、本発明の一実施形態に係る画像領域検索システムの構成の一例を示すブロック図で、図中、１はパーソナルコンピュータやワークステーションで構成された画像領域検索システム、２は画像領域検索システム１と接続されたデジタルカメラ，スキャナ等の周辺機器、３は画像領域検索システム１と接続されたネットワークである。画像領域検索システム１は、全体を制御するＣＰＵ１１と、ブートプログラム等を記憶したＲＯＭ１２と、ＣＰＵ１１のワークエリアとして使用されるＲＡＭ１３と、問合せ画像領域，検索実行命令等の入力を行うためのキーボード１４及びマウス１５等の入力装置と、例えば検索結果の画像を表示するためのＣＲＴや液晶ディスプレイ等のモニタ（表示装置）１６と、入力装置により入力された画像領域を検索するための画像領域検索ソフト２１，画像領域データベース（ＤＢ）２２，領域特徴ＤＢ２３等を記憶したハードディスク１７と、周辺機器２とのインタフェースであるペリフェラルＩ／Ｆ１８と、ネットワーク３とのインタフェースであるＩ／Ｆ１９と、上記各部を接続するバス２０とを有し、キーボード１４及びマウス１５等の入力装置から入力された画像等のデータに類似した領域を、ＲＯＭ１２，ハードディスク１７，又はネットワーク３上の記憶装置に保管されたデータベースから検索するようにしている。なお、本実施形態においては、ハードディスク１７にデータベースを登録したものを例に説明する。また、画像領域検索ソフト２１は本発明の画像特徴検索方法の各工程を実行する機能、及びユーザに対して画像検索を行うための検索条件入力画面，検索結果表示画面等を表示して、検索条件の入力，検索結果の出力処理等を実行するユーザ・インタフェース（Ｕ／Ｉ）を有し、画像領域ＤＢ２２には複数の画像領域が登録され、領域特徴ＤＢ２３には画像領域ＤＢ２２中の画像領域から抽出した特徴量が登録されているものとする。なお、ＤＢ２２及びＤＢ２３を１つのデータベースとしてもよい。
【００２７】
図２は、本発明の一実施形態に係る画像領域検索システムの構成の他の例を示すブロック図で、図中、１1，１1'はクライアントＰＣ、１2はクライアントＰＣ１1，１1'とネットワーク３を介して接続されたサーバである。この例では、図１を用いて説明した例と基本的な機能は同じであるが、クライアントＰＣ１1，１1'側の領域検索ソフト２１，２１'においてサーバ１2に登録された画像領域ＤＢ２２，領域特徴ＤＢ２３から問合わせを行うようになっている。
【００２８】
本実施形態においては、以下のごとき領域抽出方法を用いて画像領域の検索を行うようにしている。
画像を構成する領域単位に検索を可能とするためには、画像から領域を自動的に抽出する必要がある。画像から領域を抽出する方法として、色のクラスタリングによる手法では、画像中の局所的な変化が取れない場合、すなわち変化の幅は少ないが急激に変化している場合がある。一方、エッジを抽出して領域分割を行う手法では、マクロ的な変化を取れない場合、すなわち変化の幅は大きいが徐々に変化している場合がある。そこで、両者の方法を組合わせることで問題点を回避する。その手順を以下に述べる。
【００２９】
図３は、本発明の一実施形態に係る画像領域検索方法を説明するためのフロー図である。
本実施形態の画像領域検索方法は、登録された大量の画像からユーザの所望する画像内の領域を検索する（ステップＳ９）画像領域検索方法であって、ユーザ所望の領域である問合わせ画像（ステップＳ１にて指定）から又は該問合わせ画像及び登録された画像から領域を抽出する際に（ステップＳ３／Ｓ８）、画像からエッジを抽出し（ステップＳ４）、前記画像を該画像中のピクセルの色によりクラスタリングし（ステップＳ５）、前記抽出したエッジにより得られた領域と前記クラスタリングにより得られた領域とに基づいて、領域分割を行う（ステップＳ６／Ｓ８）ことにより画像から領域を抽出することを可能としたものである。本実施形態によれば、画像中の領域をより正確に抽出することが可能となり、ユーザの所望する領域を適切に検索することが可能となる。
【００３０】
実際には、登録された大量の画像からユーザが問合わせ画像を指定し（ステップＳ１）、該問合わせ画像が１つの領域のみ指定しているのであれば（ステップＳ２にて判断）、ステップＳ７へ進む。複数の領域が指定されていれば、問合わせ画像から領域の抽出を開始する（ステップＳ３）。この抽出とは、まず、画像からエッジを抽出し（ステップＳ４）、前記画像を該画像中のピクセルの色によりクラスタリングし（ステップＳ５）、前記抽出したエッジにより得られた領域と前記クラスタリングにより得られた領域とに基づいて、領域分割を行う（ステップＳ６）。登録画像が既に領域抽出されているものであれば、その登録画像からステップＳ６で分割した各領域を検索して（ステップＳ９）、結果をユーザに示す。登録画像が既に領域抽出されていなければ、その登録画像からステップＳ４〜Ｓ６と同様に領域を抽出して（ステップＳ８）、それらの領域からステップＳ６で分割した各領域を検索して（ステップＳ９）、結果をユーザに示す。なお、フロー図として、登録画像が既に領域抽出されているものかを判断するステップは、説明の便宜上記載したもので、実際には、領域抽出されたものをデータベースに保存するのか、或いは検索の段階で抽出するのか（計算上、前者の方がよい）は、システムの設計段階で決まっていることが多い。これは、後述する各実施形態に共通する。
【００３１】
図４は、図３の検索方法における画像領域分割方法を詳細に説明するためのフロー図、図５乃至図８は、図４の画像領域分割方法を説明するための画像の例を示す図で、図５は画像サイズを正規化した図、図６はクラスタリングにより分割された画像を示す図、図７は領域の境界上のエッジ強度を示す図、図８は図７のエッジ強度に従って統合した画像領域の例を示す図である。
【００３２】
エッジ画像を抽出するには、まず、画像サイズの正規化（例えば、１００×１００）を行う（ステップＳ１１；図５を参照）。次に、細かなエッジを抽出しないようにするために、単純平滑化法による平滑化を行う（ステップＳ１２）。その後、ｓｏｂｅｌオペレータなどの一般的なエッジ抽出法によりエッジ抽出を行う（ステップＳ１３）。ステップＳ１５以降に示す色のクラスタリングの境界線とのずれを吸収するために、単純平滑化法により抽出したエッジ画像の平滑化を行う（ステップＳ１４）。
【００３３】
次に、色によるクラスタリングで基本的な領域を生成し、上記エッジ画像で領域を統合する。まず、画像サイズの正規化（例えば１００×１００）を行う（ステップＳ１５）。次に色によるクラスタリングを行い（ステップＳ１６）、クラスタリングされた領域をラベリングすることにより基本的な領域が生成される（ステップＳ１７；図６を参照）。これら領域をエッジ画像（図７を参照）により統合する（ステップＳ１８，Ｓ１９；図８を参照）。すなわち、生成された任意の二つの領域の境界上にエッジがないものを検索し（ステップＳ１８）、エッジがない場合にはセグメントを統合する（ステップＳ１９）。なお、エッジの抽出及び色のクラスタリングに関しては、それぞれ事前に閾値を設定しておく必要がある。
【００３４】
図９及び図１０は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態の画像領域検索方法は、図３で説明した実施形態において、ステップＳ６／Ｓ８で前記領域分割された複数の領域につき領域間の境界における色及びエッジの情報に基づいて領域の統合を行うことにより（ステップＳ２１）、前記複数の領域より少ない数の領域を抽出し、予め定められた回数又は条件だけ前記統合を繰り返すことにより（ステップＳ２２において判断）さらに少ない数の領域を抽出し、各段階で抽出した領域からなる集合に基づいて画像領域の検索（ステップＳ９）を行うようにしたものである。
【００３５】
ここで、本実施形態において、前記統合は、再度前記領域分割を、色の相違度に関する閾値及びエッジ強度に関する閾値を大きく設定することにより行う（図１０のステップＳ２３，Ｓ２４）ようにしてもよい。本実施形態によれば、領域を統合することにより、ユーザの所望する領域に近い領域として抽出することが可能となり検索の精度を向上させることができる。
【００３６】
図１１は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態の画像領域検索方法は、図３で説明した実施形態において、ステップＳ８で抽出された領域間の関係を木構造で表現する（ステップＳ２５）ようにしたものである。本実施形態によれば、領域の関係を木構造として表すことにより、多様な領域の切出しの結果、及び、その領域間の関係も保持することができ、ユーザの多様な検索要求に答えることが可能となる。
なお、ステップＳ２５は、問合わせ領域及び登録画像領域それぞれの領域に対して実行されるが、図３におけるステップＳ６で問合わせ画像の領域を抽出する毎に、或いは繰り返して統合した後に、その領域に対して実行してもよい。
【００３７】
図１２は、図９乃至図１１の検索方法における画像領域統合・木構造表示方法を説明するためのフロー図、図１３及び図１４はその検索方法により図７のエッジ強度に従って統合した画像領域の例を示す図、図１５は画像領域の木構造表示の例を示す図である。
本実施形態においては、領域分割処理により生成された領域３１（図８）を統合した領域を利用して検索を行うようにしている。まず上記処理により最も小さい領域に分割されたことになる（ステップＳ３１；図４のステップＳ１１〜Ｓ１９を参照）。これらの領域を統合する。事前に統合する処理の色とエッジの閾値を設定し、また、領域の併合関係を示す木構造を生成するために、現時点で抽出した領域を木構造のリーフノードに設定する（ステップＳ３２）。実際には、隣接する領域間の色の相違度が閾値より小さい、かつ、領域の境界エッジの強度が閾値より小さい場合には、当該隣接領域を併合する（ステップＳ３３）。これを全ての領域について行う。その後、生成された領域を１レベル上位の木構造に設定する（ステップＳ３４）。
【００３８】
閾値を順次変えた上で上記処理を数回行うことで領域を統合することができ（図８，図１３，図１４を参照）、かつ、木構造（図１５を参照）を生成することができる。なお、この領域の関係を示す木構造である領域木のルートノードには画像全体を対応付ける。また図１５においては、図８，図１３，図１４で示した画像３１，３２，３３を各ノードに対応付けた木構造を生成した例を示している。
【００３９】
図１６は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態に係る画像領域検索方法は、図３で説明した実施形態において、ステップＳ８で抽出された領域から該領域の特徴量を算出し（ステップＳ４１）、該算出した領域特徴量により前記問合わせ画像中の領域を検索する（ステップＳ９）ようにしたものである。
【００４０】
本実施形態においては、領域の検索に関し、領域から特徴抽出された特徴量に基づいて行うようにする。色に関しては色のヒストグラム、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴、といった特徴量を各領域から抽出する。なお、元々の問合わせ画像からは形状、曲率は抽出しない。これは画像の矩形から形状や曲率を抽出しても検索時に有効な特徴とは言えないからである。また、特徴量の具体的な抽出方法は、上述の特開２０００−１８７７３１号公報に記載の通りである。本実施形態によれば、個々の領域から特徴量を抽出することにより、領域単位の検索が可能となる。
【００４１】
図１７は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態に係る画像領域検索方法は、図１１で説明した実施形態において、木構造で表現された領域（ステップＳ２５）から該領域の特徴量を算出し（ステップＳ４２）、該算出した領域特徴量により前記問合わせ画像中の領域を検索する（ステップＳ９）ようにすればよい。
【００４２】
すなわち、本実施形態においては、領域の検索に関し、領域から特徴抽出された特徴量に基づいて行うようにする。色に関しては色のヒストグラム、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴、といった特徴量を、領域木の各領域から抽出する。なお、ルートノードに対応する全体画像からは形状、曲率は抽出しない。これは画像の矩形から形状や曲率を抽出しても検索時に有効な特徴とは言えないからである。また、特徴量の具体的な抽出方法は、上述の特開２０００−１８７７３１号公報に記載の通りである。本実施形態によれば、個々の領域から特徴量を抽出することにより、木表現された領域単位の検索が可能となる。
【００４３】
上述の方法により画像から領域及び領域木を抽出し、データベース（図１又は図２を参照）に登録（蓄積）する。画像の領域を検索する場合に、問合わせとして検索したい画像領域の特徴量を直接指定する方法が考えられるが、本実施形態では画像領域を問合わせとして類似する領域を検索する方法を説明する。
【００４４】
背景を白（背景を識別できれば他の色でも当然構わない）とし特徴を抽出したい領域のみが存在する画像を問合わせ画像とする。こうすることで容易に背景部分である白の領域を自動的に除くことができ、問合わせである領域を抽出しその領域から特徴量を前述のように抽出することが可能である。抽出した特徴量とすでにデータベースに登録済みの領域（その特徴量）を逐一比較することで、類似する領域を検索することが可能である。検索結果は類似度順に並替えられて検索者の指定件数分の領域が表示される。
【００４５】
図１８は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、前記領域特徴量により検索された領域が同じ木構造に属する場合に（ステップＳ４３でＹＥＳ）、木構造上での領域間の関係を考慮して不要な検索領域を検索結果から除去して検索結果を再編する（ステップＳ４４）ようにしている。本実施形態によれば、領域間の関係を表した木構造により不要な検索結果を削除することで、検索結果の精度を向上することが可能となる。
【００４６】
前述のように検索された領域は場合によって１つの画像内で、包含関係にあるような領域である場合もあり、領域検索結果の再編を行うことが好ましい。本実施形態においては、この場合を説明する。このような場合には包含されている領域は検索結果として表示されない方がよい場合がある。そこで包含されている領域や、又は大きなサイズの領域の一部として付属しているような領域の場合は検索結果から除く検索結果の再編の処理を行う。
領域間の関係は木構造として表現されているので、検索結果を上位の領域から順に画像中の木構造中の位置を調べる。木構造上の上位に既に調べた検索結果の領域（検索結果上の上位の領域）があれば当該領域を検索結果から削除する。
これを検索件数分行い、不必要な検索結果を除去する。
【００４７】
図１９及び図２０は本発明の一実施形態に係る検索結果表示方法を説明するためのフロー図、図２１は図２０の表示方法で表示した検索結果の一例を示す図である。
本実施形態においては、登録された大量の画像からユーザの所望する画像内の領域を検索（ステップＳ４５）する画像領域検索方法であって、登録されたオリジナルの画像上に検索結果の領域を縁取りすることで検索結果を示す（ステップＳ４６）ようにしてもよい。
【００４８】
さらに、登録された大量の画像からユーザの所望する画像内の領域を検索する画像領域検索方法であって、登録されたオリジナルの画像上に検索結果の領域を縁取りすることで検索結果を示し（ステップＳ４７）、木構造上の領域間の関係を考慮して検索結果から除去された領域も同時に前記オリジナル画像上に縁取りすることで検索結果の領域を示す（ステップＳ４８；図２１を参照）ようにしてもよい。
すなわち、本実施形態においては、検索結果の表示に関し、検索結果の領域はオリジナルの画像全体を表示し当該領域を縁取りして表示することで示すようにする。さらに検索結果の再編により削除された関連のある領域も同時に色の違う縁取で示す（図２１を参照）ことにより、正確な検索結果を表示することが可能である。本実施形態によれば、オリジナル画像における領域の位置関係を即座に判断でき、かつ、削除された関連領域も表示することで、検索結果を適切にかつ効率よくユーザに提示することが可能となる。
【００４９】
以上の各実施形態においては、画像の領域に基づいた検索に際して行う、主に画像の領域への分割及び分割領域の統合（条件を変えた画像の分割）、及びその領域の木表現に関する発明を説明した。
【００５０】
以下に、本発明の他の実施形態として、上記画像領域を検索する方法について説明する。なお、以下に説明する実施形態に係る画像領域検索システムは、図１及び図２を用いて説明したものと同じ構成をもち、その説明は省略する。
【００５１】
図２２は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態に係る画像領域検索方法は、画像から複数の粗さで抽出した領域を木構造で表したデータが大量に登録されたデータベースから、ユーザにより問合わせとして指定された（ステップＳ６１）１つ以上の領域を検索する画像領域検索方法であって、該指定された１つ以上の領域である問合わせ領域集合に対して、各領域と、検索対象となる前記登録された領域（すなわち登録画像領域）である検索対象領域との類似度を算出し（ステップＳ６２）、該算出した検索対象領域毎の類似度から、前記問合わせ領域集合と、前記類似度の高い領域を有する検索対象画像との類似度を算出し（ステップＳ６３）、該算出した検索対象画像毎の類似度に応じて検索結果を示す（ステップＳ６４）ようにしたものである。本実施形態によれば、画像ではなく画像中の領域の検索が可能となる。
【００５２】
本実施形態においては、領域の検索に関し、領域から特徴抽出された特徴量に基づいて行うようにする。色に関しては色のヒストグラム、テクスチャに関しては同時生起行列からの統計量、形状に関してはセントラルモーメントの特徴、曲率に関しては外形の屈曲特徴、といった前述の特徴量に加え、色分布，面積，位置といった特徴量を、生成された領域木のデータベースへの登録と共に各領域画像から抽出する。色分布及び位置に関しては後述する実施形態で説明する。面積に関しては、例えば、領域面積を全画像により正規化した面積値（０−１.０の値をとる）を特徴量として抽出する。
【００５３】
図２３は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、ステップＳ６２で算出した、前記検索対象領域毎の類似度から前記問合わせ画像に対する検索対象画像毎の類似度を算出する（ステップＳ６３）際に、前記問合わせ画像から抽出した各領域の面積比を算出し、該面積比を各検索対象領域の類似度の重み付けとする（ステップＳ６５）。本実施形態によれば、人の類似性の感覚は領域の大きさに依存するので、人の類似性の感覚に近い検索が可能となる。
【００５４】
図２４は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、前記検索対象領域からユーザ指定の問合わせ領域を検索する際に、領域の色、テクスチャ、形状等の特徴を抽出し（ステップＳ６６）、該特徴を利用して前記問合わせ領域と検索対象領域間の類似度を算出する（ステップＳ６２）ようにしている。本実施形態によれば、人の様々な類似性感覚に則して特徴を抽出することで、人の類似性感覚に近い検索が可能となる。
【００５５】
図２５は本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図で、図２６は図２５の画像領域検索方法に係る特徴抽出した色分布の一例を示す図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、前記検索対象領域からユーザ指定の問合わせ領域（ステップＳ６１）を検索する際に、領域をブロックに分割し（ステップＳ６７）、個々のブロックから色の特徴を抽出することにより、前記領域内の色の分布の特徴を抽出し（ステップＳ６８）、該特徴を利用して前記問合わせ領域と検索対象領域間の類似度を算出する（ステップＳ６２）ようにしている。
【００５６】
すなわち、色の分布の特徴として、領域をＮ×Ｎ（例えば５×５）のブロックに分割し（ステップＳ６７）、個々のブロックから色の特徴を抽出する（ステップＳ６８）ようにしている。その抽出例を図２６に示す。色の特徴としてヒストグラムとしても良いし、簡便な特徴として平均色又は代表色としても良い。領域の形状によってはブロック中に領域が含まれない場合がある。この場合には無効のデータを入れることとする。本実施形態によれば、領域が複数の色から構成されている場合でも、その色の分布により検索が可能となる。
【００５７】
図２７は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、前記検索対象領域からユーザ指定の問合わせ領域を検索する際に、重心等の領域を代表する点を算出し（ステップＳ６９）、該点で画像中の領域の位置を表し、該位置を利用して前記問合わせ領域集合と検索対象画像との類似度を算出する（ステップＳ７０）ようにしている。本実施形態によれば、画像中の位置の類似性により検索することが可能となる。なお、その他の類似度はステップＳ６２において算出する。
位置に関しては、例えば、画像サイズにより正規化した重心座標（縦軸、横軸でそれぞれ０−１.０値をとる）を特徴量として抽出する。
【００５８】
図２８は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態においては、図２２を用いて説明した実施形態において、ステップＳ６３を実行するに際し、重心等の領域を代表する点を算出し（ステップＳ６９）、該点を用いて画像内の領域間の位置関係を抽出し（ステップＳ７１）、該位置関係を利用して領域集合間の位置関係の類似度を算出する（ステップＳ７２）ようにしている。本実施形態によれば、領域間の位置関係の類似性を抽出することにより複数の領域の位置関係による検索が可能となる。なお、他の類似度はステップＳ６３において算出する。
【００５９】
図２９は、本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
本発明の他の実施形態において、画像からの複数領域抽出に関し、前述の実施形態を利用してもよい。すなわち、前記登録された大量の画像は、図３乃至図１８を用いて説明したような、前記抽出し或いは前記各段階で抽出し木構造で表した複数の領域を有し、当該画像領域検索方法は、該複数の領域から、ユーザにより問合わせとして指定された（ステップＳ６１）１つ以上の領域である問合わせ領域集合に対して、各領域（Ｓ６で抽出）と、検索対象となる前記登録された領域である検索対象領域（Ｓ８で抽出）との類似度を算出し（ステップＳ７３）、該算出した検索対象領域毎の類似度から、前記問合わせ領域集合と、前記類似度の高い領域を有する検索対象画像との類似度を算出し（ステップＳ６３）、該算出した検索対象画像毎の類似度に応じて検索結果を示す（ステップＳ６４）ようにするとよい。
【００６０】
図３０は、上述の各実施形態に係る画像領域検索方法を詳細に説明するための図である。
画像領域を検索するためには、まず、問合わせ領域の指定を行う必要がある（ステップＳ８１）。問合わせの画像領域を指定する１つの方法として、ユーザが既存の任意の画像中の領域を囲む線をマウスなどにより描くことで領域を指定する。もちろん複数の領域を同様にして指定することも可能である。また、ユーザがドローツールで検索したい領域を直接描くことも可能である。例えば背景を白（背景を自動的に識別できれば他の色でも当然構わない）とし特徴を抽出したい領域のみが存在する画像を問合わせ画像とする。その結果容易に背景部分である白の領域を自動的に除くことができ、問合わせの領域を抽出し、その領域から特徴量を前述のように抽出することが可能である。
複数の領域を指定する場合には１つの画像に複数の領域を描き、背景を除去し個々の領域を抽出しても良いし、個々の領域を個別に描いた画像を問合わせ画像としても良い。
【００６１】
指定された個々の問合わせ領域から特徴を抽出する（ステップＳ８２）。次に、個々の特徴とデータベース中の領域の特徴と逐一以下に説明する領域類似度を計算し、予め指定されている類似度より高い領域を検索結果とする（ステップＳ８３）。１つの領域のみの問合わせかを判断し（ステップＳ８４）、１つの場合には以下の処理は不要となる。
【００６２】
複数の領域が指定されていた場合、個々の問合わせ画像に対する検索結果のＡＮＤ又はＯＲをとり、すべての問合わせ領域に類似する領域をもつ画像、又は、いずれかの問合わせ領域に類似する領域をもつ画像を抽出する（ステップＳ８５）。なお、ＡＮＤ／ＯＲはユーザ選択を可能とする。次に、問合わせ画像集合と上記処理によって得られた画像の領域集合に対して以下に説明する領域集合類似度を算出し（ステップＳ８６）、領域集合間の類似度によりランキングしてユーザに提示する（ステップＳ８７）。
【００６３】
ステップＳ８３に関し、領域類似度（距離）の算出について説明する。類似度は特徴量空間上での距離で表されるので、類似度を距離と呼ぶこととする。問合わせ領域として指定された領域から前述の特徴を個々に抽出し、その特徴により個々の領域間の距離（類似度）を以下の式により算出する。
【００６４】
【数１】
Ｒｑ，Ｒｄは問合わせ領域とデータベースの領域、ｆｑｉ，ｆｄｉは比較する領域の特徴ｉ、Ｄｉ（）は特徴ｉの距離（類似度）関数、Ｗｉは特徴ｉに対する重み付けである。つまり個々の特徴の重み付けした合計が領域間の類似度となる。
【００６６】
色、テクスチャ、形状、曲率のＤｉ（）は特開２０００−１８７７３１号公報のとおりであり、一般的なユークリッド距離や差分距離などを用いて算出する。
また、色分布の距離は次式で与えられる。
【００６７】
【数２】
Ｂｑｉ，Ｂｄｉはブロックの平均色、Ｄｃ（）は色差である。なお、ブロックの平均色として無効の色を指定された時には色差Ｄｃ（）は最大値を返すか、そのブロックは無視する。つまりＮ×Ｎで割っているが、無視した分Ｎ×Ｎの値を減らす。なお、ブロック分割例は図２６に示してある。
下式のように領域の面積の距離は単に差分でもよいし、問合わせ画像の面積を上記の重み付けＷＦｉとして利用してもよい。
Ｄ＝｜Ａｑ，Ａｄ｜
Ａｑ，Ａｄは領域の面積である。
【００６９】
位置の距離は重心座標間のユークリッド距離（他の距離式を利用することも可能）を距離とする。
Ｄ＝ｓｑｒｔ（（Ｘｑ−Ｘｄ）2＋（Ｙｑ−Ｙｄ）2）
【００７０】
ステップＳ８６に関し、領域集合類似度（距離）の算出について説明する。問合わせ領域集合から任意の領域を二つ選択し、その領域間の類似度を下式により算出する。そして、すべての問合わせ領域集合からの任意の二つの領域の組合わせに対する領域間の類似度の平均値を領域集合類似度とする。
【００７１】
問合わせ領域から選択された任意の２つの領域と、ステップＳ８３で検索された領域が属するデータベース中の画像単位にその画像中でＳ８３により検索された領域から選択された任意の２つの領域と、から下式を計算する。
【００７２】
【数３】
Ｒｑ１，Ｒｑ２は問合わせ領域集合から選択された二つの領域で、Ｒｄｎ，Ｒｄｍはデータベースから選択された二つの領域である。Ｗは重み付け（Ｗｑ＋４×Ｗ＝１.０）、Ｄ（）は領域類似度、Ｄｐ（）は位置関係の距離で以下の式により与えられる。Ｒｑ１，Ｒｑ２及びＲｄ１，Ｒｄ２の重心座標から重心座標の変移ベクトルＶｑ，Ｖｄがそれぞれ得られる。ベクトルの類似度は様々考えられるがここではＤｐは次式で与えられることとする。
Ｄｐ＝Ｍｉｎ（｜Ｖｑ−Ｖｄ｜，｜Ｖｑ＋Ｖｄ｜）
【００７４】
また、ここでの計算は、問合わせ領域から選択された任意の２つの領域と、ステップＳ８３で検索された領域が属するデータベース中の画像単位にその画像中から選択された任意の２つの領域（Ｓ８３で検索されなくても距離計算対象とする）と、から行なってもよい。
【００７５】
また、画像中にデータベース中の画像内に領域が一つの場合には、問合わせ画像中の各領域とデータベース中の各画像の領域に対し、前記実施例と同様に距離計算する。
【００７６】
以上、本発明の各実施形態を、画像領域検索システムにおける画像領域検索方法として、或いはその方法の各工程を実行する機能をもつ画像領域検索ソフト（プログラム）として説明しているが、この画像領域検索プログラムを記録したコンピュータ読み取り可能な記録媒体として、或いは画像領域検索方法としては勿論、各工程を実行する手段としてのハード或いはソフトモジュールを有する画像領域検索システムとしても実現可能である。
【００７７】
【発明の効果】
本発明によれば、画像ではなく、画像中の領域の検索が可能になるとともに、領域間の関係を表した木構造により不要な検索結果を削除することで、検索結果の精度を向上させることが可能となる。
【図面の簡単な説明】
【図１】 本発明の一実施形態に係る画像領域検索システムの構成の一例を示すブロック図である。
【図２】 本発明の一実施形態に係る画像領域検索システムの構成の他の例を示すブロック図である。
【図３】 本発明の一実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図４】 図３の検索方法における画像領域分割方法を詳細に説明するためのフロー図である。
【図５】 図４の画像領域分割方法を説明するための画像の例を示す図で、画像サイズを正規化した図である。
【図６】 図４の画像領域分割方法を説明するための画像の例を示す図で、クラスタリングにより分割された画像を示す図である。
【図７】 図４の画像領域分割方法を説明するための画像の例を示す図で、領域の境界上のエッジ強度を示す図である。
【図８】 図４の画像領域分割方法を説明するための画像の例を示す図で、図７のエッジ強度に従って統合した画像領域の例を示す図である。
【図９】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１０】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１１】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１２】 図９乃至図１１の検索方法における画像領域統合・木構造表示方法を説明するためのフロー図である。
【図１３】 図９乃至図１１の検索方法により図７のエッジ強度に従って統合した画像領域の例を示す図である。
【図１４】 図９乃至図１１の検索方法により図７のエッジ強度に従って統合した画像領域の例を示す図である。
【図１５】 画像領域の木構造表示の例を示す図である。
【図１６】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１７】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１８】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図１９】 本発明の一実施形態に係る検索結果表示方法を説明するためのフロー図である。
【図２０】 本発明の一実施形態に係る検索結果表示方法を説明するためのフロー図である。
【図２１】 図２０の表示方法で表示した検索結果の一例を示す図である。
【図２２】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２３】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２４】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２５】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２６】 図２５の画像領域検索方法に係る特徴抽出した色分布の一例を示す図である。
【図２７】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２８】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図２９】 本発明の他の実施形態に係る画像領域検索方法を説明するためのフロー図である。
【図３０】 各実施形態に係る画像領域検索方法を詳細に説明するための図である。
【符号の説明】
１…画像領域検索システム、１1，１1'…クライアントＰＣ、１2…サーバ、２，２'…デジタルカメラ・スキャナ等の周辺機器、３…ネットワーク、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…キーボード、１５…マウス、１６…モニタ（表示装置）、１７…ハードディスク、１８…ペリフェラルＩ／Ｆ、１９…Ｉ／Ｆ、２０…バス、２１，２１'…画像領域検索ソフト、２２…画像領域データベース、２３…領域特徴データベース。
Claims (8)
- 予め登録された登録画像から問い合わせ画像に類似する画像を検索し、該検索の結果を出力する類似画像検索装置であって、
色クラスタリングにより、各登録画像から複数の被検索画像を抽出し、複数の該被検索画像から複数の階層を有する木構造を生成する手段と、
生成された前記木構造の各階層に含まれる被検索画像毎に取得された特徴量と、前記問い合わせ画像から取得された特徴量とに基づいて検索結果を出力する手段と、
を備え、
前記被検索画像は、前記登録画像の色クラスタリングにより抽出された複数の領域画像と、抽出された領域画像同士をエッジの有無により統合した統合領域画像とからなり、
前記検索結果を出力する手段は、前記領域画像と前記統合領域画像との関係を木構造で表現した検索結果であって、該領域画像と該統合領域画像とが同じ木構造に属する場合に、木構造上での領域間の関係を考慮して不要な被検索画像を除去した検索結果を出力することを特徴とする類似画像検索装置。 - 前記検索結果を出力する手段は、
木構造で表現した検索結果とともに、前記検索の結果の領域を縁取りした前記登録画像を検索結果として出力することを特徴とする請求項１に記載の類似画像検索装置。 - 前記問い合わせ画像は、入力された画像における部分領域であり、
前記検索結果を出力する手段は、生成された前記木機構造の階層毎に取得された特徴量と、前記部分領域毎に取得された特徴量に基づいて検索結果を出力することを特徴とする請求項１または２に記載の類似画像検索装置。 - 前記統合領域画像は、前記領域画像間の境界における色、及びエッジの情報に基づいて統合された領域画像であることを特徴とする請求項１乃至３のいずれか１記載の類似画像検索装置。
- コンピュータに、
色クラスタリングにより、予め登録された各登録画像から複数の被検索画像を抽出し、複数の該被検索画像から複数の階層を有する木構造を生成するステップと、
生成された前記木構造の各階層に含まれる被検索画像毎に取得された特徴量と、問い合わせ画像から取得された特徴量とに基づいて検索結果を出力するステップと、
を実行させるための類似画像検索プログラム、を記録したコンピュータ読み取り可能な記録媒体であって、
前記被検索画像は、前記登録画像の色クラスタリングにより抽出された複数の領域画像と、抽出された領域画像同士をエッジの有無により統合した統合領域画像とからなり、
前記検索結果を出力するステップは、前記領域画像と前記統合領域画像との関係を木構造で表現した検索結果であって、該領域画像と該統合領域画像とが同じ木構造に属する場合に、木構造上での領域間の関係を考慮して不要な被検索画像を除去した検索結果を出力するステップであることを特徴とする記録媒体。 - 前記検索結果を出力するステップは、
木構造で表現した検索結果とともに、前記検索の結果の領域を縁取りした前記登録画像を検索結果として出力するステップであることを特徴とする請求項５に記載の記録媒体。 - 前記問い合わせ画像は、入力された画像における部分領域であることを特徴とする請求項５または６に記載の記録媒体。
- 前記統合領域画像は、前記領域画像間の境界における色、及びエッジの情報に基づいて統合された領域画像であることを特徴とする請求項５乃至７のいずれか１記載の記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000327867A JP4148642B2 (ja) | 2000-10-26 | 2000-10-26 | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000327867A JP4148642B2 (ja) | 2000-10-26 | 2000-10-26 | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002133412A JP2002133412A (ja) | 2002-05-10 |
| JP4148642B2 true JP4148642B2 (ja) | 2008-09-10 |
Family
ID=18804810
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000327867A Expired - Fee Related JP4148642B2 (ja) | 2000-10-26 | 2000-10-26 | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4148642B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2570971A2 (en) | 2011-09-14 | 2013-03-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and program |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009123234A (ja) * | 2002-07-30 | 2009-06-04 | Fujifilm Corp | オブジェクト識別方法および装置ならびにプログラム |
| US7620246B2 (en) | 2002-07-30 | 2009-11-17 | Fujifilm Corporation | Method and apparatus for image processing |
| WO2006018886A1 (ja) | 2004-08-19 | 2006-02-23 | Mitsubishi Denki Kabushiki Kaisha | 画像検索方法及び画像検索装置 |
| JP2007034847A (ja) * | 2005-07-28 | 2007-02-08 | Canon Inc | 検索装置及び検索方法 |
| GB2489272B (en) * | 2011-03-23 | 2013-03-13 | Toshiba Res Europ Ltd | An image processing system and method |
| GB2528669B (en) * | 2014-07-25 | 2017-05-24 | Toshiba Res Europe Ltd | Image Analysis Method |
| JP2016051277A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社ニコン | 被写体検索装置、被写体検索方法、および被写体検索プログラム |
-
2000
- 2000-10-26 JP JP2000327867A patent/JP4148642B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2570971A2 (en) | 2011-09-14 | 2013-03-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002133412A (ja) | 2002-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ashley et al. | Automatic and semiautomatic methods for image annotation and retrieval in query by image content (QBIC) | |
| US10346677B2 (en) | Classification and organization of consumer digital images using workflow, and face detection and recognition | |
| KR101058961B1 (ko) | 이미지 검색 방법 | |
| US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
| JP3522146B2 (ja) | 画像照合方法および画像照会装置 | |
| JP4074366B2 (ja) | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 | |
| US7043474B2 (en) | System and method for measuring image similarity based on semantic meaning | |
| US8199979B2 (en) | Classification system for consumer digital images using automatic workflow and face detection and recognition | |
| JP4340367B2 (ja) | 画像分類装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US20040215660A1 (en) | Image search method and apparatus | |
| US20030059107A1 (en) | Method and system for automated grouping of images | |
| US6606623B1 (en) | Method and apparatus for content-based image retrieval with learning function | |
| US20030123737A1 (en) | Perceptual method for browsing, searching, querying and visualizing collections of digital images | |
| WO2008073505A1 (en) | System and methods of image retrieval | |
| JP2000311246A (ja) | 類似画像表示方法及び類似画像表示処理プログラムを格納した記録媒体 | |
| JP4148642B2 (ja) | 類似画像検索装置、及びコンピュータ読み取り可能な記録媒体 | |
| JP4160050B2 (ja) | 画像検索プログラム | |
| JP2000242648A (ja) | 検索画像の空間表示方法及び装置及びこの方法のプログラムを記憶した記憶媒体 | |
| WO2020235862A1 (en) | Image manipulation | |
| US7755646B2 (en) | Image management through lexical representations | |
| EP1074953A2 (en) | Image retrieval apparatus and method | |
| JP3510980B2 (ja) | 直線による画像の検索装置，検索方法およびそのプログラム記録媒体 | |
| JP2000076270A (ja) | 画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ | |
| JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム | |
| Chahir et al. | Searching images on the basis of color homogeneous objects and their spatial relationship |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080218 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080515 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080624 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080624 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110704 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120704 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130704 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |