JP4772819B2 - 画像検索装置および画像検索方法 - Google Patents

Description

本発明は、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索装置および画像検索方法に関する。

複写機、ファクシミリ装置、プリンターおよびこれらの機能を複数併せ持つ複合機などの画像形成装置では、入力された原稿画像などの画像データを大容量の記憶装置に記憶しておき、１度入力され、登録された画像データであればいつでも読み出して再出力することができる機能が備えられているものがある。

再出力できる機能は便利ではあるが、登録されるデータ量が多くなると再出力したいデータを探すことが困難になるため、複数の画像データの中から所望の画像データを検索する画像検索技術が重要となる。

従来の画像検索技術には、たとえばカラーヒストグラムおよびテクスチャに基づく画像検索方法、エッジ特徴を用いた画像検索方法などがある。

たとえば、特許文献１には、カラーとテクスチャとを組み合わせた画像検索方法が記載されており、画像データのカラー情報およびテクスチャ情報を用いて画像を描写している。特許文献２記載の画像検索装置および方法は、カラー情報および高さの割合などの基本的な幾何学的情報を用いて画像を描写している。

また、特許文献３には、顕著なエッジを用いた画像検索方法が記載されており、まず最初にエッジの検出および細線化を行い、その後最も強いエッジを選択し、選択したそれぞれのエッジに対して枝分かれ（フォーク）の比率、回転の頻度、コーナーの比率からなる３つの特徴量を抽出して特徴ベクトルを生成する。生成した特徴ベクトルを用いてマッチングを行い、入力画像と登録画像との類似性を算出している。

従来の画像検索方法では、カラーヒストグラムおよびテクスチャを使用して検索しており、特徴の大部分はカラー分布に依存している。カラー情報の特徴は、回転不変性（原稿読取時に原稿が原稿読取装置に傾斜して載置され読取られることにより生じる画像の回転が発生するが、回転した画像に対する画像検索の精度が維持できること）、スケール不変性（変倍や解像度変換された画像に対する画像検索の精度が維持できること）、軽度のオクリュージョン（カメラにより被写体を撮影して画像データを生成する際に、被写体に対する撮影角度により生じる隠れ領域）に対するロバスト（頑強性）を備えるが、カラー分布では、人間の視覚による概念上の特性を十分に反映することができない。したがって、実際には異なる画像であってもカラー分布のみを考慮すれば類似した画像というのは存在するので、カラー分布のみによる検索では不十分な可能性が高い。特に濃淡画像を対象にした場合、検索精度およびロバスト性を大きく低減および低下させることになる。その一方で、カラー分布が示す特徴は、検索速度に与える影響は大きい。

また、濃淡情報を用いた従来の画像検索方法では、回転およびオクリュージョンには対応しておらず、検索精度は低くなる。

中国特許第０２１００９４６．５号明細書 中国特許第２００５１００６７３９４．３号明細書 中国特許第０３１３４４２５．９号明細書

本発明の目的は、回転およびオクリュージョンなどに対してロバスト性を高くすることができる画像検索装置および画像検索方法を提供することである。

本発明は、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索装置であって、
入力された画像データおよび予め登録された画像データの濃淡度に基づいてグレイ画像データに変換するグレイ処理部と、
グレイ画像データを構成する各画素の１つを注目画素とし、注目画素の濃淡度と、注目画素を略円周状に取り囲む８つの周辺画素の濃淡度とに基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいて前記グレイ画像データの画素数分布を示すヒストグラムを生成するヒストグラム生成部と、
予め登録された画像データのヒストグラムと、入力された画像データのヒストグラムとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する検索部と、
検索部による検索結果に基づいて、予め登録された画像データのうち入力された画像データに類似した画像データを表示する表示部とを備え、
前記回転不変の特徴量は、注目画素の濃淡度と８つの周辺画素の濃淡度とをそれぞれ比較して周辺画素ごとの比較結果を２値の論理値で表すとともに８つの周辺画素の並び順に応じて比較結果の論理値をビットとして並べることで得られる１バイトデータの各ビット値を、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを上位側に配置するとともに、最下位ビットが１となるようにサークルシフトを行ったデータであり、
前記ヒストグラムは、前記回転不変の特徴量におけるビット値の並びパターンを画素ごとに特定し、前記グレイ画像データを同じ並びパターンである画素からなる画素群に分割し、画素群ごとに、画素群に含まれる画素の濃淡度を階級とし階級に含まれる画素数を度数とするヒストグラムを作成し、画素群ごとに作成したヒストグラムを結合することで生成されるヒストグラムであることを特徴とする画像検索装置である。

また本発明は、前記検索部は、前記ヒストグラム生成部が生成したヒストグラムを特徴ベクトルとし、予め登録された画像データの特徴ベクトルと、入力された画像データの特徴ベクトルとの相対的距離を算出し、算出された相対的距離に基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索することを特徴とする。

また本発明は、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索方法であって、
入力された画像データおよび予め登録された画像データの濃淡度に基づいてグレイ画像データに変換するグレイ処理工程と、
グレイ画像データを構成する各画素の１つを注目画素とし、注目画素の濃淡度と、注目画素を略円周状に取り囲む８つの周辺画素の濃淡度とに基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいて前記グレイ画像データの画素数分布を示すヒストグラムを生成するヒストグラム生成工程と、
予め登録された画像データのヒストグラムと、入力された画像データのヒストグラムとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する検索工程と、
検索工程での検索結果に基づいて、予め登録された画像データのうち入力された画像データに類似した画像データを表示する表示工程とを備え、
前記回転不変の特徴量は、注目画素の濃淡度と８つの周辺画素の濃淡度とをそれぞれ比較して周辺画素ごとの比較結果を２値の論理値で表すとともに８つの周辺画素の並び順に応じて比較結果の論理値をビットとして並べることで得られる１バイトデータの各ビット値を、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを上位側に配置するとともに、最下位ビットが１となるようにサークルシフトを行ったデータであり、
前記ヒストグラムは、前記回転不変の特徴量におけるビット値の並びパターンを画素ごとに特定し、前記グレイ画像データを同じ並びパターンである画素からなる画素群に分割し、画素群ごとに、画素群に含まれる画素の濃淡度を階級とし階級に含まれる画素数を度数とするヒストグラムを作成し、画素群ごとに作成したヒストグラムを結合することで生成されるヒストグラムであることを特徴とする画像検索方法である。

本発明によれば、グレイ処理部が、入力された画像データおよび予め登録された画像データの濃淡度に基づいてグレイ画像データに変換すると、ヒストグラム生成部が、前記グレイ画像データの画素数分布を示すヒストグラムを生成する。

詳細には、グレイ画像データを構成する各画素の１つを注目画素とし、注目画素の濃淡度と、注目画素を略円周状に取り囲む複数の周辺画素の濃淡度とに基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいてヒストグラムを生成する。

検索部が、予め登録された画像データのヒストグラムと、入力された画像データのヒストグラムとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索すると、表示部が、予め登録された画像データのうち入力された画像データに類似した画像データを表示する。

上記のように、局所パターンに基づいてヒストグラムを生成するので、回転不変、スケール不変の特徴量を用いることができ、回転および光オクリュージョンなどに対してロバスト性を高くすることができる。

また、前記回転不変の特徴量は、注目画素の濃淡度と８つの周辺画素の濃淡度とをそれぞれ比較して周辺画素ごとの比較結果を２値の論理値で表すとともに８つの周辺画素の並び順に応じて比較結果の論理値をビットとして並べることで得られる１バイトデータの各ビット値を、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを上位側に配置するとともに、最下位ビットが１となるようにサークルシフトを行ったデータである。

これにより、容易に回転不変の特徴量を算出することが可能で、特徴量をバイトデータとして扱うことにより演算速度を高めることができる。

また、前記ヒストグラムは、前記回転不変の特徴量におけるビット値の並びパターンを画素ごとに特定し、前記グレイ画像データを同じ並びパターンである画素からなる画素群に分割し、画素群ごとに、画素群に含まれる画素の濃淡度を階級とし階級に含まれる画素数を度数とするヒストグラムを作成し、画素群ごとに作成したヒストグラムを結合することで生成されるヒストグラムである。

画像データ全体のヒストグラムを、画素群ごとの小領域のヒストグラムの結合によって生成するので、容易に画像データ全体のヒストグラムを生成することが可能で、小領域に分割したことにより演算速度を高めることができる。

また本発明によれば、前記検索部は、前記ヒストグラム生成部が生成したヒストグラムを特徴ベクトルとし、予め登録された画像データの特徴ベクトルと、入力された画像データの特徴ベクトルとの相対的距離を算出し、算出された相対的距離に基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する。

相対的距離を用いることで、容易に類似性を算出することが可能で、さらに検索精度を高めることができる。

本発明によれば、グレイ処理工程で、入力された画像データおよび予め登録された画像データの濃淡度に基づいてグレイ画像データに変換すると、ヒストグラム生成工程で、前記グレイ画像データの画素数分布を示すヒストグラムを生成する。

詳細には、グレイ画像データを構成する各画素の１つを注目画素とし、注目画素の濃淡度と、注目画素を略円周状に取り囲む複数の周辺画素の濃淡度とに基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいてヒストグラムを生成する。

検索工程では、予め登録された画像データのヒストグラムと、入力された画像データのヒストグラムとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索すると、表示工程で、予め登録された画像データのうち入力された画像データに類似した画像データを表示する。

上記のように、局所パターンに基づいてヒストグラムを生成するので、回転不変、スケール不変の特徴量を用いることができ、回転および光オクリュージョンなどに対してロバスト性を高くすることができる。
また、前記回転不変の特徴量は、注目画素の濃淡度と８つの周辺画素の濃淡度とをそれぞれ比較して周辺画素ごとの比較結果を２値の論理値で表すとともに８つの周辺画素の並び順に応じて比較結果の論理値をビットとして並べることで得られる１バイトデータの各ビット値を、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを上位側に配置するとともに、最下位ビットが１となるようにサークルシフトを行ったデータである。
これにより、容易に回転不変の特徴量を算出することが可能で、特徴量をバイトデータとして扱うことにより演算速度を高めることができる。
また、前記ヒストグラムは、前記回転不変の特徴量におけるビット値の並びパターンを画素ごとに特定し、前記グレイ画像データを同じ並びパターンである画素からなる画素群に分割し、画素群ごとに、画素群に含まれる画素の濃淡度を階級とし階級に含まれる画素数を度数とするヒストグラムを作成し、画素群ごとに作成したヒストグラムを結合することで生成されるヒストグラムである。
画像データ全体のヒストグラムを、画素群ごとの小領域のヒストグラムの結合によって生成するので、容易に画像データ全体のヒストグラムを生成することが可能で、小領域に分割したことにより演算速度を高めることができる。

以下図面を参考にして本発明の好適な実施形態を詳細に説明する。
図１は、画像検索装置１０の機械的構成を示すブロック図である。画像検索装置１０は、プロセッサ４と、プロセッサ４が実際の処理を行うためのソフトウェアなどを格納する外部記憶装置５とを含む。

プロセッサ４は、入力された画像データ（以下では「入力画像データ」という）と、予め登録されている複数の画像データ（以下では「登録画像データ」という）との照合を行い、入力画像データに類似の登録画像データを検索して表示する画像検索処理などを実際に行う。プロセッサ４における実際の処理は、外部記憶装置５に格納されるソフトウェアによって実行される。プロセッサ４は、たとえば通常のコンピュータ本体などで構成される。

外部記憶装置５は、たとえば高速アクセスが可能なハードディスクなどで構成することができる。外部記憶装置５は、登録画像データを大量に保持するために光ディスクなどの大容量デバイスを用いるような構成であっても構わない。また、画像照合中に各処理ステップの段階で作成された一時的なデータなどは、外部記憶装置５に記憶してもよいし、プロセッサ４に内蔵される半導体メモリに記憶してもよい。

画像検索装置１０には、キーボード１が接続されるとともに、表示装置３が接続される。キーボード１は、各種ソフトウェアを実行するための指示の入力などに用いられる。

表示装置３は、入力画像データおよび登録画像データに基づく画像の表示、検索結果の表示などを行う。

画像検索装置１０には、イメージスキャナ２がさらに接続される。イメージスキャナ２は、画像が印刷された原稿を読み取り、入力画像データを取り込むために用いられる。

入力画像データの取得は、イメージスキャナ２からの入力の他に通信Ｉ／Ｆ（インターフェイス）６を介して、ネットワーク上の他の装置からデータ通信により取得することもできる。通信Ｉ／Ｆ６は、ＬＡＮ（Local Area Network）に接続するためのＬＡＮカードや、公衆交換電話網に接続してデータ通信を行うためのモデムカードなどで実現される。

図２は、画像検索装置１０の機能的構成を示すブロック図である。
画像検索装置１０は、入力部１１、グレイ処理部１２、ヒストグラム生成部１３、距離算出部１４、検索部１５、表示部１６および登録画像記憶部１７を含んで構成される。

入力部１１は、入力画像データ、登録画像データを入力する。図１に示したハードウェア構成のうち、イメージスキャナ２、通信Ｉ／Ｆ６などが機能的に入力部１１に相当する。登録画像データは、入力画像データが入力されるより前に予め入力されていた画像データであり、登録画像記憶部１７に記憶されている。

グレイ処理部１２は、入力部１１によって入力された入力画像データが、カラー画像データであった場合は、明度成分に基づくグレイ化を行い濃淡画像データに変換する。

図３は、グレイ処理部１２による濃淡画像化処理を示すフローチャートである。
入力画像データが入力されると、ステップａ１で入力された画像データがカラー画像データかどうかを判断する。カラー画像データであればステップａ２に進み、カラー画像データでなければ、すなわち濃淡画像データであればステップａ３に進む。ステップａ２では、明度成分に基づいてグレイ化を行い濃淡画像データに変換する。

ステップａ３では、濃淡画像データの階調数が多すぎるかどうかを判断する。濃淡画像データの階調数を所定の閾値と比較し、閾値以上であれば階調数が多すぎると判断してステップａ４に進み、閾値未満であれば処理を終了する。

閾値となる階調数としては、画像データの大きさやプロセッサ４の処理能力などによるが、たとえば４階調程度に設定する。

ステップａ４では、所定の階調数以下に階調数を低減する。グレイスケールの階調数を低減する方法として、画像の情報量の多くは画像の中間階調に存在するため、中間階調の階調値については階調数をわずかに低減させ、そうでない階調値については階調数を大幅に低減させることにより、階調数の低減による画像情報量の低下を抑えることができる。たとえば１６階調画像を４階調画像に変換する場合、元階調値が０〜４のとき新たな階調値０に変換し、元階調値が５〜７のとき新たな階調値１に変換し、元階調値が８〜９のとき新たな階調値２に変換し、元階調値が１０〜１５のとき新たな階調値３に変換する。

グレイ処理部１２によって所定の階調数よりも低階調のグレイ画像データが作成されると、ヒストグラム生成部１３がグレイ画像データに基づいてヒストグラムを生成する。

まず、グレイ画像データに対して局所パターンの分析を行う。局所パターンとは、画像に含まれる局所的なテクスチャの分布を表すテクスチャオペレータ（演算子）である。

具体的な分析では、注目画素とその周辺の８つの周辺画素の画素値に基づいて分析を行う。図４に示すように８つの周辺画素Ｎ１〜Ｎ８は、注目画素Ｃを中心とする半径ｒの円周上に位置し、中心角を４５度として円周を均等に８分割した位置にある画素である。なお、注目画素に対して、このような位置に周辺画素が存在しない場合は、双直線補間によって補間することが好ましい。

注目画素Ｃの画素値と周辺画素Ｎ１〜Ｎ８の画素値とをそれぞれ比較し、周辺画素の画素値が注目画素の画素値よりも大きい場合はレベル１が得られ、周辺画素の画素値が注目画素の画素値以下の場合はレベル０が得られる。このようにして、１つの注目画素に対して８つのレベル値が得られる。８つのレベル値はそれぞれ０か１の値を有するので、各レベル値をそれぞれ１ビットする８ビットからなる１バイトデータを作成する。

作成した１バイトデータに対して、注目画素を中心としたサークルシフトによるビットシフトを行い、以下の条件に合うようなデータに変更する。なお、サークルシフトは、最上位ビットの値と最下位ビットの値とが隣接した値であるものとするビットシフトで、最上位ビットの値をさらに上位にシフトすると、その値は最下位ビットにシフトし、最下位ビットの値をさらに下位にシフトすると、その値は最上位ビットにシフトする。

サークルシフトによって、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを左側に（上位側に）配置するとともに、最右端（最下位）ビットが１となるようにビットの並び替えを行う。

１バイトデータは、注目画素を中心とする円周上の周辺画素の特徴であり、局所的なテクスチャの情報を示す。そして、このような１バイトデータを所定の条件に整合するようにサークルシフトすることで、シフト後のデータは回転不変のテクスチャ情報を示すことになる。

注目画素を１画素ずつずらしながら上記のような分析を繰り返し、画像データを構成する全ての画素に対して１バイトデータが作成される。

さらに、シフト後のデータに対して、ビットの並びパターンに応じてそのパターンを示す特定の番号が割り当てられる。たとえば「０００００００１」の並びパターンには特定番号１が割り当てられ、「００００００１１」の並びパターンには特定番号２が割り当てられる。このような割り当てを行い、注目画素ごとに対応する１バイトデータと、１バイトデータのビット並びパターンに割り当てられた特定番号とから、注目画素に対して特定番号が付与される。

並びパターンに割り当てられる特定番号としては、上記のように並びパターンを８桁の数値であるとみなし、数値が小さい順に特定番号１，２，３・・・と割り当ててもよいし、特定番号を並びパターンと同じ数値として割り当ててもよい。

画像データを構成する全ての画素に対して特定番号が付与されると、画素ごとの特定番号に基づいて画像分割を行い、同じ特定番号を有する画素群である分割領域を複数作成する。

続いて複数作成された分割領域ごとに濃淡度のヒストグラムを作成する。画像分割された画像データは、グレイ画像データであるので、全ての画素は画素値として濃淡度（明度）を有する。１つの分割領域において、これに含まれる全ての画素の濃淡度を用いて濃淡度のヒストグラムを作成する。

ここで作成する分割領域ヒストグラムは、階級を濃淡度とし、度数を階級に含まれる画素数として作成する。階級は濃淡度の値をそのまま用いてもよいが、扱う画像データや階調数の設定によって階級が変化することになるので、階級を示す番号（階級番号）を設定し、階級番号に対して階級に含まれる濃淡度の範囲を予め設定する。階級番号に対する度数は、階級番号に設定された濃淡度の範囲内に含まれる画素数をカウントすればよい。

作成したヒストグラムをグラフとして可視化すると、たとえば図５に示すように横軸が階級番号であり、縦軸が画素数の度数分布グラフとなる。

なお本発明では、必ずしもヒストグラムをグラフ化して表示しなくとも後段の処理は可能であるが、表示部１６でグラフ化したヒストグラムを表示するように構成してもよい。

全ての分割領域に対して分割領域ヒストグラムを作成し、各分割領域ヒストグラムが識別可能となるようにヒストグラム番号を付与し、全ての分割領域ヒストグラムを結合して１つのヒストグラムを作成する。ここで作成されるヒストグラムは、全ての分割領域の特徴を含むので、画像データ全体の特徴を示す全体ヒストグラムとして作成される。

各ヒストグラムは、特定番号に対応して作成されるので、ヒストグラム番号は、特定番号と同じ値を割り当ててもよく、ヒストグラム番号が重複しないようにすればよい。

図６は、全体ヒストグラム２０のデータ構造を示す図である。
全体ヒストグラム２０は、分割領域ヒストグラムごとに付与されたヒストグラム番号２１、階級番号２２、画素数２３からなる。図６に示した例では、ヒストグラム番号が「１」の分割領域ヒストグラムのデータが、階級番号２２の小さい順に上から記載され、ヒストグラム番号が「１」の分割領域ヒストグラムのデータが全て記載されると続いてヒストグラム番号が「２」の分割領域ヒストグラムのデータを全て記載し、このような記載を繰り返して、全ての分割領域のヒストグラムデータを記載する。

生成した全体ヒストグラム２０を、入力された画像データの特徴ベクトルとして外部記憶装置５の所定の記憶領域に、画像データと関連付けて記憶する。

上記では、入力画像データに対するヒストグラムの生成および特徴ベクトルの算出について説明したが、登録画像記憶部１７に記憶されている登録画像データについても、予め登録時に上記と同様の処理を行い、特徴ベクトルを算出し、各登録画像データと関連付けて記憶しておく。

距離算出部１４は、予め登録画像記憶部１７に記憶されている登録画像データに関連付けられた特徴ベクトル（登録特徴ベクトル）と、入力画像データに関連付けられた特徴ベクトル（入力特徴ベクトル）との相対的距離を算出する。２つの特徴ベクトルの相対的距離は、それぞれに関連付けられた画像データ同士の類似性を示す。２つの特徴ベクトルの相対的距離が小さければ画像データ同士の類似性が高く、相対的距離が大きければ類似性が低いものとみなすことができる。

２つの特徴ベクトルの相対的距離を算出する方法は、既存の方法を用いることができる。たとえば、入力特徴ベクトルをＸ、登録特徴ベクトルをＹで表したとき、ＸとＹの相対的距離Ｄは、以下に示す（１）式で算出できる。

Ｘｉ，Ｙｉは、それぞれの特徴ベクトルのｉ番目の要素である。
（１）式による相対的距離Ｄの算出をさらに詳細に説明すると、図７に示すようなフローチャートで説明できる。

ステップｂ１では、算出の対象となる入力特徴ベクトルおよび登録特徴ベクトルを、外部記憶装置５から読み出し、それぞれの特徴ベクトルから対応する要素である画素数を取り出し、取り出した画素数の差の絶対値を算出する。対応する要素とは、図６に示したデータ構造に基づいて、一番上に記載された要素を１番目の要素とし、それぞれの特徴ベクトルから同じｉ番目の要素を取り出して、ｉ番目の要素同士の差の絶対値を算出する。これを上から順に繰り返し、全ての要素について差の絶対値を算出する。

ステップｂ２では、算出した差の絶対値を、差を算出した要素同士の和で除算する。すなわち、ｉ番目の要素同士の差の絶対値を、ｉ番目の要素同士の和で割る。このような除算を全ての要素に対して行い、ステップｂ３で全ての除算値の総和を算出する。算出された総和が、入力特徴ベクトルと登録特徴ベクトルとの相対的距離となる。

次に、新たな登録特徴ベクトルを登録画像記憶部１７から読み出して、上記と同様に入力特徴ベクトルと新たな登録特徴ベクトルとの相対的距離を算出する。登録されている全ての登録画像データに対する登録特徴ベクトルと、入力特徴ベクトルとの相対的距離が算出されると、検索部１５で入力画像データに類似の登録画像データを検索する。

検索部１５は、算出された全ての相対的距離を小さい順に並び替え、入力特徴ベクトルとの相対的距離が最も小さかった登録特徴ベクトルを決定し、決定した登録特徴ベクトルに関連付けられた登録画像データを最も類似度が高い登録画像データであるとし、検索結果とする。

入力特徴ベクトルとの距離が同距離の登録特徴ベクトルがあった場合は、利用者がいずれかの登録画像データを選択できるように、同距離となる複数の登録特徴ベクトルにそれぞれ関連づけられた複数の登録画像データを全て表示させることが好ましい。

検索結果としては、最も類似度が高い登録画像データのみではなく、相対的距離の小さい方から所定数の登録画像データを選択してこれを検索結果としてもよい。このように複数の登録画像データを検索結果とする場合は、選択した登録画像データと、これらの登録画像データ内での相対的距離に基づく類似度の順位とを検索結果に含む必要がある。

検索部１５によって検索結果が出力されると、表示部１６が検索結果を可視化した画像を表示する。

可視化した画像とは、たとえば図８の表示例に示すように、入力画像データに基づく画像３０を画面左側に表示し、画面右側に検索結果表示領域３１を設けて、検索結果表示領域３１内に、検索結果として選択した登録画像データに基づく登録画像３２を表示する。検索結果に複数の登録画像データが含まれるときは、類似度の順位に応じて登録画像を表示することが好ましい。

図８に示した例では、入力画像が回転して斜めに傾いた状態で入力されているにもかかわらず、検索結果としては、回転していない登録画像が検索されている。

また、カメラで撮影された画像を検索する場合に、登録画像における被写体を、異なる角度から撮影して得た画像を入力画像とした場合であっても、検索結果としては、同一の被写体が撮影された画像が検索されている。

本発明によれば以下のような効果が得られる。
グレイ処理した画像データに基づいて検索を行うので、カラーに関する情報が不要で、より適用範囲を広くすることができる。

局所パターンに基づいてヒストグラムを生成するので、回転不変、スケール不変の特徴量を用いることができ、回転および光オクリュージョンに対してロバスト性を高くすることができる。

局所パターンが、注目画素とその周辺画素とを含む微小な領域に基づいて算出されるので、高速処理が可能でありリアルタイム処理への適応に効果的である。

人間の視覚特性に応じた検索を行うことができるので、より精度の高い検索結果をえることができる。

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形態で実施できる。したがって、前述の実施形態はあらゆる点で単なる例示に過ぎず、本発明の範囲は特許請求の範囲に示すものであって、明細書本文には何ら拘束されない。さらに、特許請求の範囲に属する変形や変更は全て本発明の範囲内のものである。

画像検索装置１０の機械的構成を示すブロック図である。 画像検索装置１０の機能的構成を示すブロック図である。 グレイ処理部１２による濃淡画像化処理を示すフローチャートである。 注目画素Ｃと８つの周辺画素Ｎ１〜Ｎ８の位置関係を示す図である。 作成したヒストグラムを可視化したグラフの例を示す図である。 全体ヒストグラム２０のデータ構造を示す図である。 相対的距離Ｄの算出処理を示すフローチャートである。 検索結果の表示例を示す図である。

符号の説明

１ キーボード
２ イメージスキャナ
３ 表示装置
４ プロセッサ
５ 外部記憶装置
１０ 画像検索装置
１１ 入力部
１２ グレイ処理部
１３ ヒストグラム生成部
１４ 距離算出部
１５ 検索部
１６ 表示部
１７ 登録画像記憶部

Claims (3)

1. 予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索装置であって、
   入力された画像データおよび予め登録された画像データの濃淡度に基づいてグレイ画像データに変換するグレイ処理部と、
   グレイ画像データを構成する各画素の１つを注目画素とし、注目画素の濃淡度と、注目画素を略円周状に取り囲む８つの周辺画素の濃淡度とに基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいて前記グレイ画像データの画素数分布を示すヒストグラムを生成するヒストグラム生成部と、
   予め登録された画像データのヒストグラムと、入力された画像データのヒストグラムとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する検索部と、
   検索部による検索結果に基づいて、予め登録された画像データのうち入力された画像データに類似した画像データを表示する表示部とを備え、
   前記回転不変の特徴量は、注目画素の濃淡度と８つの周辺画素の濃淡度とをそれぞれ比較して周辺画素ごとの比較結果を２値の論理値で表すとともに８つの周辺画素の並び順に応じて比較結果の論理値をビットとして並べることで得られる１バイトデータの各ビット値を、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを上位側に配置するとともに、最下位ビットが１となるようにサークルシフトを行ったデータであり、
   前記ヒストグラムは、前記回転不変の特徴量におけるビット値の並びパターンを画素ごとに特定し、前記グレイ画像データを同じ並びパターンである画素からなる画素群に分割し、画素群ごとに、画素群に含まれる画素の濃淡度を階級とし階級に含まれる画素数を度数とするヒストグラムを作成し、画素群ごとに作成したヒストグラムを結合することで生成されるヒストグラムであることを特徴とする画像検索装置。
2. 前記検索部は、前記ヒストグラム生成部が生成したヒストグラムを特徴ベクトルとし、予め登録された画像データの特徴ベクトルと、入力された画像データの特徴ベクトルとの相対的距離を算出し、算出された相対的距離に基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索することを特徴とする請求項１記載の画像検索装置。
3. 予め登録された画像データの中から、入力された画像データに類似した画像データを検索する画像検索方法であって、
   入力された画像データおよび予め登録された画像データの濃淡度に基づいてグレイ画像データに変換するグレイ処理工程と、
   グレイ画像データを構成する各画素の１つを注目画素とし、注目画素の濃淡度と、注目画素を略円周状に取り囲む８つの周辺画素の濃淡度とに基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいて前記グレイ画像データの画素数分布を示すヒストグラムを生成するヒストグラム生成工程と、
   予め登録された画像データのヒストグラムと、入力された画像データのヒストグラムとに基づいて、予め登録された画像データの中から、入力された画像データに類似した画像データを検索する検索工程と、
   検索工程での検索結果に基づいて、予め登録された画像データのうち入力された画像データに類似した画像データを表示する表示工程とを備え、
   前記回転不変の特徴量は、注目画素の濃淡度と８つの周辺画素の濃淡度とをそれぞれ比較して周辺画素ごとの比較結果を２値の論理値で表すとともに８つの周辺画素の並び順に応じて比較結果の論理値をビットとして並べることで得られる１バイトデータの各ビット値を、１バイトデータ中で、連続する０の長さのうち最も長いものを検出し、これを上位側に配置するとともに、最下位ビットが１となるようにサークルシフトを行ったデータであり、
   前記ヒストグラムは、前記回転不変の特徴量におけるビット値の並びパターンを画素ごとに特定し、前記グレイ画像データを同じ並びパターンである画素からなる画素群に分割し、画素群ごとに、画素群に含まれる画素の濃淡度を階級とし階級に含まれる画素数を度数とするヒストグラムを作成し、画素群ごとに作成したヒストグラムを結合することで生成されるヒストグラムであることを特徴とする画像検索方法。