JP3754791B2

JP3754791B2 - 画像検索装置及び方法

Info

Publication number: JP3754791B2
Application number: JP06683397A
Authority: JP
Inventors: 弘隆椎山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-03-19
Filing date: 1997-03-19
Publication date: 2006-03-15
Anticipated expiration: 2017-03-19
Also published as: JPH10260983A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を検索する画像検索装置及び方法に関するものである。
【０００２】
【従来の技術】
従来より類似画像を検索するための種々の技術が提案されている。類似画像検索を自然画像について行うための、ある程度実用化されている技術では、色情報を画像特徴量として用いているものが多い。そして、その多くが、色情報に関するヒストグラムを取ることにより、ＲＧＢの割合や画像中に多く存在する色の組み合わせを用いた検索が殆どである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の手法では、色の位置情報が失われてしまうためにその検索精度は必ずしも高くなかった。また、例えば特開平８−２４９３４９号には、画像を複数のブロックに分け夫々の特徴量（代表色）を用いたパターンマッチングが開示されている。しかしながら、この手法では、マッチングを行う２つの画像について各ブロック間の特徴量の距離を計算しなければならず、膨大な計算量が必要となってしまう。特に特徴量として代表色を用いると、ＲＧＢ３個のデータを扱わなければならず、更に計算が複雑なものとなる。また、特徴量そのものを用いて比較を行うので、比較の精度が高くなる反面、画像のアングルが変ったり、物体の位置が変ったりするだけで類似画像検索できなくなってしまうといった問題がある。すなわち、画像のアングルが変ったり、物体の位置が変ったり、あるいは撮影条件による画像特徴量のある程度の違い等を吸収するなど、ある程度の曖昧さを有しながらも適切に画像検索を行うという、いわゆるロバストな類似画像検索を行うことはできなかった。
【０００４】
従って、従来技術において自然画像を検索する場合には、画像にキーワードを付与しておき、このキーワードによって画像検索を行うことが普通であった。しかし、このキーワード付け作業は人手のかかる作業であり、更に、キーワード付けが行われていない画像に関しては、縮小画を提示してマニュアルにて選択するという作業が生じ、検索操作を煩雑なものとしていた。
【０００５】
本発明は上記の問題点に鑑みてなされたものであり、画像の特徴量の配置を考慮した類似画像の検索を可能とする画像検索装置及び方法を提供することを目的とする。
【０００６】
また、本発明の他の目的は、画像の特徴量の配置を考慮した類似画像の検索を行うとともに、撮影条件の変動等による違いを吸収した類似画像検索を可能とする画像検索装置及び方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記の目的を解決するための本発明の画像検索装置は以下の構成を備える。即ち、
画像を複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与する付与手段と、
前記付与手段で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成する生成手段と、
前記生成手段で生成されるラベル列をキーとして画像のＩＤ群を登録した第１のテーブルに、前記生成手段で生成されたラベル列と前記画像のＩＤを登録する登録手段と、
前記第１のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第２のテーブルを生成するテーブル生成手段と、
検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第２のテーブルを参照して取得し、前記検索元画像のラベル列と、前記取得手段で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算手段と、
前記演算手段による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のＩＤを前記第１のテーブルから抽出する抽出手段とを備える。
【０００８】
また、上記の目的を達成する本発明の画像検索方法は以下の工程を備える。即ち、
メモリに記憶された画像より、指定された検索元画像に類似する画像を検索する画像検索装置における画像検索方法であって、
画像特徴量抽出手段が、メモリに格納された画像を複数のブロックに分割し、各ブロックの画像データから各ブロックの特徴量を算出し、算出された特徴量に応じて各ブロックにラベルを付与する付与工程と、
ラベル列生成手段が、前記付与工程で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成するラベル列生成工程と、
登録手段が、前記ラベル列生成工程で生成されたラベル列をキーとして画像のＩＤ群を登録した第１のテーブルを記憶する記憶手段にアクセスし、前記ラベル列生成工程で生成されたラベル列と前記画像のＩＤを該第１のテーブルに登録する登録工程と、
テーブル生成手段が、前記第１のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第２のテーブルを生成するテーブル生成工程と、
参照手段が、検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第２のテーブルを参照して取得する取得工程と、
演算手段が、前記検索元画像のラベル列と、前記取得工程で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算工程と、
抽出手段が、前記演算工程による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のＩＤを前記第１のテーブルから抽出し検索結果としてデータ出力する抽出工程とを備える。
【０００９】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を説明する。
【００１０】
図１は本実施形態の画像検索装置の制御構成を示すブロック図である。同図において、１０１はＣＰＵであり、本実施形態の画像検索装置における各種制御を実行する。１０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１１】
１０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等で構成される。１０７は表示器である。１０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。１０９はインターフェース、１１０は画像読み取りのためのスキャナである。また、１１１は上記の各構成を接続するバスである。
【００１２】
なお、上記の構成においてスキャナ１１０や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。
【００１３】
図２は本実施形態の画像検索装置の機能構成を示すブロック図である。同図において、１１はユーザインターフェース部であり、表示器１０７、キーボード１０４及びマウス１０５を用いて、ユーザからの各種の操作入力を検出する。１２は画像入力部であり、スキャナ１１０による画像の読み取りを行う。１３は画像メモリであり、画像入力部１２によって得られたイメージデータをＲＡＭ１０３の所定の領域に格納する。１４は画像特徴量抽出部であり、画像メモリ１３に格納した画像について、後述の手順で特徴量を抽出する。１５は特徴量ラベル列化部であり、画像特徴量抽出部１４によって得られた特徴量に基づいてラベル列を生成する。１６はパターンマッチング部であり、指定された画像のラベル列と、画像蓄積部１７に蓄積されている画像のラベル列に基づいて、類似度を算出し、類似画像を検索する。
【００１４】
１７は画像蓄積部であり、画像入力部１２等によって得られた画像データを蓄積する。図３は画像蓄積部１７における画像データの格納状態を説明する図である。各画像データ１１２には画像ＩＤ１１１が付与され、画像蓄積部１７にはこれらが対になって保持される。１８は画像管理データベース（以下、画像管理ＤＢ）であり、図８で示されるデータ形態で画像蓄積部１７に格納された画像データを管理する。また、１９はラベル列インデックスであり、図９で示されるラベル系列インデックスや図１１に示されるラベル成分インデックスファイルを格納する。
【００１５】
以上のような構成を備えた本実施形態の画像検索装置の動作例を以下に説明する。なお、以下の例では色に着目した画像特徴量として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での処理を用いて説明する。
【００１６】
［画像の登録処理］
先ず画像登録の際に行う処理を説明する。図４は本実施形態による画像登録処理の手順を表すフローチャートである。まず、ステップＳ１１において、ユーザーインターフェース部１１を介しての指示により、画像入力部１２を用いて画像を読み込み、画像メモリ１３に保持する。次に、ステップＳ１２において、この画像を複数のブロックに分割する。本実施形態では、画像を縦横の複数ブロックに分割する。図５は本実施形態による画像のブロック分割例を示す図である。同図に示されるように、本実施形態では、３×３の計９個に画像を分割するものとする。次にステップＳ１３において、分割された各ブロックの特徴量を算出し、得られた特徴量を次の手順でラベル化する。
【００１７】
図６は本実施形態による多次元特徴量空間を説明する図である。図６に示すように、多次元特徴量空間（ＲＧＢカラー空間）を複数のブロック（色ブロック）、即ちセル（色せる）に分割し、夫々のセル（色セル）に対して通し番号でユニークなラベルを付与する。ここで、多次元特徴用空間（ＲＧＢカラー空間）を複数のブロックに分けたのは微妙な特徴量（色）の違いを吸収するためである。
【００１８】
なお、多次元特徴量空間に関しては、画像特徴量をそのまま用いるものではなく各パラメータを平均と分散を実験によって求め規格化（正規化）した後、例えば、主成分分析等の直交変換を行い、意味のある次元にしたものを用いることが考えられる。なお、「意味のある次元」とは、主成分分析において、寄与率が大きな主成分軸で構成される次元である。
【００１９】
ステップＳ１３では、ステップＳ１２で得られた各分割ブロックに対して、定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この処理を全てのブロックに対して行う。すなわち、分割画像ブロックに対して、全ての画素がどの色セルに属するかの計算処理を行い、もっとも頻度の多い色セルのラベルをその分割画像ブロックのパラメータラベル（カラーラベル）として決定し、この処理を全てのブロックに対して行う。
【００２０】
以上のようにして各ブロックに対してパラメータラベルが付与されると、ステップＳ１４において、各ブロックに付与されたパラメータラベルを所定のブロック順序で並べることにより、パラメータラベル列（以下、ラベル列とする）が生成される。図７はラベル列を生成する際のブロック順序例を説明する図である。同図の分割画像ブロックの升にある数字に従って上記のパラメータラベルを並べ、ラベル列を作る。
【００２１】
ここで、図７の（ａ）では、分割ブロックを右上から左下方向への斜め方向へスキャンしている。これは、比較する画像のアングルの微妙な違い、ずれの影響を少なくするために類似検索対象物体に沿ってなるべく多く連続したラベル列を高い期待値で得るためである。この結果、後で述べるパターンマッチング部１６の作用とあいまって、上下左右のどちらのずれに対しても影響の少ないラベル列同士の比較が可能となる。
【００２２】
なお、本実施形態に適用可能なスキャンの方法としては、
・水平方向（左から右へのスキャンを上から下へ行う、左から右へのスキャンを下から上へ行う等、４通りのスキャン方法が考えられる）、
・垂直方向（上から下へのスキャンを左から右へ行う等、４通りのスキャン方法が考えられる）、
・斜め方向（四隅の各始点について２方向の斜めスキャンがあり、図７の（ａ）〜（ｃ）を含む８通りのスキャン方法がある）、
・ジグザグスキャン（ＪＰＥＧ等において採用されているスキャン方法であり、四隅の各始点について２通りのジグザグスキャンがあり、合計８通りのスキャンがある）、
等があげられる。本実施形態では以下の観点から採用すべきスキャン方法を決定する。すなわち、
（１）本実施形態ではラベル列同士の時系列的な比較であり、この順序に逆転が生じることは好ましくない。よって、すべての画像を所定のスキャン方法でスキャンしてラベル列化を行う必要がある。
（２）位置の近いブロックはラベル列中においても近くに位置することが望ましい。
（３）検索したい物体に引っ掛かるブロックのラベルが出来る限り早く現れ、且つ長く続くことがマッチングを行いやすくする。
（４）物体が動いたり、アングルが変わったりしても、ラベルの並びが極端に変わらないようにする。
という条件を満足するスキャン方法を採用する。特に、着目物体の多くが画像中央であることを仮定すると、着目物体を含むブロックが出来るだけスキャンの早いうちに現れ、長く物体をスキャンする期待値が高い方法として、本実施形態では斜め方向のスキャンを採用している。なお、本実施形態では、図７の（ａ）のような右上から左下方向への斜めスキャンを採用するが、当然、図７の（ｂ）のような例や図７の（ｃ）の様なスキャン方法を採用してもよい。
【００２３】
続いてステップＳ１５において、以上のようにして得たラベル列や画像データを画像蓄積部１７、画像管理ＤＢ１８、ラベル列インデックス１９に格納する。すなわち、ステップＳ１１で読み込んだ画像データに対して画像ＩＤを取得し、これらをペアにして画像蓄積部１７に格納する。そして、当該画像ＩＤに対応付けて図８に示す画像管理ＤＢレコードを生成し、これを画像管理ＤＢ１８に登録する。更に、ステップＳ１６において、ラベル列を検索キーとし、画像ＩＤ群を可変長レコードに納めるレコード（図９のラベル系列インデックス）を作成し、ラベル列インデックス１９に登録する。ここで、当該ラベル列が未登録であれば、新たなレコードを生成してラベル列ＩＤを付与し、当該ラベル列及び画像ＩＤを登録する。一方、当該ラベル列が既に登録されていれば、画像ＩＤ群に当該画像ＩＤを追加登録することになる。このようなラベル系列インデックスを用いることにより、ラベル列が与えられた場合にそれに対応する画像ＩＤが高速に得られることになる。
【００２４】
以上が画像登録時に行われる処理である。
【００２５】
［類似画像検索処理］
次に図１０のフローチャートに従って類似画像検索の処理を説明する。図１０は類似画像検索の処理手順を説明するフローチャートである。なお、本実施形態では、予め初期化時において、ラベル系列インデックスから、既に登録されている画像のラベル列群を得て、各ラベル成分をキーとするラベル成分インデックスファイルを生成し、ラベル列インデックス１９に格納しておく。なお、ここでいう初期化時とは、システムの立ち上げ時或いはアプリケーションの起動時のいずれでも良い。また、新規の画像登録があり、これを画像ＤＢに登録した場合にも、このラベル成分インデックスの生成を行う。図１１は、ラベル成分インデックスのデータ構成例を示す図である。図１１に示すように、ラベル成分インデックスには、各ラベル成分毎に、そのラベルを内部に持つラベル列へのアドレス群（列ＩＤ群）を有する。なお、このラベル成分インデックスファイルは画像の登録及び削除、変更を反映する必要が生じるまで、作成し直す必要はない。
【００２６】
まず、ステップＳ２１において、ユーザーインターフェース部１１から類似検索元画像が指定されると、ステップＳ２２において、指定された類似検索元画像の画像ＩＤが取得され、更に画像管理ＤＢ１８から当該元画像のラベル列（本例ではカラーラベル列）が取得される。
【００２７】
次にステップＳ２３において、ラベル成分インデックスファイルを参照し、類似検索元画像のラベル列とある程度以上同一のラベルを含むラベル列群（ラベル系列インデックス中のラベル列）を取得する。これは登録した画像の全てのラベル列との比較を行うと処理が遅くなるので、予め似ているもの（類似検索元画像のラベル列と所定数以上の同一のラベルを含むラベル列群）に絞った後に、類似検索元画像のラベル列と一対一で比較するようにし、処理速度を改善するためである。もちろん、処理が遅くなっても良ければ、登録した画像の全てのラベル列との比較を行い、精度の高い検索を行ってもよい（この場合、ステップＳ２３は省略される）。
【００２８】
次に、ステップＳ２４において、ステップＳ２３で取得した各ラベル列と類似検索元画像のラベル列とを比較し、その類似度を算出する。そして、類似検索元画像のラベル列に最も近いラベル列から順にその類似度とともに検索結果として出力する。
【００２９】
ここで、ラベル列同士の類似比較（類似度の算出）を行う方法について述べる。
【００３０】
図１２はラベル列を比較し類似度を求める際に用いるラベル間のペナルティマトリックスの一例を示す図である。マトリクス中の値が小さい程類似していることになる。例えば、ラベル２とラベル６のペナルティは「７」である。また、同じラベル同士のペナルティは当然のことながら「０」となっている。本マトリクスの使用目的はラベルの類似に応じた距離判定を行うことにある。すなわち、本実施形態では、特徴量空間としてＲＧＢカラー空間を用いているので、色の類似に応じた距離判定が行えることになる。
【００３１】
例えば、ラベル間のパターンマッチングの際に隣接するセル同士ではペナルティ（距離）を小さくし、遠いものには大きなペナルティを与えるために図１２に示すようなラベル間でのペナルティマトリックスを導入する。ステップＳ２４ではこのペナルティマトリックスを考慮し、ラベル列同士を比較するが、その際に、オートマトン等のラベルシーケンスを曖昧に比較できるマッチングを行うようにしてもよい。このような曖昧化の手法を用いることにより、余分なラベルの付加、ラベルの欠落や同じラベルの繰り返しに対しては低いペナルティが与えられとともに、ラベル間のペナルティには図１２のカラーラベル間のペナルティマトリックスを用いてラベル列同士の距離計算を行うことで、曖昧なパターンマッチングが行えるようになる。なお、オートマトンとしては、「特開平８−２４１３３５のファジー非決定性有限オートマトンを使用した曖昧な文字列検索方法およびシステム」に記載されている「ファジー非決定性有限オートマトン」を適用することができる。このオートマトンでは、各シンボル間の距離（ペナルティー）が多値でして出来、なお、比較するラベル位置を前後曖昧に移動することが出来、トータルの距離が最小（類似度が最大）となるようなラベル列の比較を実現するための手法として、上述のオートマトンの他に、音声認識等において用いられているＤＰマッチングがあり、この手法もほ実施形態に好適に適用できるものである。
【００３２】
更に、上述の曖昧なパターンマッチングに加えて、図７の（ａ）〜（ｃ）のブロック順序の規則を併用することにより、比較する画像のアングルの微妙な違いやずれの影響を少なく、上下左右のどちらのずれに対しても影響の少ないカラーラベル列同士の比較を行うことが可能となる。すなわち、ＤＰマッチングやファジー非決定性オートマトンは、ラベル列の前後の曖昧さを許容するマッチングであり、画像の位置ずれの影響を吸収する性質を有する。また、アングルの違い等により物体の位置が変わり、ブロックによって切りとられる物体の位置が変わることにより、ブロックの色合いも微妙に異なることが予想されるが、この違いは上述のペナルティーマトリクスにより吸収されることになる。このように、ＤＰマッチング或いはファジーオートマトンによる曖昧さを許容するマッチングと、ペナルティーマトリクスによる特徴量の曖昧さの許容との相乗効果によって、上下左右のずれに対して影響の少ないマッチングを可能としている。更に、図７（ａ）〜（ｃ）のような斜めスキャンにより、物体の位置の変化によるラベル位置の変化が低減されるので、より効果的にマッチング時の物体のずれの影響を低減できる。
【００３３】
次に、ステップＳ２５において、ラベル系列インデックから類似度の高いラベル列をキーとして検索を行い、対応する画像ＩＤを取得する。以下、類似度の高い順に出力された各ラベル列に対してこの処理を繰り返し、結果として類似する画像の画像ＩＤ群を得る。そして、ステップＳ２６において、画像管理ＤＢ１８を参照して、画像ＩＤ群の各画像ＩＤについてフルパスのファイル名を取得し、これをユーザに提示する。
【００３４】
以上のような処理により、画像のアングルが変ったり、物体の位置が変ったり、あるいは撮影条件が変わったりすることによって生じる、色のある程度の違い等を吸収するなど、ロバストな類似画像検索を高速に行うことが可能となる。
【００３５】
なお、上記実施形態においては、自然画像検索を行う例を説明したが、本発明はＣＧやＣＡＤ等の人工的な画像の検索にも適応可能な技術であることは当業者には明らかである。
【００３６】
また、上記実施形態では画像特徴量として色情報を選んだが、本発明はこれに限られるものではなく、その他の画像パラメータを画像分割ブロックごとに求めることで実施することも可能である。
【００３７】
また、本実施形態では１つの特徴量での認識の例を挙げたが、その他の特徴量での検索結果との論理演算を行うことにより、複数の特徴量からの高速な検索を行うことも可能である。
【００３８】
また、ブロック化できない１つの画像に対して１つのパラメータを加味した類似検索の場合には、本発明で得られる類似度（ペナルティの総和を用いて作る）を１つの新たなる特徴量として、統計的な距離尺度に基づく検索を行うことも可能である。また、上記実施形態では、類似度が所定値を越える類似画像を検索結果として得るが、類似度の高い画像から順に前もって指定された個数の画像を検索結果として出力するようにしてもよいことはいうまでもない。
【００３９】
なお、本発明は、例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなどの複数の機器から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００４０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４１】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４３】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４５】
以上説明したように、本実施形態によれば、特徴量群（特徴量空間を分割して得られる特徴量のグループ）を１つのシンボルで表現し（すなわちラベル化し）、ラベル同士の類似度に基づく距離をペナルティーマトリクスによって与える。このため、２つの画像のブロック間の距離の計算量を大幅に減少させることができるとともに、類似した特徴量が同じラベルで表されることになるので、類似画像の検索を良好に行うことができる。
【００４６】
また、（１）ペナルティマトリクスによるラベル同士の距離概念を導入し、（２）ＤＰマッチングやファジー非決定性オートマトン等の、比較するラベル位置を前後曖昧に移動させることが出来、トータルの距離が最小（類似度が最大）となるようなラベル列の比較を実現する手法を導入する、ことにより、画像のアングルが多少変わっても検索することが可能となり、雰囲気の似ている画像を検索できるようになる。
【００４７】
更に上記実施形態によれば、インデックスデータベース（ラベル系列インデックスやラベル成分インデックス）を用いたことにより、画像検索が更に高速化する。
【００４８】
【発明の効果】
以上説明したように本発明によれば、画像の特徴量に応じて付与されたラベル列をキーとして、画像のＩＤ群を含むテーブルに基づき、画像を検索するので、画像検索が高速化する。
【００５０】
【図面の簡単な説明】
【図１】本実施形態の画像検索装置の制御構成を示すブロック図である。
【図２】本実施形態の画像検索装置の機能構成を示すブロック図である。
【図３】画像蓄積部１７における画像データの格納状態を説明する図である。
【図４】本実施形態による画像登録処理の手順を表すフローチャートである。
【図５】本実施形態による画像のブロック分割例を示す図である。
【図６】本実施形態による多次元特徴量空間を説明する図である。
【図７】ラベル列を生成する際のブロック順序例を説明する図である。
【図８】画像管理ＤＢレコードのデータ構成例を示す図である。
【図９】ラベル系列インデックスのデータこう政令を示す図である。
【図１０】類似画像検索の処理手順を説明するフローチャートである。
【図１１】ラベル成分インデックスのデータ構成例を示す図である。
【図１２】ラベル列を比較し類似度を求める際に用いるラベル間のペナルティマトリックスの一例を示す図である。

Claims

画像を複数のブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与する付与手段と、
前記付与手段で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成する生成手段と、
前記生成手段で生成されるラベル列をキーとして画像のＩＤ群を登録した第１のテーブルに、前記生成手段で生成されたラベル列と前記画像のＩＤを登録する登録手段と、
前記第１のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第２のテーブルを生成するテーブル生成手段と、
検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第２のテーブルを参照して取得し、前記検索元画像のラベル列と、前記取得手段で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算手段と、
前記演算手段による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のＩＤを前記第１のテーブルから抽出する抽出手段とを備えることを特徴とする画像検索装置。
前記ラベルは、多次元特徴量空間を複数のセルに分割し、得られたセルの夫々に与えられる固有のラベルであり、
前記付与手段は、前記ブロックの夫々について特徴量を算出し、算出された特徴量が属するセルに付与されているラベルを当該ブロックに付与することを特徴とする請求項１に記載の画像検索装置。
前記複数のブロックは画像を縦横複数のブロックに分けて得られたものであり、前記生成手段で用いられるブロック順序は、該複数のブロックを斜め方向に走査する順序であることを特徴とする請求項１に記載の画像検索装置。
前記複数のブロックは画像を縦横複数のブロックに分けて得られたものであり、前記生成手段で用いられるブロック順序は、該複数のブロックを水平もしくは鉛直方向に走査する順序であることを特徴とする請求項１に記載の画像検索装置。
メモリに記憶された画像より、指定された検索元画像に類似する画像を検索する画像検索装置における画像検索方法であって、
画像特徴量抽出手段が、メモリに格納された画像を複数のブロックに分割し、各ブロックの画像データから各ブロックの特徴量を算出し、算出された特徴量に応じて各ブロックにラベルを付与する付与工程と、
ラベル列生成手段が、前記付与工程で付与されたラベルを所定のブロック順序に基づいて並べることによりラベル列を生成するラベル列生成工程と、
登録手段が、前記ラベル列生成工程で生成されたラベル列をキーとして画像のＩＤ群を登録した第１のテーブルを記憶する記憶手段にアクセスし、前記ラベル列生成工程で生成されたラベル列と前記画像のＩＤを該第１のテーブルに登録する登録工程と、
テーブル生成手段が、前記第１のテーブルに登録されたラベル列について、各ラベル成分をキーとして、当該ラベル成分を含むラベル列群を登録した第２のテーブルを生成するテーブル生成工程と、
参照手段が、検索元画像のラベル列に含まれるラベル成分と同一のラベル成分を所定数以上含むラベル列を前記第２のテーブルを参照して取得する取得工程と、
演算手段が、前記検索元画像のラベル列と、前記取得工程で取得したラベル列とをペナルティマトリックスに基づき比較することにより類似度を演算する演算工程と、
抽出手段が、前記演算工程による類似度が所定値を超えるラベル列を取得し、該取得されたラベル列に対応する画像のＩＤを前記第１のテーブルから抽出し検索結果としてデータ出力する抽出工程とを備えることを特徴とする画像検索方法。