JPH1139309A - 画像検索装置及び方法 - Google Patents
画像検索装置及び方法Info
- Publication number
- JPH1139309A JPH1139309A JP9190162A JP19016297A JPH1139309A JP H1139309 A JPH1139309 A JP H1139309A JP 9190162 A JP9190162 A JP 9190162A JP 19016297 A JP19016297 A JP 19016297A JP H1139309 A JPH1139309 A JP H1139309A
- Authority
- JP
- Japan
- Prior art keywords
- image
- label
- search
- matching
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
による画像の変化を効果的に吸収した類似画像検索を可
能とする。 【解決手段】画像を複数のブロックに分割し、各ブロッ
クについて取得された特徴量に応じてラベルを付与し、
付与されたラベルによりラベル行列を生成する。類似検
索元画像のラベル行列より抽出される行単位のラベル列
と、類似比較先画像のラベル行列より抽出される行単位
のラベル列とをDPマッチングによって対応づけ、類似
ライン行列を獲得する。この類似ライン行列における行
番号の並びと、類似検索もと画像の行番号の並びとの類
似度をDPマッチングによって求め、これを当該類似比
較先画像と検索元画像の類似度とする。以上のようにし
て画像間の類似度を求め、画像検索を行う。
Description
像検索装置及び方法に関するものである。
の技術が提案されている。類似画像検索を自然画像につ
いて行うための、ある程度実用化されている技術では、
色情報を画像特徴量として用いているものが多い。そし
て、その多くが、色情報に関するヒストグラムを取るこ
とにより、RGBの割合や画像中に多く存在する色の組
み合わせを用いた検索が殆どである。
手法では、色の位置情報が失われてしまうためにその検
索精度は必ずしも高くなかった。また、例えば特開平8
−249349号には、画像を複数のブロックに分け夫
々の特徴量(代表色)を用いたパターンマッチングが開
示されている。しかしながら、この手法では、マッチン
グを行う2つの画像について各ブロック間の特徴量の距
離を計算しなければならず、膨大な計算量が必要となっ
てしまう。特に特徴量として代表色を用いると、RGB
3個のデータを扱わなければならず、更に計算が複雑な
ものとなる。また、特徴量そのものを用いて比較を行う
ので、比較の精度が高くなる反面、画像のアングルが変
ったり、物体の位置が変ったりするだけで類似画像検索
できなくなってしまうといった問題がある。すなわち、
画像のアングルが変ったり、物体の位置が変ったり、あ
るいは撮影条件による画像特徴量のある程度の違い等を
吸収するなど、ある程度の曖昧さを有しながらも適切に
画像検索を行うという、いわゆるロバストな類似画像検
索を行うことはできなかった。
する場合には、画像にキーワードを付与しておき、この
キーワードによって画像検索を行うことが普通であっ
た。しかし、このキーワード付け作業は人手のかかる作
業であり、更に、キーワード付けが行われていない画像
に関しては、縮小画を提示してマニュアルにて選択する
という作業が生じ、検索操作を煩雑なものとしていた。
のであり、画像の特徴量の配置を考慮した高速な類似画
像の検索を可能とする画像検索装置及び方法を提供する
ことを目的とする。
や撮影倍率等の撮影条件の変動等による画像の変化を効
果的に吸収した類似画像検索を可能とする画像検索装置
及び方法を提供することにある。
めの本発明の画像検索装置は以下の構成を備える。即
ち、画像を複数のブロックに分割し、各ブロックについ
て取得された特徴量に応じてラベルを付与する付与手段
と、前記付与手段で付与されたラベルによりラベル行列
を生成する生成手段と、前記生成手段で生成されたラベ
ル行列を前記画像に対応付けて記憶する記憶手段と、前
記記憶手段に記憶されたラベル行列に基づいて画像検索
を行う検索手段とを備え、前記検索手段が、検索元画像
のラベル行列より抽出される行単位のラベル列と、比較
先画像のラベル行列より抽出される行単位のラベル列と
をDPマッチングによって対応づける第1マッチング手
段と、前記検索元画像の行並びと、前記第1マッチング
手段で得られた行並びとの類似度をDPマッチングによ
って求める第2マッチング手段とを備える。
検索方法は以下の工程を備えている。即ち、画像を複数
のブロックに分割し、各ブロックについて取得された特
徴量に応じてラベルを付与する付与工程と、前記付与工
程で付与されたラベルによりラベル行列を生成する生成
工程と、前記生成工程で生成されたラベル行列を前記画
像に対応付けて記憶する記憶工程と、前記記憶工程に記
憶されたラベル行列に基づいて画像検索を行う検索工程
とを備え、前記検索工程が、検索元画像のラベル行列よ
り抽出される行単位のラベル列と、比較先画像のラベル
行列より抽出される行単位のラベル列とをDPマッチン
グによって対応づける第1マッチング工程と、前記検索
元画像の行並びと、前記第1マッチング工程で得られた
行並びとの類似度をDPマッチングによって求める第2
マッチング工程とを備える。
明の好適な一実施形態を説明する。
成を示すブロック図である。同図において、101はC
PUであり、本実施形態の画像検索装置における各種制
御を実行する。102はROMであり、本装置の立ち上
げ時に実行されるブートプログラムや各種データを格納
する。103はRAMであり、CPU101が処理する
ための制御プログラムを格納するとともに、CPU10
1が各種制御を実行する際の作業領域を提供する。10
4はキーボード、105はマウスであり、ユーザによる
各種入力操作環境を提供する。
スクやフロッピーディスク、CD−ROM等で構成され
る。107はネットワークインターフェースであり、ネ
ットワーク上の各機器との通信を可能とする。109は
インターフェース、110は画像読み取りのためのスキ
ャナである。また、111は上記の各構成を接続するバ
スである。
や外部記憶装置106はネットワーク上に配置されたも
ので代用してもよい。
成を示すブロック図である。同図において、11はユー
ザインターフェース部であり、表示器107、キーボー
ド104及びマウス105を用いて、ユーザからの各種
の操作入力を検出する。12は画像入力部であり、スキ
ャナ110による画像の読み取りを行う。13は画像メ
モリであり、画像入力部12によって得られたイメージ
データをRAM103の所定の領域に格納する。14は
画像特徴量抽出部であり、画像メモリ13に格納した画
像について、後述の手順で特徴量を抽出する。15は特
徴量ラベル行列化部であり、画像特徴量抽出部14によ
って得られた特徴量に基づいてラベル行列を生成する。
16はパターンマッチング部であり、指定された画像の
ラベル行列と、画像蓄積部17に蓄積されている画像の
ラベル行列に対し、後述の2次元DPマッチングを用い
て類似度を算出する。
等によって得られた画像データを蓄積する。図3は画像
蓄積部17における画像データの格納状態を説明する図
である。各画像データ112には画像ID111が付与
され、画像蓄積部17にはこれらが対になって保持され
る。18は画像管理データベース(以下、画像管理D
B)であり、図8で示されるデータ形態で画像蓄積部1
7に格納された画像データを管理する。また、19はラ
ベル行列インデックスであり、図9で示されるラベル系
列インデックスや図11に示されるラベル成分インデッ
クスファイルを格納する。
像検索装置の動作例を以下に説明する。なお、以下の例
では色に着目した画像特徴量として、赤(R)、緑
(G)、青(B)の三色を採用し、3次元の色空間での
処理を用いて説明する。
う処理を説明する。図4は本実施形態による画像登録処
理の手順を表すフローチャートである。まず、ステップ
S11において、ユーザーインターフェース部11を介
しての指示により、画像入力部12を用いて画像を読み
込み、画像メモリ13に保持する。次に、ステップS1
2において、この画像を複数のブロックに分割する。本
実施形態では、画像を縦横の複数ブロックに分割する。
図5は本実施形態による画像のブロック分割例を示す図
である。同図に示されるように、本実施形態では、3×
3の計9個に画像を分割するものとする。次にステップ
S13において、分割された各ブロックの特徴量を算出
し、得られた特徴量を次の手順でラベル化する。なお、
本実施形態で用いる3×3屁の分割はあくまで説明のた
めのものである。実際には、自然がであれば10×10
以上の分割数とするのが好ましい。また、白の無地背景
に商品が写っているような場合であれば、13×13以
上の分割数とするのが好ましい。
を説明する図である。図6に示すように、多次元特徴量
空間(RGBカラー空間)を複数のブロック(色ブロッ
ク)、即ちセル(色セル)に分割し、夫々のセル(色セ
ル)に対して通し番号でユニークなラベルを付与する。
ここで、多次元特徴用空間(RGBカラー空間)を複数
のブロックに分けたのは微妙な特徴量(色)の違いを吸
収するためである。
特徴量をそのまま用いるものではなく各パラメータを平
均と分散を実験によって求め規格化(正規化)した後、
例えば、主成分分析等の直交変換を行い、意味のある次
元にしたものを用いることが考えられる。なお、「意味
のある次元」とは、主成分分析において、寄与率が大き
な主成分軸で構成される次元である。
られた各分割ブロックに対して、定められた画像特徴量
計算処理を行い、上記多次元特徴量空間上のどのセルに
属するかを求め、対応するラベルを求める。この処理を
全てのブロックに対して行う。すなわち、分割画像ブロ
ックに対して、全ての画素がどの色セルに属するかの計
算処理を行い、もっとも頻度の多い色セルのラベルをそ
の分割画像ブロックのパラメータラベル(カラーラベ
ル)として決定し、この処理を全てのブロックに対して
行う。
メータラベルが付与されると、ステップS14におい
て、各ブロックに付与されたパラメータラベルを所定の
ブロック順序で並べることにより、パラメータラベル行
列(以下、ラベル行列とする)が生成される。図7はラ
ベル行列を生成する際のブロック順序例を説明する図で
ある。同図の分割画像ブロックの升にある数字に従って
上記のパラメータラベルを並べ、ラベル行列を作る。な
お、画像管理データベース18やラベル行列インデック
ス19にラベル行列を格納するに際しては、上述のよう
に2次元的なラベル行列を所定の順序で1次元に並べた
ものを格納するが、本実施形態ではこのような1次元の
形態のものもラベル行列と称することにする。
を左から右へ水平方向へスキャンし、この水平方向のス
キャンを上から下へ行う順序となっている。なお、本実
施形態に適用可能なスキャンの方法としては、 ・水平方向(図7の(a)に示したように、左から右へ
のスキャンを上から下へ行うという順序の他に、図7の
(b)〜(d)に示すように、左から右へのスキャンを
下から上へ行う等、4通りのスキャン方法がある)、 ・垂直方向(上から下へのスキャンを左から右へ行う
等、4通りのスキャン方法が考えられる)。
すスキャン方法を採用するが、上述した他のスキャン方
法も適用可能である。
うにして得たラベル行列や画像データを画像蓄積部1
7、画像管理DB18、ラベル行列インデックス19に
格納する。すなわち、ステップS11で読み込んだ画像
データに対して画像IDを取得し、これらをペアにして
画像蓄積部17に格納する。そして、当該画像IDに対
応付けて図8に示す画像管理DBレコードを生成し、こ
れを画像管理DB18に登録する。更に、ステップS1
6において、ラベル行列を検索キーとし、画像ID群を
可変長レコードに納めるレコード(図9のラベル系列イ
ンデックス)を作成し、ラベル行列インデックス19に
登録する。ここで、当該ラベル行列が未登録であれば、
新たなレコードを生成してラベル行列IDを付与し、当
該ラベル行列及び画像IDを登録する。一方、当該ラベ
ル行列が既に登録されていれば、画像ID群に当該画像
IDを追加登録することになる。このようなラベル系列
インデックスを用いることにより、ラベル行列が与えら
れた場合にそれに対応する画像IDが高速に得られるこ
とになる。
チャートに従って類似画像検索の処理を説明する。図1
0は類似画像検索の処理手順を説明するフローチャート
である。なお、本実施形態では、予め初期化時におい
て、ラベル系列インデックスから、既に登録されている
画像のラベル行列群を得て、各ラベル成分をキーとする
ラベル成分インデックスファイルを生成し、ラベル行列
インデックス19に格納しておく。なお、ここでいう初
期化時とは、システムの立ち上げ時或いはアプリケーシ
ョンの起動時のいずれでも良い。また、新規の画像登録
があり、これを画像DBに登録した場合にも、このラベ
ル成分インデックスの生成を行う。図11は、ラベル成
分インデックスのデータ構成例を示す図である。図11
に示すように、ラベル成分インデックスには、各ラベル
成分毎に、そのラベルを内部に持つラベル行列へのアド
レス群(列ID群)を有する。なお、このラベル成分イ
ンデックスファイルは画像の登録及び削除、変更を反映
する必要が生じるまで、作成し直す必要はない。
インターフェース部11から類似検索元画像が指定され
ると、ステップS22において、指定された類似検索元
画像の画像IDが取得され、更に画像管理DB18から
当該元画像のラベル行列(本例ではカラーラベル行列)
が取得される。
インデックスファイルを参照し、類似検索元画像のラベ
ル行列とある程度以上同一のラベルを含むラベル行列群
(ラベル系列インデックス中のラベル行列)を取得す
る。これは登録した画像の全てのラベル行列との比較を
行うと処理が遅くなるので、予め似ているもの(類似検
索元画像のラベル行列と所定数以上の同一のラベルを含
むラベル行列群)に絞った後に、類似検索元画像のラベ
ル行列と一対一で比較するようにし、処理速度を改善す
るためである。もちろん、処理が遅くなっても良けれ
ば、登録した画像の全てのラベル行列との比較を行い、
精度の高い検索を行ってもよい(この場合、ステップS
23は省略される)。
S23で取得した各ラベル行列と類似検索元画像のラベ
ル行列とを比較し、その類似度を算出する。そして、類
似検索元画像のラベル行列に最も近いラベル行列から順
にその類似度とともに検索結果として出力する。
度の算出)を行う方法について述べる。なお、以下で
は、ステップS23で取得したラベル行列を類似比較先
画像と称する。
る際に用いるラベル間のペナルティマトリックスの一例
を示す図である。マトリクス中の値が小さい程類似して
いることになる。例えば、ラベル2とラベル6のペナル
ティは「7」である。また、同じラベル同士のペナルテ
ィは当然のことながら「0」となっている。本マトリク
スの使用目的はラベルの類似に応じた距離判定を行うこ
とにある。すなわち、本実施形態では、特徴量空間とし
てRGBカラー空間を用いているので、色の類似に応じ
た距離判定が行えることになる。
際に隣接するセル同士ではペナルティ(距離)を小さく
し、遠いものには大きなペナルティを与えるために図1
2に示すようなラベル間でのペナルティマトリックスを
導入する。ステップS24ではこのペナルティマトリッ
クスを考慮し、ラベル行列同士を比較するが、本実施形
態では、その際に以下に説明する2次元的なDPマッチ
ング(以下、2次元DPマッチングという)を使用す
る。
を説明する図である。上述のステップS22において取
得された類似検索元画像のラベル行列は、そのスキャン
方法に従って図13の(a)のように並べることができ
る。また、ステップS23において抽出されたラベル行
列群のうちの一つを類似比較先画像とすると、そのラベ
ル行列は図13(b)のように並べることができる。
列「abc」と、類似検索元画像の第1〜第3行目のラ
ベル列(「123」、「456」、「789」)のそれ
ぞれとの距離をDPマッチングによって求め、その距離
が最少となるラベル列の類似検索元画像における行番号
を類似ライン行列(図13の(c))の該当する位置に
記憶する。また、得られた最小距離が所定の閾値よりも
大きい場合には、どの行とも類似していないと判断し、
類似ライン行列の該当する位置に「!」を記憶する。D
Pマッチングの性質により、たとえば画像のアングルが
水平方向へ多少変わっていたとしても、上記処理により
類似する行(ライン)を検出可能である。以上の処理
を、類似比較先画像の全ての行(「def」「gh
i」)について行うことで、図13の(c)のような列
方向の類似ライン行列が得られる。
た行が類似検索元画像に存在せず、「def」に類似し
た行が類似検索元画像の第1行目、「ghi」に類似し
た行が類似検索元画像の第2行目であったことを示して
いる。以上のようにして得られた類似ライン行列と標準
ライン行列(類似検索元画像の行の並びであり、本例で
は「123」となる)との類似度をDPマッチングを用
いて算出し、これを当該類似検索元画像と当該類似比較
先画像との類似度として出力する。なお、DPマッチン
グでは、周知のように、比較するラベルシーケンスが最
も類似距離が小さくなるように、比較するラベルシーケ
ンスを伸縮(比較する相手を次に進めないで我慢する)
させて比較するという処理を行う。また、何処まで伸縮
(我慢)できるかを制約条件(整合窓の幅)で与えるこ
とも可能である。
ングを採用した類似度算出の手順を説明するフローチャ
ートである。上記図13を参照して説明した処理を、図
14のフローチャートを参照して更に説明する。
較先画像の行番号を表す変数iと、類似検索元画像の行
番号を表す変数jを1に初期化し、ともに第1行目を示
すように設定する。次に、ステップS102において、
類似比較先画像の第i行目のラベル列を取得する。例え
ば図13の場合、i=1であれば「abc」が取得され
る。そして、ステップS103において、類似検索元画
像の第j行目のラベル列を取得する。例えば、図13に
おいて、j=1であれば、「123」が取得される。
S102、S103で得られた2つのラベル列間の距離
を、図12で説明した色セルペナルティーマトリクスを
用いて、DPマッチングによって求める。そして、ステ
ップS105において、ステップS104で得た距離
が、第i行目に関してそれまでに得られた距離の最小値
であれば、当該行番号(j)をライン行列要素LINE
[i]に記憶する。
05の処理を、類似検索元画像の全ての行について行う
(ステップS106、S107)。以上のようにして、
類似比較先画像の第i行目のラベル列に対して、類似検
索元画像に含まれる行のうち最も距離の近い行の番号が
LINE[i]に格納されることになる。
処理でられたLINE[i]と所定の閾値(Thres
h)とを比較する。そして、LINE[i]がThre
sh以上であればステップS108へ進み、いずれの行
とも類似していないことを表す「!」をLINE[i]
に格納する。
8の処理を類似比較先画像の全ての行について実行する
(ステップS110、S111)ことにより、LINE
[1]〜LINE[imax]が得られるので、これを
類似ライン行列LINE[]として出力する。
イン行列「12…imax」と類似ライン行列LINE
[]とのDPマッチングを行い、両者の距離を算出す
る。なお、ここで、標準ライン行列とは、1から始ま
り、列方向に1ずつ増加する行列である。ここで、標準
ライン行列と類似ライン行列間のDPマッチングにおい
て用いられるペナルティーについて説明する。列方向の
類似ライン行列と標準ライン行列とのDPマッチングの
ペナルティーの設定としては2つの方法が考えられる。
すなわち、動的なペナルティーと固定的なペナルティー
の2つである。動的なペナルティーとは、動的にライン
番号間のペナルティーを設定するものであり、画像によ
ってライン番号間のペナルティーは変化する。本実施形
態では、類似検索元画像の自分自身の横(行)方向のラ
ベル行列の距離を求め、これに基づいて各行間のペナル
ティーを求める。図15は本実施形態による動的なペナ
ルティー値の設定手順を示すフローチャートである。ス
テップS121において、変数iを1に、変数jを2に
それぞれセットする。次に、ステップS122におい
て、類似検索元画像の第i行目のラベル列を取得し、ス
テップS123において、類似検索もと画像の第j行目
のラベル列を取得する。そして、ステップS124にお
いて、類似検索元画像の第i行目のラベル列と第j行目
のラベル列とについて、色ペナルティーマトリクスを用
いてDPマッチングを行い、距離を獲得する。ステップ
S125では、ステップS124で得たDPマッチング
の距離を、類似検索元画像のi行目のラベル列とj行目
のラベル列間のペナルティーとしてLINE[i][j]に記
憶すると共に、、類似検索元画像のj行目のラベル列と
i行目のラベル列間のペナルティーとしてLINE[j]
[i]に記憶する。ステップS126によって、変数jの
値がjmaxとなるまで、ステップS123〜S125
の処理が繰返される。この結果、第i行目のラベル列に
ついて、i+1〜jmax行目の各ラベル列との間のペ
ナルティー値が決定される。そして、ステップS12
8、S129、S130により、ステップS123〜S
126の処理を変数iの値がimax−1となるまで繰
返される。この結果、LINE[i]「j]には、i=j
の対角成分を除く全てに、上記処理で決定されたペナル
ティー値が記憶されることになる。次にステップS13
1では、上記処理で決定されていないLINE[i][j]の
対角成分のペナルティーを決定する。この部分はi=j
であり、同一のラベル列であるから、その距離は0であ
り、従ってペナルティー0が記憶される。また、ステッ
プS132では、「!」に関してペナルティーを決定す
る。すなわち、「!」に対するペナルティーは、LIN
E[i][j]の全てのペナルティー値の中で、最大のペナル
ティー値よりもある程度大きな値を設定する。ただし、
このペナルティー値を極端に大きくすると、曖昧にヒッ
トする性質が損なわれてしまう。以上のようにして類似
検索元画像に関して計算されたラベル列間のペナルティ
ーを用いて、上記ステップS113におけるDPマッチ
ングを行い、類似度検索元画像と類似比較先画像の類似
度を獲得する。また、もう一つの固定的なペナルティー
では、DPマッチングのペナルティーとして、ラベルが
一致すればペナルティー「0」を、一致しない場合、も
しくは「!」との比較であった場合にはある程度の大き
さのペナルティーを与える。この場合は類似検索元画像
によらず、常に同じペナルティーとなる。このような固
定的なペナルティーを用いてステップS113の処理を
実行し、類似度検索元画像と類似比較先画像の類似度を
決定する。
特徴を有する。もし、図13の(a)と(b)が極めて
類似していれば、類似ライン行列は「123」となり、
その距離は0となる。また、類似ライン行列が「!1
2」や「212」であれば、類似検索元画像に対して類
似比較先画像は下方向へずれたものである可能性がある
し、類似ライン行列が「23!」や「233」であれば
類似検索元画像に対して類似比較先画像が上方向へずれ
たものである可能性がある。また、類似ライン行列が
「13!」や「!13」であれば、類似検索元画像に対
して類似比較先画像が縮小したものである可能性があ
る。同様に、類似比較先画像が類似検索元画像を拡大し
たようなものである場合も検出可能である。
に、類似ライン行列と標準ライン行列との間でDPマッ
チングを行うことにより、垂直方向へのずれが効果的に
吸収される。このため、上述したような、上方向や下方
向へのずれ、拡大、縮小等に起因する類似検索元画像と
類似比較先画像との相違が効果的に吸収され、良好な類
似検索を行うことが可能となる。
ングは、ラベル行列の各ラベル列における前後の曖昧さ
を許容するマッチングであり、画像の位置ずれの影響を
吸収する性質を有する。また、アングルの違い等により
物体の位置が変わり、ブロックによって切りとられる物
体の位置が変わることにより、ブロックの色合いも微妙
に異なることが予想されるが、この違いは上述のペナル
ティーマトリクスにより吸収されることになる。このよ
うに、本実施形態の2次元DPマッチングによる曖昧さ
を許容するマッチングと、ペナルティーマトリクスによ
る特徴量の曖昧さの許容との相乗効果によって、上下左
右拡大、縮小のずれに対しても影響の少ないマッチング
を可能としている。ただし、動的なペナルティーと固定
的なペナルティーとでは、動的なペナルティーを用いる
方が好ましい。例えば、一面麦畑の類似元検索画像があ
ったとした場合、どのラインも似たようなラベル列とな
ることが考えられる。一方、類似比較先画像にも一面麦
畑の画像があったとした場合に、この画像の類似ライン
行列には全て最初のライン番号1が入り、「111」と
なってしまう可能性がある。この場合、類似検索元画像
のどのラインも似たような画像となっており、ライン番
号間のペナルティーが極めて小さくなければ低い距離で
のヒットはしない。しかしながら、動的なペナルティー
を用いた場合は、ライン番号間のペナルティーが低くな
り、類似度の高い結果を得ることができる。一方、固定
的なペナルティーを用いると、「123」と「111」
ではペナルティー値が大きくなり、類似度が低くなって
しまう。
S23で取得した全ラベル行列について行い、得られた
類似度を高い順にソートして、ステップS25へ進む。
ステップS25において、ラベル系列インデックから類
似度の高いラベル行列をキーとして検索を行い、対応す
る画像IDを取得する。以下、類似度の高い順に出力さ
れた各ラベル行列に対してこの処理を繰り返し、結果と
して類似する画像の画像ID群を得る。そして、ステッ
プS26において、画像管理DB18を参照して、画像
ID群の各画像IDについてフルパスのファイル名を取
得し、これをユーザに提示する。
・鉛直方向、すなわち2次元に行うことにより、水平や
鉛直方向、更に斜め方向に画像アングルが変わったり、
物体が移動していても検索を行うことが可能である。ま
た、DPマッチングの時系列伸縮特性により、ズームア
ップ撮影画像やマクロ撮影画像をも検索することが可能
となる。
ック並びに対応するラベル列を用いて類似ライン行列を
得たが、垂直方向のブロック並びに対応するラベル列を
用いて類似ライン行列を得るようにすることも、上記と
同様の手法で実現可能である。
検索を行う例を説明したが、本発明はCGやCAD等の
人工的な画像の検索にも適応可能な技術であることは当
業者には明らかである。
色情報を選んだが、本発明はこれに限られるものではな
く、その他の画像パラメータを画像分割ブロックごとに
求めることで実施することも可能である。
識の例を挙げたが、その他の特徴量での検索結果との論
理演算を行うことにより、複数の特徴量からの高速な検
索を行うことも可能である。
いた検索を行う場合には、本発明で得られる類似度を1
つの新たなる画像特徴量とみなし、複数のパラメータを
用いた多変量解析を行い統計的な距離尺度を用いた検索
を行うことも可能である。また、上記実施形態では、類
似度が所定値を越える類似画像を検索結果として得る
が、類似度の高い画像から順に前もって指定された個数
の画像を検索結果として出力するようにしてもよいこと
はいうまでもない。
タ,インタフェイス機器,リーダ,プリンタなどの複数
の機器から構成されるシステムに適用しても、一つの機
器からなる装置(例えば、複写機,ファクシミリ装置な
ど)に適用してもよい。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ば、特徴量群(特徴量空間を分割して得られる特徴量の
グループ)を1つのシンボルで表現し(すなわちラベル
化し)、ラベル同士の類似度に基づく距離を上述の2次
元DPマッチングとペナルティーマトリクスによって与
える。このため、2つの画像のブロック間の距離の計算
量を大幅に減少させることができるとともに、類似した
特徴量が同じラベルで表されることになるので、類似画
像の検索を良好に行うことができる。
ラベル同士の距離概念を導入し、(2)比較するラベル
位置を前後曖昧に移動させることが出来、トータルの距
離が最小(類似度が最大)となるようなラベル行列の比
較を実現する上記2次元DPマッチングを導入したこと
により、画像のアングルが多少変わっても検索すること
が可能となり、雰囲気の似ている画像を検索できるよう
になる。
データベース(ラベル系列インデックスやラベル成分イ
ンデックス)を用いたことにより、画像検索が更に高速
化する。
特徴量の配置を考慮した類似画像の高速な検索が行われ
るとともに、撮影条件の変動等による違いを吸収した類
似画像の検索が可能となり、従来難しかった画像のアン
グルが変ったり、物体の位置が変ったり、あるいは他の
撮影条件が変動したりすることによる画像の特徴量のあ
る程度の違いを吸収するなど、ロバストな類似画像検索
を行うことが可能となる。
像の特徴量の配置を考慮した高速な類似画像の検索が可
能となる。また、本発明によれば、撮影アングルや撮影
倍率等の撮影条件の変動等による画像の変化を効果的に
吸収した類似画像検索が可能となる。
ロック図である。
ロック図である。
を説明する図である。
ローチャートである。
図である。
図である。
明する図である。
である。
す図である。
ャートである。
す図である。
ラベル間のペナルティマトリックスの一例を示す図であ
る。
図である。
した類似度算出の手順を説明するフローチャートであ
る。
定手順を示すフローチャートである。
Claims (16)
- 【請求項1】 画像を複数のブロックに分割し、各ブロ
ックについて取得された特徴量に応じてラベルを付与す
る付与手段と、 前記付与手段で付与されたラベルによりラベル行列を生
成する生成手段と、 前記生成手段で生成されたラベル行列を前記画像に対応
付けて記憶する記憶手段と、 前記記憶手段に記憶されたラベル行列に基づいて画像検
索を行う検索手段とを備え、 前記検索手段が、検索元画像のラベル行列より抽出され
る行単位のラベル列と、比較先画像のラベル行列より抽
出される行単位のラベル列とをDPマッチングによって
対応づける第1マッチング手段と、 前記検索元画像の行並びと、前記第1マッチング手段で
得られた行並びとの類似度をDPマッチングによって求
める第2マッチング手段とを備えることを特徴とする画
像検索装置。 - 【請求項2】 前記ラベル行列の行単位のラベル列は、
画像の水平方向に対応する並びであることを特徴とする
請求項1に記載の画像検索装置。 - 【請求項3】 前記ラベル行列の行単位のラベル列は、
画像の垂直方向に対応する並びであることを特徴とする
請求項1に記載の画像検索装置。 - 【請求項4】 前記ラベルは、多次元特徴量空間を複数
のセルに分割し、得られたセルの夫々に与えられる固有
のラベルであり、 前記付与手段は、前記ブロックの夫々について特徴量を
算出し、算出された特徴量が属するセルに付与されてい
るラベルを当該ブロックに付与することを特徴とする請
求項1に記載の画像検索装置。 - 【請求項5】 前記第2マッチング手段によって得られ
た類似度が所定値を越える画像を検索結果として出力す
る出力手段を更に備えることを特徴とする請求項1に記
載の画像検索装置。 - 【請求項6】 前記第1マッチング手段は、各ラベル値
のペアについてセル間の距離に基づくペナルティ値を保
持するテーブルを有し、前記検索元画像のラベル列と前
記比較先画像のラベル列との距離をDPマッチング手法
を用いて算出するに際して該テーブルを参照することを
特徴とする請求項1に記載の画像検索装置。 - 【請求項7】 前記第2マッチング手段は、行並びにお
ける各行番号のペアについてペナルティ値を保持するテ
ーブルを有し、前記検索元画像の行並びと前記比較先画
像の行並びの類似度をDPマッチング手法を用いて算出
するに際して、該テーブルを参照することを特徴とする
請求項1に記載の画像検索装置。 - 【請求項8】 前記検索元画像の各ラベル行列間の距離
に基づいて、行並びにおける各行番号のペアに対するペ
ナルティー値を決定し、これを保持する保持手段を更に
備え、 前記第2マッチング手段は、前記検索元画像の行並びと
前記比較先画像の行並びの類似度をDPマッチング手法
を用いて算出するに際して、前記保持手段で保持された
ペナルティー値を参照することを特徴とする請求項1に
記載の画像検索装置。 - 【請求項9】 前記第1マッチング手段は、検索元の画
像のラベル列と前記記憶手段に記憶されたラベル列との
類似度を演算するにおいて、更にラベル比較の系列伸縮
に伴うペナルティー及び制約を付与することを特徴とす
る請求項6に記載の画像検索装置。 - 【請求項10】 前記ラベル比較の系列伸縮に伴うペナ
ルティー及び制約はDPマッチングの理論に基づいて取
得されることを特徴とする請求項9に記載の画像検索装
置。 - 【請求項11】 前記生成手段で生成されるラベル行列
をキーとして画像のID群を登録する第1テーブルを更
に備え、 前記出力手段は、前記検索手段によって算出された類似
度が所定値を越えるラベル行列を取得し、前記第1テー
ブルを参照して取得されたラベル行列に対応する画像を
抽出し、これを検索結果として出力することを特徴とす
る請求項5に記載の画像検索装置。 - 【請求項12】 前記検索手段において類似度算出の対
象となるラベル行列が、前記第1テーブルのキーとなっ
ているラベル行列であることを特徴とする請求項11に
記載の画像検索装置。 - 【請求項13】 前記検索手段において類似度算出の対
象となるラベル行列は、前記記憶手段に記憶されたラベ
ル行列のうちの前記検索元画像のラベル行列に含まれる
ラベル成分と同一のラベル成分を所定数以上含むラベル
行列であることを特徴とする請求項11に記載の画像検
索装置。 - 【請求項14】 前記記憶手段に記憶されたラベル行列
について、各ラベル成分をキーとして、当該ラベル成分
を含むラベル行列群を登録した第2テーブルを更に備
え、 前記元画像に含まれるラベル成分と同一のラベル成分を
所定数以上含むラベル行列を前記第2テーブル参照して
取得し、取得されたラベル行列を前記演算手段における
類似度算出の対象とすることを特徴とする請求項13に
記載の画像検索装置。 - 【請求項15】 画像を複数のブロックに分割し、各ブ
ロックについて取得された特徴量に応じてラベルを付与
する付与工程と、 前記付与工程で付与されたラベルによりラベル行列を生
成する生成工程と、 前記生成工程で生成されたラベル行列を前記画像に対応
付けて記憶する記憶工程と、 前記記憶工程に記憶されたラベル行列に基づいて画像検
索を行う検索工程とを備え、 前記検索工程が、検索元画像のラベル行列より抽出され
る行単位のラベル列と、比較先画像のラベル行列より抽
出される行単位のラベル列とをDPマッチングによって
対応づける第1マッチング工程と、 前記検索元画像の行並びと、前記第1マッチング工程で
得られた行並びとの類似度をDPマッチングによって求
める第2マッチング工程とを備えることを特徴とする画
像検索方法。 - 【請求項16】 画像検索のための制御プログラムを格
納する記憶媒体であって、該制御プログラムが、 画像を複数のブロックに分割し、各ブロックについて取
得された特徴量に応じてラベルを付与する付与工程のコ
ードと、 前記付与工程で付与されたラベルによりラベル行列を生
成する生成工程のコードと、 前記生成工程で生成されたラベル行列を前記画像に対応
付けて記憶する記憶工程のコードと、 前記記憶工程に記憶されたラベル行列に基づいて画像検
索を行う検索工程のコードと、 前記検索工程において、検索元画像のラベル行列より抽
出される行単位のラベル列と、比較先画像のラベル行列
より抽出される行単位のラベル列とをDPマッチングに
よって対応づける第1マッチング工程のコードと、 前記検索元画像の行並びと、前記第1マッチング工程で
得られた行並びとの類似度をDPマッチングによって求
める第2マッチング工程のコードとを備えることを特徴
とする記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19016297A JP3720538B2 (ja) | 1997-07-15 | 1997-07-15 | 画像検索装置及び方法 |
US09/042,692 US6400853B1 (en) | 1997-03-19 | 1998-03-17 | Image retrieval apparatus and method |
DE69810369T DE69810369T2 (de) | 1997-03-19 | 1998-03-18 | Bildwiederauffindungsvorrichtung und -verfahren |
EP98301954A EP0866409B1 (en) | 1997-03-19 | 1998-03-18 | Image retrieval apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19016297A JP3720538B2 (ja) | 1997-07-15 | 1997-07-15 | 画像検索装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1139309A true JPH1139309A (ja) | 1999-02-12 |
JP3720538B2 JP3720538B2 (ja) | 2005-11-30 |
Family
ID=16253466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19016297A Expired - Fee Related JP3720538B2 (ja) | 1997-03-19 | 1997-07-15 | 画像検索装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3720538B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003109009A (ja) * | 2001-09-26 | 2003-04-11 | Communication Research Laboratory | 画像の類似性計測方法及び装置 |
JP2008140267A (ja) * | 2006-12-04 | 2008-06-19 | National Institute Of Advanced Industrial & Technology | 動作認識装置および動作認識処理方法 |
US7620247B2 (en) | 2004-11-22 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
CN105389333A (zh) * | 2015-10-13 | 2016-03-09 | 林炮勤 | 一种检索系统构建方法及服务器架构 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06318256A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
JPH08202733A (ja) * | 1995-01-31 | 1996-08-09 | Canon Inc | 画像検索方法及びその装置 |
JPH08249349A (ja) * | 1995-03-14 | 1996-09-27 | Masao Sakauchi | 画像データベース装置 |
JPH0916765A (ja) * | 1995-06-30 | 1997-01-17 | Meidensha Corp | 2次元画像のマッチング処理方法 |
-
1997
- 1997-07-15 JP JP19016297A patent/JP3720538B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06318256A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
JPH08202733A (ja) * | 1995-01-31 | 1996-08-09 | Canon Inc | 画像検索方法及びその装置 |
JPH08249349A (ja) * | 1995-03-14 | 1996-09-27 | Masao Sakauchi | 画像データベース装置 |
JPH0916765A (ja) * | 1995-06-30 | 1997-01-17 | Meidensha Corp | 2次元画像のマッチング処理方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003109009A (ja) * | 2001-09-26 | 2003-04-11 | Communication Research Laboratory | 画像の類似性計測方法及び装置 |
US7620247B2 (en) | 2004-11-22 | 2009-11-17 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, program, and storage medium |
JP2008140267A (ja) * | 2006-12-04 | 2008-06-19 | National Institute Of Advanced Industrial & Technology | 動作認識装置および動作認識処理方法 |
CN105389333A (zh) * | 2015-10-13 | 2016-03-09 | 林炮勤 | 一种检索系统构建方法及服务器架构 |
CN105389333B (zh) * | 2015-10-13 | 2019-04-09 | 深圳市红坚果科技有限公司 | 一种检索系统构建方法及服务器架构 |
Also Published As
Publication number | Publication date |
---|---|
JP3720538B2 (ja) | 2005-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6584223B1 (en) | Image search apparatus and method | |
US6400853B1 (en) | Image retrieval apparatus and method | |
US7620247B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
US6012069A (en) | Method and apparatus for retrieving a desired image from an image database using keywords | |
Zhang et al. | Scheme for visual feature-based image indexing | |
EP1516264B1 (en) | Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance | |
US6678687B2 (en) | Method for creating an index and method for searching an index | |
US20020146176A1 (en) | Method for representing and comparing digital images | |
US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
JP2001202523A (ja) | 画像処理方法及びその装置 | |
JP3754791B2 (ja) | 画像検索装置及び方法 | |
JP3952592B2 (ja) | 画像検索装置及び方法 | |
JP3720573B2 (ja) | 画像検索装置及び方法 | |
JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
JPH1139309A (ja) | 画像検索装置及び方法 | |
JP2002007413A (ja) | 画像検索装置 | |
JP2001160070A (ja) | コンテンツベース画像の検索の階層的方法 | |
JP2007079616A (ja) | 情報検索装置、情報検索装置の制御方法、及び制御プログラム | |
JP2001319232A (ja) | 類似画像検索装置および類似画像検索方法 | |
Egas et al. | Adapting kd trees to visual retrieval | |
JP2000076270A (ja) | 画像検索システム及びその制御方法、画像検索装置及びその制御方法、コンピュータ可読メモリ | |
JP2007034613A (ja) | 画像処理装置及びその方法 | |
JP4298001B2 (ja) | 画像検索装置及び方法 | |
JP2001134593A (ja) | 近傍データ検索方法及び装置及び近傍データ検索プログラムを格納した記憶媒体 | |
JP2001134594A (ja) | 類似特徴量の検索方法,その検索装置およびその検索プログラム記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041022 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050307 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050908 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090916 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100916 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110916 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120916 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130916 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |