WO2006051792A1

WO2006051792A1 - マッチング装置及び画像検索システム並びにヒストグラム近似復元装置、並びにマッチング方法及び画像検索方法並びにヒストグラム近似復元方法

Info

Publication number: WO2006051792A1
Application number: PCT/JP2005/020471
Authority: WO
Inventors: Seiichiro Kamata; Kazuyuki Tsuneyoshi
Original assignee: Kitakyushu Foundation For The Advancement Of Industry, Science And Technology; Waseda University
Priority date: 2004-11-12
Filing date: 2005-11-08
Publication date: 2006-05-18
Also published as: US8155451B2; US20080205756A1

Abstract

　２つのオブジェクトの類似性を高速かつ高精度に判定できるマッチング技術を提供する。　Ｎ次元空間に投影されたオブジェクトの特徴点の集合を比較して２つのオブジェクトの類似性を判定するマッチング方法において、前記集合を１次元空間に写像するマッピングステップ（Ｓ３）と、互いに最近傍に位置する前記第１のオブジェクトの特徴点と前記第２のオブジェクトの特徴点のペアの集合を生成するペアリングステップ（Ｓ６）と、前記特徴点のペアの集合から、前記ペアの距離が小さい順に、前記ペアの一部を抽出して、前記特徴点のペアの部分集合を作成する部分集合生成ステップ（Ｓ７）と、前記特徴点のペアの部分集合に属するペアの評価尺度を算出する平均値算出ステップ（Ｓ８）と、前記距離の平均値に基づいて、前記第１のオブジェクトと前記第２のオブジェクトの類似性を判定する判定ステップ（Ｓ１０）とを有する。

Description

明細書

マッチング装置及び画像検索システム並びにヒストグラム近似復元装置、並びにマッチング方法及び画像検索方法並びにヒストグラム近似復元方法

技術分野

[0001] 本発明は、 2つのオブジェクトの類似性を判定するマッチング技術及びそれを応用した画像検索技術に関する。

背景技術

[0002] ある共通の目的をもったデータを「オブジェクト（object)」とレ、う。一般に、オブジェクトは、例えば静止画像、動画像、音声、文章などのように、多数のデータ要素により構成される。情報検索の分野においては、 2つのオブジェクトを対比して、互いの類似性を判定するマッチング技術が極めて重要である。マッチング技術が応用される分野としては、画像検索、音声検索、文献検索など多岐に渡る。

[0003] 従来のマッチング技術としては、例えば、特許文献 1〜4に記載の技術が公知である。

[0004] 特許文献 1に記載のマッチング方法は、一の画像についての全ての特徴点の集合と、他の画像についての全ての特徴点の集合を比較して、両者が合同である場合に

、一の画像と他の画像は同一であると判定する。

[0005] 特許文献 2に記載の話者認証装置では、話者の発した音声をスペクトル分析して得た特徴量を、データベースに登録された特徴量と照合して話者を特定するマッチング処理を行う。

[0006] また特許文献 3の文書検索方法では、ある文書に出現する索引語の出現頻度を当該文書の特徴量に定めて文書を検索するマッチング処理を行う。

[0007] 上記に挙げたような従来のマッチング方法は、照合対象のオブジェクトから比較的少数の特徴量を抽出して、その特徴量の類似性を比較する。そのため、取り扱う変数が少なぐ計算処理が簡単で、高速処理が可能である。

[0008] ところで、情報検索の分野においては、マッチング処理の高速化が要求される一方

、マッチング精度の向上も求められる。マッチング精度を向上させるには、特徴点の点数を増やし、特徴量をできるだけ高次元ベクトルとすることが必要である。しかし、特徴点の点数や次元を極端に増やすと、計算処理が複雑となり、高速処理の要求に答えられなくなる。

[0009] そこで、特許文献 4に記載のマッチング方法では、 "画像の特徴"を N次元空間に写像された写像点で表示する場合において、 2つの画像内の構成点を N次元空間を充填する空間充填曲線に写像することによって、一次元空間に写像し、写像された 2 つの写像点間の距離により、当該 2つの画像間の類似性を評価する。

[0010] このマッチング方法に使用する"画像の特徴"は、 600個の異なるカラー'ビンを使用して生成された画像のヒストグラムである。つまり、このマッチング方法は、 600色の異なる色に対応する画素の数の組み合わせを"画像の特徴"とするものであり、 600 次元空間を仮定する。そして、ヒストグラムの各色の画素数を 600次元空間の座標とし、ヒストグラム（すなわち"画像の特徴"）を、 600次元空間内の点として表示する。さらに、この点を 600次元空間を充填する空間充填曲線上に写像することによって、一次元空間に写像する。

[0011] 特許文献 1 :特開 2001— 109885号公報

特許文献 2：特開 2004— 294755号公報

特許文献 3 :特開 2005— 025465号公報

特許文献 4：特表 2002— 524789号公報

特許文献 5 :特開 2002— 150287号公報

特許文献 6 :特開 2004— 312693号公報

特許文献 7 :特開 2003— 312693号公報

非特許文献 1：鎌田清一郎，「ヒルベルト走査を利用した濃淡画像の情報圧縮に関する考察」，電子情報通信学会論文誌， Vol.J80-D-II, No.2, pp.426-433, 1997年 2月発明の開示

発明が解決しょうとする課題

[0012] 上述のように、特許文献 4に記載のマッチング方法では、 N次元空間上の特徴点を一次元空間に写像し、写像された一次元空間内の 2つの画像の特徴点間の距離を用いて、 2つの画像の類似性を評価する。そのため、類似性評価が容易にできる。これは、空間充填曲線上で近傍に存在する点は元の空間においても近傍に存在するという性質を利用している。

[0013] し力ながら、元の空間においても近傍に存在する点は、必ずしも空間充填曲線上で近傍に存在するとは限らなレ、。すなわち、 2つの画像の特徴点が元の 600次元空間において近接していたとしても、一次元空間に写像すると距離が大きくなる。従つて、類似性を低く評価される場合があり、本来、類似画像として抽出されるべき画像が抽出されない場合が生じる。従って、特許文献 4に記載のマッチング方法では、必ずしも高レ、マッチング精度は得られなレ、ことが容易に推測される。

[0014] そこで、本発明の目的は、 2つのオブジェクトの類似性を高速かつ高精度に判定できるマッチング技術を提供することにある。

[0015] また、本発明の他の目的は、前記オブジェクト間のマッチング技術を応用して、高速かつ高精度に画像の検索を行うことのできる画像検索技術を提供することにある。

[0016] さらに、上記画像検索装置の前処理としての画像の粗検索に使用するための画像検索技術及びそれに用いる画素値ヒストグラム近似復元技術を提供することを目的とする。

課題を解決するための手段

[0017] 本発明のマッチング装置の第 1の構成は、基準オブジェクトと被照合オブジェクトとを比較照合し、両オブジェクトの類似性を判定するマッチング装置であって、前記各オブジェクトの各データ要素を一次元空間に展開する全単射 (bijection)により、前記各オブジェクトから抽出された特徴点を前記一次元空間に写像する写像手段と、

前記一次元空間において、前記基準オブジェクトの特徴点の最近傍にある前記被照合オブジェクトの特徴点を探索し、前記基準オブジェクトの特徴点と前記被照合ォブジエタトの特徴点のペアの集合 (以下「ペア集合」とレ、う。）を生成するペアリング手段と、

前記ペア集合から、ペアをなす両特徴点間の距離（以下「ペア距離 (pair-distance) 」という。）が小さい順に、前記ペアの一部を抽出した部分ペア集合を生成するペア抽出手段と、前記部分ペア集合に属するペアのペア距離に基づき、前記基準オブジェクトと前記被照合オブジェクトの間の評価尺度を算出する評価尺度演算手段と、

前記評価尺度に基づき、前記基準オブジェクトと前記被照合オブジェクトの類似性を判定する判定手段とを備えたことを特徴としている。

[0018] この構成によれば、特徴点のペア集合から、ペア距離の小さいペアだけを抽出して特徴点の部分ペア集合を生成し、この部分ペア集合に属するペアのペア距離に基づいて評価尺度を算出するので、例外的に遠距離にあるペア、特に、元のオブジェ外空間にあっては近距離にあつたが、写像手段による全単射により遠距離に写像されたペアの影響を排除して、両オブジェクトの類似性と評価尺度との相関を高めることが可能となる。

[0019] ここで、「オブジェクト」とは、ある共通の目的をもったデータをレ、う。例えば、静止画像、動画像、音声、文章などのようなコンテンツが挙げられる。

[0020] 「評価尺度」とは、基準オブジェクトと被照合オブジェクトの間の類似性の評価基準となる距離又は類似度をいう。評価尺度としては、部分ペア集合に属するペアのペア距離の平均値，部分ペア集合に属するペアのペア距離の平均値に全体のペア数に対する部分ペア集合のペア数の割合に比例した重みを乗じた値などを使用することができる。

[0021] 判定手段による「類似性」の判定は、例えば、評価尺度の閾値判定や、複数の被照合オブジェクトに対する評価尺度の比較判定などの方法が用いられる。

[0022] また、前記第 1の構成において、ペア抽出手段は、前記ペア集合から、ペア距離が小さい順に、所定数の前記ペアを抽出した部分ペア集合を生成するように構成すること力 Sできる。この場合、ペア距離の分布においてペア距離が大きい側の端側にあるペアについては、評価尺度の算出に当たっては評価されない。従って、両ォブジェクト間の対応するデータ要素のうち、全単射により離ればなれとなったデータ要素のぺァが評価尺度に及ぼす影響が軽減される。

[0023] 尚、この場合、部分ペア集合を構成する特徴点のペアの数は、ペア集合を構成する特徴点のペアの総数の 50 %程度とするのが良好である。

[0024] また、前記第 1の構成において、前記ペア抽出手段は、前記ペア集合から、ペア距離が所定の閾値以下の前記ペアを抽出した部分ペア集合を生成するように構成すること力 Sできる。この場合、ペア距離が所定の閾値を超えたペアは、全単射により離ればなれとなったデータ要素のペアであるとみなされ、評価尺度の計算には繰り込まれなレ、。これにより、両オブジェクトの類似性と評価尺度との相関を高めることができる。

[0025] 本発明のマッチング装置の第 2の構成は、前記第 1の構成において、前記ペア抽出手段は、前記ペア集合から、ペア距離が所定の閾値以下の前記ペアを抽出した部分ペア集合を生成するものであり、

前記評価尺度演算手段は、前記部分ペア集合に属するペアのペア距離の和 S1を算出し、前記部分ペア集合に属さないペア数に所定の加重値を乗じた値 S2を算出し、前記和 S1と値 S2との和 S1 + S2を前記ペア集合の全ペア数で割ることにより評価尺度を算出することを特徴とする。

[0026] この場合、ペア距離が所定の閾値を超えたペアは、全単射により離ればなれとなつたデータ要素のペア（以下「離散ペア」という。）であるとみなされ、そのペア距離自体は評価尺度の計算には繰り込まれなレ、。し力しながら、全体のペアに占める離散べァの割合は、離散ペア数に所定の加重値を乗じた値 S2として評価尺度の算出に繰り込まれる。すなわち、加重値を適度に調節すれば、離散ペアの割合が多いほど両オブジェクト間の類似性は低く評価され、両オブジェクトの類似性と評価尺度との相関を高めることができる。

[0027] ここで、本発明において「加重値」は、特に特定はしないが、通常は、ペア抽出手段がペアの抽出の際に使用する「所定の閾値」を用レ、ることが好ましレ、。部分ペア集合に属するペアのペア距離の上限値であり、両オブジェクトの類似性と評価尺度との相関を高めるための加重値として使用するのに合理的な値だからである。

[0028] 本発明のマッチング装置の第 3の構成は、前記第 1又は 2の構成において、前記写像手段は、前記特徴点を前記各オブジェ外の全てのデータ要素を通過する空間充填曲線上に写像することを特徴とする。

[0029] 空間充填曲線による写像は、元の空間における 2点の距離と、写像後の前記 2点の距離の間に相関があるので、この構成によれば、オブジェクトの類似性と前記距離の平均値の相関を高めることができる。尚、空間充填曲線にはヒルベルト曲線、シェルピンスキー曲線、ペアノ曲線などが知られている。

[0030] 本発明のマッチング装置の第 4の構成は、前記第 3の構成において、前記空間充填曲線はヒルベルト曲線であることを特徴とする。

[0031] ヒルベルト曲線の屈曲角は全て直角なので、ヒルベルト曲線は二次元画像のような方形の空間を充填するのに適している。

[0032] 本発明のマッチング装置の第 5の構成は、前記第 1乃至 4の何れか一の構成において、前記各オブジェクトは画像であることを特徴とする。

[0033] この構成によれば、多数の画素（データ要素）から構成される画像の少数の特徴点に基づレ、て画像の照合を行うので、画像の照合を高速化することができる。

[0034] 本発明のマッチング装置の第 6の構成は、前記第 5の構成において、前記特徴点はエッジ点であることを特徴とする。

[0035] エッジ点は他の特徴点に較べて検出が容易なので、この構成によれば安定確実な画像の照合を実現することができる。

[0036] 本発明のヒストグラム近似復元装置の第 1の構成は、原画像データの各画素の画素値を量子化するとともにランレングス符号化することにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。）から、前記原画像の画素値ヒストグラムを近似的に復元するヒストグラム近似復元装置であって、

前記圧縮画像記憶手段に記憶された前記圧縮画像データの各画素値 C 0=1,2,—

,Μ, Μは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。を算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成手段と、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( χ)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成する近似ヒストグラム生成手段と、を有することを特徴とする。 [0037] この構成によれば、離散ヒストグラム生成手段は、圧縮画像データの各画素値に対し、上記画素値度数 Lを算出することにより、圧縮画像データの復元を行うことなく圧縮画像データの全体領域又は特定部分領域における画素値のヒストグラム（離散ヒストグラム ·データ）を算出することができる。すなわち、復号動作が伴わないので、圧縮画像データから高速に離散ヒストグラム 'データを再生できる。更に、近似ヒストグラム生成手段は、画素値に対して離散的な画素値度数を持った離散ヒストグラム'データに対して、上記分散配分を行うことによって、画素値に対して連続的な画素値度数を持つ近似ヒストグラム 'データに変換する。これにより原画像データに近レ、ヒストグラム ·データを復元することができる。

[0038] 本発明のヒストグラム近似復元装置の第 2の構成は、前記第 1の構成において、前記近似ヒストグラム生成手段は、

前記離散ヒストグラム ·データ { (C， L ) |i=l，2，■ ·■，M}の各画素値度数 L 0=1,2,·■ · ,Μ) を、（数 1)の正規分布関数 G (x)で表される正規分布となるように画素値 Cの近傍の画素値 Xの画素値度数 L (x)に分散配分することにより、前記近似ヒストグラム 'データを生成することを特徴とする。

[0039] [数 1]

[0040] この構成によれば、上記正規分布関数 G (x)は離散ヒストグラム 'データ { (C, L ) |i=l ，2，· · ·,Μ}の各画素値 C、画素値度数 Lおよび標準偏差 σの関数なので、標準偏差 σを仮定するだけで、原画像データに近いヒストグラム 'データを復元することができる。

[0041] 本発明のヒストグラム近似復元装置の第 3の構成は、前記第 1又は 2の構成において、前記近似ヒストグラム生成手段は、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 σ =^/4の正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L (x)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成することを特徴とする。

[0042] この構成によれば、標準偏差 σの値をとするので、離散ヒストグラム 'データ { ( C , ϋ |ί=1,2，· · ·，Μ}から一意的に上記正規分布を決定することができる。これにより、ヒストグラム ·データの復元を更に高速化できる。

[0043] 本発明のヒストグラム近似復元装置の第 4の構成は、前記第 1又は 2の構成において、前記圧縮画像データは、前記原画像データの各画素の画素値を量子化するとともに、各ランにおいて当該ランに対応する原画像データの画素値の分散が所定の閾値 Γ以下となるようにランレングスを決定することによりランレングス符号ィ匕されたものであり、

前記近似ヒストグラム生成手段は、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 _σ = Γ ^1/2の正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L (x)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成することを特徴とする。

[0044] この構成によれば、各ランに対応する原画像データの画素値の分散の閾値 Γの平方根を標準偏差 σの値とするので、標準偏差 σの精度の良い推定値が得られ、ヒストグラム ·データの近似復元の精度が向上する。

[0045] 本発明のヒストグラム近似復元装置の第 5の構成は、前記第 1又は 2の構成において、前記圧縮画像データは、前記原画像データの各画素の画素値を量子化するとともに、各ランにおいて当該ランに対応する原画像データの画素値の分散が所定の閾値 Γ以下となるようにランレングスを決定することによりランレングス符号ィ匕されたものであり、

前記近似ヒストグラム生成手段は、

前記標準偏差 σが、 C Z4又は前記閾値 Γの平方根のうちの何れか小さい値であること

を特徴とする。

[0046] この構成によれば、標準偏差 σの値を C Z4又は前記閾値 Γの平方根のうちの何れカ vj、さい値とするので、標準偏差 σの値が過大に推定されるのを避けることができる。これにより、ヒストグラム 'データの近似復元の精度が向上する。

[0047] 本発明の画像検索システムの第 1の構成は、原画像データの各画素の画素値を量子化するとともにランレングス符号化することにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。 )が複数記憶された画像データベース、

及び、基準画像の画素値ヒストグラム ·データ（以下「基準ヒストグラム ·データ」とレ、う。）が記憶された基準ヒストグラム記憶手段

を有し、前記画像データベースに記憶された前記圧縮画像データの中から前記基準画像に類似するものを検索する画像検索システムにおいて、

前記画像データベースに記憶された前記圧縮画像データの各画素値 C 0=1,2,- · -,

Μ ; Μは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」とレ、う。 ) Lを算出することにより離散ヒストグラム ·データを生成する離散ヒストグラム生成手段と、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 _σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( x)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム ·データを生成する近似ヒストグラム生成手段と、

前記基準ヒストグラム記憶手段に記憶されている前記基準ヒストグラム 'データと前記近似ヒストグラム 'データとの類似度を算出する類似度計算手段と、

前記各圧縮画像データの前記類似度に基づいて、前記基準画像に類似する一乃至複数の前記圧縮画像データを選出する画像選出手段と、を備えていることを特徴とする。

[0048] この構成によれば、離散ヒストグラム生成手段は、圧縮画像データの各画素値 Cに対し、上記画素値度数 Lを算出することにより、圧縮画像データの復元を行うことなく圧縮画像データの全体領域又は特定部分領域における画素値のヒストグラム（離散ヒストグラム.データ）を算出することができる。すなわち、基準ヒストグラム 'データ、圧縮画像データから高速に離散ヒストグラム 'データを再生できる。更に、近似ヒストグラム生成手段は、画素値に対して離散的な画素値度数を持った離散ヒストグラム'データに対して、上記分散配分を行うことによって、画素値に対して連続的な画素値度数を持つ近似ヒストグラム 'データに変換する。そして、前記近似ヒストグラム 'データと基準ヒストグラム 'データとの類似度が算出される。これにより、圧縮画像データの復元を行うことなく原画像データに近レ、ヒストグラム ·データを復元して、基準ヒストグラム · データとの類似度を算出できるので、圧縮画像データに対する画像検索を高速化できる。

[0049] 本発明の画像検索システムの第 2の構成は、前記第 1の構成において、前記類似度計算手段は、前記近似ヒストグラム 'データと前記基準ヒストグラム 'データとの差分を前記類似度として算出することを特徴とする。

[0050] この構成によれば、類似度計算手段は、前記近似ヒストグラム 'データと前記基準ヒストグラム'データとの差分を前記類似度として算出するので、類似度の算出が単純になり、画像検索に要する時間を更に短縮できる。

[0051] 本発明の画像検索システムの第 3の構成は、前記第 1又は 2の構成において、前記画像選出手段により選出された一乃至複数の前記圧縮画像データを候補画像の圧縮画像データとして、前記各候補画像の圧縮画像データに基づき、当該候補画像の特徴点を抽出し、それら特徴点の一次元空間上の座標を算出する第 1の特徴点抽出手段と、

前記基準画像の特徴点を抽出し、それら特徴点の一次元空間上の座標を算出する第 2の特徴点抽出手段と、

前記一次元空間において、前記基準画像の特徴点の最近傍にある前記候補画像の特徴点を探索し、前記基準画像の特徴点と前記候補画像の特徴点のペアの集合 (以下「ペア集合」とレ、う。）を生成するペアリング手段と、

前記ペア集合から、ペアをなす両特徴点間の距離 (以下「ペア距離 (pair-distance) 」という。）が小さい順に、前記ペアの一部を抽出した部分ペア集合を生成するペア抽出手段と、

前記部分ペア集合に属するペアのペア距離に基づき、前記基準画像と前記候補画像の間の評価尺度を算出する評価尺度演算手段と、

前記評価尺度に基づき、前記基準画像と前記候補画像の類似性を判定する判定手段と

を備えたことを特徴とする。

[0052] この構成によれば、ヒストグラムの比較による画像検索によって、基準画像に類似する候補画像をある程度絞り込んだ上で、特徴点抽出を用いたマッチングによってより厳密な画像照合を行うことで、高速かつ正確な画像検索が可能となる。また、圧縮画像を復号する必要がなぐ計算量 ·計算時間ともに短縮できる。

[0053] 本発明のマッチング方法は、基準オブジェクトと被照合オブジェクトとを比較照合し、両オブジェクトの類似性を判定するマッチング方法であって、

前記各オブジェクトの各データ要素を一次元空間に展開する全単射 (bijection)により、前記各オブジェクトから抽出された特徴点を前記一次元空間に写像する写像ステツプと、

前記一次元空間にぉレ、て、前記基準オブジェクトの特徴点の最近傍にある前記被照合オブジェクトの特徴点を探索し、前記基準オブジェ外の特徴点と前記被照合ォブジエタトの特徴点のペアの集合（以下「ペア集合」とレ、う。）を生成するペアリング'ステツプと、

前記ペア集合から、ペアをなす両特徴点間の距離（以下「ペア距離 (pair-distance) 」という。）が小さい順に、前記ペアの一部を抽出した部分ペア集合を生成するペア抽出ステップと、

前記部分ペア集合に属するペアのペア距離に基づき、前記基準オブジェクトと前記被照合オブジェクトの間の評価尺度を算出する評価尺度演算ステップと、

前記評価尺度に基づき、前記基準オブジェクトと前記被照合オブジェクトの類似性を判定する判定ステップとを備えたことを特徴とする。

[0054] 本発明のヒストグラム近似復元方法は、原画像データの各画素の画素値を量子化するとともにランレングス符号化することにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。）から、前記原画像の画素値ヒストグラムを近似的に復元するヒストグラム近似復元方法であって、前記圧縮画像記憶手段に記憶された前記圧縮画像データの各画素値 (i=l ,2,〜

,Μ, Μは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。）Lを算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成ステップと、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( χ)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成する近似ヒストグラム生成ステップと、を有することを特徴とする。

本発明の画像検索方法の第 1の構成は、原画像データの各画素の画素値を量子化するとともにランレングス符号化することにより得られた圧縮画像の画像データ（以下「圧縮画像データ」とレ、う。 )が複数記憶された画像データベース、

を備えたシステムにおレ、て、前記画像データベースに記憶された前記圧縮画像データの中から前記基準画像に類似するものを検索する画像検索方法であって、前記画像データベースに記憶された前記圧縮画像データの各画素値 C 0=1,2,· · ·, M ; Mは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。）Lを算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成ステップと、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( χ)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成する近似ヒストグラム生成ステップと、前記基準ヒストグラム記憶手段に記憶されている前記基準ヒストグラム 'データと前記近似ヒストグラム 'データとの類似度を算出する類似度計算ステップと、

前記各圧縮画像データの前記類似度に基づいて、前記基準画像に類似する一乃至複数の前記圧縮画像データを選出する画像選出ステップと、を備えていることを特徴とする。

[0056] 本発明の画像検索方法の第 2の構成は、前記第 1の構成において、前記画像選出ステップにおいて選出された一乃至複数の前記圧縮画像データを候補画像の圧縮画像データとして、前記各候補画像の圧縮画像データに基づき、当該候補画像の特徴点を抽出し、それら特徴点の一次元空間上の座標を算出する第 1の特徴点抽出ステツプと、

前記基準画像の特徴点を抽出し、それら特徴点の一次元空間上の座標を算出する第 2の特徴点抽出ステップと、

前記一次元空間にぉレ、て、前記基準画像の特徴点の最近傍にある前記候補画像の特徴点を探索し、前記基準画像の特徴点と前記候補画像の特徴点のペアの集合 (以下「ペア集合」という。）を生成するペアリング 'ステップと、

前記部分ペア集合に属するペアのペア距離に基づき、前記基準画像と前記候補画像の間の評価尺度を算出する評価尺度演算ステップと、

前記評価尺度に基づき、前記基準画像と前記候補画像の類似性を判定する判定ステップとを備えたことを特徴とする。

[0057] 本発明のプログラムの第 1の構成は、コンピュータに読み込んで実行することにより、コンピュータを前記第 1乃至 6の何れか一の構成のマッチング装置として機能させることを特徴とする。

[0058] 本発明のプログラムの第 2の構成は、コンピュータに読み込んで実行することにより、コンピュータを前記第 1乃至 5の何れか一の構成のヒストグラム近似復元装置として機能させることを特徴とする。 [0059] 本発明のプログラムの第 3の構成は、コンピュータに読み込んで実行することにより、コンピュータを前記第 1乃至 3の何れか一の構成の画像検索システムとして機能させることを特徴とする。

発明の効果

[0060] 以上説明したように、本発明によれば、多次元の空間に投影された複数の特徴点を一次元空間に写像して、前記一次元空間における 2つのオブジェクトの特徴点の距離に基づいて、前記 2つのオブジェクトの類似性を判定するので、オブジェクトマツチングの演算処理を容易にし、オブジェクトマッチングを高速化する効果がある。

[0061] また、本発明はランレングス符号ィ匕圧縮した画像データの離散的な画素値ヒストグラムの近傍に画素が正規分布するように画素を配分して、離散的な画素値ヒストグラムから原画像の連続的な画素値ヒストグラムを近似復元するので、原画像の画素値ヒストグラムを効率よぐかつ精度良く復元する方法を提供することができる。また、近似復元した画素値ヒストグラムと基準画像の画素値ヒストグラムを比較して類似度を求めるので画像データの検索を高速処理できる。このような効果により、本発明は画像検索の高速化と高精度化に資するものである。

図面の簡単な説明

[0062] [図 1]本発明の実施例 1に係るマッチング装置 1を用レ、た画像検索装置の機能構成を表すブロック図である。

[図 2]本発明の実施例 1に係るマッチング方法を用いた画像検索方法を示すフローチャートである。

[図 3]クエリ画像上の特徴点をヒルベルト曲線上に写す写像の説明図である。

[図 4]データ画像上の特徴点をヒルベルト曲線上に写す写像の説明図である。

[図 5]クエリ画像の特徴点とデータ画像の特徴点のペアを示す図である。

[図 6]クエリ画像の特徴点とデータ画像の特徴点のペアを示す図である。

[図 7]実施例 2に係るマッチング装置を用いた画像検索装置の機能構成を表すブロック図である。

[図 8]実施例 2に係るマッチング装置 1による画像のマッチング処理を表すフローチヤートである。 [図 9]実施例 2のマッチング方法の評価に使用するクエリ画像及びデータ画像の原画像である。（a)クエリ画像，（b)データ画像の原画像。

[図 10]図 9の各画像のエッジ抽出を行うことにより得られる 2値エッジ画像である。 (a) クエリ画像の 2値エッジ画像，（b)データ画像の原画像の 2値エッジ画像。

[図 11]図 9の原画像に各種ノイズをカ卩えて得られるデータ画像である。（a)ガウシアン

•ノイズ (Gaussian noise) ( σ = 10, σは分散)， (b)ポ /'ソン.ノイズ (Poisson noise) ,

(c)乗法性雑音 (Multiplicative noise) ( v = 10, vは分散）， (d)ごま塩雑音 (Salt &

Pepper Noise) (d= 10, dはノイズ密度），（e)原画像に対し 20%の量のエッジ点をランダムに付加，（f)原画像に対し 50。/oの量のエッジ点をランダムに削除。

[図 12]MHDの最小化によるマッチング方法と、実施例 2のマッチング方法との計算時間の比較を表した図である。

[図 13]本発明の実施例 3に係る画像検索システムの構成を表すブロック図である。

[図 14]図 13の粗検索部 34の構成を表すブロック図である。

[図 15]図 13のマッチング部 38の構成を表すブロック図である。

[図 16]—次元画像の区間 Lを区間 Lと区間 Lに分割する分割例である。

1 2

[図 17]ランレングス符号ィ匕により圧縮された画像データの例を示す模式図である。

[図 18]粗検索処理の流れを表すフローチャートである。

[図 19]領域圧縮データ画像力も作成した離散ヒストグラムである。

[図 20]画素値 Cの近傍に分布する画素を示すヒストグラム及びそれらを合成したヒストグラムである。

[図 21]原画像のヒストグラムである。

[図 22]マッチング部 38におけるマッチング処理の流れを表すフローチャートである。符号の説明

1 マッチング装置

2 画像入力手段

2a CCD

2b ADC

3 エッジ抽出手段写像手段

画像データベースペアリング手段

ペア抽出手段

評価尺度演算手段判定手段

画像出力手段クエリ画像

ヒルベルト曲線画像切出手段画像検索装置フレーム 'メモリ領域抽出手段領域画像記憶手段粗検索部

画像符号化部基準画像記憶手段候補画像記憶手段マッチング部

ヒストグラム近似復元装置ヒストグラム作成手段基準ヒストグラム記憶手段領域抽出手段比較演算手段画像選択手段領域圧縮画像記憶手段離散ヒストグラム生成手段近似ヒストグラム生成手段 61 エッジ抽出手段

62 マッチング装置

63 エッジ抽出手段

65 ペアリング手段

67 ペア抽出手段

68 評価尺度演算手段

69 判定手段

71〜74 ヒストグラム

75 近似ヒストグラム

発明を実施するための最良の形態

[0064] 以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

実施例 1

[0065] 実施例 1では、本発明に係るマッチング装置の適用事例として、画像マッチングに適用した例について説明する。

[0066] 図 1は、本発明の実施例 1に係るマッチング装置 1を用いた画像検索装置の機能構成を表すブロック図である。

[0067] 本実施例の画像検索装置は、マッチング装置 1、画像入力手段 2、画像データべース（以下「画像 DB」という。） 5、及び画像出力手段 10を備えている。

[0068] 画像入力手段 2は、基準オブジェクトであるクエリ画像又は被照合オブジェクトであるデータ画像を入力するためインターフェイスである。クエリ画像はデジタルカメラ等の撮像手段から直接入力される他、記録媒体からの入力、通信回線等を経由する他の情報機器力入力などの入力形態を選択することができる。また、画像入力手段 2 は画像 DB5に記憶されるデータ画像の入力にも使用される。

[0069] 画像 DB5は、被照合オブジェクトであるデータ画像を写像手段 4で一次元空間に写像された特徴点の位置情報と共に記憶する手段である。画像入力手段 2から入力された画像が、データ画像であれば、画像情報と特徴点の位置情報が画像 DB5に書き込まれる。 [0070] マッチング装置 1は、基準オブジェクトであるクエリ画像と被照合オブジェクトであるデータ画像を比較照合し、両画像の類似性の判定を行う。

[0071] 画像出力手段 10は、マッチング装置 1によりクエリ画像に類似すると判定されたデータ画像を、画像 DB5から読み出して出力する。

[0072] マッチング装置 1は、エッジ抽出手段 3、写像手段 4、ペアリング手段 6、ペア抽出手段 7、評価尺度演算手段 8、及び判定手段 9を備えている。

[0073] エッジ抽出手段 3は、画像入力手段 2から入力された画像を解析して特徴点としてエッジを抽出する。エッジとは、画像の輝度あるいは色が不連続に変化する境界であり、物体を撮像した画像においては、当該物体の輪郭や稜線 (不連続面の境界線）がエッジとして検出される。本実施例ではエッジに属する画素を特徴点として使用する。また、特徴点の数を減じて、以後の処理を容易にするために、特に顕著なエッジのみを抽出してもよいし、複数のエッジの交点を特徴点としてもよい。

[0074] 写像手段 4は、エッジ抽出手段 3で抽出した特徴点を一次元空間に写像する手段である。エッジ抽出手段 3で抽出した特徴点は二次元画像の画素であり、その位置は二次元座標で表示される。これを一次元空間に全単射して特徴点の位置を一次元の座標で表示できるようにする。この操作を、以下「一次元空間への写像」と呼ぶことにする。一次元空間への写像の具体的な手法は後述する。

[0075] ペアリング手段 6には、写像手段 4からクエリ画像の特徴点の位置情報が入力され、画像 DB5からデータ画像の特徴点の位置情報が入力される。ペアリング手段 6は、これら両画像の特徴点の位置情報に基づき、一次元空間において、クエリ画像の各特徴点について、その最近傍にあるデータ画像の特徴点を探索する。そして、クエリ画像の特徴点とデータ画像の特徴点のペア集合を生成する。尚、ペア探索の手法については後述する。

[0076] ペア抽出手段 7は、ペアリング手段 6が作成した特徴点のペア集合から、ペア距離力、さいペアから順に、ペアの一部を抽出して、部分ペア集合を作成する。

[0077] 評価尺度演算手段 8は、ペア抽出手段 7で作成した部分ペア集合の距離の平均値を評価尺度として算出する。

[0078] 判定手段 9は、クェリ画像と各データ画像の間で、評価尺度である距離の平均値を比較して、距離の平均値が最小になるデータ画像をクエリ画像に最も近似するデータ画像であると判定する。また、距離の平均値を閾値判別して、距離の平均値が、所定の閾値より小さいデータ画像（単数又は複数)を、クエリ画像に近似するデータ画像であると判定してもよい。

[0079] 尚、本実施例の画像検索装置は、コンピュータに画像入力手段 2、エッジ抽出手段 3、写像手段 4、ペアリング手段 6、ペア抽出手段 7、評価尺度演算手段 8、判定手段 9、及び画像出力手段 10のそれぞれ処理手順を記述したプログラムをインストールし、当該コンピュータの記憶装置に画像 DB5を備えることでも実現できる。コンピュータは、既成のパーソナルコンピュータ等の中力適当な機種を選択すれば良いが、専用のハードウェアを設計して、ボードあるいはチップに纏めてもよい。

[0080] 図 2は、本実施例の画像検索装置による画像検索方法を示すフローチャートである。以下、この図に付したステップ番号を引用して、画像検索方法を説明する。

[0081] まず、ステップ S1において、画像入力手段 2は、クエリ画像を読み込む。

[0082] 次に、ステップ S2において、エッジ抽出手段 3は、画像入力手段 2から入力されたクエリ画像を解析して、クエリ画像のエッジ画像 {Cq I ί= 1,2，· · ·，Ν}を生成する。ここで、データ要素（画素） Cqは、二次元平面上の点である（Cq ER²)。

[0083] 次に、ステップ S3において、写像手段 4は、エッジ画像 {Cq | i= 1，2,· · ·,Ν}をタエリ画像の全ての画素を通過するヒルベルト曲線上に全単射して、ヒルベルト曲線上の特徴点の集合 {Cqh I ί= 1,2, · · ·，Ν}を得る。ここで、特徴点 Cqhは、一次元平面上の点である（Cqh eR)。

[0084] 次に、ステップ S4において、ペアリング手段 6は、ヒルベルト曲線上の特徴点 Cqh (i = 1，2，· · ·,Ν)を並べ替えて、ヒルベルト曲線上の特徴点の座標の集合 {u I j= l,2,

j

■•-,N ;u≤u≤- - -≤u }を得る。

j j N

[0085] 図 3は、クエリ画像上の特徴点をヒルベルト曲線上に写す写像の説明図である。図 3 (a)はクエリ画像上の特徴点 Cqの分布を示し、図 3 (b)はヒルベルト曲線上に写された特徴点 Cqhの分布を示し、図 3 (c)は特徴点 Cqhを昇順に並べ替えた座標 uの配列を示す。図 3 (a)において、クエリ画像 11は、 8 X 8個の画素力構成される。ヒルベルト曲線 12は、クエリ画像 11の全ての画素を通過する空間充填曲線である。クエリ画像 11上の特徴点の集合 {C^ I ί=1,2,···，Ν}を、ヒルベルト曲線 12上に全単射することにより、ヒルベルト曲線 12上の特徴点の集合 {Cqh I ί=1,2,···，Ν}が得られる。ヒルベルト曲線 12を延ばして直線で表示すると、ヒルベルト曲線上の特徴点の集合 {Cqh I ί=1，2，···,Ν}は、図 3(b)に示すような直線上の点列として表すことができる。特徴点 Cqhを、座標値について昇順に並べ直すと、図 3(c)に示すような座標 u

i J

(j=l,2,---,N;u ≤u ≤ - ≤u )の列が得られる。図 3(b)又は図 3(c)から直感的に

1 2 N

理解できるように、ヒルベルト曲線上の点の位置は一次元座標（例えば、当該ヒルべノレト曲線の始点 Sを原点とし、始点 Sから終点 Eに向力、う方向を正の方向に取る座標）で表現される。従って、ヒルベルト曲線上の 2点の距離は、一次元座標の差として算出すること力 Sできる。

[0086] 次に、ステップ S5において、データ画像について事前にステップ 2〜ステップ 4を実行して、算出しておいた当該データ画像の特徴点の座標の集合 I k=l,2,---,N'

k

； v ≤v≤〜≤v }を、画像 DB5から読み出す。

1 2 Ν'

[0087] 次に、ステップ S6において、ペアリング手段 6は、クエリ画像の特徴点の座標の集合 {u I j=l,2,---,N;u≤u≤---≤u }に属する各データ要素 uについて、下式（1)を j j j N j

満たすデータ画像の特徴点の座標の集合 {v I k=l，2， '，N' ;v≤v≤〜≤v }の

k j j N' データ要素 v を求める。そして、 uと v のペア集合 {(u, v ) I j=l，2,"',N}を作成

ιφ j ιϋ) i ιϋ)

する。ここで、記号 II · IIは一次元空間のユークリッド距離（Euclidean norm distance) を表す。

[0088] [数 2]

||? '― '' (j)|| -- min ― 'ί，ι| |卜一 -?21 ] , .... ||'" ― v^- \ \ } (1J

[0089] 次に、ステップ S7において、ペア抽出手段 7は、ペア集合 { (u， V ) I j=l,2,---,N

j Ki)

}から、ペア距離 II u— V IIが小さい順に P(Pは、 P<Nを満たす自然数)個のデー

i Ki)

タ要素を抽出し、特徴点の部分ペア集合 { (u , V ) I πι=1，2，···，Ρ}を作成する。

m lvm

[0090] 次に、ステップ S8において、評価尺度演算手段 8は、下式（2)によって、特徴点の部分ペア集合 Ku

[0091] [数 3] ！ - '¾m)|

, (2)

[0092] 次に、ステップ S9において、全てのデータ画像を読み出して、前記平均値を算出していればステップ S10に進み、そうでなければ、ステップ S5に戻る。

[0093] 最後に、ステップ S10において、判定手段 9は、ペア距離の平均値を全てのデータ画像について算出し、ペア距離の平均値が最小となるデータ画像を、クェリ画像に最も近似するデータ画像であると判定する。そして、画像出力手段 10は、前記判定により決定されたデータ画像を出力する。

[0094] 尚、ステップ S6において、式（1)に代えて、下式（3)を用いても良い。式（3)を用いると、 uより座標値が大きい範囲だけで V を探索すればよいので、計算時間を短縮で j 10)

きる。

[0095] [数 4]

t ) > u

(3)

[0096] ここで、図 3のクエリ画像と図 4に示すデータ画像を例に、両者の類似性を判定する手順を説明する。

[0097] データ画像の特徴点 C'q(i=l,2,— ,N')は、図 4 (a)のように分布している。これらをヒルベルト曲線上に写像して、昇順に並べ替えると、図 4(b)に示すような特徴点 V ( k k=l，2，'"，N，； v ≤v ≤ - ≤v )の列が得られる。

1 2 Ν'

[0098] この特徴点 V (k=l,2,〜，N' ;ν ≤ν ≤—≤ν )と図 3 (c)に示したクエリ画像の特徴 k 1 2 N'

点 u (j=l_;2,---,N;u≤u≤---≤u )について、式（1)を適用すると、図 5において、矢

J J j N

印で結んだようなペアが得られる。すなわち、 (U， V )，（U， V )，（U， V )，（U， V )，(

1 2 2 2 3 3 4 4

U， V )，（U， V )，（U， V )及び（U， V )が得られ、これらのペア距離はそれぞれ、 0，

5 6 6 7 7 8 8 8

1, 2, 1, 0, 1, 0, 2となる。仮に、前記ペアの総数の 50%を抽出することにして、距離が最小になるペア 4組の平均を算出すると、 0.25になる。

[0099] また、特徴点 V (k=l,2,---,N'； V ≤ν ≤···≤ν )と特徴点 u (j=l,2,---,N;u≤u≤ k 1 2 N' j j j

•••≤u )について、式（3)を適用すると、図 6において、矢印で結んだようなペアが得

N

られる。すなわち、（U， V )，（U， V )，（U， V )，（U， V )，（U， V )，（U， V )及び（U，

1 2 2 3 3 4 4 5 5 6 6 8 7 v )が得られ、これらのペア距離はそれぞれ、 0, 12, 6, 2, 0, 9, 0となる。距離が最

8

小になるペア 4組の平均は 0· 50になる。

[0100] さて、特徴点のペア集合からどの程度の割合でペアを抽出して部分集合を生成するかが問題になる。そこで、次のような実験を行った。 16 X 16画素から構成されて、 2 0個の特徴点が分布するクエリ画像と、 16 X 16画素から構成されて、 20個の特徴点を持ち、前記クエリ画像との間で、 20個の特徴点についてのハウスドルフ距離が 2 、 5、 8、 10、 26になるようなデータ画像を用意して、前記クェリ画像と各データ画像の間で特徴点のペア集合を生成し、このペア集合力抽出するペアの個数を変化させて、抽出されたペア距離の平均値を算出した。

[0101] 表 1は、前記クエリ画像と各データ画像の間で特徴点の間で式（1)の条件でペア集合を作成した場合に、距離が最小になるペアから昇順に 5組 (top5)、 6組 (top6)、… 、 15組 (topl5)を抽出して、それぞれの平均値を算出した結果を纏めたものである。

[0102] [表 1]

[0103] 表 2は、前記クエリ画像と各データ画像の間で特徴点の間で式（3)の条件でペア集合を作成した場合に、距離が最小になるペアから昇順に 3組 (top3)、 4組 (top4)、…、 10組 (top 10)を抽出して、それぞれの平均値を算出した結果を纏めたものである。

[0104] [表 2] Distance Top3 Top4 Top5 Top6 Top? Top8 Top9 ToplO

LOO 1.25 1.40 1.50 1.57 1.63 1.67 1.80

■1.67 2.00 2,20 2.33 2,57 2.75 3,00 3,20

(2.24)

1.00 I..00 1 .20 1 .50 1,71 2.00 2.33 2,60

V^ (2.83)

1.67 2.00 2.20 2.50 2.71 3.00 3.22 3.50

2.33 3.25 3,80 4,33 4,86 5.50 6,44 7,20

[0105] 表 1及び表 2から分かるように、距離が最小になるペアから昇順に 10組程度を抽出して平均値を算出すれば、ハウスドルフ距離との相関性の高い値が得られる。したがつて、ペア距離の小さい物から順に、ペアの総数の 50%を抽出して部分集合を生成して、その部分集合に属するペア距離の平均値を算出すれば、その平均値と画像の類似性との間の相関が大きくなることが予想される。

[0106] 尚、本実施例では二次元画像のマッチングを例に取り上げた力本発明によるマツチングの対象はこれに限られるものではない。 N次元（Nは 2以上の自然数）空間に投影された複数の特徴点の座標によってその特徴を記述できるオブジェクトならば、音声、文字、文章その他のオブジェクトを対象にすることができる。

実施例 2

[0107] 実施例 2では、評価尺度の計算のみが実施例 1と異なり、マッチング装置 1の他の構成及び動作については実施例 1とほぼ同様である。

[0108] 実施例 2では、評価尺度として以下に定義されるヒルベルト走查距離（Hirbert scan ning distance； HSD) d を用レヽる。

HSD

[0109] 〔定義 1〕（ヒルベルト走查距離）

基準画像 A及び被照合画像 Bをヒルベルト走查により一次元空間に全単射したときのそれぞれの画像のデータ要素（画素）を u (j = l , 2, ■· - , N) , V (k= l , 2, ·■· , N' j k

)と記す。このとき、次式 (4)により表される d をヒルベルト走查距離という。

HSD

[0110] [数 5] d謂 I卜 ― ^Vk 11 ) (⁴)

ここで、関数 pは次式（5)により定義される。 τは閾値（定数)である。

[0111] [数 6]

( ' 〔 j-\

(

Τ [X、 > Τ)、 (5)

(定義終わり）

[0112] 図 7は、実施例 2に係るマッチング装置を用いた画像検索装置の機能構成を表すブロック図である。図 7において、図 1と同様の構成部分については、同符号を付して説明は省略する。本実施例の画像検索装置においては、画像切出手段 20を備えている点が図 1と異なる。画像切出手段 20は、画像 DB5に保存されたデータ画像から、被照合オブジェクトとなる部分画像を切り出して、ペアリング手段 6に出力するものである。

[0113] 画像のマッチング処理に入る前に、最初に、データ画像に関する情報を画像 DB5 に保存する処理を行う。この場合、画像入力手段 2からデータ画像を入力し、実施例 1で説明したステップ S1〜S4の処理を実行して、データ画像の特徴点の座標の集合 {v I k=l,2,---,M;v≤ν≤·-·≤ν }を画像 DB5に保存しておく。

k 1 2 M

[0114] 図 8は、実施例 2に係るマッチング装置 1による画像のマッチング処理を表すフローチャートである。図 8において、ステップ S1〜S4は図 2と同様であるので説明は省略する。

[0115] ステップ S20において、画像切出手段 20は、画像 DB5に記憶されたデータ画像の特徴点の座標の集合 {v I k=l,2,---,M;v≤v≤〜≤v }から、クエリ画像と同サイ

k 1 2 M

ズの部分画像 (以下「被照合部分画像」という。）に対応する特徴点の座標の部分集合 {v I k=l,2,---,N'； v≤ν≤···≤ν }(Ν'≤Μ)を切り出す。被照合部分画像の k 1 2 N'

位置は、データ画像の左上隅から順次移動しながら設定される。

[0116] 次に、ステップ S21において、ペアリング手段 6は、クエリ画像の特徴点の座標の集合 {u I j=l,2,---,N;u≤u≤---≤u }に属する各データ要素 uについて、式（1)を満 j j j N j

たすデータ画像の特徴点の座標の集合 {v I k=l，2， ',N' ;v≤v≤〜≤v }のデ

k j j N' ータ要素 v を求める。そして、 uと v のペア集合 {(u, v ) =1，2 '^}を作成す

ιφ j ιϋ) i ιϋ)

る。 [0117] 次に、ステップ S22において、ペア抽出手段 7は、ペア集合 { (u, v ) =1,2，···， j Kj)

N}から、ペア距離 II u -V

i ιϋ) IIが所定の閾値 τ以下のペアを抽出する。抽出されたペアの集合を部分ペア集合 { (u , V ，2,···,Ρ}とする。ここで、 Pは抽出さ

m

れたデータ要素の数である。

[0118] 次に、ステップ S23において、評価尺度演算手段 8は、下式（6)により、部分ペア集合 { (u , V )

m Km) I πι=1，2，···,Ρ}に属するペア距離の和 S1を算出する。

[0119] [数 7]

P

I '·， >

(6)

■m--l

[0120] また、部分ペア集合 {(u , v )

m l(m) I m=l，2,〜,P}に属さないペアの個数 Ν— Ρに閾値てを乗じた値 S2= τ (Ν— Ρ)を算出し、和 SI + S2を全ペア数 Νで割ることによつて、評価尺度としてヒルベルト走查距離 d を算出する。

HSD

[0121] 次に、ステップ S24におレ、て、被照合部分画像に対応する特徴点の座標の部分集合の切り出しが、すべての位置の被照合部分画像について終わっていればステップ S10に進み、そうでなければ、ステップ S20に戻る。

[0122] 最後に、ステップ S10において、判定手段 9は、ペア距離の平均値が最小となる被照合部分画像を、クエリ画像に最も近似する被照合部分画像であると判定する。そして、画像出力手段 10は、前記判定により決定された被照合部分画像の位置座標を出力する。

[0123] 次に、本実施例のマッチング装置を用いて、具体的な画像マッチングを行った例について説明する。

[0124] 〔例 1〕

本実施例のマッチング装置の精度及びノイズに対するロバスト性を評価するため、原画像として図 9 (a)の画像を使用する。この原画像の一部を切り出して図 9 (b)のクエリ画像を作成する。原画像のサイズは 512X256 pixels,クエリ画像のサイズは 12 8X128 pixelsである。原画像内のクエリ画像の正確な照合位置（best matching posi tion)は、（28, 119)である（尚、座標系の原点は原画像の左上頂点の座標とし、タエリ画像の位置は、クエリ画像の左上頂点の座標により表す)。 [0125] マッチング処理の精度の評価を行うために、図 9 (a)の原画像をデータ画像 Aとして、クエリ画像との照合を行う。また、マッチング処理のノイズに対するロバスト性の評価を行うために、図 9 (a)のデータ画像にノイズを付加した画像 B〜Gを作成し、これをデータ画像として、クエリ画像との照合を行う。

[0126] データ画像 Bは、図 9 (a)の原画像にガウシアン 'ノイズ（Gaussian noise) ( σ = 10, σは分散）を加えた画像である。

[0127] データ画像 Cは、図 9 (&)の原画像にポァソン'ノィズ（？(^3011 noise)を加えた画像である。

[0128] データ画像 Dは、図 9 (a)の原画像に乗法性雑音（Multiplicative noise) ( υ = 10,

νは分散）を加えた画像である。

[0129] データ画像 Εは、図 9 (a)の原画像にごま塩雑音（Salt & P印 per Noise) (d = 10， d はノイズ密度）を加えた画像である。

[0130] データ画像 Fは、図 9 (a)の原画像に対し 20%の量のエッジ点をランダムに付カロした画像である。

[0131] データ画像 Gは、図 9 (a)の原画像に対し 50%の量のエッジ点をランダムに削除した画像である。

[0132] 図 9 (a) , (b)の画像からエッジ抽出を行って得られる 2値エッジ画像を図 10 (a) , ( b)に示す。また、データ画像 B〜Gについてエッジ抽出を行った 2値エッジ画像（bina ry edge image 図 1 1 (a)〜 (f) ίこ示す。

[0133] これらのデータ画像について、実施例 2の画像検索装置を用いてクエリ画像との照合を行い、クエリ画像と照合する被照合部分画像のデータ画像内の位置を検出する

。尚、 τ = 10とする。

[0134] 比較例として、ハススドルフ距離（Housdorff distance ; HD)の最小化によるマツチング方法、部分ハススドルフ距離（partial Housdorff distance ; PHD)の最小化によるマツチング方法、及び、修正ハススドルフ距離（modified Housdorff distance ; MHD)の最小化によるマッチング方法を用いて、クエリ画像と照合する被照合部分画像のデータ画像内の位置の検出を行った。（表 3) , (表 4)は、それぞれ、各方法により検出された被照合部分画像の照合位置、及び平均二乗誤差（root-mean-square ; RMS) を示す。 RMSは次式（7)により定義される。

[0135] [数 8]

RM6 - (ω_χ ω_χο)² + (ω_ν― ω_νο)² (7) ここで、（ω , ω )は各方法で検出された照合位置、（ω , ω )は正確な照合位置 yO

(best matching position)をす。

[0136] [表 3]

Measure Position result

image A. image B image C image D image E image F image G

HD (27_; 119) (233 _; 117) (219 _; 118) (203 _; 114) (23, 129) (24, 118) (3L 121)

PHDl (27, 119) (28, 115) (28, 119)

110) (27, 119) 、， 1 ί，J) (28, 119)

PHD2 (28, 119) (199, 118) (26, 115) (212, 112) (28, 117) (28, 119) (27, 118)

PHD3 (33, 117) (27, 118) (28, 119) (27, 119) (28, 119) (27, 119) (26, 119)

MHD (28, 119) (208, 112) (28, 119) (207, 114) (28, 119) (28, 119) (28, 119)

USD (28, 119) (28, 119) (28, 119) (28, 119) (28, 119) (28, 119) (28, 119)

[0137] [表 4]

Measure RMS

image A image B image C image D image E image F image G

HI) 1.0 205.0 191.0 175.1 11.2 4.1 3.6

PHDl 1.0 4.0 0.0 177.2 1.0 0.0 0.0

PHD2 0.0 171.1 4.47 184.1 2.0 0.0 1.4

PH D3 5.4 1.4 0.0 1.0 0.0 1.0 2.0

MHD 0.0 180.1 0.0 179.1 ().() 0.0 0.0

USD 0.0 0.0 0.0 0.0 0.0 0.0 0.0

[0138] (表 3) , (表 4)において、 HSDは、実施例 2のマッチング方法により位置検出を行つた結果である。この結果から、本発明のマッチング方法は、他の比較例の方法に比ベてマッチング精度に優れ、且つノイズに対するロバスト性も高いことが分かる。

[0139] また、図 12は、 MHDの最小化によるマッチング方法と、実施例 2のマッチング方法との計算時間の比較を表した図である。 MHDはハウスドルフ距離の測定の中では最も演算速度が速い方法である。図 12の結果から分かるように、実施例 2のマツチング方法は、比較例として挙げた従来のマッチング方法と比較して、計算時間を 1/10 以下とすることができる。

(例終わり）実施例 3

[0140] 図 13は、本発明の実施例 3に係る画像検索システムの構成を表すブロック図である。実施例 3に係る画像検索システムは、画像入力手段 2、画像検索装置 30、画像 D B5、及び画像出力手段 10の各部分から構成されている。尚、本実施例の画像検索システムは、微粒子の画像と類似する画像を画像 DB5に記憶されてレ、る微粒子画像と照合することにより、微粒子の種類を判別するシステム等に用いられる。

[0141] 画像入力手段 2は、基準オブジェクトである基準画像又は被照合オブジェクトであるデータ画像を入力するためインターフェイスである。画像入力手段 2は、電荷結合素子 (Charge Coupled Devices： CCD) 2a及び AD変換 (analog to digital converte r:ADC) 2bを備えている。 CCD2aにより撮像された画像は、 ADC2bにより量子化され、画像検索装置 30に出力される。

[0142] 画像 DB5は、被照合オブジェクトであるデータ画像をヒルベルト走査により一次元化し、ランレングス符号化した圧縮データ画像を記憶する手段である。

[0143] 画像検索装置 30は、画像入力手段 2から入力される基準画像に近似するデータ画像を、画像 DB5に格納された圧縮データ画像の中から検索し、画像出力手段 10に出力する。

[0144] 画像出力手段 10は、画像検索装置 30により基準画像に類似すると判定されたデータ画像を出力するためインターフェイスである。画像出力手段 10は、ディスプレイ，プリンタ，外部記憶装置等の出力装置により構成される。

[0145] また、実施例 3に係る画像検索装置 30は、フレーム 'メモリ 31 ,領域抽出手段 32, 領域画像記憶手段 33,粗検索部 34，画像符号化部 35，基準画像記憶手段 36,候補画像記憶手段 37,及びマッチング部 38を備えてレ、る。

[0146] フレーム 'メモリ 31は、 CCD2aにより撮像され ADC2bによりデジタル化された画像を記憶するメモリである。領域抽出手段 32は、フレーム 'メモリ 31に記憶された画像中力部分画像 (例えば、微粒子部分の画像）を基準画像として抽出し、それを領域画像記憶手段 33に保存する。

[0147] 粗検索部 34は、画像入力手段 2から入力される基準画像に近い圧縮データ画像を

、画像 DB5の中から検索し、 1乃至複数の圧縮候補画像を抽出し、候補画像記憶手段 37に保存する。

[0148] 画像符号化部 35は、画像入力手段 2から入力される画像（二次元画像）をヒルベルト走查により一次元化し、さらにランレングス符号ィ匕することにより圧縮画像を生成する。この圧縮画像は、基準画像記憶手段 36に保存される。

[0149] マッチング部 38は、候補画像記憶手段 37に記憶された各圧縮候補画像と、基準画像記憶手段 36に記憶された圧縮基準画像とを照合する。そして、当該圧縮基準画像に最も類似する圧縮候補画像を選択し、画像出力手段 10に出力する。

[0150] 図 14は、図 13の粗検索部 34の構成を表すブロック図である。粗検索部 34は、ヒストグラム近似復元装置 41、ヒストグラム作成手段 45、基準ヒストグラム記憶手段 46、領域抽出手段 47、比較演算手段 48、及び画像選択手段 49を備えている。

[0151] ヒストグラム作成手段 45は、領域画像記憶手段 33に記憶された基準画像に含まれる各画素の画素値についてヒストグラム（以下、「基準ヒストグラム.データ」という。）を生成し、それを基準ヒストグラム記憶手段 46に保存する。

[0152] 画像 DB5には、複数の圧縮データ画像が記憶されている。ここで、圧縮データ画像は、原画像の各画素の画素値を量子化するとともにランレングス符号化することにより得られた圧縮画像の画像データである。尚、このランレングス符号化の詳細に関しては後述する。

[0153] 領域抽出手段 47は、画像 DB5から圧縮データ画像を読み出して、その全部を出力し又は一部の領域を切り出して出力する。これは、例えば、圧縮データ画像の一部領域に微粒子画像がある場合などに、その微粒子画像の部分のみを抽出するためのものである。

[0154] ヒストグラム近似復元装置 41は、領域抽出手段 47により画像 DB5から読み出された圧縮データ画像又はその部分データ（以下「領域圧縮データ画像」という。）から、原画像又はその部分画像の画素値ヒストグラムを近似的に復元する。ヒストグラム近似復元装置 41は、領域圧縮画像記憶手段 51、離散ヒストグラム生成手段 52、及び近似ヒストグラム生成手段 53を備えてレ、る。

[0155] 領域圧縮画像記憶手段 51は、領域抽出手段 47が出力する領域圧縮データ画像を一時的に記憶する。離散ヒストグラム生成手段 52は、領域圧縮画像記憶手段 51に記憶された領域圧縮データ画像から離散ヒストグラム ·データを生成する。離散ヒストグラム'データについては後述する。近似ヒストグラム生成手段 53は、領域圧縮画像記憶手段 51が出力する離散ヒストグラム 'データに対して、画素値度数に分散をもたせることによって近似ヒストグラム ·データを生成する。

[0156] 比較演算手段 48は、基準ヒストグラム記憶手段 46に記憶されている基準ヒストグラム 'データと、近似ヒストグラム生成手段 53が出力する近似ヒストグラム 'データとの類似度を算出する。画像選択手段 49は、各圧縮データ画像の前記類似度に基づいて、基準画像に類似する一乃至複数の圧縮データ画像を選出し、候補画像として出力する。

[0157] 図 15は、図 13のマッチング部 38の構成を表すブロック図である。マッチング部 38 は、エッジ抽出手段 61及びマッチング装置 62を備えている。エッジ抽出手段 61は、粗検索部 34が出力する各圧縮候補画像について、復号して一次元画像とするとともにエッジを抽出し、一次元化されたエッジ画像（以下「一次元候補エッジ画像」という。）を生成する。

[0158] マッチング装置 62は、エッジ抽出手段 63、ペアリング手段 65、ペア抽出手段 67、評価尺度演算手段 68、及び判定手段 69を備えている。

[0159] エッジ抽出手段 63は、画像符号化部 35が出力する基準画像の圧縮画像を復号し

、一次元の基準画像を生成する。エッジ抽出手段 63は、この一次元の基準画像を解析して、特徴点としてエッジを抽出し、一次元化されたエッジ画像（以下「一次元基準エッジ画像」という。）を生成する。

[0160] ペアリング手段 65は、一次元候補エッジ画像と一次元基準エッジ画像に基づき、一次元空間において、基準画像の各エッジ点について、その最近傍にある候補画像の特徴点を探索する。そして、基準画像のエッジ点と候補画像のエッジ点のペア集合を生成する。

[0161] ペア抽出手段 67は、ペアリング手段 65が作成したエッジ点のペア集合から、ペア距離が小さいペアから順に、ペアの一部を抽出して、部分ペア集合を作成する。

[0162] 評価尺度演算手段 68は、ペア抽出手段 67で作成した部分ペア集合の距離の平均値を評価尺度として算出する。 [0163] 判定手段 69は、基準画像と各候補画像の間で、評価尺度である距離の平均値を比較して、距離の平均値が最小になる候補画像を、基準画像に最も近似する候補画像であると判定する。

[0164] 画像出力手段 10は、判定手段 69により基準画像に最も近似すると判定された圧縮候補画像を出力する。

[0165] 尚、本実施例の画像検索システムは、 LSIチップとしてハードウェア的に構成してもよいが、汎用のコンピュータにプログラムをロードすることによって各構成部分を機能モジュールとして構成してもよい。

[0166] 次に、図 13,図 14の画像 DB5に記憶された圧縮データ画像について説明する。この圧縮データ画像は、原画像をヒルベルト走查により一次元化し、その各画素の画素値を量子化するとともに、ランレングス符号化したものである。ランレングス符号ィ匕においては、各ランにおいて当該ランに対応する原画像の画素値の分散が所定の閾値 Γ以下となるようにランレングスを決定する。この圧縮アルゴリズムについては、特許文献 6, 7又は非特許文献 1に詳細に記載されている。ここでは、その圧縮ァノレゴリズムの一例を説明するに止める。

[0167] まず、二次元の原画像を走査して一次元の原画像とする。この一次元化された原画像を {x ； i=l，2，〜,N}と記す。ここで、 Nは原画像の画素数である。

[0168] 次に、この一次元化された原画像に対して、以下のような再帰的な 2分割処理を実行する。

[0169] まず、区間 1の一次元画素列を {x ； ί=1,2, · · ·，Ν}とする。区間 Lを区間 Lと区間 Lに

i 1 2 分割する。図 16にその分割例を示す。区間 L， L， Lの平均値は、それぞれ式（8) ,

1 2

式（9)，式（10)により表される。伹し、区間 Lの画素数を Nとする。

[0170] [数 9]

1

(8)

N

丄 1 ^Νί

¾ ( ;_L) (9)

Ny [0171] 再帰的な 2分割を行う上で、区間 L, L , Lの累積自乗誤差を、それぞれ e, e , e

1 2 1 とすると、これらは式（11),式（12),式（13)により表される。

[0172] [数 10] e > (xi - x)² (11) (^ ( ))² (12) e₂(AT_L) = J (^ - ¾(^))² (13)

i―

[0173] 二分割点は、次の評価式（14)が最小となる Ν (ΚΝく Ν)とする。

[0174] [数 11]

― ,,） (J^- N N ²

· ^i^i v^iV U ^

[0175] この 2分割操作を、 Evalが所定の閾値 Γ以下且つ Nが N 以下となるまで再帰的に max

繰り返して行う。

[0176] 以上のようなアルゴリズムにより、一次元化された原画像は複数の区間に分割される。分割された各区間をランとし、その区間（ラン）における画素の平均値をそのランにおける画素値としてランレングス符号化を行う。このランレングス符号化によって、一次元化された原画像は、各ランにおいて画素値が量子化され、各ランにおいて当該ランに対応する原画像の画素値の分散が所定の閾値 Γ以下となる。このようにして得られた圧縮データ画像が、画像 DB5に複数保存されている。

[0177] 図 17は、ランレングス符号化により圧縮された画像データの例を示す模式図である。図 17では、横軸が走査の順を表し、縦軸が画素値 (輝度）を表す。図中に括弧書きした数字の組は、前の数字が画素値 (ここでは輝度）、後の数字がランレングスを表す。一般に、圧縮データ画像は下式（15)で表される。但し、 Cは画素値、 1はランレンダス、 Nはランの数である。

1

[0178] [数 12]

{(GJ,)|' = l,2 'NJ (15) [0179] 次に、上述のように構成された本実施例に係る画像検索システムについて、その動作を説明する。本実施例 3の画像検索システムにおいては、最初に、粗検索部 34において、撮像された画像データから切り出された基準画像と類似する 1乃至複数の画像データを画像 DB5から検索し、候補画像として抽出する。そして、マッチング部 38において、候補画像と基準画像との照合を行い、当該基準画像に最も類似する候補画像を抽出する。以下、この流れに沿って、粗検索部 34における候補画像の抽出，マッチング部 38における基準画像に最も類似する候補画像の抽出の順に説明する。

[0180] 〔1〕候補画像の抽出

最初に、前処理として、撮像された画像データから基準ヒストグラム 'データの作成が行われる。まず、 CCD2aにより、微粒子等の被写体が撮像される。 CCD2aから出力される画像データは、 ADC2bにおいてデジタル化され、フレーム 'メモリ 31に保存される（図 13参照）。領域抽出手段 32は、フレーム 'メモリ 31に記憶された画像から目的の領域を抽出して基準画像として領域画像記憶手段 33に保存する。尚、領域抽出手段 32による領域抽出方法は、種々の公知の方法を使用することができるが、本発明とは直接関係がないので説明は省略する。

[0181] 次に、粗検索部 34において、ヒストグラム作成手段 45は、領域画像記憶手段 33に記憶された基準画像から画素値のヒストグラムを作成し、基準ヒストグラム 'データとして基準ヒストグラム記憶手段 46に保存する。

[0182] 以上のような前処理が終了した後に、画像 DB5に記憶された圧縮データ画像から、基準画像に類似する画像の圧縮データ画像を検索する粗検索処理を以下のように実行する。

[0183] 図 18は、粗検索処理の流れを表すフローチャートである。ます、最初に粗検索部 3 4は、画像 DB5から読み出す圧縮データ画像の番号 iを 1に初期化する（S21)。

[0184] 次に、領域抽出手段 47は、画像 DB5から i番目の圧縮データ画像を読み出す（S2 2)。そして、読み出した圧縮データ画像から所定の領域 (領域圧縮データ画像）を抽出する（S43)。ここで、抽出する領域は目的に応じて圧縮画像の一部分とされたり、圧縮画像全体とされたりする。抽出された領域圧縮データ画像は、領域圧縮画像記憶手段 51に保存される。

[0185] 次に、離散ヒストグラム生成手段 52は、領域圧縮画像記憶手段 51に記憶された領域圧縮データ画像から離散ヒストグラム ·データを生成する（S44)

[0186] 図 1 9は、領域圧縮データ画像から作成した離散ヒストグラムである。図 19で、横軸は画素値 (輝度）、縦軸は画素の出現頻度を表す。画素の出現頻度は、画素値が等しい区間のランレングスの総和である。例えば、画素値 70の画素の出現頻度とは、領域圧縮データ画像全体から、画素値 70を持つデータを全て拾い出して、それらのデータのランレングスを合計したものである。領域圧縮データ画像において画素値が Cであるランの集合を L (C )と記す。基準ヒストグラムは、一般的に、次式（16)で表さ

1 1

れる。但し、 Lは画素値度数（ランレングスの総和）、 Mは画素値の個数である。

[0187] [数 13]

Si ίίι (χ)一 /o(;j;) |da; I ― ■()(.«.；) j ( 16)

[0188] なお、画素の出現頻度は各画素値の画素値度数を一画面の画素の総数で除して規格化した値で表してもょレ、。

[0189] 次に、近似ヒストグラム生成手段 53は、領域圧縮画像記憶手段 51が出力する離散ヒストグラム.データに対して、画素値度数に分散をもたせることによって近似ヒストグラム'データを生成する（S 25)。

[0190] 図 1 9の画素値ヒストグラムの画素値 Cは量子化された値である力原画像では画

i

素値 Cの近傍に画素が分布していたと考えられる。そこで、これらの画素が画素値 C i i を中心に正規分布に従って分布していると仮定し、各画素値 Cの画素値度数 Lを式 ( 1 7)の分布関数 G(x)に従って、画素値の近傍に分散配分する。但し、 Xは画素値、 _σは標準偏差を表す。

[0191] [数 14]

[0192] 離散的な画素値ヒストグラムの全ての画素値 Cについて、式（1 7)により画素値度数 Lを画素値 Cの近傍に配分すると、図 20に示すように、画素値 Cの近傍に分布する画素を示すヒストグラム 71〜74が描ける。なお、標準偏差 σは画素値の 4分の 1 ( C /4)を選ぶと良い結果が得られた。最後にこれらのヒストグラムを全て重畳すると、全ての画素値についての連続的な近似ヒストグラム 75が得られる。

[0193] 次に、比較演算手段 48は、近似ヒストグラム生成手段 53が出力する近似ヒストグラム ·データと、基準ヒストグラム記憶手段 46に記憶されてレ、る基準ヒストグラム ·データとの類似度 Siを算出する（S26)。類似度 Sは、近似ヒストグラム 'データと基準ヒストグラム ·データとの差分により計算される。すなわち、近似ヒストグラム ·データを H (x)、基準ヒストグラム 'データを H (X)とすると、類似度 Sは式（18)により表される。但し、

0 i

X， Xは画素値を表す。

[0194] [数 15]

Si - ¾ (.Χί)1 (18)

[0195] 次に、画像検索装置 1は、画像 DB5に記憶されているすべての圧縮データ画像について、類似度 Sの計算が完了したか否力を判定し（S27)、未了であれば、 iを 1だ i

け増加させて（S28)、ステップ S22の処理に戻る。

[0196] ステップ S27で、すべての圧縮データ画像について類似度 Sの計算が完了した場合、画像選択手段 49は、各圧縮データ画像の前記類似度に基づいて、基準画像に類似する一乃至複数の圧縮データ画像を選出し (S29)、候補画像として出力して（

S30)、画像検索処理を終了する。

[0197] 尚、画像選択手段 49による圧縮データ画像を選出の方法としては、類似度 Siが最小の圧縮データ画像を選出する方法や、類似度 Sが所定の閾値以下の圧縮データ画像をすベて選出する方法等が考えられる。何れの方法を採用するかは、用途に応じて決めればよい。

[0198] 以上のように、粗検索部 31では、圧縮データ画像から直接近似復元した近似ヒストグラム ·データと基準画像の基準ヒストグラム ·データの類似度を求め、画像の検索を行うことができる。画像のヒストグラムは生の画像データに比べてデータ量が格段少ないので、画像データを直接検索する場合に比べて、 10倍以上の速さで高速に検索すること力 Sできる。 [0199] 尚、特許文献 2及び非特許文献 1に記載されたように、原画像の各画素の画素値を量子化するとともに、各ランにおいて当該ランに対応する原画像の画素値の分散が所定の閾値 Γ以下となるようにランレングスを決定することによりランレングス符号化された画像データの画素値ヒストグラムを近似復元する場合には、前記閾値 Γの平方根を前記標準偏差 σとすることもできる。

[0200] あるいは、前記閾値 Γの平方根又は画素値 Cの 4分の l (C /4)のいずれか小さい値を標準偏差 σとすることもできる。

[0201] 〔2〕基準画像に最も類似する候補画像の抽出

以上のように粗検索部 31において、候補画像の抽出が行われると、次に、マツチング部 38において、基準画像に最も類似する候補画像の抽出が以下のように行われる。

[0202] まず、前処理として、画像符号化部 35は、領域画像記憶手段 33に記憶された基準画像を符号化する。ここで、符号化方法は、画像 DB5に記憶された圧縮データ画像の符号化に使用された符号化方法と同様の符号化方法が用いられる。画像符号化部 35で符号化された候補画像は、候補画像記憶手段 36に保存される。

[0203] 図 22は、マッチング部 38におけるマッチング処理の流れを表すフローチャートである。

[0204] まず、ステップ S41において、エッジ抽出手段 63は、圧縮画像記憶手段 36から、圧縮基準画像を読み込む。

[0205] 次に、ステップ S42において、エッジ抽出手段 63は、圧縮基準画像を解析して、基準画像の特徴点の集合 {Chq I ί= 1，2，· · ·,Ν}を生成する。ここで、特徴点 Cqhは、一次元平面上の点である（Cqh GR)。

[0206] 次に、ステップ S43において、ペアリング手段 6は、ヒルベルト曲線上の特徴点 Cqh

(i= l,2，' N)を並べ替えて、ヒルベルト曲線上の特徴点の座標の集合 {u I j= l，2,

J

■•-,N ;u≤u≤- - -≤u }を得る。

j i N

[0207] 次に、ステップ S44において、エッジ抽出手段 61は、候補画像記憶手段 37に記憶された圧縮候補画像の一つを読み出す。そして、ステップ S45において、圧縮候補画像を解析して、候補画像の特徴点の座標の集合 {v I k= l，2,- - -,N，； v≤v ≤ ■ - ≤v }を生成する。

N，

[0208] 次に、ステップ S46において、ペアリング手段 65は、基準画像の特徴点の座標の集合 {u I j=l,2,---,N;u≤u≤---≤u }に属する各データ要素 uについて、下式（1 j j j N j

9)を満たす候補画像の特徴点の座標の集合 {v I k=l,2,' ，N';_V≤_V≤—≤v }

k j j N' のデータ要素 v を求める。そして、uと v のペア集合 {(u，v ) I j=l,2，' ，N}を作

Kj) i 10) i Kj)

成する。

[0209] [数 16] ii¾ ― = rnin{||'i -一 'ひ一 Ϊ ||， ... , ||¾― υ_Ν\\} (19)

[0210] 次に、ステップ S47において、ペア抽出手段 67は、ペア集合 {(u， ν ) | ]=1,2,-·- j 10)

，N}から、ペア距離 II u— V IIが小さい順に P(Pは、 Pく Nを満たす自然数)個のデ

i 10)

ータ要素を抽出し、特徴点の部分ペア集合 {(u , V ) I πι=1，2，···，Ρ}を作成する m l(m)

[0211] 次に、ステップ S48において、評価尺度演算手段 68は、式 (4)によって、ヒルベルト走査距離を評価尺度として算出する。

[0212] 次に、ステップ S49において、全ての候補画像を読み出して、前記平均値を算出していればステップ S50に進み、そうでなければ、ステップ S44に戻る。

[0213] 最後に、ステップ S50において、判定手段 69は、ヒルベルト走査距離を全ての候補画像について算出し、ヒルベルト走査距離が最小となる候補画像を、基準画像に最も近似する候補画像であると判定する。そして、画像出力手段 10は、前記判定により決定された候補画像を出力する。

[0214] 以上のように、本実施例によれば、マッチング処理を実行する前処理として、粗検索部 34においてヒストグラムを用いた粗検索によって候補画像を絞り込むことにより、画像 DB5の中の多数の画像データの中から高速に基準画像と最も類似する画像を抽出することが可能となる。

Claims

請求の範囲

[1] 基準オブジェクトと被照合オブジェクトとを比較照合し、両オブジェクトの類似性を判定するマッチング装置であって、

前記各オブジェクトの各データ要素を一次元空間に展開する全単射 (bijection)により、前記各オブジェクトから抽出された特徴点を前記一次元空間に写像する写像手段と、

前記一次元空間にぉレ、て、前記基準オブジェクトの特徴点の最近傍にある前記被照合オブジェクトの特徴点を探索し、前記基準オブジェ外の特徴点と前記被照合ォブジエタトの特徴点のペアの集合（以下「ペア集合」とレ、う。）を生成するペアリング手段と、

前記ペア集合から、ペアをなす両特徴点間の距離（以下「ペア距離 (pair-distance) 」という。）が小さい順に、前記ペアの一部を抽出した部分ペア集合を生成するペア抽出手段と、

前記部分ペア集合に属するペアのペア距離に基づき、前記基準オブジェクトと前記被照合オブジェクトの間の評価尺度を算出する評価尺度演算手段と、

前記評価尺度に基づき、前記基準オブジェクトと前記被照合オブジェクトの類似性を判定する判定手段と

を備えたマッチング装置。

[2] 前記ペア抽出手段は、前記ペア集合から、ペア距離が所定の閾値以下の前記ぺァを抽出した部分ペア集合を生成するものであり、

前記評価尺度演算手段は、前記部分ペア集合に属するペアのペア距離の和 S 1を算出し、前記部分ペア集合に属さないペア数に所定の加重値を乗じた値 S2を算出し、前記和 S 1と値 S2との和 S 1 + S2を前記ペア集合の全ペア数で割ることにより評価尺度を算出すること

を特徴とする請求項 1記載のマッチング装置。

[3] 前記写像手段は、前記特徴点を前記各オブジェクトの全てのデータ要素を通過する空間充填曲線上に写像することを特徴とする請求項 1又は 2記載のマッチング装置 [4] 前記空間充填曲線はヒルベルト曲線であることを特徴とする請求項 3記載のマッチング装置。

[5] 前記各オブジェクトは画像であることを特徴とする請求項 1乃至 4の何れか一記載のマッチング装置。

[6] 前記特徴点はエッジ点であることを特徴とする請求項 5記載のマッチング装置。

[7] 原画像データの各画素の画素値を量子化するとともにランレングス符号ィ匕することにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。）から、前記原画像の画素値ヒストグラムを近似的に復元するヒストグラム近似復元装置であって、前記圧縮画像記憶手段に記憶された前記圧縮画像データの各画素値 c

· -

，Μ, Μは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。）Lを算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成手段と、

を有することを特徴とするヒストグラム近似復元装置。

[8] 前記近似ヒストグラム生成手段は、

前記離散ヒストグラム ·データ { (C， L ) |i=l，2， · · ·，M}の各画素値度数 L 0=1,2,· · ·,Μ) を、（数 1)の正規分布関数 G (X)で表される正規分布となるように画素値 Cの近傍の画素値 Xの画素値度数 L (x)に分散配分することにより、前記近似ヒストグラム 'データを生成すること

を特徴とする請求項 7に記載のヒストグラム近似復元装置。

[数 1]

[9] 前記近似ヒストグラム生成手段は、

前記圧縮画像データの各画素値じ^=1，2，… ）に対して、当該画素値に対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 σ =^/4の正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L (x)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成すること

を特徴とする請求項 7又は 8に記載のヒストグラム近似復元装置。

[10] 前記圧縮画像データは、前記原画像データの各画素の画素値を量子化するとともに、各ランにおいて当該ランに対応する原画像データの画素値の分散が所定の閾値 Γ以下となるようにランレングスを決定することによりランレングス符号ィ匕されたものであり、

前記近似ヒストグラム生成手段は、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 _σ = Γ ^1/2の正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L (x)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成すること

[11] 前記圧縮画像データは、前記原画像データの各画素の画素値を量子化するとともに、各ランにおいて当該ランに対応する原画像データの画素値の分散が所定の閾値 Γ以下となるようにランレングスを決定することによりランレングス符号ィ匕されたものであり、

前記近似ヒストグラム生成手段は、

[12] 原画像データの各画素の画素値を量子化するとともにランレングス符号ィヒすることにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。）が複数記憶された画像データベース、

前記画像データベースに記憶された前記圧縮画像データの各画素値 C 0=1,2，· · -， M ; Mは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。）Lを算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成手段と、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 _σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( χ)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム ·データを生成する近似ヒストグラム生成手段と、

前記各圧縮画像データの前記類似度に基づいて、前記基準画像に類似する一乃至複数の前記圧縮画像データを選出する画像選出手段と、

を備えてレ、ることを特徴とする画像検索システム。

[13] 前記類似度計算手段は、前記近似ヒストグラム ·データと前記基準ヒストグラム ·データとの差分を前記類似度として算出すること

を特徴とする請求項 6に記載の画像検索システム。

[14] 前記画像選出手段により選出された一乃至複数の前記圧縮画像データを候補画像の圧縮画像データとして、前記各候補画像の圧縮画像データに基づき、当該候補画像の特徴点を抽出し、それら特徴点の一次元空間上の座標を算出する第 1の特徴点抽出手段と、

前記一次元空間にぉレ、て、前記基準画像の特徴点の最近傍にある前記候補画像の特徴点を探索し、前記基準画像の特徴点と前記候補画像の特徴点のペアの集合 (以下「ペア集合」とレ、う。）を生成するペアリング手段と、

を備えた請求項 12又は 13記載の画像検索システム。

基準オブジェクトと被照合オブジェクトとを比較照合し、両オブジェクトの類似性を判定するマッチング方法であって、

前記ペア集合から、ペアをなす両特徴点間の距離 (以下「ペア距離 (pair-distance) 」という。）が小さい順に、前記ペアの一部を抽出した部分ペア集合を生成するペア抽出ステップと、

前記評価尺度に基づき、前記基準オブジェクトと前記被照合オブジェクトの類似性を判定する判定ステップとを備えたマッチング方法。

[16] 原画像データの各画素の画素値を量子化するとともにランレングス符号ィヒすることにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。）から、前記原画像の画素値ヒストグラムを近似的に復元するヒストグラム近似復元方法であって、前記圧縮画像記憶手段に記憶された前記圧縮画像データの各画素値 C (ί=1,2 · - ，Μ, Μは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。）Lを算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成ステップと、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数 Lを、当該画素値 Cを中心とする標準偏差 σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( χ)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成する近似ヒストグラム生成ステップと、

を有することを特徴とするヒストグラム近似復元方法。

[17] 原画像データの各画素の画素値を量子化するとともにランレングス符号ィヒすることにより得られた圧縮画像の画像データ（以下「圧縮画像データ」という。）が複数記憶された画像データベース、

を備えたシステムにおレ、て、前記画像データベースに記憶された前記圧縮画像データの中から前記基準画像に類似するものを検索する画像検索方法であって、前記画像データベースに記憶された前記圧縮画像データの各画素値 C 0=1,2，· · -， M ; Mは圧縮画像データに含まれる全画素値の数）に対して、前記圧縮画像データの全体領域又は特定の部分領域における当該画素値に対応するランレングスの総和（以下「画素値度数」という。）Lを算出することにより離散ヒストグラム 'データを生成する離散ヒストグラム生成ステップと、

前記圧縮画像データの各画素値 C (i=l，2，… ）に対して、当該画素値 Cに対応する前記離散ヒストグラム 'データの前記画素値度数を、当該画素値 ^を中心とする標準偏差 _σの正規分布となるように当該画素値 Cの近傍の画素値 Xの画素値度数 L ( x)に分散配分することにより、前記原画像データの画素値の出現頻度を近似的に表す近似ヒストグラム 'データを生成する近似ヒストグラム生成ステップと、

前記基準ヒストグラム記憶手段に記憶されている前記基準ヒストグラム 'データと前記近似ヒストグラム 'データとの類似度を算出する類似度計算ステップと、

前記各圧縮画像データの前記類似度に基づいて、前記基準画像に類似する一乃至複数の前記圧縮画像データを選出する画像選出ステップと、

を備えてレ、ることを特徴とする画像検索方法。

[18] 前記画像選出ステップにおレ、て選出された一乃至複数の前記圧縮画像データを候補画像の圧縮画像データとして、前記各候補画像の圧縮画像データに基づき、当該候補画像の特徴点を抽出し、それら特徴点の一次元空間上の座標を算出する第 1の特徴点抽出ステップと、

前記評価尺度に基づき、前記基準画像と前記候補画像の類似性を判定する判定ステップと

を備えた請求項 17記載の画像検索方法。

[19] コンピュータに読み込んで実行することにより、コンピュータを請求項 1乃至 6の何れか一のマッチング装置として機能させることを特徴とするプログラム。 [20] コンピュータに読み込んで実行することにより、コンピュータを請求項 7乃至 11の何れか一のヒストグラム近似復元装置として機能させることを特徴とするプログラム。

[21] コンピュータに読み込んで実行することにより、コンピュータを請求項 12乃至 14の何れか一の画像検索システムとして機能させることを特徴とするプログラム。