JP4388095B2 - 距離測定法を用いる画像検索 - Google Patents

距離測定法を用いる画像検索 Download PDF

Info

Publication number
JP4388095B2
JP4388095B2 JP2007092860A JP2007092860A JP4388095B2 JP 4388095 B2 JP4388095 B2 JP 4388095B2 JP 2007092860 A JP2007092860 A JP 2007092860A JP 2007092860 A JP2007092860 A JP 2007092860A JP 4388095 B2 JP4388095 B2 JP 4388095B2
Authority
JP
Japan
Prior art keywords
euler
image
images
vector
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007092860A
Other languages
English (en)
Other versions
JP2007249981A (ja
Inventor
アチャリア,ティンク
バッタチャリア,バルガブ
クンドゥ,マライ
マーシー,チヴクラ
ビシュヌ,アリジット
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2007249981A publication Critical patent/JP2007249981A/ja
Application granted granted Critical
Publication of JP4388095B2 publication Critical patent/JP4388095B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99936Pattern matching access

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

[背景]
本発明は画像処理に関し、より詳細には、画像の特徴付けに関する。
画像処理とは、コンピュータを用いて画像を分析及び操作することを指す。この研究分
野には、いくつかの例を挙げると、パターン認識及び他の画像分析、画像送信の場合の圧
縮及び符号化、及び画像構成を含む多様な技術が含まれる。画像処理は、天文学、医学、
軍事行動、通信、地質学、気象学などの多種多様な分野で使用される。
画像は、たとえ自然に見える場合でも、コンピュータ又は他のプロセッサベースのシス
テムが画像を「見る」ように、又は例えば画像を別の画像から区別するように特徴付ける
ことができる。モーメント、エントロピー、質量中心、向き、又は他のヒストグラムに基
づく特徴を識別することは、画像の特徴付けに対する1つの方式である。画像の構造的及
び総合的な特徴は、特性パラメータとしての役目をする。周辺、領域、偏心率、又はオイ
ラー数(Euler number)などの幾何学的な指標は、画像を数的に識別することができる。
画像は送信の間などで摂動を受けることが多いので、画像の特性パラメータは変換の後
であっても不変であることが理想である。画像変換には、変形、回転、拡大縮小、シャー
リング、圧縮、ノイズの包含などが含まれる。
特に、インターネット技術の新興ドメインでは、画像検索は重要なツールである。しか
しながら、画像検索で使用される画像の種々の特性により、結果が大きく変わることがあ
る。この種の画像検索は、内容ベースの画像検索として周知である。
画像データベースから画像を検索する1つの技術は、各画像をある数の特徴と関連付け
ることである。特徴ベクトル(feature vector)を用いて、その特徴ベクトルによって示
された各画像は、n個の特徴が識別されるn次元の特徴空間(feature space)内の点に
マッピングされる。次に、類似性問合せ(similarity query)を用いて、問合せ画像に近
い近傍にある画像を検索する。
これらの類似性問合せを実行する場合、画像を取得する正確さは、画像データベースの
大きさと類似性問合せの中に含まれる様々な特徴を計算する時間とによって相殺される。
従って、画像検索方法を最適化するための継続的な要求がある。
[詳細な説明]
〈オイラー数〉
画像を画像データベースから検索するためには、各画像を特徴付けて、それを他の画像
から区別する必要がある。例えば、画像を数値的に特徴付ける。
例えば、2値画像データベースの各2値画像にオイラー数を割り当てる。2値画像のオ
イラー数は、画像内の連結されたコンポーネント(オブジェクト)の数と画像内の穴(ho
le)の数との間の差である。
オイラー数は、2値画像の位相的な特徴である。オイラー数は2値画像を変形、回転、
拡大縮小及びゴムシート変換(rubber-sheet transformation)する場合でも変化しない
で残る。
2値画像16を、N×Mの画素マトリックス20の中で表示することができる。ここで
、図1に示すように、オブジェクト画素12は2値の1を表示するために網掛けされてい
るが、一方背景画素12は2値の0を示すために網掛けされていない。N×Mの画素マト
リックス20の中では、連結成分は、オブジェクト画素のセットであって、そのセット内
の任意のオブジェクト画素12が同じセットの少なくとも1つのオブジェクト画素12の
8(又は4)近傍であるようなオブジェクト画素のセットをいう。4近傍14及び8近傍
18の両方が、図2に示されている。
2値画像における連結成分に加えて、1つの実施形態では、ホールが、セット内の任意
の背景画素が同じセットの少なくとも1つの背景画素の4(又は8)近傍内にあり、背景
画素のこの全体のセットが連結成分によって囲まれるような背景画素のセットとして定義
される。
画素マトリックス20のi番目の列(又は行)の連なりは、i番目の列(又は行)内の
連続する画素の最大の連続体と定義される。各2つの隣接する列(行)内に現れる2つの
連なりは、連なりうちの少なくとも1つの画素が他の連なりの画素の8(又は4)近傍の
中にある場合は隣接していると称される。
Iとして知られる2値画像16が1つの行(列)iから構成する場合、画像16のオイ
ラー数E(I)は、下記の式で示すように、R(i)として示された画像16の連なりの
数と同じである。
Figure 0004388095
しかしながら、2値画像16が複数の行(列)から構成する場合、2値画像Iは部分画像
iに分割される。さらに、画像全体のオイラー数は、下記の式を用いて見つけることが
できる。
Figure 0004388095
ここで、Oiは2つの連続する行(列)、例えば、(i−1)番目及びi番目の間の隣接
する連なりの数に等しい。
1つの実施形態によれば、2値画像のオイラー数は、N×Mの画素マトリックスの全て
の行(列)の連なりの数の合計と全ての連続する行(列)の対の間の隣接する連なりの合
計との間の差として定義される。これを数式で表すと下記のようになる。
Figure 0004388095
ここで、IN=Iは全画像を示す。これにより、2値画像I内のラインの数及び隣接する
連なりの数を知ることによって、オイラー数E(I)を計算できる。
〈オイラーベクトル(Euler Vector)〉
2値画像に対するオイラー数を、グレイ諧調の画像にまで拡大することができる。例え
ば、図3に示すように、グレイ諧調の画像36をN×Mのマトリックスで示すことができ
る。ここで、各成分22は、画素に対応する輝度を示す、10進数の0と255との間の
整数である。各成分の輝度値は、8ビットの2進ベクトル(b7,b6,b5,b4,b3
2,b1,b0)によって表示できる。このように、グレイ諧調の画像36は、8ビット
のプレーンすなわち8つの区別できる2値画像から構成する。
仮想のグレイ諧調画像36は、図示のように、それぞれが区別できる輝度値を示す3つ
の8ビットの画素22a,22b及び22cを含む。
1つの実施形態では、8ビットの2進ベクトルの第1の4つの最上位ビットのプレーン
(b7,b6,b5及びb4)が保持される。要するに、4つの2値画像が保持される。図4
A〜図4Dでは、図3のグレイ諧調画像36の4つの最上位ビットのプレーンを示す4つ
の2値画像18a〜18dが示されている。各2値画像18a〜18dに対してオイラー
数を計算することができる。
1つの実施形態では、各2値画像18に対してオイラー数を計算する前に、4ビットの
2進ベクトル(b7,b6,b5,b4)が、その対応する交番グレイコードのベクトル(g
7,g6,g5,g4)に変換される。この場合:
Figure 0004388095
ここで、
Figure 0004388095
はXOR(モジュロ2)演算を示す。交番グレイコード変換の結果は、1つの実施形態に
基づいて、それぞれ図5A〜図5Dの2値画像28a〜28dに示されている。任意の2
進ベクトルに対して、対応する交番グレイコードは一意的であり、逆の場合も同様である
ことは周知である。
このため、1つの実施形態では、本来のグレイ諧調画像Kのオイラー数ξKは4タプル
(E7,E6,E5,E4)である。ここで、Eiは、輝度値の交番グレイコード表示に対応
するi番目のビットプレーン4≦i≦7によって形成された部分2値画像giのオイラー
数である。
従って、2値画像に対してオイラー数を計算することに加えて、画像の4つの最上位の
2進ビットプレーンを検討すること、4ビットの2進ベクトルをその対応する交番グレイ
コードに変換すること、及び各交番グレイコードの表示に対してオイラー数を計算するこ
とによって、グレイ諧調画像のオイラーベクトルを計算することができる。
オイラーベクトルを用いてグレイ諧調画像を特徴付けることにおいて、オイラーベクト
ルの成分は、場合によっては、重要度が減少する順となる。すなわち、成分E7は画像の
特徴付けにおいては最上位であり、次はE6、等々である。さらに、オイラーベクトルの
種々の成分の範囲及び分散は異なっている。そのような環境では、マハラノビスの距離(
Mahalanobis distance)を採用して、画像の集合の特徴に対する特性の類似点及び相違点
を捕捉する測度を提供することができる。
〈マハラノビスの距離〉
このように、オイラー数Eiは2値画像を特徴付けることができる。拡大することによ
り、4つのオイラー数E7,E6,E5,及びE4を含むオイラーベクトルζiは、グレイ諧
調の画像を特徴付けることができる。各オイラー数Eiは、1つの実施形態によれば、グ
レイ諧調画像の「特徴」として説明される。1つの実施形態では、オイラーベクトルの特
徴は画像検索用のベースを形成する。
オイラーベクトルξKが、画像データベース内で各グレイ諧調画像Kについての特徴を
表すと仮定する。オイラーベクトルξqによって定義された特徴を有する新しい画像qが
、画像データベースから検索されるとする。新たに受信された画像qが、画像データベー
ス内のそれぞれの画像と比較される。適合すると認められると、画像検索は完了する。
2つの事物を比較する1つの方法は、それらの間の距離を測定することである。距離の
測定は、数などのスカラーの間で行われるが、ベクトル間で行うこともできる。画像がベ
クトルを用いて表現される場合、そのベクトルとそれ自体のベクトルを有する第2の画像
との間の距離は、計算することができる。従って、2つの画像間の距離を計算することが
できる。
問合せ画像30qが、画像データベース40の中で見つからないと仮定する。正確に一
致しているかどうかを比較するのではなく、1つの実施形態では、問合せ画像30qとデ
ータベース内の他の画像との間の距離の測定が行われる。1つの距離測定法は、マハラノ
ビス距離測定法として周知である。このマハラノビス距離測定法は、問合せ画像30qと
データベース内の他の画像との間の「距離」を計算し、次に、距離の結果を配列する。最
小の距離の結果が「一致する」とされる。
マハラノビスの距離測定動作が、1つの実施形態に基づいて、図6に示されている。シ
ステム100は、プロセッサ80、画像データベース40及びマハラノビスの距離測定部
60を含む。画像データベース40は、それぞれが関連するオイラーベクトルξKを有す
る複数の画像30を含む。マハラノビスの距離測定部60は、画像データベース40から
各画像30を受け取り、それらをそれ自身のオイラーベクトルξqを含む問合せ画像30
qと比較する。1つの実施形態では、マハラノビスの距離測定部60は、問合せ画像30
qと画像データベース40からの1つ以上の画像30との間のマハラノビスの距離測定を
実行するソフトウェアのプログラムである。
1つの実施形態による結果テーブル50は、問合せ画像30qと画像データベース40
内の1つ以上の画像30との間の距離を計算する機能を含む。1つの実施形態では、距離
の結果が大きさに従って配列される。このため、結果テーブル50内の最初(又は最後)
に記入された結果が距離計算の「適合距離」である。
画像データベース40内のそれぞれの画像30は、オイラーベクトルξKに基づいて分
類又は表現される。オイラーベクトルの成分すなわちオイラー数E7,E6,E5及びE4
、分類されたグレイ諧調画像30の特徴を示す。従来は、2つのベクトル間の距離の測定
値を使用して、2つのベクトルの「親密さ」を捉える。例えば、ベクトルxとyとの間の
ユークリッドの距離(Euclidean distance)は、下記の式によって与えられる。ここで、
xは4つの成分x1,x2,x3及びx4を有し、yも同様に4つの成分y1,y2,y3及び
4を有する。
Figure 0004388095
現象によっては、このユークリッド距離が、極めて優れた距離の測定値を示さないこと
がある。オイラーベクトルによってグレイ諧調画像を特徴付ける場合、ベクトルの成分が
重要度の減少レベルを有することを思い出してほしい。すなわち、E7はグレイ諧調画像
30を特徴付ける上でE6よりも重要であり、E6は画像30を特徴付ける上でE5よりも
重要である、等々である。
さらに、ベクトルの成分(E7,E6,E5及びE4)の範囲及び分散は、それらの大きさ
が大きく異なる。そのような環境では、マハラノビスの距離は、データベース40の画像
30間の類似点/相違点の特性を捉えるために、ユークリッド距離よりもより優れた測定
値を提供することができる。
2つのベクトルxとyとの間のマハラノビスの距離は、下記の式から引き出すことがで
きる。
Figure 0004388095
ここで、’はマトリックスの転置を示す。MVCは、画像特徴ベクトル:x’=(x1,x2
,...xN)及びy’=(y1,y2,...yN)によって形成された分散−共分散マト
リックスである。ここで、(x−y)’は(1×n)マトリックス、MVC−1は(n×n
)マトリックス、及び(x−y)は(n×1)マトリックスであり、このため、それらの
積はスカラーである。
VCとして示されたxの分散−共分散マトリックスは、下記の式によって与えられたN
×Nマトリックスである。
VC(i,j)=i番目の特徴xiの分散、i=jの場合
=i番目の変数xi及びj番目の変数xjの共分散、i≠jの場合
Mvc(i,j)=MVC(j,i)であることに注意されたい。xの分散−共分散マトリ
ックスは、分散マトリックス(dispersion matrix)としても周知である。
画像特徴ベクトルの分散−共分散マトリックスを計算するために、分散及び共分散の両
方を計算する。特徴xiの分散は下記のように定義される。
Figure 0004388095
ここで、Lは、変数(特徴)xiの観測の数である。
グレイ諧調画像の特徴にも相関がある場合がある。任意の2つの特徴間の相関の測定は
、共分散として周知である。共分散は下記のように定義される。
Figure 0004388095
分散及び共分散の値が決定されると、分散−共分散のマトリックスMVCを計算すること
ができる。この分散−共分散のマトリックスMVCは下記のようになる。
Figure 0004388095
図7において、画像30のデータベースに対する分散−共分散のマトリックスMVCが、
1つの実施形態に基づいて計算される。説明のために、画像データベース40は、それぞ
れの画像30Kが関連するオイラーベクトルξKを有する画像30を含むと仮定する。各
オイラーベクトルξKは、画像30Kの「特徴」を構成するオイラー数EK7,EK6,EK5
及びEK4を含む。
データベース40の全ての画像30に対して、分散−共分散のマトリックスを計算でき
る。その後、問合せ画像30qが、図6に示すように、システム100により受信される
。いったん分散−共分散のマトリックスMVCが計算されると、画像の問合せにより所望の
画像が迅速に検索される。
1つの実施形態では、マハラノビスの距離測定部60は、画像データベース40の各特
徴の平均を計算する(ブロック202)。オイラーベクトルξKは4つの特徴すなわちオ
イラー数E7〜E4を含むため、下記のように4つの平均計算が行われる。
Figure 0004388095
ここで、jは画像データベース40内の画像番号である。
データベース40内の各画像30の特徴には相関がある場合がある。任意の2つの特徴
間の相関の測定が、上記で定義された共分散方程式内に反映される。このため、1つの実
施形態では、画像30の特徴間の共分散が計算される(ブロック206)。例えば、図示
したデータベース40では、下記の共分散の方程式が計算される。
Figure 0004388095
共分散が、オイラー数E7とE6、E7とE5、E7とE4、E6とE5、E6とE4、及びE5
4との間で計算される。共分散は結合性である。このため、cov(E7,E6)=co
v(E6,E7)等々となる。
画像データベース40の特徴E7,E6,E5及びE4に対する分散及び共分散を知ること
ができたので、1つの実施形態に基づいて分散−共分散のマトリックスMVCを計算するこ
とができる(ブロック208)。オイラーベクトルξKを用いて特徴付けられた画像デー
タベースに対しては、分散−共分散のマトリックスMVCは下記のようになる。
Figure 0004388095
図7による分散−共分散マトリックスの計算は、このように完了する。
分散−共分散のマトリックスMVCが判明すると、問合せ画像30qと画像データベース
40内の1つ以上の画像30との間で、マハラノビスの距離が測定される。
1つの実施形態では、マハラノビスの距離が図8のフローチャートに基づいて計算され
る(ブロック302)。最初に、2つのベクトル間の差が計算される。各ベクトルは、所
定の画像30に対する特徴情報を含む。例えば、問合せ画像30qと画像データベース4
0の画像30aとの間のマハラノビスの距離を求める場合、オイラーベクトルξqとξa
の間の差が計算される。このオイラーベクトルξqとξaとの間の差は、下記のようになる

Figure 0004388095
同様に、転置(ξq−ξa)’は下記のようになる。
Figure 0004388095
さらに、画像30qと画像データベース40内の任意の画像30との間のマハラノビス
の距離を計算するために、分散−共分散マトリックスMVCのインバースすなわちMVC -1
計算される(ブロック304)。マトリックスMVCのインバースは、周知の原理に基づい
て計算される。
これらの演算から、マハラノビスの距離が計算される(ブロック306)。例えば、問
合せ画像30qを用いて、マハラノビスの距離が問合せ画像30qと画像データベース4
0内の1つ以上の画像30との間で、下記のように計算される。
Figure 0004388095
1つの実施形態では、マハラノビス距離測定部60は、最小の値から最大の値に向かう
順序で距離の計算結果を配列する。このため、結果テーブル50への最初のエントリーが
、問合せ画像30qに最も近い一致画像である。1つの実施形態では、画像の特徴を表す
ものとしてオイラーベクトルを、また最も近い尺度としてマハラノビスの距離を用いて、
所望の画像が最短の距離にあると判明される。問合せ画像30qのノイズのあるバージョ
ン及び圧縮バージョンは、結果テーブル50では直ぐ上の階数を有する。
いくつかの実施形態では、画像30を特徴付けるために使用される様々な特徴は、検索
するために等しく重要であるということではない。そのような場合、分散−共分散マトリ
ックスMVCの成分は、対応する特徴の重要性に従って、適当な重み付け係数によって乗算
される。
極めて大きいデータベースについては、問合せ画像30qからデータベース40内の全
ての他の画像30までの距離を計算するには、かなりの時間を必要とする。このため、分
類し次に検索するには極めて時間がかかる。この問題をうまく回避するために、多次元検
索技術を使用して、特徴空間内の問合せ画像30qの付近にある画像のサブセットを検索
する。次に、提案された距離測定による分類をこのサブセットだけに行う。
〈範囲ツリー(Range Tree)〉
データベース内の項目を見つけるために利用できる多くの技術がある。例として、デー
タベースの順次検索が存在し、ハシュテーブル(hash table)を使用でき、また二分探索
技術を採用することができる。二分木は、データセット内の項目を記憶、削除及び検索す
るために使用されるデータ構造である。画像データベース40内の画像30に関しては、
データベース40内の画像の全てのjを検索せずに、問合せ画像30qに類似した画像3
0を見つけ出すことが望ましい。
1つの実施形態では、多次元検索ツリーを例えば画像30を記憶するために使用する。
この多次元検索ツリーは、画像30の効果的な検索を可能にする。
1つの実施形態では、画像はランダムに二分木内に記憶される。しかしながら、データ
は二分木内にランダムな順序で挿入されないことがある。このため、二進検索の性能は、
最適な場合よりも劣る。二分木は、各データを挿入又は削除した後で「再平衡」(“reba
lance”)される。再平衡動作の間に、二分木のノードは回転することにより再整理され
る。一般に、これらの回転により二分木の高さは最小にされる。
二分木の1つの種類は、(その創作者Adelson-Velskii 及び Landisの名前から名付け
られた)AVLツリーとして知られている。二分木のこの特定の形態では、再平衡を取る
ことにより、AVLツリー内の各ノードに対して、平衡係数(balance factor)として周
知の、そのサブツリー間の高さの差は1より大きくないことが確実にされる。
1つの実施形態では、図6に示すように、4次元の範囲ツリー(range tree)62は、
データベース40内の各画像30に関連したオイラーベクトルξKを記憶するためのデー
タ構造として使用される。範囲ツリー62は、オイラーベクトルが4つの特徴、すなわち
、オイラー数E7,E6,E5及びE4を含むため4次元である。問合せ画像30qに対して
オイラーベクトルξqを用いて、範囲ツリー62は特定のノードを規定する。1つの実施
形態では、マハラノビスの距離測定部60が、問合せ画像30qと、範囲ツリー62の全
ての画像30ではなくノードにある画像のみとの間で実現される。結果は、第1の距離の
値が適合画像30を指し示すように、降順に配列される。
本発明を限られた数の実施形態に関して説明してきたが、当業者はこれらの実施形態か
らの多くの修正例及び変更例を理解されよう。添付した特許請求の範囲が、本発明の真の
精神及び範囲の中に入る全てのそのような修正例や変更例をカバーするものとする。
本発明の1つの実施形態による2値画像のブロック図である。 本発明の1つの実施形態による4近傍及び8近傍のブロック図である。 本発明の1つの実施形態によるグレー諧調画像のブロック図である。 図4A〜図4Dは、本発明の1つの実施形態による、図3のグレー諧調画像の2値画像である。 図5A〜図5Dは、本発明の1つの実施形態による、図3のグレー諧調画像の交番グレーコードの表示である。 本発明の1つの実施形態によるシステムのブロック図である。 本発明の1つの実施形態による、図6のシステムの複数の画像に対して分散−共分散マトリックスを計算するためのフローチャートである。 本発明の1つの実施形態による、図6のシステムの問合せ画像と複数の画像との間のマハラノビス距離(Mahalanobis distance)を計算するためのフローチャートである。

Claims (19)

  1. オイラー数を要素として持つオイラーベクトルを用いて、あるデータベースに含まれる複数のグレー諧調画像を特徴付けるステップであって、ここで、前記グレー諧調画像の各成分の輝度値は、複数ビットの2進ベクトルにより表されるものであり、前記オイラー数は、該2進ベクトルの所定数の上位ビットプレーンを示す該所定数の2値画像に対して計算されるものである、ステップと、
    オイラーベクトルを含んだ問合せ画像を受信するステップと、
    前記オイラーベクトルを用いて、前記問合せ画像と前記データベース内の前記複数の画像との間のマハラノビス距離を計算するステップと、
    受信した前記問合せ画像に適合するものとして、計算された前記距離のうち最小の距離を有する画像を前記データベースから取得するステップと
    を含む、類似性に基づいた画像取得のためのコンピュータ実行可能な方法。
  2. 前記問合せ画像と前記データベース内の前記複数の画像との間のマハラノビス距離を計算するステップは、
    前記複数の画像のオイラーベクトルを用いて分散−共分散マトリックスを構築するステップと、
    オイラーベクトルを有する第1の画像を前記複数の画像から選択するステップと、
    前記分散−共分散マトリックスを用いて、前記第1の画像と前記問合せ画像との間のマハラノビス距離を計算するステップと
    をさらに含む、請求項1に記載の方法。
  3. 前記複数の画像のオイラーベクトルを用いて分散−共分散マトリックスを構築するステップは、
    前記複数の画像のオイラーベクトルの要素の平均を計算するステップと、
    前記複数の画像のオイラーベクトルの要素の分散を計算するステップと、
    前記複数の画像のオイラーベクトルの要素のある組み合わせに対して共分散を計算するステップと
    をさらに含む、請求項2に記載の方法。
  4. 計算された前記分散と前記共分散とに基づいて分散−共分散マトリックスを構築するステップをさらに含む請求項3に記載の方法。
  5. 前記分散−共分散マトリックスを用いて、前記第1の画像と前記問合せ画像との間のマハラノビス距離を計算するステップは、
    差ベクトルを得るために、前記第1の画像を特徴付けるオイラーベクトルと前記問合せ画像を特徴付けるオイラーベクトルとの間の差を計算するステップ
    をさらに含む、請求項2に記載の方法。
  6. 記差ベクトルの転置ベクトルと前記分散−共分散マトリックスのインバースとを乗じた結果に対して、前記差ベクトル乗ずるステップさらに含む請求項5に記載の方法。
  7. 二分木を含む範囲ツリー内のノード前記複数の画像のオイラーベクトルを記憶するステップをさらに含む請求項6に記載の方法。
  8. プロセッサと、
    複数のグレー諧調画像を有するデータベースであって、前記画像の各々は、オイラー数を要素として持つオイラーベクトルを用いて特徴付けられるものであり、ここで、前記グレー諧調画像の各成分の輝度値は、複数ビットの2進ベクトルにより表されるものであり、前記オイラー数は、該2進ベクトルの所定数の上位ビットプレーンを示す該所定数の2値画像に対して計算されるものである、データベースと、
    前記プロセッサ上で、オイラーベクトルを含んだある問合せ画像を受信することと、前記オイラーベクトルを用いて、前記問合せ画像と前記データベース内の前記複数の画像との間のマハラノビス距離を計算することと、受信した前記問合せ画像に適合するものとして、計算された前記距離のうち最小の距離を有する画像を前記データベースから取得することとを行うソフトウェアプログラムを有する機械的に読み取り可能な媒体と
    を備えるシステム。
  9. 前記ソフトウェアプログラムは、前記プロセッサ上で、前記データベース内の前記複数の画像のオイラーベクトルを用いて分散−共分散マトリックスを構築するものである、請求項8に記載のシステム。
  10. 前記ソフトウェアプログラムは、
    前記複数の画像の1つ以上のオイラーベクトルの要素の平均を計算することと、
    前記複数の画像の1つ以上のオイラーベクトルの要素の分散を計算することと、
    前記複数の画像のオイラーベクトルの要素の組み合わせに対して共分散を計算することと
    によりマハラノビス距離をさらに計算するものである、請求項9に記載のシステム。
  11. 前記ソフトウェアプログラムは、
    差ベクトルを得るために、第1の画像を特徴付けるオイラーベクトルとある問合せ画像を特徴付けるオイラーベクトルとの間の差を計算することと、
    前記差ベクトルのインバースを計算することと
    によりマハラノビス距離をさらに計算するものである、請求項8〜10のいずれか一項に記載のシステム。
  12. 前記ソフトウェアプログラムは、
    記差ベクトルの転置ベクトルと前記分散−共分散マトリックスのインバースとを乗じた結果に対して、前記差ベクトル乗ずること
    によりマハラノビス距離をさらに計算するものである、請求項11に記載のシステム。
  13. オイラー数を要素として持つオイラーベクトルであって、ここで、あるデータベースに含まれる複数のグレー諧調画像の各成分の輝度値は、複数ビットの2進ベクトルにより表されるものであり、前記オイラー数は、該2進ベクトルの所定数の上位ビットプレーンを示す該所定数の2値画像に対して計算されるものである、オイラーベクトルを用いて、記グレー諧調画像を特徴付けることと、
    オイラーベクトルを含んだある問合せ画像を受信することと、
    前記オイラーベクトルを用いて、前記問合せ画像と前記データベース内の前記複数の画像との間のマハラノビス距離を計算することと、
    受信した前記問合せ画像に適合するものとして、計算された前記距離のうち最小の距離を有する画像を前記データベースから取得することと
    をプロセッサベースのシステム上で可能にする命令を有する、類似性に基づいた画像取得のためのコンピュータプログラム。
  14. 前記複数の画像のオイラーベクトルを用いて分散−共分散マトリックスを構築することと、
    オイラーベクトルを含んだ第1の画像を前記複数の画像から選択することと、
    前記分散−共分散マトリックスを用いて、前記第1の画像と前記問合せ画像との間のマハラノビス距離を計算することと
    をプロセッサベースのシステム上で可能にする命令をさらに有する請求項13に記載のコンピュータプログラム。
  15. 前記複数の画像のオイラーベクトルの要素の平均を計算することと、
    前記複数の画像のオイラーベクトルの要素の分散を計算することと、
    前記複数の画像のオイラーベクトルの要素のある組み合わせに対して共分散を計算することと
    をプロセッサベースのシステム上で可能にする命令をさらに有する請求項14に記載のコンピュータプログラム。
  16. 計算された前記分散と前記共分散とに基づいて分散−共分散マトリックスを構築することをプロセッサベースのシステム上で可能にする命令をさらに有する請求項15に記載のコンピュータプログラム。
  17. 差ベクトルを得るために、前記第1の画像を特徴付けるオイラーベクトルと前記問合せ画像を特徴付けるオイラーベクトルとの間の差を計算することをプロセッサベースのシステム上で可能にする命令をさらに有する請求項16に記載のコンピュータプログラム。
  18. 記差ベクトルの転置ベクトルと前記分散−共分散マトリックスのインバースとを乗じた結果に対して、前記差ベクトル乗ずること
    をプロセッサベースのシステム上で可能にする命令をさらに有する請求項17に記載のコンピュータプログラム。
  19. 二分木を含む範囲ツリー内のノード前記複数の画像のオイラーベクトルを記憶することをプロセッサベースのシステム上で可能にする命令をさらに有する請求項18に記載のコンピュータプログラム。
JP2007092860A 2001-03-23 2007-03-30 距離測定法を用いる画像検索 Expired - Fee Related JP4388095B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/817,000 US6681060B2 (en) 2001-03-23 2001-03-23 Image retrieval using distance measure

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002575842A Division JP2004532458A (ja) 2001-03-23 2002-01-25 距離測定法を用いる画像検索

Publications (2)

Publication Number Publication Date
JP2007249981A JP2007249981A (ja) 2007-09-27
JP4388095B2 true JP4388095B2 (ja) 2009-12-24

Family

ID=25222133

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002575842A Withdrawn JP2004532458A (ja) 2001-03-23 2002-01-25 距離測定法を用いる画像検索
JP2007092860A Expired - Fee Related JP4388095B2 (ja) 2001-03-23 2007-03-30 距離測定法を用いる画像検索

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2002575842A Withdrawn JP2004532458A (ja) 2001-03-23 2002-01-25 距離測定法を用いる画像検索

Country Status (10)

Country Link
US (1) US6681060B2 (ja)
EP (1) EP1370983B1 (ja)
JP (2) JP2004532458A (ja)
KR (1) KR100545477B1 (ja)
CN (1) CN1267840C (ja)
AT (1) ATE366963T1 (ja)
DE (1) DE60221109T2 (ja)
HK (1) HK1060634A1 (ja)
TW (1) TWI223779B (ja)
WO (1) WO2002077870A2 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563439B1 (en) * 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US6636167B1 (en) * 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
US7266545B2 (en) * 2001-08-07 2007-09-04 International Business Machines Corporation Methods and apparatus for indexing in a database and for retrieving data from a database in accordance with queries using example sets
US7009594B2 (en) 2002-10-31 2006-03-07 Microsoft Corporation Universal computing device
US7502507B2 (en) 2002-10-31 2009-03-10 Microsoft Corporation Active embedded interaction code
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
US7430497B2 (en) 2002-10-31 2008-09-30 Microsoft Corporation Statistical model for global localization
US7116840B2 (en) 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US20040101156A1 (en) * 2002-11-22 2004-05-27 Dhiraj Kacker Image ranking for imaging products and services
US7274831B2 (en) 2003-04-03 2007-09-25 Microsoft Corporation High quality anti-aliasing
JP2006040085A (ja) * 2004-07-29 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2006119723A (ja) * 2004-10-19 2006-05-11 Canon Inc 画像処理装置、画像処理方法
US7801893B2 (en) * 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US8019179B2 (en) * 2006-01-19 2011-09-13 Qualcomm Incorporated Hand jitter reduction for compensating for linear displacement
US7970239B2 (en) 2006-01-19 2011-06-28 Qualcomm Incorporated Hand jitter reduction compensating for rotational motion
US8120658B2 (en) * 2006-01-19 2012-02-21 Qualcomm Incorporated Hand jitter reduction system for cameras
CN100433016C (zh) * 2006-09-08 2008-11-12 北京工业大学 基于信息突变的图像检索方法
CN101216858B (zh) * 2008-01-14 2011-12-07 浙江大学 分割式相似度传播数据聚类方法
US20090216755A1 (en) * 2008-02-21 2009-08-27 Einav Itamar Indexing Method For Multimedia Feature Vectors Using Locality Sensitive Hashing
US8442278B2 (en) * 2008-02-28 2013-05-14 Honeywell International Inc. Covariance based face association
WO2009148411A1 (en) * 2008-06-06 2009-12-10 Agency For Science, Technology And Research Method and system for maintaining a database of reference images
US10210179B2 (en) * 2008-11-18 2019-02-19 Excalibur Ip, Llc Dynamic feature weighting
US8572109B1 (en) 2009-05-15 2013-10-29 Google Inc. Query translation quality confidence
US8577910B1 (en) 2009-05-15 2013-11-05 Google Inc. Selecting relevant languages for query translation
US8577909B1 (en) 2009-05-15 2013-11-05 Google Inc. Query translation using bilingual search refinements
US8538957B1 (en) * 2009-06-03 2013-09-17 Google Inc. Validating translations using visual similarity between visual media search results
KR20110064197A (ko) 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법
JP5552981B2 (ja) * 2010-09-15 2014-07-16 株式会社リコー 索引方法、検索方法、及びその記憶媒体
BR112013008305A2 (pt) 2010-10-19 2023-12-26 3M Innovative Properties Company Método, sistema e aparelho de inspeção automatizado
JP5912125B2 (ja) 2010-11-12 2016-04-27 スリーエム イノベイティブ プロパティズ カンパニー ウェブベース材料における不均一性の高速処理と検出
TWI403697B (zh) * 2010-12-16 2013-08-01 Univ Nat Taipei Technology 以單一影像擷取裝置提供距離量測的系統及其方法
US20120158953A1 (en) * 2010-12-21 2012-06-21 Raytheon Bbn Technologies Corp. Systems and methods for monitoring and mitigating information leaks
CN102253995B (zh) * 2011-07-08 2013-05-29 盛乐信息技术(上海)有限公司 一种利用位置信息实现图像搜索的方法和系统
CN102262736B (zh) * 2011-07-21 2012-11-21 西北工业大学 空间目标图像分类与识别方法
KR101255729B1 (ko) * 2011-08-03 2013-04-18 부산대학교 산학협력단 지역 정렬을 이용한 부분 이미지 검색 방법
US20130044927A1 (en) * 2011-08-15 2013-02-21 Ian Poole Image processing method and system
CN102819582B (zh) * 2012-07-26 2014-10-08 华数传媒网络有限公司 一种海量图片快速检索方法
US8942515B1 (en) * 2012-10-26 2015-01-27 Lida Huang Method and apparatus for image retrieval
WO2014176580A2 (en) * 2013-04-27 2014-10-30 Datafission Corporaion Content based search engine for processing unstructurd digital
GB2553775A (en) * 2016-09-09 2018-03-21 Snell Advanced Media Ltd Method and apparatus for ordering images
KR101715782B1 (ko) * 2016-10-06 2017-03-13 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법
US11848100B2 (en) 2019-10-18 2023-12-19 Merative Us L.P. Automatic clinical report generation
US11681747B2 (en) * 2019-11-25 2023-06-20 Gracenote, Inc. Methods and apparatus to generate recommendations based on attribute vectors

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2880383B2 (ja) * 1993-10-06 1999-04-05 川崎重工業株式会社 パターン認識装置および方法
JPH0863581A (ja) * 1994-06-17 1996-03-08 Fujitsu Ltd 外部環境認識装置
US5642431A (en) * 1995-06-07 1997-06-24 Massachusetts Institute Of Technology Network-based system and method for detection of faces and the like
US6104833A (en) 1996-01-09 2000-08-15 Fujitsu Limited Pattern recognizing apparatus and method
US5933823A (en) * 1996-03-01 1999-08-03 Ricoh Company Limited Image database browsing and query using texture analysis
JPH10293814A (ja) * 1997-04-17 1998-11-04 Ricoh Co Ltd 文字認識方法および記録媒体
JPH11175534A (ja) * 1997-12-08 1999-07-02 Hitachi Ltd 画像検索方法およびその装置およびこれを利用した検索サービス
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval

Also Published As

Publication number Publication date
KR100545477B1 (ko) 2006-01-24
ATE366963T1 (de) 2007-08-15
WO2002077870A2 (en) 2002-10-03
CN1498381A (zh) 2004-05-19
JP2007249981A (ja) 2007-09-27
DE60221109D1 (de) 2007-08-23
US6681060B2 (en) 2004-01-20
HK1060634A1 (en) 2004-08-13
EP1370983A2 (en) 2003-12-17
JP2004532458A (ja) 2004-10-21
WO2002077870A3 (en) 2003-03-20
KR20040005895A (ko) 2004-01-16
CN1267840C (zh) 2006-08-02
US20020164075A1 (en) 2002-11-07
EP1370983B1 (en) 2007-07-11
DE60221109T2 (de) 2008-03-13
TWI223779B (en) 2004-11-11

Similar Documents

Publication Publication Date Title
JP4388095B2 (ja) 距離測定法を用いる画像検索
US5542089A (en) Method and apparatus for estimating the number of occurrences of frequent values in a data set
CA2819925C (en) Method and device for finding nearest neighbor
CN108304409B (zh) 一种基于进位的Sketch数据结构的数据频度估计方法
JP4556120B2 (ja) 情報処理装置および方法、並びにプログラム
WO2019165543A1 (en) Random draw forest index structure for searching large scale unstructured data
WO2013051619A1 (ja) 類似性検出装置及び指向性近傍検出方法
Sridevi et al. Imputation for the analysis of missing values and prediction of time series data
Rao Data mining and clustering techniques
CN110489419A (zh) 一种基于多层局部敏感哈希的k最近邻近似查询方法
TWI770967B (zh) 一種神經網路的訓練方法、視頻識別方法及電腦設備和電腦可讀儲存介質
JP2002342136A (ja) ブロック・レベル・サンプリングを使用してデータベースのクラスタ化係数を判定する装置および方法
JPH06168277A (ja) 画像検索装置及び方法
KR100319151B1 (ko) 다중레벨 이미지 데이터 생성 방법과 다중레벨 이미지 데이터를 이용한 이미지 검색방법
Pardede et al. Comparison of similarity measures in HSV quantization for CBIR
Egas et al. Adapting kd trees to visual retrieval
KR102054211B1 (ko) 이미지 쿼리 기반의 영상 검색 방법 및 시스템
Rathore et al. Approximate cluster heat maps of large high-dimensional data
Yang et al. Adaptive density peak clustering for determinging cluster center
Yang et al. Isometric hashing for image retrieval
KR20000047363A (ko) 색상 정보를 이용한 멀티미디어 데이터 검색 장치 및 방법
KR100319150B1 (ko) 특징소 타입별 및 요소별 중요도 자동 판단에 의한 이미지 검색
Ruxanda Combining color and shape features for efficient indexing and image retrieval
Huang et al. Similarity retrieval based on group bounding and angle sequence matching in shape database systems
BG113055A (bg) Метод за извличане на потребителски изображения по съдържание с използването на локални характеристики, двумерно комплексно уейвлетно преобразуване с дуални дървета и разстояние на хаусдорф

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091001

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131009

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees