JPH1055433A - 画像検索方法及び画像検索装置 - Google Patents
画像検索方法及び画像検索装置Info
- Publication number
- JPH1055433A JPH1055433A JP9113807A JP11380797A JPH1055433A JP H1055433 A JPH1055433 A JP H1055433A JP 9113807 A JP9113807 A JP 9113807A JP 11380797 A JP11380797 A JP 11380797A JP H1055433 A JPH1055433 A JP H1055433A
- Authority
- JP
- Japan
- Prior art keywords
- image
- matrix
- vector
- correlation
- correlated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 54
- 230000002596 correlated effect Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 121
- 239000013598 vector Substances 0.000 description 89
- 125000004122 cyclic group Chemical group 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
なく検索を行う画像データベースの検索のための多重解
像度方法及び装置を提供する。 【解決手段】 検索テンプレートと候補画像の間の相対
的な適合度を求めるため、最初に低い解像度で画像デー
タベースを検索する。もしマッチが一定の閾値よりも低
ければ、検索のためにそれ以上計算せずに検索を終了す
る。逆に、もしマッチが一定の閾値よりも高ければ、候
補画像の解像度を高くして再度マッチを行う。相対的な
適合度が一定の閾値よりも高い間は、候補画像の完全な
解像度でのマッチが決定されるまで候補画像の解像度は
連続的に高くされる。
Description
関し、特に画像データベースに含まれる特定の画像を検
索する方法及び装置に関する。
タを含むデータベースであり、ビジネスや娯楽におい
て、その用途は拡大すると考えられている。画像データ
ベースの用途が拡大することによって、効率よい画像デ
ータベースの検索方法を開発する必要性が強くなってい
る。
る。たいてい、データベース中のデータはテーブル、フ
ィールド及びレコードとして構造的に組織化されてい
る。一般的に、データベース中のレコードはそれぞれ一
組の属性をもっており、ユーザはひとつないし複数の属
性の値を元にデータベースの検索を実行することができ
る。例えば、フットボールに関する統計量のデータベー
スにおいて、1シーズンの間に100回以上のパスを成
功させたクォーターバックを全て検索することができ
る。
ドはそれぞれいくつかの属性をもち、ユーザはある属性
がある値であるようなレコードを検索しようとすること
が想定される。要求されるレコードの内訳をクエリーと
呼び、次の3つのうちのひとつに限定される。 a)単に、特定の属性が特定の値をもつように指定する
クエリー。例えば、THROWINGARM=LEFT
またはTHROWINGARM=RIGHT。 b)特定の属性が特定の範囲の値をもつように範囲を指
定するクエリー。例えば、WEIGHT<220または
180<WEIGHT<220。 c)論理式で表わされたクエリー。例えば、(THRO
WINGARM=LEFT)かつ(HEIGHT>6
´)かつ(COMPLETIONS>99)。
現では注釈を付けられないのがほとんどなので、こうし
たクエリーを基礎とする方法では画像データベースの検
索問題を解くことができない。このため、効率よく高速
で正確に画像データベースを検索するような検索方法の
開発が要求されている。
って画像データベースを検索する先行技術に関心が集ま
っている。一例として、M. Flickner他によ
る「Query by Image and Vide
o Content:TheQBIC Syste
m」、Computer、Vol.28、No.9、2
3−32頁、1995年9月号を挙げることができる。
この例のように画像の内容による検索を実行するために
は、一般に画像テンプレートを選択し、画像テンプレー
トに見掛けが似ている画像を探すようにデータベースに
対して質問することになる。この質問は言い換えると、
「波形Bのどこで信号Aは発生するか」という質問にな
る。
ては、信号の類似性を測定するのに用いられる技術、即
ち信号処理における相関技術を応用して画像の類似性を
測定している。このような相関技術では、数1で与えら
れる数学的操作とする場合、画像
or correlations)を計算することが必
要である。
yで示されている。ここで、ベクトルxはいくつかの可
能性のある画像のひとつを表わし、ベクトルyは画像デ
ータベースに含まれる画像中から検索される固定された
パターンや部分画像を表わす。画像は二次元であるが、
ここでの議論はすべて1次元列ベクトルxとyで説明
し、表記を単純にしている。この議論が簡単に2次元に
拡張できることは当業者には容易に理解できる。特に明
示しない限り、ベクトルxとベクトルyは両方ともNで
表わされる長さを持つものとする。もし検索されるパタ
ーンベクトルyがベクトルxよりも短いならば、検索の
操作のためにベクトルyの長さに0を加えて、ベクトル
yの長さはNに調整される。なお、
を表わしており、N×1行の行ベクトルxの転置行列ベ
クトルxT は1×Nの列ベクトルである。
作で定義されるベクトルxからベクトルyへの巡回相関
である。
ベクトルxの中でベクトルyが最もよくマッチする位置
を示すピークを有する新しい関数を生成する。操作中、
巡回相関は長さNのベクトル2つから長さNのベクトル
をひとつ生成する。
i mod Rに等しいインデックスをもつ構成要素を
とることによって相関操作のサブサンプリングを取るこ
とを表わす。例えば、もしR=4かつi=1ならば、サ
ブサンプリング操作はxとyの巡回相関から要素1、
5、9、13、…を導き出す。結果として、数3は(x
・y)のサブバンドiと呼ばれる。
像ベクトルxのウェーブレット変換
ベクトル
ブレット変換は比較的小さなビット数で表わせるような
小振幅の構成要素を多数含む変換ベクトルとなるので、
画像圧縮に有利である。しばしば、これらの構成要素は
0で置き換えられ、これらはウェーブレット変換におい
て効率的に符号化される。計算操作の間はゼロの構成要
素を処理する必要がないので、画像表示に要するデータ
量を減らすだけでなく、ウェーブレット変換の処理時間
をも減らすことができることは、当業者に容易に理解で
きる。
Hは特殊な構造を有するものと仮定する。特に、行列H
はブロックサイズRを有する対角ブロックであると仮定
する。定義により、行列HはサイズがR×Rの独立した
ブロックに分割され、対角線上に沿った独立したブロッ
クを除き、行列Hのブロックは0のみを含む。例えば、
下記の数4の行列
ブロック行列である。各対角ブロックはお互いに同一で
あり、以下では対角線に沿って下方向に同一のブロック
を有するような対角ブロック行列に限定して説明する。
cessing、Vol.41、No.6、pp.21
10−2130、1993年6月号に開示された「Or
thonormal and Biorthonorm
al Filter Banks as Convol
vers and Convolutional Co
ding Gain」という題名の論文で、P. Va
idyanathanは変換されたベクトルに関する畳
み込み定理(convolution theore
m;以下、Vaidyanathanの定理と記す)を
証明した。Vaidyanathanの定理は、ベクト
ルxとベクトルyのウェーブレット変換が与えられる
と、ベクトルxとベクトルxの巡回畳み込み(circ
ulor convolution)による構成要素の
いくつかはベクトルxとベクトルyをウェーブレット領
域から画素領域に戻すようなベクトルxとベクトルyの
最初の変換を行う必要がないことを証明している。図示
すれば、Vaidyanathanの定理は図5のよう
に表わすことができる。
対角線に沿って、ブロックのサイズがRの対角ブロック
であり、かつ
とき次の数5が成立する場合、ベクトルxとベクトルy
の全てのサブバンドの巡回相関を計算し、構成要素毎に
これらの相関を加算すれば、ベクトルxとベクトルyの
ウェーブレット変換からベクトルxとベクトルyの巡回
相関によるサブバンド0を得ることができる。
いことに注意すべきである。例えば、もしN=32、R
=4であり、各サブバンドが8個の構成要素を含んでい
ると、Vaidyanathanの定理では、ベクトル
xとベクトルyの4つのサブバンドを形成し、それぞれ
の長さが8である4つの巡回相関を計算し、且つ、各構
成要素ごとに加算することによって、長さ8の単一ベク
トルを生成することが必要である。これによって得られ
る単一ベクトルはベクトルxとベクトルyの全ベクトル
の巡回相関によるサブバンド0と正確に一致する。
みにおける巡回相関を与える。つまり、低解像度におけ
る検索が一致したからといって、実際に一致するものが
あるとは限らない。このため、実効ある検索方法は一致
の有無を決定するため高解像度部分の構成要素を生成で
きるものでなければならない。図6に示されているよう
に、Vaidyanathanの定理は巡回相関による
他のサブバンドの計算に拡張できるのは好都合である。
を計算するため、ベクトルxは左にjポジションづつ周
期的にシフトされ、サブバンド0を計算するのと同じ手
法で処理される。しかし、この手法を採用した場合に
は、極端に計算量が増加してしまうという問題が生じ
る。例えば、ウェーブレット変換と逆ウェーブレット変
換を計算するコストがほぼ等しいと仮定するならば、ベ
クトルxとベクトルyの巡回相関の全サブバンドを計算
するコストは、ベクトルx及びベクトルyに対するR個
の直接ウェーブレット変換を算出するのに要するコスト
と、巡回相関のコストの和となることを図6の従来の方
法は示している。
関は交互に行う方法によって計算できる。即ち、まず、
て、画素領域における巡回相関を取ることによって計算
できる。このように交互に計算を行う方法は2つのウェ
ーブレット変換に要するのと同等のコストと巡回相関の
コストの和となってしまう。Vaidyanathan
の定理はR−1以上のウェーブレット変換を要求する。
Vaidyanathanの定理に基づいて計算された
場合と、最初に逆変換され画素領域において計算された
場合との正味のコストの比較は、巡回相関の相対的なコ
ストに依存する。
相関を計算する方法に依存している。図7(a)に示す
ように、周知の畳み込みに関する定理により、これらの
相関を効率よく計算する方法を求めることができる。図
7(a)を参照すると、ベクトルxとベクトルyの巡回
相関の計算方法が示されている。この計算の直接的な例
はN2 の乗算である。十分大きな値をもつNに対する効
率的な方法が図7(b)に示されている。図7(b)に
示されているように、ベクトルxとベクトルyの巡回相
関を計算するには、第1に、それらのフーリエ変換を計
算し、第2に、周波数領域で各点ごとにXi とYi のフ
ーリエ係数を乗算し、第3に、各点ごとの演算結果に対
して逆フーリエ変換を施さなければならない(図7
(b)に示された
とることを意味し、この計算にはフーリエ変換を行うコ
ストと同じコストがかかる)。
各変換又は逆変換には約5NlogN回の操作のみが必
要であり、各点毎の乗算にはN回の操作しか必要としな
いため、畳み込みに関する定理を適用することによっ
て、計算の効率を改善することができる。この計算量
は、通常行われる直接的な方法による巡回畳み込みを計
算するのに必要なN2 回よりかなり少ない操作である。
Vaidyanathanの定理に基づく方法を直接的
な方法と比較するために、それぞれの方法に要するコス
トを計算すると以下のようになる。
ト:2回のウェーブレット変換) 2)ベクトルxとベクトルyのフーリエ変換を計算す
る。(コスト:2NlogN回の操作) 3)各点ごとに乗算を行う。(コスト:N回の操作) 4)画素領域に変換し直す。(コスト:NlogN回の
操作) 全コストは2回のウェーブレット変換と3NlogN+
N回の操作に要するコストとなる。
変換を計算する。(コスト:R回のウェーブレット変換
か、既にサブバンド0が利用できる場合には、R−1回
のウェーブレット変換) 2)各サブバンドについて、長さN/Rに対して巡回相
関をR回計算する。(コスト:サブバンド一つ当たりN
logN−NlogR回の操作に要するコストであり、
合計はRNlogN−RNlogRに要するコストとな
る。)
に、Vaidyanathanの方法に要するコスト
は、最初に画素領域に移動し、すぐに相関を求める直接
的な方法による場合の約R倍になってしまう。直接的な
方法は発展性のない方法である。直接的な方法により顕
著な検索結果を得るためには、いずれも完全な計算を行
う必要がある。一方Vaidyanathanの方法は
発展性のある方法であり、すべての操作が終了する前に
中断できるが、実用化するには余りにも計算に要する費
用が高くなってしまう。
に含まれている数多くの候補画像を便利に、効率よくし
かも安価に検索できる方法及び装置に関する技術が求め
られている。
ウェーブレット圧縮技術を用いて画像を高密度に圧縮
し、フーリエ相関技術を用いて画像データベース中の画
像を高速に検索することが可能であり、これによって上
記の問題を解決し、従来より優れた技術を得ることがで
きる。
伸長しないで画像データベースの検索をすることができ
る。特に、検索テンプレートと候補画像の間の相対的な
一致度を得るため、本発明では、最初に低解像度で圧縮
画像のデータベースを検索する。もし一致度が一定の閾
値以下である場合、それ以上計算の資源を検索動作に使
用することなく検索を終了する。言い換えれば、一致度
が一定の閾値より大きいならば、本発明の方法では候補
画像の解像度を上げて、再度マッチングが行われる。相
対的な一致度が一定の閾値より大きい間、候補画像の完
全な解像度で一致度が確定するまで候補画像の解像度は
段階的に高められる。
ベースに含まれる画像の検索を効率よく行う装置を提供
する。更に本発明と同様に、本発明の様々な具体例の構
成及び動作の他の特徴及び利点について、添付図面を参
照して以下に詳細に説明する。
ましい実施例を説明する。
を克服する多重解像度技術を用いる。背景を付加的に説
明すると、多重解像度ウェーブレット展開には一連の行
列H1 、行列H2 、…が存在し、一連の行列はより精細
なウェーブレット変換をつくる。以下の例では、行列H
2 はブロックのサイズがR2 を有する対角ブロックであ
る粗い変換であり、N/R2 の長さをそれぞれ有するR
2 個のサブバンドに関連している。行列H1 は精細な変
換行列であり、ブロックサイズN/Rを有する対角ブロ
ックであり、N/Rの長さを有するR個のサブバンドに
関連している。次の数6のように、行列H2 を行列1 に
なるようにする更新行列
る。行列U12のブロックは行列H1 の対角線上のブロッ
ク行列をR個インターレースされたコピーからなる。例
えば、行列H2 は次の数7で与えられる粗ウェーブレッ
ト変換であるものと仮定する。
れる。
1と−1が行列U12では2離れるごとにインターレース
されており、、行列H1 ではこれらの1と−1とがサイ
ズ2のブロックとなり、行列U12ではサイズ4のブロッ
クとなる以外、精細ウェーブレット変換行列と同じにな
っていることに注目すべきである。
Rの同一ブロックを備えた対角ブロックを形成するウェ
ーブレット変換行列H1 に対するVaidyanath
anの定理に畳み込み定理が適応されたときの計算が構
造的に示されている。
クトルに関連したフーリエ変換行列F2 によって置き換
えられる。構成要素の乗算に続いてサブバンド0の巡回
相関を生成するために逆フーリエ変換が行われる。他の
サブバンドは多重解像度解析においてこの処理を繰り返
し適用することにより計算できる。計算のコストはウェ
ーブレット変換をまず逆変換し、続いて画素領域でのフ
ーリエ変換及び構成要素ごとの乗算によって画素領域内
において巡回相関を効率的に行うコストより大きくない
から、処理は効率がよい。
od R2 の係数は図1に示すように求められる。R2
の各サブバンドにN/R2 個の係数が存在する。次に、
図2に示される関係がサブバンド0 mod R2 にお
ける係数を得るために適用される。これらの係数はN/
R個あり、粗解析の際におけるR倍存在する。
が示されている。図2の上部には、粗フーリエ変換(行
列F2 )に続いて行列H変換のサブサンプリングが行わ
れており、粗の解像度のフーリエ変換からより精細な解
像度のフーリエ変換が得られている。図で示されている
ように、長さN/R2 のR2 個のベクトルは行列
列のそれぞれはサイズがN/R2 の正方行列であり、行
列H2 を行列H1 にする更新行列u12のブロックであ
る。
ことを示す。アップサンプリングによって長さN/R2
のR2 個のベクトルを互いにインターレースし、長さN
/RのR個のベクトルを生成する。(ベクトル(1,
3,5,7)と(2,4,6,8)及びベクトル(9,
11,13,15)と(10,12,14,16)とを
2つずつアップサンプリングして、インターレースする
と、(1,9,3,11,5,13,7,15)と
(2,10,4,12,6,14,8,16)とが得ら
れる。) アップサンプリングのあと、図に示すように、できたベ
クトルは行列
は長さN/R2 のインターレースされたベクトルを操作
するフーリエ変換を長さN/Rのベクトルを操作するフ
ーリエ変換に更新する。この行列T12は次の数10を満
たす。
ることを示しており、この場合、行列F2 はサイズN/
R2 ×N/R2 の行列F2 からサイズN/R×N/Rの
行列F1 を生成する長さRごとに繰り返され、インター
レースされるフーリエ変換である。インターレースされ
た変換行列F2 の出力に対して行列T12を実行するため
に要求される操作の数は比N/Rである。当業者には先
頭の計算は末尾の計算と正確に一致していることがわか
るだろう。フーリエ変換行列F1の前に行われる精細な
変換行列H1 の結果は更新行列u12と粗ウェーブレット
変換についてのフーリエ更新行列T12を使って計算でき
る。フーリエ更新行列はN/RlogN/Rの操作量で
はなく、N/Rの操作量しか要求しないので、作業量全
体を少なくできる。更に、巡回相関の精細サブバンドの
巡回相関を得るためには、図1の逆フーリエ変換を全体
にわたって計算する必要はない。まだ計算されていない
サブバンドを計算するだけでよく、このことは作業量を
少なくできる。全サブバンドに影響する全体的な操作を
行い、更にまだ計算されていないサブバンドの操作を行
うことはN/Rに比例した操作数を有する単一のステッ
プでできる。もしR=2ならば、既知のように出力の半
分はサブバンド0内にあり、逆フーリエ変換は残り半分
に対してだけ計算すれば良い。
り、完全な解像度を持つ検索を行うために図2に示され
たどのような出力に対しても繰り返すことができるのは
好都合である。もし完全な解像度を持つ検索が実行され
ると、実行される全計算量は逆ウェーブレット変換を元
の画像変換に対して実行するのと正確に同一であり、以
後、画素領域から周波数領域へのフーリエ変換、周波数
領域での各点ごとの乗算、及び画素領域に戻る逆フーリ
エ変換が行われる。
するのに必要なステップの概略を提示している。特に具
体的に言えば、特定の画像に対して、ブロック30にお
いてパターンテンプレートはウェーブレットパターンに
変換される。その後、候補画像はブロック31において
変換されたパターンと粗の相関が取られ、変換されたパ
ターンが候補画像に適切にマッチするかどうかがブロッ
ク32において決定される。もしマッチしなければ、ブ
ロック39においてもうひとつの候補画像が選択される
か検索を終了する。もし適切にマッチすれば、候補画像
は中間的な相関が33によって取られ、もうひとつの同
様なマッチテストがブロック34において実行される。
同様な処理がブロック35から37において行われ、精
細な相関を取られ、且つ、完全に相関づけられた画像が
ブロック37及び38で一致するかどうかのチェックを
受ける。ブロック38において、もし完全に相関を取ら
れた画像に対して一致したものが見つかれば、所望の画
像が検索されたことになる。
り、時としてクロネッカー積(Kroneoker p
roduct)と呼ばれることもある。
換行列である。 4.行列FM,R は行列FM ×行列IR の構成を有するイ
ンターレースされたフーリエ変換行列であり、サイズM
のR個のインターレースされたコピーを有している。 5.行列TN,M,R は行列FM,R を行列FN に変換するフ
ーリエ更新行列である。即ち、次の数12を満たす。
y butterflyoperation)で実現で
きることは、当業者であれば理解できる。 6.行列C8 は8×8の離散コサイン変換(DCT)行
列であり、JPEGで表示された画像中の8×8の部分
画像を変換するために用いられる。 7.行列HはN=8Mのとき行列IM ×行列C8 のN×
N行列である。行列Hは長さNのJPEG変換された画
像ベクトルを生成する。 8.行列Wは2×2のHaar変換行列であり、2×2
のHaar変換行列は次の数13で与えられる。
スされた行列Wのコピーからなり、サイズは8×8であ
る。 10.行列V4,2 は数14の構造を有する。
解できるだろう。
の等式を満たすことが当業者には確認できる。
明を用いる多重解像度解析は以下のように行われるのが
好ましい。 1)パターンベクトルyの例と、JPEG変換行列Hx
T として格納されたNベクトル画像ベクトルxとの間の
相関を求めるには、ベクトルxと同じ長さにパターンを
拡張し、そのJPEG変換行列HyT を計算する。 2)粗変換−フーリエ変換 数20と数21を生成す
る。
バンドに分割する。これらのベクトルを加算し、その和
を逆フーリエ変換する。この例では、8ポイントおきに
相関が生成される。 3)中間変換−サイズが2Mの4つのインターレースさ
れたフーリエ変換を生成するために、数22と数23と
乗算し、且つ、数24と数25とを乗算する。
ドに分割する。サブバンドを加算して長さ2Mの単一ベ
クトルを生成する。最初のバタフライ演算の後でサイズ
2Mの逆フーリエ変換をとり、この結果得られた構成要
素の奇数構成要素のみを演算する。これは全ての相関に
対し、4 mod 8の倍数である係数における相関を
与える。 4)精細相関−先行段階のベクトルxとベクトルyの変
換を数26と数27のそれぞれについて乗算する。
されたフーリエ変換を含む。これらの変換を各点ごとに
乗算し、2つのサブバンドに分割して加算する。得られ
た結果に逆フーリエ変換をかけ、最初のバタフライ演算
段階の後、奇数項のみを計算する。これによって2 m
od 8と6 mod 8に等しいインデックスを有す
る相関構成要素を生成する。 5)完全な解像度−最終段階において、前の段階で得ら
れたベクトルxとベクトルyの変換を数28及び数29
とそれぞれ乗算する。
=8Mである単一サブバンドが存在することを確認しな
がら解析を繰り返す。
数々の利点は当業者に明らかである。特に、マッチ情報
が検索の早期に得られるので、もし検索がうまくいかな
かった場合、これを早期に発見し、多重解像度解析中に
早期に検索を打ち切ることができる。もし多重解像度解
析の実行前に画像領域への変換が最初に行われれば、情
報が使用される前に、演算が制限され、検索情報の発見
が遅くなるにつれて上昇するコストを抑えることができ
る。ウェーブレット表現では、情報数が少なくなる傾向
にある。即ち、ウェーブレット表現はゼロを多く含み、
これにより計算コストを減らすことができる。実質的に
画素の大部分はゼロではないので、画素領域表現では情
報の数が少なくならない。結果として、ウェーブレット
領域において情報の稀薄さを利用することはでき、等価
的な画素領域においては情報の稀薄さを利用できない。
拡張できることが当業者は理解できる。特に、結果は右
方向巡回ブロック行列に拡張される。右方向巡回行列
される他はそれぞれの行は直前の行と同じである正方行
列である。例えば、次の数30の行列Xは右方向に巡回
できる行列である。
ック)からなる行列であり、1ブロックサイズだけ右側
にシフトされる他はブロックの行はそれぞれ前のブロッ
クの行と等しい。数31の行列
るブロックが右方向に巡回できる行列である。
等式を満たさなければならない対角ブロックウェーブレ
ット変換行列に当てはまる。
Haarウェーブレットのように、これら共通のウェー
ブレット変換は使用されるウェーブレットの全てを表わ
している訳ではない。興味あるウェーブレットのほとん
どは例えばDebauchiesウェーブレットのよう
にブロックが右方向に巡回できる行列である変換等式を
もつ。そうしたウェーブレットのために図2を修正した
形成は計算上は簡単であるが、図4のように多少異なっ
ている。
と行列
12は更新行列U12のサブブロックであり、更新行列から
直接得ることができる。更に、図2の行列u12の場合は
同じ行列u12を計算に用いている。図4において、行列
u´12は行列U12から計算されなければならず、行列u
´12へのエントリは変換されるサブバンドに依存する。
行列u´12は次の数33で計算できる。
このフーリエ変換は長さN/R2 のベクトルを変換する
ためのものである。行列積演算は長さN/R2 のR2 個
のベクトルに亘って、この行列のR2 個のコピーをイン
ターレースすることである。行列
角線に沿ったブロック内に行列U12の行に配列されたフ
ーリエ変換を含む。同じサイズの複数の画像から一つの
パターンを検索するために、行列U´12は一度に計算す
ることができ、それぞれの画像を検索する際に再利用し
た画像を格納することができる。
る方法及び装置について説明と図示を行ったが、本発明
の広い意味での原理及び考え方から逸脱することなく修
正・変更を行うことは当業者にとって容易である。
おける多重解像度法の実行を示す図である。
めのステップを示した流れ図である。
行を示す図である。
の技術による方法を図示したものである。
来の技術による方法を図示したものである。
Claims (8)
- 【請求項1】 画像の内容に基づいて画像を検索する方
法において、 パターンテンプレートを変換し、当該変換されたパター
ンテンプレートがウェーブレット候補画像と相関関係を
持つようにする段階と、 フーリエ領域で前記候補画像との粗相関を取る段階と、 前記粗相関候補画像を前記パターンテンプレートと比較
し、整合するものがあるかどうかを決定する段階とを含
むことを特徴とする画像検索方法。 - 【請求項2】 請求項1記載の画像検索方法において、
更に、 前記粗相関候補画像に対し中間的な相関を取る段階と、 前記中間的な相関を取った候補画像を前記パターンプレ
ートと比較し、整合するものがあるかどうかを決定する
段階とを含むことを特徴とする画像検索方法。 - 【請求項3】 請求項2記載の画像検索方法において、
更に、 前記中間的な相関を取った候補画像に対して精細相関を
取る段階と、 前記精細相関を取った候補画像を前記パターンテンプレ
ートと比較し、整合するものがあるかどうかを決定する
段階とを含むことを特徴とする画像検索方法。 - 【請求項4】 請求項3記載の画像検索方法において、
更に、 前記精細相関を取った候補画像に対して完全な相関を取
る段階と、 前記完全な相関を取った候補画像を前記パターンテンプ
レートと比較し、整合するものがあるかどうかを決定す
る段階とを含むことを特徴とする画像検索方法。 - 【請求項5】 画像の内容に基づいて画像を検索する装
置において、 パターンテンプレートをウェーブレット候補画像と相関
を取るような変換されたパターンテンプレートに変換す
る手段と、 フーリエ領域で前記候補画像に粗相関を取る手段と、 前記粗相関を行った候補画像を前記変換されたパターン
テンプレートと比較し、整合するものがあるかどうかを
決定する手段とを備えることを特徴とする画像検索装
置。 - 【請求項6】 請求項5記載の画像検索装置において、
更に、 前記粗相関を取った候補画像に中間的な相関を取る手段
と、 前記中間的な相関を取った候補画像を前記変換されたパ
ターンテンプレートと比較し、整合するものがあるかど
うかを決定する手段とを備えることを特徴とする画像検
索装置。 - 【請求項7】 請求項6記載の画像検索装置において、
更に、 前記中間的な相関を取った候補画像に精細相関を取る手
段と、 前記精細相関を取った候補画像を前記変換されたパター
ンテンプレートと比較し、整合するものがあるかどうか
を決定する手段とを備えることを特徴とする画像検索装
置。 - 【請求項8】 請求項7記載の画像検索装置において、
更に、 前記精細相関を取った候補画像に完全な相関を取る手段
と、 前記完全な相関を取った候補画像を前記変換されたパタ
ーンテンプレートと比較し、候補画像及びパターンテン
プレートの間に整合するものがあるかどうかを決定する
手段とを備えることを特徴とする画像検索装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/643691 | 1996-05-06 | ||
US08/643,691 US5933546A (en) | 1996-05-06 | 1996-05-06 | Method and apparatus for multi-resolution image searching |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1055433A true JPH1055433A (ja) | 1998-02-24 |
JP3053004B2 JP3053004B2 (ja) | 2000-06-19 |
Family
ID=24581885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9113807A Expired - Fee Related JP3053004B2 (ja) | 1996-05-06 | 1997-05-01 | 画像検索方法及び画像検索装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5933546A (ja) |
EP (1) | EP0806733B1 (ja) |
JP (1) | JP3053004B2 (ja) |
CN (1) | CN1125410C (ja) |
DE (1) | DE69723356T2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002021333A1 (fr) * | 2000-09-06 | 2002-03-14 | Nec Corporation | Dispositif de recherche d'images |
JP2004252940A (ja) * | 2002-07-22 | 2004-09-09 | Mitsubishi Electric Research Laboratories Inc | 画像内のオブジェクトを検出するシステムおよび方法 |
WO2007004522A1 (ja) * | 2005-06-30 | 2007-01-11 | Olympus Corporation | 検索システム及び検索方法 |
WO2007004520A1 (ja) * | 2005-06-30 | 2007-01-11 | Olympus Corporation | 検索システム及び検索方法 |
US8107725B2 (en) | 2007-11-30 | 2012-01-31 | Toyota Jidosha Kabushiki Kaisha | Image processor and image processing method |
KR101382892B1 (ko) * | 2012-10-08 | 2014-04-08 | 재단법인대구경북과학기술원 | 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치 |
JP2019015935A (ja) * | 2017-07-10 | 2019-01-31 | 国立大学法人千葉大学 | ホログラムデータ作成プログラム及びホログラムデータ作成方法 |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE47908E1 (en) | 1991-12-23 | 2020-03-17 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
USRE48056E1 (en) | 1991-12-23 | 2020-06-16 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US5903454A (en) * | 1991-12-23 | 1999-05-11 | Hoffberg; Linda Irene | Human-factored interface corporating adaptive pattern recognition based controller apparatus |
USRE46310E1 (en) | 1991-12-23 | 2017-02-14 | Blanding Hovenweep, Llc | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US6850252B1 (en) | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
JP3506200B2 (ja) * | 1997-02-05 | 2004-03-15 | シャープ株式会社 | 位置合わせ装置 |
US6285788B1 (en) * | 1997-06-13 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Method for fast return of abstracted images from a digital image database |
US6292592B1 (en) * | 1998-10-19 | 2001-09-18 | Raytheon Company | Efficient multi-resolution space-time adaptive processor |
US6546117B1 (en) | 1999-06-10 | 2003-04-08 | University Of Washington | Video object segmentation using active contour modelling with global relaxation |
US6301387B1 (en) | 1998-12-18 | 2001-10-09 | University Of Washington | Template matching using correlative auto-predictive search |
US6243494B1 (en) | 1998-12-18 | 2001-06-05 | University Of Washington | Template matching in 3 dimensions using correlative auto-predictive search |
US7904187B2 (en) * | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
AU6503800A (en) * | 1999-07-30 | 2001-02-19 | Pixlogic Llc | Perceptual similarity image retrieval |
US6563959B1 (en) | 1999-07-30 | 2003-05-13 | Pixlogic Llc | Perceptual similarity image retrieval method |
US7058647B1 (en) | 1999-08-31 | 2006-06-06 | Charles E. Hill & Associates | Electronic presentation generation system and method |
US6658148B1 (en) * | 2000-06-06 | 2003-12-02 | Matsushita Electric Works, Ltd. | Image processing method and apparatus |
US7433881B1 (en) | 2000-08-31 | 2008-10-07 | Charles E. Hill & Associates, Inc. | System and method for handling multi-resolution graphics files |
US7395261B1 (en) | 2000-11-21 | 2008-07-01 | Amy Hobbs Atzel | System and method for ordering items |
US20040022436A1 (en) * | 2001-03-16 | 2004-02-05 | Paul Patti | System and method for data analysis of x-ray images |
WO2002091222A1 (en) * | 2001-05-07 | 2002-11-14 | Hrl Laboratories, Llc | System, method and computer readable medium for a signal subband coder |
US20030103673A1 (en) * | 2001-11-30 | 2003-06-05 | Nainesh Rathod | Shape searcher |
US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
US6911992B2 (en) * | 2002-10-18 | 2005-06-28 | Hewlett-Packard Development Company, L.P. | Poster preparation system and method |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
JP4428067B2 (ja) * | 2004-01-28 | 2010-03-10 | ソニー株式会社 | 画像照合装置、プログラム、および画像照合方法 |
US7813552B2 (en) | 2004-09-23 | 2010-10-12 | Mitsubishi Denki Kabushiki Kaisha | Methods of representing and analysing images |
GB2418555A (en) * | 2004-09-23 | 2006-03-29 | Mitsubishi Electric Inf Tech | Representing an image using descriptors based on colour information |
JP4301193B2 (ja) * | 2005-03-31 | 2009-07-22 | ソニー株式会社 | 画像比較装置及び方法、画像検索装置及び方法、並びにプログラム及び記録媒体 |
US7805005B2 (en) * | 2005-08-02 | 2010-09-28 | The United States Of America As Represented By The Secretary Of The Army | Efficient imagery exploitation employing wavelet-based feature indices |
JP4952026B2 (ja) * | 2006-03-31 | 2012-06-13 | 株式会社日立製作所 | 生体情報認証装置および認証方法 |
US20100246798A1 (en) * | 2009-03-26 | 2010-09-30 | General Motors Corporation | System and method for determining a user request |
US9008192B2 (en) * | 2011-10-20 | 2015-04-14 | Digimarc Corporation | Arrangements for increasing detection confidence |
US9058541B2 (en) | 2012-09-21 | 2015-06-16 | Fondation De L'institut De Recherche Idiap | Object detection method, object detector and object detection computer program |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4200861A (en) * | 1978-09-01 | 1980-04-29 | View Engineering, Inc. | Pattern recognition apparatus and method |
US5067162A (en) * | 1986-06-30 | 1991-11-19 | Identix Incorporated | Method and apparatus for verifying identity using image correlation |
EP0329166B1 (en) * | 1988-02-17 | 1994-10-12 | Nippondenso Co., Ltd. | Fingerprint verification method employing plural correlation judgement levels and sequential judgement stages |
US5253530A (en) * | 1991-08-12 | 1993-10-19 | Letcher Iii John H | Method and apparatus for reflective ultrasonic imaging |
US5394349A (en) * | 1992-07-10 | 1995-02-28 | Xing Technology Corporation | Fast inverse discrete transform using subwords for decompression of information |
US5392255A (en) * | 1992-10-15 | 1995-02-21 | Western Atlas International | Wavelet transform method for downward continuation in seismic data migration |
US5546477A (en) * | 1993-03-30 | 1996-08-13 | Klics, Inc. | Data compression and decompression |
US5659626A (en) * | 1994-10-20 | 1997-08-19 | Calspan Corporation | Fingerprint identification system |
-
1996
- 1996-05-06 US US08/643,691 patent/US5933546A/en not_active Expired - Lifetime
-
1997
- 1997-04-29 EP EP97107090A patent/EP0806733B1/en not_active Expired - Lifetime
- 1997-04-29 DE DE69723356T patent/DE69723356T2/de not_active Expired - Lifetime
- 1997-05-01 JP JP9113807A patent/JP3053004B2/ja not_active Expired - Fee Related
- 1997-05-06 CN CN97111722A patent/CN1125410C/zh not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002021333A1 (fr) * | 2000-09-06 | 2002-03-14 | Nec Corporation | Dispositif de recherche d'images |
JP2002082985A (ja) * | 2000-09-06 | 2002-03-22 | Nec Corp | 画像検索装置及び方法並びに画像検索プログラムを記録した記憶媒体 |
US7457460B2 (en) | 2000-09-06 | 2008-11-25 | Nec Corporation | Picture retrieving apparatus and method which converts orthogonal transform coefficients into color histogram data |
JP2004252940A (ja) * | 2002-07-22 | 2004-09-09 | Mitsubishi Electric Research Laboratories Inc | 画像内のオブジェクトを検出するシステムおよび方法 |
JP4515724B2 (ja) * | 2002-07-22 | 2010-08-04 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 画像内のオブジェクトを検出するシステムおよび方法 |
WO2007004522A1 (ja) * | 2005-06-30 | 2007-01-11 | Olympus Corporation | 検索システム及び検索方法 |
WO2007004520A1 (ja) * | 2005-06-30 | 2007-01-11 | Olympus Corporation | 検索システム及び検索方法 |
JPWO2007004520A1 (ja) * | 2005-06-30 | 2009-01-29 | オリンパス株式会社 | 検索システム及び検索方法 |
JPWO2007004522A1 (ja) * | 2005-06-30 | 2009-01-29 | オリンパス株式会社 | 検索システム及び検索方法 |
US8107725B2 (en) | 2007-11-30 | 2012-01-31 | Toyota Jidosha Kabushiki Kaisha | Image processor and image processing method |
KR101382892B1 (ko) * | 2012-10-08 | 2014-04-08 | 재단법인대구경북과학기술원 | 저해상도 영상 얼굴 인식 방법 및 저해상도 영상 얼굴 인식 장치 |
JP2019015935A (ja) * | 2017-07-10 | 2019-01-31 | 国立大学法人千葉大学 | ホログラムデータ作成プログラム及びホログラムデータ作成方法 |
Also Published As
Publication number | Publication date |
---|---|
EP0806733A3 (en) | 1998-12-23 |
CN1167959A (zh) | 1997-12-17 |
CN1125410C (zh) | 2003-10-22 |
EP0806733A2 (en) | 1997-11-12 |
EP0806733B1 (en) | 2003-07-09 |
JP3053004B2 (ja) | 2000-06-19 |
US5933546A (en) | 1999-08-03 |
DE69723356T2 (de) | 2004-02-05 |
DE69723356D1 (de) | 2003-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3053004B2 (ja) | 画像検索方法及び画像検索装置 | |
Wang et al. | Content-based image indexing and searching using Daubechies' wavelets | |
US5978788A (en) | System and method for generating multi-representations of a data cube | |
Wang et al. | Wavelet-based image indexing techniques with partial sketch retrieval capability | |
US5710835A (en) | Storage and retrieval of large digital images | |
US6694311B1 (en) | Method and apparatus for fast query approximation using adaptive query vector projection | |
US6014671A (en) | Interactive retrieval and caching of multi-dimensional data using view elements | |
US6266414B1 (en) | Method for digital data compression | |
Stone | Progressive wavelet correlation using Fourier methods | |
Seetharaman et al. | Statistical framework for image retrieval based on multiresolution features and similarity method | |
Vadivel et al. | Characteristics of weighted feature vector in content-based image retrieval applications | |
Pun | Rotation-invariant texture feature for image retrieval | |
Shi et al. | A new two-dimensional Fourier transform algorithm based on image sparsity | |
US7020194B2 (en) | Apparatus and method for vector descriptor representation and multimedia data retrieval | |
Li et al. | Wavelet methods in data mining | |
Lakshmi et al. | New Wavelet features for image indexing and retrieval | |
Li et al. | Progressive template matching for content-based retrieval in earth-observing satellite image database | |
Albuz et al. | Scalable image indexing and retrieval using wavelets | |
Smith | Query vector projection access method | |
Vu et al. | A Formal Treatment of the Sampling-based Approach to Managing Image Databases | |
Stojanovic et al. | Retrieving images using content-based followed by pixel-based search | |
Stojanovic et al. | Content-based image retrieving improved by pixel-based search | |
Lien et al. | A Novel Image Super-Resolution Technology Based on the Wavelet Coefficients Prediction Scheme | |
Yektaii et al. | A method for preserving the classifiability of digital images after performing a wavelet-based compression | |
Albanesi et al. | Robust hierarchical indexing based on texture features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080407 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090407 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100407 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110407 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120407 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130407 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140407 Year of fee payment: 14 |
|
LAPS | Cancellation because of no payment of annual fees |