JP3938971B2 - パターンマッチング用データ処理回路 - Google Patents
パターンマッチング用データ処理回路 Download PDFInfo
- Publication number
- JP3938971B2 JP3938971B2 JP11284297A JP11284297A JP3938971B2 JP 3938971 B2 JP3938971 B2 JP 3938971B2 JP 11284297 A JP11284297 A JP 11284297A JP 11284297 A JP11284297 A JP 11284297A JP 3938971 B2 JP3938971 B2 JP 3938971B2
- Authority
- JP
- Japan
- Prior art keywords
- signal data
- multidimensional signal
- integral
- fourier transform
- square
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004364 calculation method Methods 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 19
- 238000005314 correlation function Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、２つの多次元信号データの共通部分を検出するパターンマッチングの技術に係り、特に、一方のデータの一部分が他方のデータのどの部分に最も一致するかを検出し、前者の後者に対する変位量（移動量）を検出するのに有用なデータ処理回路に関する。
【０００２】
本発明が提供する技術は、例えば、動画像の動き検出や図形認識などに応用することができる。本発明は、入力データの次元に応じて適宜積分変換を行えば、１次元データ、２次元データ、３次元データはもちろん、一般に多次元データに適応可能であり、次元が高いほど大きな効果が期待されるが、以下の記述では、現在の市場を考えて主として２次元画像データを例にとって説明する。
【０００３】
【従来の技術】
動画像の圧縮のために「動き補償」が一般的に行われる。動画では、現画面を小領域に分ければその大部分は前画面にある画像が平行移動したものと大きな差はなく、従って、その動きの量を検出すれば、その他に必要なデータは平行移動による画像と実際の画像の僅かな差のデータのみとなり、大幅なデータ圧縮が可能となる。今や国際標準となっているＭＰＥＧ、ＭＰＥＧ２などでも画像圧縮の柱はこの「動き補償」である。
【０００４】
また、移動ロボットの制御や自動車の自動走行のためには、カメラ画面内の物体の速度ベクトルを計測する必要がある。そして、この速度ベクトルに基づいて移動や走行などの制御が行われる。また、物体の動きに合わせてその動きを追う自動追尾カメラでも「動き」検出が必要となる。
この「動き」を計測するには、２次元相関が用いられる。つまり、前画面の小領域を２次元的に任意ベクトル（ΔX,ΔY)だけ移動させて、現画面の小領域との間で２次元相関をとり、相関が最大になる時の移動量（ΔX,ΔY)を検出すると、それが、求めようとしている「動き」ベクトルである。
【０００５】
このような２次元相関は、現画面の小領域内の(x,y) 画素の信号をａ(x,y) とし、また任意の移動量（ΔX,ΔY)だけ移動させた前画面の小領域内の画素の信号をｂ(x−ΔX, y−ΔY)とすると、それらの小領域内の全画素に対して、２つの信号の差の絶対値の和（以下の式（１）参照）、又は２つの信号の積の和（以下の式（２）参照）として求められる。
【０００６】
Ｃ（ΔX,ΔY)＝Σx Σy ｜ａ(x,y) −ｂ(x−ΔX, y−ΔY)｜ ……（１）
Ｃ（ΔX,ΔY)＝Σx Σy ａ(x,y) ｂ(x−ΔX, y−ΔY) ……………（２）
これらの２次元相関は、通常この式通りに実空間上での演算により計算されるか、或いは、式（２）の場合はフーリエ変換を用いて計算される。
式（１）の演算では、両者の小領域が一致した時に２次元相関が最小になり、式（２）の演算では、両者の小領域の画像の強度変化が比例関係にある時に２次元相関が最大になることが期待される。
【０００７】
【発明が解決しようとする課題】
上述した式（１）で表される２次元相関の演算では、両者の小領域における信号の差が最小となる動きベクトルを検出するため、ＭＰＥＧ等のように動きベクトル（移動量）と差信号（両者の差のデータ）を送る方式に適した評価関数となっている。
【０００８】
しかしながら、相関をとる領域の大きさをＮ＊Ｎ（＊は乗算を意味する）、検索する動きベクトルの領域をＬ＊Ｌとすると、Ｎ2 Ｌ2 の絶対値演算、減算及び加算が必要となり、演算量が非常に多くなるといった不利がある。
一方、式（２）で表される２次元相関の演算では、フーリエ変換を用いた場合には（Ｎ＋Ｌ)2log(Ｎ＋Ｌ) のオーダーで演算ができるため、演算量を低減できるという利点がある。
【０００９】
しかしながら、２つの信号の単なる積の和による評価関数では、誤って明るい部分にマッチングしてしまう問題がある。これは、式（２）からわかるように、ｂ(x−ΔX, y−ΔY)が大きければａ(x,y) との相関が小さくてもＣ（ΔX,ΔY)が大きな値になってしまうからである。つまり、ｂ(x−ΔX, y−ΔY)の信号の分布がΔX,ΔY に依存して変化するためである。従って、何らかの規格化が必要である。
【００１０】
本発明は、かかる従来技術における課題に鑑み創作されたもので、２つの多次元信号データ間でパターンマッチングを行う際に、比較を行う方の多次元信号データの信号変化の影響を殆ど受けることなく、少ない演算量で動きベクトル（移動量）の検出を可能にし、ひいては高精度のパターンマッチングに寄与することができるデータ処理回路を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明に係るパターンマッチング用データ処理回路は、図１の原理構成図に示されるように、第１の多次元信号データ（注目する方のデータ）ａに所定の窓関数ｗを乗じる乗算部１と、第２の多次元信号データ（比較を行う方のデータ）ｂの２乗を演算する２乗演算部２と、乗算部１の出力ａｗを積分変換する積分変換部３と、第２の多次元信号データｂを積分変換する積分変換部４と、２乗演算部２の出力ｂ2 を積分変換する積分変換部５と、窓関数ｗを積分変換する積分変換部６と、積分変換部３，４の各出力に基づいて第１，第２の多次元信号データａ，ｂ間の相関関数を算定する第１の算定部７と、積分変換部５，６の各出力に基づいて第２の多次元信号データｂの２乗の移動平均を算定する第２の算定部８と、第１の算定部７の出力と第２の算定部８の出力に基づいて、窓関数ｗが乗じられた第１の多次元信号データａ（つまりａｗ）と最も一致する第２の多次元信号データｂの領域を算定する第３の算定部９とを具備することを特徴とする。但し、乗算部１と積分変換部６については、後述のように実際上は不要とすることができる。
【００１２】
以下、本発明のデータ処理回路の原理について説明する。
先ず、一致（パターンマッチング）を判定するための評価関数を以下のように定義する。
ＭＰＥＧ等では、動き補償後の差信号（つまり現画面と前画面の対応する領域の差のデータ）を小さくすることが望ましい。上述した式（１）は差信号の１次ノルムを最小とする動きベクトルを求めるものである。しかし、差信号の電力を最小にするという意味で、以下式（３）で表されるように２次ノルムを最小にする方法も有力である。
【００１３】
Ｃ（ΔX,ΔY)＝Σx Σy [a(x,y) −ｂ(x−ΔX, y−ΔY)]2 ………（３）
しかし、このままでは演算量が減らないので、これを展開して以下の式（３’）とする。
Ｃ（ΔX,ΔY)＝Σx Σy ａ(x,y)2−２Σx Σy ａ(x,y) ｂ(x−ΔX, y−ΔY)
＋Σx Σy ｂ(x−ΔX, y−ΔY)2 …………………（３’）
ここで、最初の項はΔX,ΔY に依存しない定数なので、これを省略し、符号を反転した以下の式、すなわち、
Ｃ（ΔX,ΔY)＝２Ｓab（ΔX,ΔY)−Ｓb （ΔX,ΔY) ………………（４）
を最大にするΔX,ΔY を求めればよい。但し、Ｓabは（ａとｂの平均が０と考えた時の）ａとｂの共分散、Ｓb は（ａとｂの平均が０と考えた時の）ｂの自己分散を示し、それぞれ以下の式（５）及び（６）で表される。
【００１４】
Ｓab（ΔX,ΔY)＝Σx Σy ａ(x,y) ｂ(x−ΔX, y−ΔY) …………（５）
Ｓb （ΔX,ΔY)＝Σx Σy ｂ(x−ΔX, y−ΔY)2 ……………………（６）
こうすれば、Ｓab（ΔX,ΔY)は前述のようにフーリエ変換等を用いて少ない演算量で計算することができ、また、Ｓb （ΔX,ΔY)についても同様に、後で示すように少ない演算量で計算することができる。
【００１５】
また、全体の明るさが時間的に変化する画像において、明るさの変動を考慮してマッチングをとるには、ａ(x,y) −ｃ（ΔX,ΔY)ｂ(x−ΔX, y−ΔY)を最小にするのが合理的である。但し、ｃ（ΔX,ΔY)は比例係数である。最小２乗法を用いれば、ΔX,ΔY を固定した時の最小２乗誤差は、
Ｃ（ΔX,ΔY)＝Σx Σy ａ(x,y)2−Ｓab（ΔX,ΔY)2 ／Ｓb （ΔX,ΔY)となる。
最初の項はΔX,ΔY に依存しない定数なので、これを省略し、符号を反転した以下の式、すなわち、
Ｃ（ΔX,ΔY)＝Ｓab（ΔX,ΔY)2 ／Ｓb （ΔX,ΔY) ………………（７ａ）
を最大にするΔX,ΔY を求めればよい。この場合も必要なものはＳab（ΔX,ΔY)とＳb （ΔX,ΔY)であるので、フーリエ変換等を用いて少ない演算量で計算することができる。
【００１６】
但し、式（７ａ）の形では正の相関と負の相関を必ずしも区別できるとは限らない。これを区別するには式（７ａ）の平方根をとった以下の式、すなわち、
Ｃ（ΔX,ΔY)＝Ｓab（ΔX,ΔY)／Ｓb （ΔX,ΔY)1/2 ………………（７ｂ）
を用いるか、又は、式（７ａ）を変形した以下の式、すなわち、
を用いればよい。但し、Sign〔Ｓab（ΔX,ΔY)〕は、Ｓab（ΔX,ΔY)が正の時に１、負の時に−１となる符号関数である。
【００１７】
また、上記の評価関数では、ａとｂの平均値の相違を考慮していないが、これを考慮してマッチングをとる場合には、ａ(x,y) に代えてａ(x,y) −ｍa を、またｂ(x−ΔX, y−ΔY)に代えてｂ(x−ΔX, y−ΔY)−ｍb （ΔX,ΔY)を用いればよい。但し、ｍa は小領域内でのａの平均、ｍb （ΔX,ΔY)は同じく小領域内でのｂの平均である。この場合、Ｓab（ΔX,ΔY)，Ｓb （ΔX,ΔY)は、通常の共分散、自己分散と一致し、それぞれ以下の式（８）及び（９）で表される。
【００１８】
また、平均ｍa ，ｍb （ΔX,ΔY)は、それぞれ以下の式（１０）及び（１１）で表される。
【００１９】
ｍa ＝Σx Σy ａ(x,y) ／ｎ…………………………………………（１０）
ｍb （ΔX,ΔY)＝Σx Σy ｂ(x−ΔX, y−ΔY)／ｎ ……………（１１）
ここに、ｎは小領域内の要素の数（Ｎx ＊Ｎy ）を表している。この場合も、上述した式（４）、（７ａ）などに示したような評価関数を用いることで、少ない演算量で動き検出が可能となる。
【００２０】
次に、各積分変換部３〜６で行われる積分変換のためのデータの扱い方について説明する。説明の簡単化のため、x, yは整数値をとるものとする。
上述した式（１）から（９）においては、x はx1からx2 (x2−x1＝Ｎx −１）の範囲、y はy1からy2 (y2−y1＝Ｎy −１）の範囲、ΔX はΔX1からΔX2（ΔX2−ΔX1＝Ｌx −１）の範囲、ΔY はΔY1からΔY2（ΔY2−ΔY1＝ＬY −１）の範囲を動く。しかしこのままでは、ΔX,ΔY が変わるとそれに応じてｂ(x−ΔX, y−ΔY)の範囲も変化するため、積分変換による演算量の低減ができない。
【００２１】
そこで、本発明では、新たな座標系x'＝x −ΔX (x' はx1−ΔX2からx2−ΔX1の範囲をとる）、y'＝y −ΔY (y' はy1−ΔY2からy2−ΔY1の範囲をとる）を導入し、必要とされるｂ(x−ΔX, y−ΔY)の領域を全てカバーすると共に、以下の式で表される窓関数ｗ(x,y) を導入することで余分な領域での値を０にする。
ｗ(x,y) ＝１（x1≦x ≦x2，y1≦y ≦y2の時）
ｗ(x,y) ＝０（上記の範囲以外の時）
この場合、上述した各式は、Σx Σy に代えてΣx'Σy'ｗ（x'＋ΔX,y'＋ΔY)を用いればよい。例えば、式（５）、（６）、（８）、（９）及び（１１）は、以下のように置き換えられる。
【００２２】
以下、積分変換としてフーリエ変換を用いた場合のデータ処理について説明する。
【００２３】
先ず、Ｎx ＊Ｎy の範囲でｐ(x,y),ｑ(x,y) の離散フーリエ変換をそれぞれＦ｛ｐ｝＝Ｐ（ｋx ，ｋy ），Ｆ｛ｑ｝＝Ｑ（ｋx ，ｋy ）と表す。そうすると、Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')の離散フーリエ変換は、定数を除けばＰ（ｋx ，ｋy ）Ｑ（−ｋx ，−ｋy ）となる。但し、座標（x'＋x,y'＋y)が上記のＮx ＊Ｎy の範囲を越えた場合には、離散フーリエ変換で仮定している周期性ｐ(x＋Ｎx ,y) ＝ｐ(x,y＋Ｎy ) ＝ｐ(x,y) を利用し、上記のＮx ＊Ｎy の範囲に還元して考えるものとする。
【００２４】
従って、Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')を計算するには、先ずｐ(x,y),ｑ(x,y) に対して別々に離散フーリエ変換をした後、それらを掛け合わせてΣx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')の離散フーリエ変換を求め、それを離散逆フーリエ変換することで求めることができる。
しかし、この方法で形式的にはＮx ＊Ｎy の範囲の相関関数が求められるが、上述した離散フーリエ変換の「周期性」のために誤差が生じる可能性がある。
【００２５】
本発明では、上述したように、一方の画像（第１の多次元信号データａ）に窓関数ｗを掛けてあるので、この誤差を避けることができる。窓関数として、例えば、Ｎx ＊Ｎy の領域で「１」の値を有し且つそれ以外の領域で「０」の値を有する関数を用い、（Ｎx ＋Ｌx ）＊（Ｎy ＋Ｌy ）の範囲で上記演算を行うと、動きベクトルとしてＬx ＊Ｌy の範囲で正しい相関関数が求められる。
【００２６】
従って、上記の式（５’）を求めるには、ａ(x,y) ＊ｗ(x,y) とｂ(x,y) をそれぞれｐ(x,y),ｑ(x,y) に対応させ、フーリエ変換、乗算及び逆フーリエ変換を行えばよい。同様にして、式（６’）を求めるには、ｗ(x,y) とｂ2(x,y)をそれぞれｐ(x,y),ｑ(x,y) に対応させればよいことが判る。
このようにして求めたものを用いて、式（４）、（７ａ）などにより評価関数を計算することができる。この際、評価関数として式（４）を用いた場合には、上記の方法で式（５）及び（６）を求めてから差を計算するよりも、式（５）をフーリエ変換したものと式（６）をフーリエ変換したものとの差を求めてから逆フーリエ変換を行った方が、演算量を低減でき有利である。
【００２７】
以上のように、積分変換としてフーリエ変換を用いた場合、Ｎ個の実数データの１次元フーリエ変換及び逆フーリエ変換の演算量がＮ logＮ回の乗算及び加算からなること、２次元フーリエ変換がｘ方向の１次元フーリエ変換とｙ方向の１次元フーリエ変換の組み合わせで実現できることを考慮すると、これらの演算は（Ｎx ＋Ｌx ）（Ｎy ＋Ｌy ）log [(Ｎx ＋Ｌx ）（Ｎy ＋Ｌy )]のオーダーの計算で済むことがわかる。
【００２８】
以上、積分変換としてフーリエ変換を用いた場合について説明したが、フーリエ変換に代えて、ハフ変換を用いた場合にも同様の効果が得られる。
この場合、式（５’）及び（６’）に関して、２次元相関Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')に対応するハフ変換が、ｐ(x,y),ｑ(x,y) のハフ変換の１次元相関で求められることを利用する。すなわち、ｐ(x,y),ｑ(x,y) のハフ変換を求め、それぞれＨ｛ｐ｝＝Ｐh(ρ，θ），Ｈ｛ｑ｝＝Ｑh(ρ，θ）と表す。そうすると、Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')のハフ変換は、定数を除けばΣρ' Ｐh(ρ，θ）Ｑh(ρ＋ρ',θ）となる。この場合、（Ｎ＋Ｌ)2Ｌのオーダーで計算できるため、フーリエ変換の場合と同様に、少ない演算量で２次元相関を求めることができる。つまり、少ない演算量で動きベクトルを検出することが可能となる。
【００２９】
なお、本発明の他の構成上の特徴及び作用の詳細については、以下に記述される実施形態を用いて説明する。
【００３０】
【発明の実施の形態】
図２には本発明に係るデータ処理回路の第１実施形態としての相関回路の構成が示される。図示の例は、積分変換としてフーリエ変換を用いた場合の構成を示している。
図中、ａは第１の２次元画像データ、ｂは第２の２次元画像データ、ｗ（本実施形態ではｗ／２）は窓関数を示す。本実施形態を含めて以下に説明する各実施形態では、画像データａ，ｂの範囲を（Ｎx ＋Ｌx ）＊（Ｎy ＋Ｌy ）として扱うものとする。
【００３１】
本実施形態の相関回路は、図示のように、２次元画像データａに応答する画像切り出し部１１と、該画像切り出し部１１の出力に応答するフーリエ変換部１２と、２次元画像データｂに応答する画像切り出し部１３と、該画像切り出し部１３の出力にそれぞれ応答するフーリエ変換部１４及び２乗演算部１５と、該２乗演算部１５の出力に応答するフーリエ変換部１６と、フーリエ変換部１２及び１４の各出力に応答する乗算部１７と、フーリエ変換部１６の出力及び窓関数ｗ／２のフーリエ変換後の信号に応答する乗算部１８と、乗算部１７及び１８の各出力の差を演算する減算部１９と、該減算部１９の出力に応答する逆フーリエ変換部２０とを備えて構成されており、この構成により、前述の式（４）に示す評価関数を得るようにしている。
【００３２】
すなわち、この構成において、２次元画像データａは画像切り出し部１１に入力され、該データの中から比較を行う画像部分Ｎx ＊Ｎy だけが切り出され、フーリエ変換部１２に入力される。なお、Ｎx ＊Ｎy の部分だけを切り出すということは、窓関数ｗを乗じることに対応するため、前述したように窓関数ｗとの乗算は不要である。フーリエ変換部１２では、先ず一方の座標軸方向（ｘ軸方向とする）にＮx ＋Ｌx 個のデータの１次元フーリエ変換をＮy 回行った後、他方の座標軸方向（ｙ軸方向とする）にＮy ＋Ｌy 個のデータの１次元フーリエ変換をＮx ＋Ｌx 回行うことで、２次元フーリエ変換を行う。この時、最初の１次元フーリエ変換ではＬx 個の入力は０であるので、これを考慮して演算量を減らすこともできる。
【００３３】
同様に、２次元画像データｂは、画像切り出し部１３に入力され、該データの中から比較を行う画像部分（Ｎx ＋ＬX ）＊（Ｎy ＋Ｌy ）が切り出され、フーリエ変換部１４に入力される。フーリエ変換部１４では、先ず一方の座標軸方向（ｘ軸方向とする）にＮx ＋Ｌx 個のデータの１次元フーリエ変換をＮy ＋Ｌy 回行った後、他方の座標軸方向（ｙ軸方向とする）にＮy ＋Ｌy 個のデータの１次元フーリエ変換をＮx ＋Ｌx 回行うことで、２次元フーリエ変換を行う。
【００３４】
また、２次元画像データｂについては、画像切り出し部１３により上記の画像切り出しを行った後、２乗演算部１５により当該データの２乗演算を行い、さらにフーリエ変換部１６において上記と同様に２次元フーリエ変換を行う。
フーリエ変換部１２及び１４において得られたフーリエ変換出力は乗算部１７に入力され、対応する周波数成分同士乗算され、Ｓabのフーリエ変換が計算される。一方、フーリエ変換部１６において得られたフーリエ変換出力と予め計算され記憶されているＮx ＊Ｎy の領域の切り出しに対応する窓関数ｗ／２のフーリエ変換は乗算部１８に入力され、対応する周波数成分同士乗算され、Ｓb ／２のフーリエ変換が計算される。なお、後者に１／２が付くのは、予め窓関数のフーリエ変換の値を１／２にしてあるからである。また、ｗのフーリエ変換は入力に依存しないので、このように予め計算し記憶しておくのが有利である。
【００３５】
次いで、乗算部１７及び１８の各出力を減算部１９に入力して両者の差を演算した後、逆フーリエ変換部２０において逆フーリエ変換を取ることで、式（４）に示す評価関数が得られる。
図３には本発明に係るデータ処理回路の第２実施形態としての相関回路の構成が示される。本実施形態は、上述した第１実施形態と同様に、積分変換としてフーリエ変換を用いた場合の構成を示している。
【００３６】
本実施形態の相関回路の特徴は、上述した第１実施形態（図２参照）との対比において、減算部１９及び逆フーリエ変換部２０の代わりに、乗算部１７及び１８の出力にそれぞれ応答する逆フーリエ変換部２１及び２２と、逆フーリエ変換部２１の出力に応答する２乗演算部２３と、該２乗演算部２３の出力と逆フーリエ変換部２２の出力との比を演算する除算部２４とを設けたことであり、この構成により、前述の式（７ａ）に示す評価関数を得るようにしている。
【００３７】
他の回路部分及びその動作形態については、第１実施形態の場合と同じであるので、その説明は省略する。
なお、２乗演算部２３において、通常の２乗演算の代わりに符号付２乗演算を行えば、前述の式（７ａ’）に示す評価関数を得ることができる。
図４には本発明に係るデータ処理回路の第３実施形態としての相関回路の構成が示される。本実施形態は、上述した第１，第２実施形態と同様に、積分変換としてフーリエ変換を用いた場合の構成を示している。
【００３８】
本実施形態の相関回路の特徴は、上述した第２実施形態（図３参照）との対比において、２乗演算部２３及び除算部２４の代わりに、逆フーリエ変換部２２の出力に応答する平方根演算部２５と、逆フーリエ変換部２１の出力と平方根演算部２５の出力との比を演算する除算部２６とを設けたことであり、この構成により、前述の式（７ｂ）に示す評価関数を得るようにしている。
【００３９】
他の回路部分及びその動作形態については、上述した第２実施形態の場合と同じであるので、その説明は省略する。
図５には本発明に係るデータ処理回路の第４実施形態としての相関回路の構成が示される。本実施形態は、積分変換としてフーリエ変換を用い、且つ入力データの直流分の変動を考慮した場合の構成を示している。
【００４０】
本実施形態では、かかる直流分の変動を考慮した分散（共分散、自己分散）として前述の式（８）及び（９）を用いている。
また、本実施形態の相関回路の特徴は、上述した第１実施形態（図２参照）との対比において、減算部１９の代わりに、フーリエ変換部１４の出力及び窓関数ｗのフーリエ変換後の信号に応答する乗算部２７と、該乗算部２７の出力に応答する２乗演算部２８と、該２乗演算部２８の出力と乗算部１７及び１８の各出力との間で加減算を行い、その出力を逆フーリエ変換部２０に供給する加減算部２９とを設けたことであり、この構成により、前述の式（４）に示す評価関数を得るようにしている。
【００４１】
他の回路部分及びその動作形態については、上述した第１実施形態の場合と同じであるので、その説明は省略する。
図６には本発明に係るデータ処理回路の第５実施形態としての相関回路の構成が示される。本実施形態は、上述した第４実施形態と同様に、積分変換としてフーリエ変換を用い、且つ入力データの直流分の変動を考慮した場合の構成を示している。また、第４実施形態と同様に、分散として前述の式（８）及び（９）を用いている。
【００４２】
本実施形態の相関回路の特徴は、上述した第２実施形態（図３参照）との対比において、更に、フーリエ変換部１４の出力及び窓関数ｗのフーリエ変換後の信号に応答する乗算部２７と、該乗算部２７の出力に応答する２乗演算部２８と、該２乗演算部２８の出力と乗算部１８の出力の差を演算し、その出力を逆フーリエ変換部２２に供給する減算部３０とを設けたことであり、この構成により、前述の式（７ａ）に示す評価関数を得るようにしている。
【００４３】
他の回路部分及びその動作形態については、上述した第２実施形態の場合と同じであるので、その説明は省略する。
図７には本発明に係るデータ処理回路の第６実施形態としての相関回路の構成が示される。本実施形態は、上述した第４，第５実施形態と同様に、積分変換としてフーリエ変換を用い、且つ入力データの直流分の変動を考慮した場合の構成を示している。また、第４，第５実施形態と同様に、分散として前述の式（８）及び（９）を用いている。
【００４４】
本実施形態の相関回路の特徴は、上述した第３実施形態（図４参照）との対比において、更に、フーリエ変換部１４の出力及び窓関数ｗのフーリエ変換後の信号に応答する乗算部２７と、該乗算部２７の出力に応答する２乗演算部２８と、該２乗演算部２８の出力と乗算部１８の出力の差を演算し、その出力を逆フーリエ変換部２２に供給する減算部３０とを設けたことであり、この構成により、前述の式（７ｂ）に示す評価関数を得るようにしている。
【００４５】
他の回路部分及びその動作形態については、上述した第３実施形態の場合と同じであるので、その説明は省略する。
図８には本発明に係るデータ処理回路の第７実施形態としての相関回路の構成が示される。本実施形態では、積分変換としてハフ変換を用いた場合の構成を示している。
【００４６】
本実施形態の相関回路の特徴は、上述した第１実施形態（図２参照）との対比において、フーリエ変換部１２、１４及び１６の代わりにハフ変換部３１、３２及び３３を、乗算部１７及び１８の代わりに１次元相関演算部３４及び３５を、減算部１９及び逆フーリエ変換部２０の代わりに減算部３６及び逆ハフ変換部３７をそれぞれ設けたことであり、この構成により、前述の式（４）に示す評価関数を得るようにしている。
【００４７】
なお、図示はしないが、他の評価関数を用いた場合でも、フーリエ変換をハフ変換に、逆フーリエ変換を逆ハフ変換に、相関のための乗算を１次元相関演算に置き換えればよいので、その説明については省略する。
なお、本発明は上述した第１〜第７の実施形態を用いて説明したが、本発明はこれらの実施形態に限定されない。例えば、各実施形態の特徴事項を適宜組み合わせることも可能であり、かかる組合せは、図示はしないが、当業者には容易に想到されるであろう。
【００４８】
【発明の効果】
以上説明したように本発明によれば、２つの多次元信号データ間でパターンマッチングを行う際に、比較を行う方の多次元信号データの信号変化の影響を殆ど受けることなく、少ない演算量で動きベクトルすなわち変位量（移動量）を検出することが可能となる。これは、パターンマッチングの高精度化に大いに寄与するものである。
【図面の簡単な説明】
【図１】本発明に係るパターンマッチング用データ処理回路の原理構成を示すブロック図である。
【図２】本発明に係るデータ処理回路の第１実施形態としての相関回路の構成を示すブロック図である。
【図３】本発明に係るデータ処理回路の第２実施形態としての相関回路の構成を示すブロック図である。
【図４】本発明に係るデータ処理回路の第３実施形態としての相関回路の構成を示すブロック図である。
【図５】本発明に係るデータ処理回路の第４実施形態としての相関回路の構成を示すブロック図である。
【図６】本発明に係るデータ処理回路の第５実施形態としての相関回路の構成を示すブロック図である。
【図７】本発明に係るデータ処理回路の第６実施形態としての相関回路の構成を示すブロック図である。
【図８】本発明に係るデータ処理回路の第７実施形態としての相関回路の構成を示すブロック図である。
【符号の説明】
ａ…第１の多次元信号データ
ｂ…第２の多次元信号データ
ｗ…窓関数
１…乗算部
２…２乗演算部
３〜６…積分変換部
７…（ａとｂの相関関数を算定する）第１の算定部
８…（ｂの２乗の移動平均を算定する）第２の算定部
９…（データａｗと最も一致するデータｂの領域を算定する）第３の算定部
【発明の属する技術分野】
本発明は、２つの多次元信号データの共通部分を検出するパターンマッチングの技術に係り、特に、一方のデータの一部分が他方のデータのどの部分に最も一致するかを検出し、前者の後者に対する変位量（移動量）を検出するのに有用なデータ処理回路に関する。
【０００２】
本発明が提供する技術は、例えば、動画像の動き検出や図形認識などに応用することができる。本発明は、入力データの次元に応じて適宜積分変換を行えば、１次元データ、２次元データ、３次元データはもちろん、一般に多次元データに適応可能であり、次元が高いほど大きな効果が期待されるが、以下の記述では、現在の市場を考えて主として２次元画像データを例にとって説明する。
【０００３】
【従来の技術】
動画像の圧縮のために「動き補償」が一般的に行われる。動画では、現画面を小領域に分ければその大部分は前画面にある画像が平行移動したものと大きな差はなく、従って、その動きの量を検出すれば、その他に必要なデータは平行移動による画像と実際の画像の僅かな差のデータのみとなり、大幅なデータ圧縮が可能となる。今や国際標準となっているＭＰＥＧ、ＭＰＥＧ２などでも画像圧縮の柱はこの「動き補償」である。
【０００４】
また、移動ロボットの制御や自動車の自動走行のためには、カメラ画面内の物体の速度ベクトルを計測する必要がある。そして、この速度ベクトルに基づいて移動や走行などの制御が行われる。また、物体の動きに合わせてその動きを追う自動追尾カメラでも「動き」検出が必要となる。
この「動き」を計測するには、２次元相関が用いられる。つまり、前画面の小領域を２次元的に任意ベクトル（ΔX,ΔY)だけ移動させて、現画面の小領域との間で２次元相関をとり、相関が最大になる時の移動量（ΔX,ΔY)を検出すると、それが、求めようとしている「動き」ベクトルである。
【０００５】
このような２次元相関は、現画面の小領域内の(x,y) 画素の信号をａ(x,y) とし、また任意の移動量（ΔX,ΔY)だけ移動させた前画面の小領域内の画素の信号をｂ(x−ΔX, y−ΔY)とすると、それらの小領域内の全画素に対して、２つの信号の差の絶対値の和（以下の式（１）参照）、又は２つの信号の積の和（以下の式（２）参照）として求められる。
【０００６】
Ｃ（ΔX,ΔY)＝Σx Σy ｜ａ(x,y) −ｂ(x−ΔX, y−ΔY)｜ ……（１）
Ｃ（ΔX,ΔY)＝Σx Σy ａ(x,y) ｂ(x−ΔX, y−ΔY) ……………（２）
これらの２次元相関は、通常この式通りに実空間上での演算により計算されるか、或いは、式（２）の場合はフーリエ変換を用いて計算される。
式（１）の演算では、両者の小領域が一致した時に２次元相関が最小になり、式（２）の演算では、両者の小領域の画像の強度変化が比例関係にある時に２次元相関が最大になることが期待される。
【０００７】
【発明が解決しようとする課題】
上述した式（１）で表される２次元相関の演算では、両者の小領域における信号の差が最小となる動きベクトルを検出するため、ＭＰＥＧ等のように動きベクトル（移動量）と差信号（両者の差のデータ）を送る方式に適した評価関数となっている。
【０００８】
しかしながら、相関をとる領域の大きさをＮ＊Ｎ（＊は乗算を意味する）、検索する動きベクトルの領域をＬ＊Ｌとすると、Ｎ2 Ｌ2 の絶対値演算、減算及び加算が必要となり、演算量が非常に多くなるといった不利がある。
一方、式（２）で表される２次元相関の演算では、フーリエ変換を用いた場合には（Ｎ＋Ｌ)2log(Ｎ＋Ｌ) のオーダーで演算ができるため、演算量を低減できるという利点がある。
【０００９】
しかしながら、２つの信号の単なる積の和による評価関数では、誤って明るい部分にマッチングしてしまう問題がある。これは、式（２）からわかるように、ｂ(x−ΔX, y−ΔY)が大きければａ(x,y) との相関が小さくてもＣ（ΔX,ΔY)が大きな値になってしまうからである。つまり、ｂ(x−ΔX, y−ΔY)の信号の分布がΔX,ΔY に依存して変化するためである。従って、何らかの規格化が必要である。
【００１０】
本発明は、かかる従来技術における課題に鑑み創作されたもので、２つの多次元信号データ間でパターンマッチングを行う際に、比較を行う方の多次元信号データの信号変化の影響を殆ど受けることなく、少ない演算量で動きベクトル（移動量）の検出を可能にし、ひいては高精度のパターンマッチングに寄与することができるデータ処理回路を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明に係るパターンマッチング用データ処理回路は、図１の原理構成図に示されるように、第１の多次元信号データ（注目する方のデータ）ａに所定の窓関数ｗを乗じる乗算部１と、第２の多次元信号データ（比較を行う方のデータ）ｂの２乗を演算する２乗演算部２と、乗算部１の出力ａｗを積分変換する積分変換部３と、第２の多次元信号データｂを積分変換する積分変換部４と、２乗演算部２の出力ｂ2 を積分変換する積分変換部５と、窓関数ｗを積分変換する積分変換部６と、積分変換部３，４の各出力に基づいて第１，第２の多次元信号データａ，ｂ間の相関関数を算定する第１の算定部７と、積分変換部５，６の各出力に基づいて第２の多次元信号データｂの２乗の移動平均を算定する第２の算定部８と、第１の算定部７の出力と第２の算定部８の出力に基づいて、窓関数ｗが乗じられた第１の多次元信号データａ（つまりａｗ）と最も一致する第２の多次元信号データｂの領域を算定する第３の算定部９とを具備することを特徴とする。但し、乗算部１と積分変換部６については、後述のように実際上は不要とすることができる。
【００１２】
以下、本発明のデータ処理回路の原理について説明する。
先ず、一致（パターンマッチング）を判定するための評価関数を以下のように定義する。
ＭＰＥＧ等では、動き補償後の差信号（つまり現画面と前画面の対応する領域の差のデータ）を小さくすることが望ましい。上述した式（１）は差信号の１次ノルムを最小とする動きベクトルを求めるものである。しかし、差信号の電力を最小にするという意味で、以下式（３）で表されるように２次ノルムを最小にする方法も有力である。
【００１３】
Ｃ（ΔX,ΔY)＝Σx Σy [a(x,y) −ｂ(x−ΔX, y−ΔY)]2 ………（３）
しかし、このままでは演算量が減らないので、これを展開して以下の式（３’）とする。
Ｃ（ΔX,ΔY)＝Σx Σy ａ(x,y)2−２Σx Σy ａ(x,y) ｂ(x−ΔX, y−ΔY)
＋Σx Σy ｂ(x−ΔX, y−ΔY)2 …………………（３’）
ここで、最初の項はΔX,ΔY に依存しない定数なので、これを省略し、符号を反転した以下の式、すなわち、
Ｃ（ΔX,ΔY)＝２Ｓab（ΔX,ΔY)−Ｓb （ΔX,ΔY) ………………（４）
を最大にするΔX,ΔY を求めればよい。但し、Ｓabは（ａとｂの平均が０と考えた時の）ａとｂの共分散、Ｓb は（ａとｂの平均が０と考えた時の）ｂの自己分散を示し、それぞれ以下の式（５）及び（６）で表される。
【００１４】
Ｓab（ΔX,ΔY)＝Σx Σy ａ(x,y) ｂ(x−ΔX, y−ΔY) …………（５）
Ｓb （ΔX,ΔY)＝Σx Σy ｂ(x−ΔX, y−ΔY)2 ……………………（６）
こうすれば、Ｓab（ΔX,ΔY)は前述のようにフーリエ変換等を用いて少ない演算量で計算することができ、また、Ｓb （ΔX,ΔY)についても同様に、後で示すように少ない演算量で計算することができる。
【００１５】
また、全体の明るさが時間的に変化する画像において、明るさの変動を考慮してマッチングをとるには、ａ(x,y) −ｃ（ΔX,ΔY)ｂ(x−ΔX, y−ΔY)を最小にするのが合理的である。但し、ｃ（ΔX,ΔY)は比例係数である。最小２乗法を用いれば、ΔX,ΔY を固定した時の最小２乗誤差は、
Ｃ（ΔX,ΔY)＝Σx Σy ａ(x,y)2−Ｓab（ΔX,ΔY)2 ／Ｓb （ΔX,ΔY)となる。
最初の項はΔX,ΔY に依存しない定数なので、これを省略し、符号を反転した以下の式、すなわち、
Ｃ（ΔX,ΔY)＝Ｓab（ΔX,ΔY)2 ／Ｓb （ΔX,ΔY) ………………（７ａ）
を最大にするΔX,ΔY を求めればよい。この場合も必要なものはＳab（ΔX,ΔY)とＳb （ΔX,ΔY)であるので、フーリエ変換等を用いて少ない演算量で計算することができる。
【００１６】
但し、式（７ａ）の形では正の相関と負の相関を必ずしも区別できるとは限らない。これを区別するには式（７ａ）の平方根をとった以下の式、すなわち、
Ｃ（ΔX,ΔY)＝Ｓab（ΔX,ΔY)／Ｓb （ΔX,ΔY)1/2 ………………（７ｂ）
を用いるか、又は、式（７ａ）を変形した以下の式、すなわち、
【００１７】
また、上記の評価関数では、ａとｂの平均値の相違を考慮していないが、これを考慮してマッチングをとる場合には、ａ(x,y) に代えてａ(x,y) −ｍa を、またｂ(x−ΔX, y−ΔY)に代えてｂ(x−ΔX, y−ΔY)−ｍb （ΔX,ΔY)を用いればよい。但し、ｍa は小領域内でのａの平均、ｍb （ΔX,ΔY)は同じく小領域内でのｂの平均である。この場合、Ｓab（ΔX,ΔY)，Ｓb （ΔX,ΔY)は、通常の共分散、自己分散と一致し、それぞれ以下の式（８）及び（９）で表される。
【００１８】
【００１９】
ｍa ＝Σx Σy ａ(x,y) ／ｎ…………………………………………（１０）
ｍb （ΔX,ΔY)＝Σx Σy ｂ(x−ΔX, y−ΔY)／ｎ ……………（１１）
ここに、ｎは小領域内の要素の数（Ｎx ＊Ｎy ）を表している。この場合も、上述した式（４）、（７ａ）などに示したような評価関数を用いることで、少ない演算量で動き検出が可能となる。
【００２０】
次に、各積分変換部３〜６で行われる積分変換のためのデータの扱い方について説明する。説明の簡単化のため、x, yは整数値をとるものとする。
上述した式（１）から（９）においては、x はx1からx2 (x2−x1＝Ｎx −１）の範囲、y はy1からy2 (y2−y1＝Ｎy −１）の範囲、ΔX はΔX1からΔX2（ΔX2−ΔX1＝Ｌx −１）の範囲、ΔY はΔY1からΔY2（ΔY2−ΔY1＝ＬY −１）の範囲を動く。しかしこのままでは、ΔX,ΔY が変わるとそれに応じてｂ(x−ΔX, y−ΔY)の範囲も変化するため、積分変換による演算量の低減ができない。
【００２１】
そこで、本発明では、新たな座標系x'＝x −ΔX (x' はx1−ΔX2からx2−ΔX1の範囲をとる）、y'＝y −ΔY (y' はy1−ΔY2からy2−ΔY1の範囲をとる）を導入し、必要とされるｂ(x−ΔX, y−ΔY)の領域を全てカバーすると共に、以下の式で表される窓関数ｗ(x,y) を導入することで余分な領域での値を０にする。
ｗ(x,y) ＝１（x1≦x ≦x2，y1≦y ≦y2の時）
ｗ(x,y) ＝０（上記の範囲以外の時）
この場合、上述した各式は、Σx Σy に代えてΣx'Σy'ｗ（x'＋ΔX,y'＋ΔY)を用いればよい。例えば、式（５）、（６）、（８）、（９）及び（１１）は、以下のように置き換えられる。
【００２２】
【００２３】
先ず、Ｎx ＊Ｎy の範囲でｐ(x,y),ｑ(x,y) の離散フーリエ変換をそれぞれＦ｛ｐ｝＝Ｐ（ｋx ，ｋy ），Ｆ｛ｑ｝＝Ｑ（ｋx ，ｋy ）と表す。そうすると、Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')の離散フーリエ変換は、定数を除けばＰ（ｋx ，ｋy ）Ｑ（−ｋx ，−ｋy ）となる。但し、座標（x'＋x,y'＋y)が上記のＮx ＊Ｎy の範囲を越えた場合には、離散フーリエ変換で仮定している周期性ｐ(x＋Ｎx ,y) ＝ｐ(x,y＋Ｎy ) ＝ｐ(x,y) を利用し、上記のＮx ＊Ｎy の範囲に還元して考えるものとする。
【００２４】
従って、Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')を計算するには、先ずｐ(x,y),ｑ(x,y) に対して別々に離散フーリエ変換をした後、それらを掛け合わせてΣx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')の離散フーリエ変換を求め、それを離散逆フーリエ変換することで求めることができる。
しかし、この方法で形式的にはＮx ＊Ｎy の範囲の相関関数が求められるが、上述した離散フーリエ変換の「周期性」のために誤差が生じる可能性がある。
【００２５】
本発明では、上述したように、一方の画像（第１の多次元信号データａ）に窓関数ｗを掛けてあるので、この誤差を避けることができる。窓関数として、例えば、Ｎx ＊Ｎy の領域で「１」の値を有し且つそれ以外の領域で「０」の値を有する関数を用い、（Ｎx ＋Ｌx ）＊（Ｎy ＋Ｌy ）の範囲で上記演算を行うと、動きベクトルとしてＬx ＊Ｌy の範囲で正しい相関関数が求められる。
【００２６】
従って、上記の式（５’）を求めるには、ａ(x,y) ＊ｗ(x,y) とｂ(x,y) をそれぞれｐ(x,y),ｑ(x,y) に対応させ、フーリエ変換、乗算及び逆フーリエ変換を行えばよい。同様にして、式（６’）を求めるには、ｗ(x,y) とｂ2(x,y)をそれぞれｐ(x,y),ｑ(x,y) に対応させればよいことが判る。
このようにして求めたものを用いて、式（４）、（７ａ）などにより評価関数を計算することができる。この際、評価関数として式（４）を用いた場合には、上記の方法で式（５）及び（６）を求めてから差を計算するよりも、式（５）をフーリエ変換したものと式（６）をフーリエ変換したものとの差を求めてから逆フーリエ変換を行った方が、演算量を低減でき有利である。
【００２７】
以上のように、積分変換としてフーリエ変換を用いた場合、Ｎ個の実数データの１次元フーリエ変換及び逆フーリエ変換の演算量がＮ logＮ回の乗算及び加算からなること、２次元フーリエ変換がｘ方向の１次元フーリエ変換とｙ方向の１次元フーリエ変換の組み合わせで実現できることを考慮すると、これらの演算は（Ｎx ＋Ｌx ）（Ｎy ＋Ｌy ）log [(Ｎx ＋Ｌx ）（Ｎy ＋Ｌy )]のオーダーの計算で済むことがわかる。
【００２８】
以上、積分変換としてフーリエ変換を用いた場合について説明したが、フーリエ変換に代えて、ハフ変換を用いた場合にも同様の効果が得られる。
この場合、式（５’）及び（６’）に関して、２次元相関Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')に対応するハフ変換が、ｐ(x,y),ｑ(x,y) のハフ変換の１次元相関で求められることを利用する。すなわち、ｐ(x,y),ｑ(x,y) のハフ変換を求め、それぞれＨ｛ｐ｝＝Ｐh(ρ，θ），Ｈ｛ｑ｝＝Ｑh(ρ，θ）と表す。そうすると、Σx'Σy'ｐ（x'＋x,y'＋y)ｑ（x',y')のハフ変換は、定数を除けばΣρ' Ｐh(ρ，θ）Ｑh(ρ＋ρ',θ）となる。この場合、（Ｎ＋Ｌ)2Ｌのオーダーで計算できるため、フーリエ変換の場合と同様に、少ない演算量で２次元相関を求めることができる。つまり、少ない演算量で動きベクトルを検出することが可能となる。
【００２９】
なお、本発明の他の構成上の特徴及び作用の詳細については、以下に記述される実施形態を用いて説明する。
【００３０】
【発明の実施の形態】
図２には本発明に係るデータ処理回路の第１実施形態としての相関回路の構成が示される。図示の例は、積分変換としてフーリエ変換を用いた場合の構成を示している。
図中、ａは第１の２次元画像データ、ｂは第２の２次元画像データ、ｗ（本実施形態ではｗ／２）は窓関数を示す。本実施形態を含めて以下に説明する各実施形態では、画像データａ，ｂの範囲を（Ｎx ＋Ｌx ）＊（Ｎy ＋Ｌy ）として扱うものとする。
【００３１】
本実施形態の相関回路は、図示のように、２次元画像データａに応答する画像切り出し部１１と、該画像切り出し部１１の出力に応答するフーリエ変換部１２と、２次元画像データｂに応答する画像切り出し部１３と、該画像切り出し部１３の出力にそれぞれ応答するフーリエ変換部１４及び２乗演算部１５と、該２乗演算部１５の出力に応答するフーリエ変換部１６と、フーリエ変換部１２及び１４の各出力に応答する乗算部１７と、フーリエ変換部１６の出力及び窓関数ｗ／２のフーリエ変換後の信号に応答する乗算部１８と、乗算部１７及び１８の各出力の差を演算する減算部１９と、該減算部１９の出力に応答する逆フーリエ変換部２０とを備えて構成されており、この構成により、前述の式（４）に示す評価関数を得るようにしている。
【００３２】
すなわち、この構成において、２次元画像データａは画像切り出し部１１に入力され、該データの中から比較を行う画像部分Ｎx ＊Ｎy だけが切り出され、フーリエ変換部１２に入力される。なお、Ｎx ＊Ｎy の部分だけを切り出すということは、窓関数ｗを乗じることに対応するため、前述したように窓関数ｗとの乗算は不要である。フーリエ変換部１２では、先ず一方の座標軸方向（ｘ軸方向とする）にＮx ＋Ｌx 個のデータの１次元フーリエ変換をＮy 回行った後、他方の座標軸方向（ｙ軸方向とする）にＮy ＋Ｌy 個のデータの１次元フーリエ変換をＮx ＋Ｌx 回行うことで、２次元フーリエ変換を行う。この時、最初の１次元フーリエ変換ではＬx 個の入力は０であるので、これを考慮して演算量を減らすこともできる。
【００３３】
同様に、２次元画像データｂは、画像切り出し部１３に入力され、該データの中から比較を行う画像部分（Ｎx ＋ＬX ）＊（Ｎy ＋Ｌy ）が切り出され、フーリエ変換部１４に入力される。フーリエ変換部１４では、先ず一方の座標軸方向（ｘ軸方向とする）にＮx ＋Ｌx 個のデータの１次元フーリエ変換をＮy ＋Ｌy 回行った後、他方の座標軸方向（ｙ軸方向とする）にＮy ＋Ｌy 個のデータの１次元フーリエ変換をＮx ＋Ｌx 回行うことで、２次元フーリエ変換を行う。
【００３４】
また、２次元画像データｂについては、画像切り出し部１３により上記の画像切り出しを行った後、２乗演算部１５により当該データの２乗演算を行い、さらにフーリエ変換部１６において上記と同様に２次元フーリエ変換を行う。
フーリエ変換部１２及び１４において得られたフーリエ変換出力は乗算部１７に入力され、対応する周波数成分同士乗算され、Ｓabのフーリエ変換が計算される。一方、フーリエ変換部１６において得られたフーリエ変換出力と予め計算され記憶されているＮx ＊Ｎy の領域の切り出しに対応する窓関数ｗ／２のフーリエ変換は乗算部１８に入力され、対応する周波数成分同士乗算され、Ｓb ／２のフーリエ変換が計算される。なお、後者に１／２が付くのは、予め窓関数のフーリエ変換の値を１／２にしてあるからである。また、ｗのフーリエ変換は入力に依存しないので、このように予め計算し記憶しておくのが有利である。
【００３５】
次いで、乗算部１７及び１８の各出力を減算部１９に入力して両者の差を演算した後、逆フーリエ変換部２０において逆フーリエ変換を取ることで、式（４）に示す評価関数が得られる。
図３には本発明に係るデータ処理回路の第２実施形態としての相関回路の構成が示される。本実施形態は、上述した第１実施形態と同様に、積分変換としてフーリエ変換を用いた場合の構成を示している。
【００３６】
本実施形態の相関回路の特徴は、上述した第１実施形態（図２参照）との対比において、減算部１９及び逆フーリエ変換部２０の代わりに、乗算部１７及び１８の出力にそれぞれ応答する逆フーリエ変換部２１及び２２と、逆フーリエ変換部２１の出力に応答する２乗演算部２３と、該２乗演算部２３の出力と逆フーリエ変換部２２の出力との比を演算する除算部２４とを設けたことであり、この構成により、前述の式（７ａ）に示す評価関数を得るようにしている。
【００３７】
他の回路部分及びその動作形態については、第１実施形態の場合と同じであるので、その説明は省略する。
なお、２乗演算部２３において、通常の２乗演算の代わりに符号付２乗演算を行えば、前述の式（７ａ’）に示す評価関数を得ることができる。
図４には本発明に係るデータ処理回路の第３実施形態としての相関回路の構成が示される。本実施形態は、上述した第１，第２実施形態と同様に、積分変換としてフーリエ変換を用いた場合の構成を示している。
【００３８】
本実施形態の相関回路の特徴は、上述した第２実施形態（図３参照）との対比において、２乗演算部２３及び除算部２４の代わりに、逆フーリエ変換部２２の出力に応答する平方根演算部２５と、逆フーリエ変換部２１の出力と平方根演算部２５の出力との比を演算する除算部２６とを設けたことであり、この構成により、前述の式（７ｂ）に示す評価関数を得るようにしている。
【００３９】
他の回路部分及びその動作形態については、上述した第２実施形態の場合と同じであるので、その説明は省略する。
図５には本発明に係るデータ処理回路の第４実施形態としての相関回路の構成が示される。本実施形態は、積分変換としてフーリエ変換を用い、且つ入力データの直流分の変動を考慮した場合の構成を示している。
【００４０】
本実施形態では、かかる直流分の変動を考慮した分散（共分散、自己分散）として前述の式（８）及び（９）を用いている。
また、本実施形態の相関回路の特徴は、上述した第１実施形態（図２参照）との対比において、減算部１９の代わりに、フーリエ変換部１４の出力及び窓関数ｗのフーリエ変換後の信号に応答する乗算部２７と、該乗算部２７の出力に応答する２乗演算部２８と、該２乗演算部２８の出力と乗算部１７及び１８の各出力との間で加減算を行い、その出力を逆フーリエ変換部２０に供給する加減算部２９とを設けたことであり、この構成により、前述の式（４）に示す評価関数を得るようにしている。
【００４１】
他の回路部分及びその動作形態については、上述した第１実施形態の場合と同じであるので、その説明は省略する。
図６には本発明に係るデータ処理回路の第５実施形態としての相関回路の構成が示される。本実施形態は、上述した第４実施形態と同様に、積分変換としてフーリエ変換を用い、且つ入力データの直流分の変動を考慮した場合の構成を示している。また、第４実施形態と同様に、分散として前述の式（８）及び（９）を用いている。
【００４２】
本実施形態の相関回路の特徴は、上述した第２実施形態（図３参照）との対比において、更に、フーリエ変換部１４の出力及び窓関数ｗのフーリエ変換後の信号に応答する乗算部２７と、該乗算部２７の出力に応答する２乗演算部２８と、該２乗演算部２８の出力と乗算部１８の出力の差を演算し、その出力を逆フーリエ変換部２２に供給する減算部３０とを設けたことであり、この構成により、前述の式（７ａ）に示す評価関数を得るようにしている。
【００４３】
他の回路部分及びその動作形態については、上述した第２実施形態の場合と同じであるので、その説明は省略する。
図７には本発明に係るデータ処理回路の第６実施形態としての相関回路の構成が示される。本実施形態は、上述した第４，第５実施形態と同様に、積分変換としてフーリエ変換を用い、且つ入力データの直流分の変動を考慮した場合の構成を示している。また、第４，第５実施形態と同様に、分散として前述の式（８）及び（９）を用いている。
【００４４】
本実施形態の相関回路の特徴は、上述した第３実施形態（図４参照）との対比において、更に、フーリエ変換部１４の出力及び窓関数ｗのフーリエ変換後の信号に応答する乗算部２７と、該乗算部２７の出力に応答する２乗演算部２８と、該２乗演算部２８の出力と乗算部１８の出力の差を演算し、その出力を逆フーリエ変換部２２に供給する減算部３０とを設けたことであり、この構成により、前述の式（７ｂ）に示す評価関数を得るようにしている。
【００４５】
他の回路部分及びその動作形態については、上述した第３実施形態の場合と同じであるので、その説明は省略する。
図８には本発明に係るデータ処理回路の第７実施形態としての相関回路の構成が示される。本実施形態では、積分変換としてハフ変換を用いた場合の構成を示している。
【００４６】
本実施形態の相関回路の特徴は、上述した第１実施形態（図２参照）との対比において、フーリエ変換部１２、１４及び１６の代わりにハフ変換部３１、３２及び３３を、乗算部１７及び１８の代わりに１次元相関演算部３４及び３５を、減算部１９及び逆フーリエ変換部２０の代わりに減算部３６及び逆ハフ変換部３７をそれぞれ設けたことであり、この構成により、前述の式（４）に示す評価関数を得るようにしている。
【００４７】
なお、図示はしないが、他の評価関数を用いた場合でも、フーリエ変換をハフ変換に、逆フーリエ変換を逆ハフ変換に、相関のための乗算を１次元相関演算に置き換えればよいので、その説明については省略する。
なお、本発明は上述した第１〜第７の実施形態を用いて説明したが、本発明はこれらの実施形態に限定されない。例えば、各実施形態の特徴事項を適宜組み合わせることも可能であり、かかる組合せは、図示はしないが、当業者には容易に想到されるであろう。
【００４８】
【発明の効果】
以上説明したように本発明によれば、２つの多次元信号データ間でパターンマッチングを行う際に、比較を行う方の多次元信号データの信号変化の影響を殆ど受けることなく、少ない演算量で動きベクトルすなわち変位量（移動量）を検出することが可能となる。これは、パターンマッチングの高精度化に大いに寄与するものである。
【図面の簡単な説明】
【図１】本発明に係るパターンマッチング用データ処理回路の原理構成を示すブロック図である。
【図２】本発明に係るデータ処理回路の第１実施形態としての相関回路の構成を示すブロック図である。
【図３】本発明に係るデータ処理回路の第２実施形態としての相関回路の構成を示すブロック図である。
【図４】本発明に係るデータ処理回路の第３実施形態としての相関回路の構成を示すブロック図である。
【図５】本発明に係るデータ処理回路の第４実施形態としての相関回路の構成を示すブロック図である。
【図６】本発明に係るデータ処理回路の第５実施形態としての相関回路の構成を示すブロック図である。
【図７】本発明に係るデータ処理回路の第６実施形態としての相関回路の構成を示すブロック図である。
【図８】本発明に係るデータ処理回路の第７実施形態としての相関回路の構成を示すブロック図である。
【符号の説明】
ａ…第１の多次元信号データ
ｂ…第２の多次元信号データ
ｗ…窓関数
１…乗算部
２…２乗演算部
３〜６…積分変換部
７…（ａとｂの相関関数を算定する）第１の算定部
８…（ｂの２乗の移動平均を算定する）第２の算定部
９…（データａｗと最も一致するデータｂの領域を算定する）第３の算定部
Claims (8)
- ２つの多次元信号データ間のパターンマッチングのためのデータ処理を行う回路であって、
第１の多次元信号データに所定の窓関数を乗じたデータを発生する部分と、
第２の多次元信号データの２乗を演算する２乗演算部と、
前記窓関数が乗じられた前記第１の多次元信号データ、前記第２の多次元信号データ、前記２乗演算部の出力及び前記窓関数に対してそれぞれ積分変換を行う第１、第２、第３及び第４の積分変換部と、
前記第１及び第２の積分変換部の出力に基づいて前記第１及び第２の多次元信号データ間の相関関数を算定する第１の算定部と、
前記第３及び第４の積分変換部の出力に基づいて前記第２の多次元信号データの２乗の移動平均を算定する第２の算定部と、
前記第１及び第２の算定部の出力に基づいて、前記窓関数が乗じられた前記第１の多次元信号データと最も一致する前記第２の多次元信号データの領域を算定する第３の算定部とを具備し、
前記第１〜第４の積分変換部は、積分変換としてそれぞれフーリエ変換を用いて実空間から波数空間への変換を行い、
前記第１の算定部は、変換された波数空間上で前記第１及び第２の積分変換部のフーリエ変換出力の乗算を行い前記相関関数のフーリエ変換を求め、
前記第２の算定部は、変換された波数空間上で前記第３及び第４の積分変換部のフーリエ変換出力の乗算を行い前記２乗の移動平均のフーリエ変換を求め、
前記第３の算定部は、前記第１及び第２の算定部で求められたフーリエ変換を逆フーリエ変換して実空間での評価関数を得ることを特徴とするパターンマッチング用データ処理回路。 - 前記第２及び第４の積分変換部の出力に基づいて前記第２の多次元信号データの移動平均を算定する第４の算定部を更に具備し、この出力により、前記相関関数、２乗の移動平均において、第２の多次元信号データの平均値の影響を取り除くことを可能とし、
前記第３の算定部は、該第４の算定部の出力及び前記第１及び第２の算定部の出力に基づいて、前記窓関数が乗じられた前記第１の多次元信号データと最も一致する前記第２の多次元信号データの領域を算定することを特徴とする請求項１に記載のパターンマッチング用データ処理回路。 - 前記第３の算定部は、前記窓関数が乗じられた前記第１の多次元信号データと前記第２の多次元信号データの一致／不一致を評価する際に、前記相関関数の２倍と前記第２の多次元信号データの２乗の移動平均との差を用いることを特徴とする請求項１又は２に記載のパターンマッチング用データ処理回路。
- 前記第３の算定部は、前記窓関数が乗じられた前記第１の多次元信号データと前記第２の多次元信号データの一致／不一致を評価する際に、前記相関関数と前記第２の多次元信号データの２乗の移動平均の平方根との比又はそれと同等の値を用いることを特徴とする請求項１又は２に記載のパターンマッチング用データ処理回路。
- ２つの多次元信号データ間のパターンマッチングのためのデータ処理を行う回路であって、
第１の多次元信号データに所定の窓関数を乗じたデータを発生する部分と、
第２の多次元信号データの２乗を演算する２乗演算部と、
前記窓関数が乗じられた前記第１の多次元信号データ、前記第２の多次元信号データ、前記２乗演算部の出力及び前記窓関数に対してそれぞれ積分変換を行う第１、第２、第３及び第４の積分変換部と、
前記第１及び第２の積分変換部の出力に基づいて前記第１及び第２の多次元信号データ間の相関関数を算定する第１の算定部と、
前記第３及び第４の積分変換部の出力に基づいて前記第２の多次元信号データの２乗の 移動平均を算定する第２の算定部と、
前記第１及び第２の算定部の出力に基づいて、前記窓関数が乗じられた前記第１の多次元信号データと最も一致する前記第２の多次元信号データの領域を算定する第３の算定部とを具備し、
前記第１〜第４の積分変換部は、積分変換としてそれぞれハフ変換を用いて実空間からρ−θ空間への変換を行い、
前記第１の算定部は、変換されたρ−θ空間上で前記第１及び第２の積分変換部のハフ変換出力に対してρ方向の１次元相関を行い前記相関関数のハフ変換を求め、
前記第２の算定部は、変換されたρ−θ空間上で前記第３及び第４の積分変換部のハフ変換出力に対してρ方向の１次元相関を行い前記２乗の移動平均のハフ変換を求め、
前記第３の算定部は、前記第１及び第２の算定部で求められたハフ変換を逆ハフ変換して実空間での評価関数を得ることを特徴とするパターンマッチング用データ処理回路。 - 前記第２及び第４の積分変換部の出力に基づいて前記第２の多次元信号データの移動平均を算定する第４の算定部を更に具備し、この出力により、前記相関関数、２乗の移動平均において、第２の多次元信号データの平均値の影響を取り除くことを可能とし、
前記第３の算定部は、該第４の算定部の出力及び前記第１及び第２の算定部の出力に基づいて、前記窓関数が乗じられた前記第１の多次元信号データと最も一致する前記第２の多次元信号データの領域を算定することを特徴とする請求項５に記載のパターンマッチング用データ処理回路。 - 前記第３の算定部は、前記窓関数が乗じられた前記第１の多次元信号データと前記第２の多次元信号データの一致／不一致を評価する際に、前記相関関数の２倍と前記第２の多次元信号データの２乗の移動平均との差を用いることを特徴とする請求項５又は６に記載のパターンマッチング用データ処理回路。
- 前記第３の算定部は、前記窓関数が乗じられた前記第１の多次元信号データと前記第２の多次元信号データの一致／不一致を評価する際に、前記相関関数と前記第２の多次元信号データの２乗の移動平均の平方根との比又はそれと同等の値を用いることを特徴とする請求項５又は６に記載のパターンマッチング用データ処理回路。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11284297A JP3938971B2 (ja) | 1997-04-30 | 1997-04-30 | パターンマッチング用データ処理回路 |
| US09/044,973 US6032167A (en) | 1997-04-30 | 1998-03-20 | Data processing circuit adapted for use in pattern matching |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11284297A JP3938971B2 (ja) | 1997-04-30 | 1997-04-30 | パターンマッチング用データ処理回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10302072A JPH10302072A (ja) | 1998-11-13 |
| JP3938971B2 true JP3938971B2 (ja) | 2007-06-27 |
Family
ID=14596905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11284297A Expired - Fee Related JP3938971B2 (ja) | 1997-04-30 | 1997-04-30 | パターンマッチング用データ処理回路 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6032167A (ja) |
| JP (1) | JP3938971B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20010047473A1 (en) * | 2000-02-03 | 2001-11-29 | Realtime Data, Llc | Systems and methods for computer initialization |
| US6920453B2 (en) * | 2001-12-31 | 2005-07-19 | Nokia Corporation | Method and system for finding a query-subset of events within a master-set of events |
| JP4345426B2 (ja) * | 2003-10-07 | 2009-10-14 | ソニー株式会社 | 画像照合方法、プログラム、および画像照合装置 |
| DE10359734A1 (de) * | 2003-12-19 | 2005-08-11 | Carl Zeiss Jena Gmbh | Verfahren zur Scanneransteuerung in mindestens einer Scanachse in einem Laser-Scanning-Mikroskop |
| US7391835B1 (en) * | 2004-09-29 | 2008-06-24 | Sun Microsystems, Inc. | Optimizing synchronization between monitored computer system signals |
| SE531372C2 (sv) * | 2006-04-25 | 2009-03-17 | Flir Systems Ab | Metod för signalkonditionering |
| US7885480B2 (en) * | 2006-10-31 | 2011-02-08 | Mitutoyo Corporation | Correlation peak finding method for image correlation displacement sensing |
| US11392786B2 (en) | 2018-10-23 | 2022-07-19 | Oracle International Corporation | Automated analytic resampling process for optimally synchronizing time-series signals |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2037464B (en) * | 1978-12-14 | 1982-11-24 | Rank Organisation Ltd | Method for analysing variables |
| US4739265A (en) * | 1985-04-01 | 1988-04-19 | Hitachi, Ltd. | NMR imaging method |
| US5579338A (en) * | 1992-06-29 | 1996-11-26 | Mitsubishi Denki Kabushiki Kaisha | Spread spectrum receiver using partial correlations |
| US5341460A (en) * | 1992-08-28 | 1994-08-23 | General Electric Company | Method and apparatus for producing a three-dimensional computerized tomography image of an object with improved conversion of cone beam data to radon data |
| US5495428A (en) * | 1993-08-31 | 1996-02-27 | Eastman Kodak Company | Method for determining color of an illuminant in an image based on histogram data |
-
1997
- 1997-04-30 JP JP11284297A patent/JP3938971B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-20 US US09/044,973 patent/US6032167A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6032167A (en) | 2000-02-29 |
| JPH10302072A (ja) | 1998-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Giachetti | Matching techniques to compute image motion | |
| Lewis | Fast template matching | |
| Canny | A computational approach to edge detection | |
| Uenohara et al. | Use of Fourier and Karhunen-Loeve decomposition for fast pattern matching with a large set of templates | |
| Bigun et al. | Recognition by symmetry derivatives and the generalized structure tensor | |
| JP3938971B2 (ja) | パターンマッチング用データ処理回路 | |
| Papanikolopoulos | Selection of features and evaluation of visual measurements during robotic visual servoing tasks | |
| Han et al. | Visual tracking by continuous density propagation in sequential Bayesian filtering framework | |
| Ye | Navigating a portable robotic device by a 3D imaging sensor | |
| JP3405864B2 (ja) | 演算装置、相関演算装置、動画像圧縮装置、ずれ検出方法およびずれ検出装置 | |
| KR20120094102A (ko) | 유사도 산출 디바이스, 유사도 산출 방법 및 프로그램 | |
| RU2407058C2 (ru) | Вычисление параметров преобразования для обработки изображений | |
| US5715017A (en) | Motion estimating system | |
| Reddy et al. | Color image registration and template matching using quaternion phase correlation | |
| Patel et al. | Comparison on different filters for performance improvement on fingerprint image enhancement | |
| Salzenstein et al. | Multidimensional directional derivatives and AM-FM dual-band image demodulation by higher order Teager-Kaiser operators | |
| Chen et al. | Error analysis in homography estimation by first order approximation tools: A general technique | |
| Montiel et al. | Efficient validation of matching hypotheses using mahalanobis distance | |
| Popović et al. | Computationally efficient dense moving object detection based on reduced space disparity estimation | |
| Sohn et al. | Analysis of camera movement errors in vision-based vehicle tracking | |
| JP2739054B2 (ja) | 目標運動解析方法 | |
| CN117934317B (zh) | 基于多传感器的水下机器人在线定位方法 | |
| JPH04241684A (ja) | 画像整合方法及び装置 | |
| Abdulkadhem et al. | Camera Motion Estimation based on Phase Correlation | |
| JP2743365B2 (ja) | レーダトラッキングフィルタ方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070327 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110406 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120406 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130406 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140406 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |