JP4037503B2

JP4037503B2 - 画像特徴抽出方法および装置

Info

Publication number: JP4037503B2
Application number: JP01053798A
Authority: JP
Inventors: 浩明岡本; 進川上
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-01-22
Filing date: 1998-01-22
Publication date: 2008-01-23
Anticipated expiration: 2018-01-22
Also published as: JPH11213153A

Description

【０００１】
【発明の属する技術分野】
本発明は、２枚の画像間の位置ずれを特徴づける画像上の特徴を抽出する画像特徴抽出方法、およびその方法が実施された画像特徴抽出装置に関する。
【０００２】
【従来の技術】
従来より、２枚の画像間の位置の移動量を検出する技術が、ロボットの眼、あるいはマルチメディアにおける画像解析、画像認識等の分野で広く必要されており、例えば連続した時系列画像からの速度ベクトルの検出や２つのカメラ画像からの視差の検出などに適用されている。
【０００３】
２枚の画像間の位置ずれを検出するにあたり、画像全体をまとめて処理するのでは演算量が膨大であり、また異なった対象領域を同一に扱うと精度の低下が問題となるため、その解決策として、画像を複数の小領域に分割し、各領域毎に独立に線分検出あるいは速度検出などの処理を行なう手法が採られている。この手法を用いれば、各小領域の演算量は大幅に小さくなり、それらの並列分散処理による高速化も可能となる。また画像間の必要な部分のみに処理を限定することで効率化を図ることもできる。
【０００４】
上記の、画像を複数の小領域に分割して各小領域毎に演算を行なう手法に、ハフ変換を組み合わせた手法が提案されている。
図１は、画像を複数の小領域に分割し、ハフ変換を行なって２つの画像間の変位を求める手法の説明図である。
ここでは、画像１と画像２という、そこに描かれている画像（ここでは簡単のため直線１と直線２という２本の直線のみが描かれているものとする）が僅かにずれた２つの画像が用意され（Ａ）、それら２つの画像それぞれから各小領域（ここでは各画像の中央の領域）が切り出され（Ｂ）、それぞれの小領域がハフ変換される（Ｃ）。ここでは、画像２は、画像１と比べ、図１（Ｂ）に矢印で示すベクトルだけそこに描かれている直線成分がずれた位置にあるものとする。
【０００５】
図２は、ハフ変換の手法を示す模式図である。
ハフ変換は、図２（Ａ）に示すように、直線成分を、位置（所定の原点０からの距離ρ）と方位θとであらわす変換方式であり、実際の演算にあたっては、図２（Ａ）の画像（小領域）上の〇印の点は、その点を通る様々な直線成分に共通な点であることから、それら様々な直線成分の位置ρと方位θを図２（Ｂ）に〇印で示すように、ρ−θ平面上にプロットする（このプロットを、‘投票’と称する）。それらのプロット（投票）された点（〇印）の集合は、ある１つの正弦波の一部となる。同様に、図２（Ａ）の×印、△印の点も、ρ−θ平面上では、各正弦波の一部（それぞれ×印、△印であらわす）としてあらわされる。そこでρ−θ平面上で〇，×，△の各印が重なる点、すなわち投票により獲得したポイントの高い点が、図２（Ａ）に示す直線に対応することになる。
【０００６】
ここでは、このような対応づけを、図２（Ａ）の画像をｘ，ｙの各方向に所定のピッチ（分解能）で区切り、図２（Ｂ）の位置ρ，方位θについても所定の分解能を設定し、図２（Ａ）の、ある所定のピッチで区切られた各点ごとに上記の対応づけ、すなわち投票を行なう。こうすることにより、図２（Ａ）中に描かれた画像を複数の直線成分の集合とみなしたとき、それら複数の直線成分が、投票により獲得したポイントの高い複数の点に変換されたことになる。
【０００７】
図１に戻って説明を続ける。
図１（Ｃ）では、各画像１，２のそれぞれから切り出された各小領域がハフ変換され、２本の直線１，２が２つの点に変換される。ここでは、ハフ変換後の２つの画像をそれぞれＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）であらわす。ここで、画像１と画像２とでは画像は回転せず平行移動のみであるとすると、ハフ変換データＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）上では、各直線１，２をあらわす点は、それら２つのハフ変換データＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）上で同一の方位θ上の点となる。図１（Ｃ）では、２つのハフ変換データＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）上で直線１，２をあらわす点は、同一の方位であって、位置ρ方向にそれぞれτ₁ ，τ₂ だけずれた点としてあらわされている。
【０００８】
そこで、次に、これら２つのハフ変換データＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）について、位置ρ方向についての相関処理のための演算
ＨＣ₁ （ρ，θ₁ ）＊ＨＣ₂ （ρ＋τ，θ）
を実行する。ここで、相関処理のための演算＊は、典型的には乗算を意味する。この演算（乗算）＊は、ＨＣ₁ （ρ，θ）のρ−θ平面における各点とＨＣ₂ （ρ＋τ，θ）の、ρ−θ平面における各点との各ペア毎に行なわれる。その結果は、図１（Ｄ）（ａ）に示す、ρ，θ，τの三次元データとなる。そこで次に、このデータをρ方向に投影する。すなわち、
【０００９】
【数３】

【００１０】
を演算し、図１（Ｄ）（ｂ）に示すような、位置ρの変位τと、方位θとの二次元データＣＣ（τ，θ）を求める。
この図１（Ｄ）（ｂ）には、図１（Ａ）の画像１，２に示す２本の直線１，２に対応する２点Ｐ₁ ，Ｐ₂ しか示されていないが、同じ移動ベクトルを持つもっと多数の直線成分について同様の点を求めると、それらの点は１つの正弦波の一部に沿って並ぶ。
【００１１】
そこで、次に逆ハフ変換を実行することにより、２つの画像１，２どうしの変位（移動ベクトル）が求められる。
尚、ここでは、２つの画像１，２からそれぞれ切り出した各１つの小領域内で演算を行なっているが、分割した小領域それぞれについて上記の処理を施せば、オプティカルフローあるいはデプスマップなどを得ることもできる。
【００１２】
また、ここでは、２つの画像１，２間の画像の‘移動’を求めるものとし‘移動ベクトル’と表現したが、この移動ベクトルは、２つの画像１，２が視差をあらわす場合は‘視差ベクトル’とでも称すべきものであり、ここでは画像の‘移動’のみでなく、画像どうしの変位一般をあらわす言葉として‘移動ベクトル’と称する。以下も同様である。
【００１３】
ここでは、２つの画像１，２を小領域に区切って演算のための小領域を切り出し、その切り出した小領域どうしで演算を行なっているため、演算量が大幅に低減される。
図３は、図１を参照して説明した手法を、２つの画像１，２間で、１つの小領域を超える大きな変位が生じ得る場合に応用した手法の説明図である。
【００１４】
この場合、図１の場合と同様に２つの画像１，２を先ず小領域に分割し（図３（Ａ））、異なった小領域ＲＦ₀ ，ＲＦ₁ を切り出し（図３（Ｂ））、それぞれの小領域にハフ変換を施して２つのハフ変換データＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）を得る。
次に前述した（１）に基づいて相関処理
【００１５】
【数４】

【００１６】
を行なうが、このときの位置ρの変位として、
τ＝τ₀ ＋Δτ（Ｄ_x ，Ｄ_y ，θ） ……（２）
を採用する。ここでτ₀ は、切り出された２つの小領域ＲＦ₀ ，ＲＦ₁ どうしの相対変位（Ｄ_x ，Ｄ_y ）（図３（Ａ）参照）の存在は無視したときの、ハフ変換データＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）どうしのずれ量（図３（Ｃ）参照）である。また、Δτ（Ｄ_x ，Ｄ_y ，θ）は、切り出された２つの小領域ＲＦ₀ ，ＲＦ₁ どうしの相対変位（Ｄ_x ，Ｄ_y ）と、直線成分の方位θとにより定まる、位置ρの変位であり、Δτ＝Ｄ_x ｃｏｓθ＋Ｄ_y ｓｉｎθであらわされる。すなわち、（２）式は、図１を参照して説明したときの変位τに相当する変位τ₀ と、２つの小領域ＲＦ₀ ，ＲＦ₁ の相対変位と直線成分の方位θとにより定まる量Δτとの和として、
τ＝τ₀ ＋Δτ（Ｄ_x ，Ｄ_y ，θ）
＝τ₀ ＋Ｄ_x ｃｏｓθ＋Ｄ_y ｓｉｎθ ……（３）
であらわされ、ここではこの（３）式であらわされる変位τを用いて（１）式に示す相関処理を行なう（図３（Ｄ））。
【００１７】
これを逆ハフ変換すると（図３（Ｅ））、小領域のサイズを越えるような変位量を検出することができる。
図４は、２つの画像の小領域の模式図である。
図３では、画像１の小領域ＲＦ₀ と、画像ＲＦ₁ との間での相関処理を行なう例を示したが、より一般的には、図４に示すように、画像１の小領域ＲＦ₀ と、画像２の複数の小領域ＲＦ_ij（ｉ，ｊ＝１，２，……）それぞれとの間で上記の相関処理を施し、それらの相関処理結果を全て加算することで、任意の方向の広範囲の移動ベクトルを検出することができる。
【００１８】
【発明が解決しようとする課題】
図５は、画像上の直線とその画像の小領域を示した模式図である。
図２を参照して説明したように、位置ρや方位θにはそれぞれ所定のピッチ（分解能）が設定されて‘投票’によりハフ変換が行なわれるが、ここでは、図５に示す直線の方位θ_ABが設定された分解能に応じたディスクリートな方位θ_A とθ_B との間の中間的な方位であるとする。具体的には、例えば、図５に示す直線の方位θ_ABが、θ_AB＝３５°であり、ここでは１０°単位で方位が設定されており、したがってθ_AB＝３５°は、１０°おきに設定された方位のうちの、θ_A ＝３０°とθ_B ＝４０°との中間であるとする。
【００１９】
ここで、この図５に示す画像のうち、時刻ｔ₁ における画像と時刻ｔ₂ における画像との相関処理を行なうことを考える。
時刻ｔ₁ では、この図５に破線で示すように、この画像上の直線は、小領域ＲＦ₀ の原点を通っており、時刻ｔ₂ では、この画像上の直線は図５に実線で示す位置に移動したものとし、ここでは、相関演算のために、時刻ｔ₁ の画像からは小領域ＲＦ₀ を切り出し、時刻ｔ₂ の画像からは、２つの小領域ＲＦ₁ ，ＲＦ₂ が切り出されたものとする。
【００２０】
図６は、各小領域ＲＦ₀ ，ＲＦ₁ ，ＲＦ₂ それぞれについてのハフ変換後のデータを示す図であり、図６（Ａ），（Ｂ），（Ｃ）は、それぞれ、時刻ｔ＝ｔ₁ における小領域ＲＦ₀ のハフ変換データＨＣ₀₁（ρ，θ）、時刻ｔ＝ｔ₂ における小領域ＲＦ₁ のハフ変換データＨＣ₂₁（ρ，θ）、時刻ｔ＝ｔ₂ における小領域ＲＦ₂ のハフ変換データＨＣ₂₂（ρ，θ）である。
【００２１】
図２を参照して説明したように、ハフ変換は‘投票’により行なわれるが、図５に示す直線は方位θ_ABであって、ディスクリートに設定された方位θ_A とθ_B との中間的な方位であるため、投票の結果、図６に示すように方位θ_A と方位θ_B とに票が分かれる結果となる。
図７は、図６（Ａ）に示す領域ＲＦ₀ のハフ変換データＨＣ₁₀（ρ，θ）と、図６（Ｂ），（Ｃ）に示す２つの小領域ＲＦ₁ ，ＲＦ₂ のハフ変換データＨＣ₂₁（ρ，θ），ＨＣ₂₂（ρ，θ）それぞれとの各相関処理結果を、１つのθ−τ平面上に重ねて示した図である。
【００２２】
２点Ｐ₁ ，Ｐ₂ は、図６（Ａ）に示すハフ変換データＨＣ₁₀（ρ，θ）と図６（Ｂ）に示すハフ変換データＨＣ₂₁（ρ，θ）との相関処理結果であり、２点Ｐ₃ ，Ｐ₄ は、図６（Ａ）に示すハフ変換データＨＣ₁₀（ρ，θ）と図６（Ｃ）に示すハフ変換データＨＣ₂₂（ρ，θ）との相関処理結果である。
ここでは、図５に示す一本の直線に関する、時刻ｔ₁ と時刻ｔ₂ の２つの画像間の相関処理を行なっており、方位θをディスクリートには設定せずに連続した値と考えたときは、理論上、４点Ｐ₁ 〜Ｐ₄ がその一本の直線に対応する１点に集中するはずであるが、実際には、図７に示すように複数の点に分かれる結果となる。この原因は、直線がディスクリートに設定された方位θ_A とθ_B との中間的な方位θ_ABを持つことに起因して、図６に示すように、各小領域のハフ変換データに２つのピークがあらわれること、および、相関処理の際の位置ρの変位τとして、前述した（３）式の変位が設定されるが、角度θ_A と角度θ_B とでは、
τ（θ＝θ_A ）＝τ₀ ＋Ｄ_x ｃｏｓθ_A ＋Ｄ_y ｓｉｎθ_A ……（４）
τ（θ＝θ_B ）＝τ₀ ＋Ｄ_x ｃｏｓθ_B ＋Ｄ_y ｓｉｎθ_B ……（５）
すなわち、
τ（θ＝θ_A ）≠τ（θ＝θ_B ） ……（６）
となってしまい、θの分解能が不十分なためにこの値にずれが生じることになることにある。
【００２３】
この図７に示すような複数の点に分かれた状態の相関データを逆ハフ変換しても、二次元移動ベクトルを正確に決定することは難しい。
この二次元移動ベクトルを正確に決定するための単純な手段は、方位θの分解能を細かく設定することである。しかしながら、方位θの分解能を細かく設定すると、図２を参照して説明した‘投票’方式によるハフ変換演算や、相関処理演算の演算量が大きく増大する結果となり好ましくない。
【００２４】
本発明は、上記事情に鑑み、演算量を僅かな増加に押えつつ２つの画像間の正確な変位を求めることができるように、それら２つの画像の相違をあらわす特徴を抽出する画像特徴抽出方法、およびその方法を実施した画像特徴抽出装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
上記目的を達成する本発明の画像特徴抽出方法は、
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ₁ とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ₁ ）に変換し、
上記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、そのペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ₁ （ρ，θ₁ ），ＨＣ₂ （ρ，θ₁ ）間の位置ρの方向についての相関処理を実行して相関データを求めるにあたり、第１の相関データ
【００２６】
【数５】

【００２７】
但し、＊は相関処理のための演算
τ₁ ＝τ₀ ＋Δτ（Ｄ_x ，Ｄ_y ，θ₁ ） …… （８）
τ₀ は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理のための位置ρの変位、
Δτ（Ｄ_x ，Ｄ_y ，θ₁ ）は、ペアを構成する２つの領域どうしの変位と、直線成分の方位θ₁ とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ₁ （θ₁ ，τ₁ ）と、その方位θ₁ の近傍における、方位θ₁ の分解能よりも細かい分解能を有する１つ以上の方位θ_2i（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ_2i（θ_2i，τ_2i）＝ＣＣ₁ （θ₁ ，τ₁ ）
（ｉ＝１，２，…，ｎ；１≦ｎ） ……（９）
但し、τ_2i＝τ₀ ＋Δτ（Ｄ_x ，Ｄ_y ，θ_2i） ……（１０）
を求めて、これら複数の相関データＣＣ₁ （θ₁ ，τ₁ ），ＣＣ_2i（θ_2i，τ_2i）を統合することにより、直線成分の位置の変位τと、直線成分の、方位θ₁ の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めることを特徴とする。
【００２８】
ここで、本発明における、直線成分の位置ρと方位θとをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ）に変換する手法としては、典型的には、前述のハフ変換の手法を採用することができるが、ハフ変換に限られるものではなく、画像を様々な角度θに投影することにより位置ρと方位θとであらわす、いわゆる投影処理により、データＨＣ（ρ，θ）を求めてもよい。
【００２９】
また、本発明における、相関処理のための演算＊は、典型的には乗算であるが、乗算に限られず、２つのデータＨＣ₁ （ρ，θ₁ ）とＨＣ₂ （ρ，θ₁ ）との‘似ている’程度をあらわす演算であればよい。例えば演算として減算を採用すると、値が最小となる点が最も‘似ている’ことになる。
本発明の画像特徴抽出方法は、パラメータ平面上のデータに変換する手法としてハフ変換を使用した場合、（７），（８）式までは図３（Ａ）〜（Ｄ）を参照して説明した手法と同一であり、そのままでは、図５〜図７を参照して説明した問題点をそのまま含んでいる。そこで、（７）式により一旦求めた第１の相関データＣＣ₁ （θ₁ ，τ₁ ）を、（９），（１０）式の演算により、新たな点（θ_2i，τ_2i）に再プロットする。こうすることにより、θ_2iを十分細かく設定した場合、例えば図７に示すような複数に分かれた点が１つに集まる点（θ，τ）が存在し、正確な移動ベクトルを求めることができる。
【００３０】
ここで、上記本発明の画像特徴抽出方法において、上記第１および第２の相関データＣＣ₁ （θ₁ ，τ₁ ），ＣＣ₂ （θ_2i，τ_2i）（ｉ＝１，２，…，ｎ；１≦ｎ）を求める処理を、ペアを構成する２つの領域のうちの一方の領域が同一の領域であることが許容された複数のペアそれぞれについて実行するとともに、各ペアに関して求められた第１および第２の相関データＣＣ₁ （θ₁ ，τ₁ ），ＣＣ₂ （θ_2i，τ_2i）（ｉ＝１，２，…，ｎ；１≦ｎ）を複数のペアにわたって統合することにより、相関データＣＣ（θ，τ）を求めることが好ましい。
【００３１】
こうすることにより、図４を参照して説明したように、任意の方向の広範囲の移動ベクトルを検出することができる。
本発明の画像特徴抽出方法では、上記のようにして求めた相関データＣＣ（θ，τ）が、上記２枚の画像どうしの相対的な二次元変位τ_x ，τ_y をパラメータとするパラメータ平面上のデータＶ（τ_x ，τ_y ）に変換される。
【００３２】
また、上記目的達成する本発明の画像特徴抽出装置は、
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ₁ とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ₁ ）に変換する変換部と、
上記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、そのペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ₁ （ρ，θ₁ ），ＨＣ₂ （ρ，θ₁ ）間の位置ρの方向についての相関処理を実行して相関データを求める相関処理部とを備え、
相関処理部が、第１の相関データ
【００３３】
【数６】

【００３４】
但し、＊は相関処理のための演算
τ₁ ＝τ₀ ＋Δτ（Ｄ_x ，Ｄ_y ，θ₁ ） ……（８）
τ₀ は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理のための位置ρの変位、
Δτ（Ｄ_x ，Ｄ_y ，θ₁ ）は、ペアを構成する２つの領域どうしの変位と、直線成分の方位θ₁ とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ₁ （θ₁ ，τ₁ ）と、その方位θ₁ の近傍における、方位θ₁ の分解能よりも細かい分解能を有する１つ以上の方位θ_2i（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ_2i（θ_2i，τ_2i）＝ＣＣ₁ （θ₁ ，τ₁ ）
（ｉ＝１，２，…，ｎ；１≦ｎ） ……（９）
但し、τ_2i＝τ₀ ＋Δτ（Ｄ_x ，Ｄ_y ，θ_2i） ……（１０）
を求めて、これら複数の相関データＣＣ₁ （θ₁ ，τ₁ ），ＣＣ_2i（θ_2i，τ_2i）を統合することにより、直線成分の位置の変位τと、直線成分の、方位θ₁ の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めるものであることを特徴とする。
【００３５】
ここで、上記本発明の画像特徴抽出装置において、さらに、相関データＣＣ（θ，τ）を、上記２枚の画像どうしの相対的な二次元変位τ_x ，τ_y をパラメータとするパラメータ平面上のデータＶ（τ_x ，τ_y ）に変換する逆変換部と、
そのデータＶ（τ_x ，τ_y ）に基づいて、上記２枚の画像間の相対的な変位をあらわす二次元ベクトルを求めるベクトル演算部とを備えることが好ましい。
【００３６】
【発明の実施の形態】
以下、本発明の実施形態について説明する。
本実施形態における画像特徴抽出方法は、その途中段階までは前述した従来例と同様であり、以下、その従来例と重なる部分については既に参照済の図を参照しながら簡単に説明し、それに次いで、本実施形態の画像特徴抽出方法に独自の点について説明する。
【００３７】
図５に示す直線は、その方位θ_ABが、ディスクリートに設定された２つの方位θ_A とθ_B との中間的な方位であり、このとき、時刻ｔ＝ｔ₁ における小領域ＲＦ₀ 、ｔ＝ｔ₂ における２つの領域ＲＦ₁ ，ＲＦ₂ の各ハフ変換データＨＣ₁₀（ρ，θ）、ＨＣ₂₁（ρ，θ），ＨＣ₂₂（ρ，θ）上には、図５に示す一本の直線に対応して２つの方位θ_A ，θ_B にそれぞれ１つずつ、合計２つの点があらわれる。
【００３８】
このとき、図６（Ａ）のハフ変換データＨＣ₁₀（ρ，θ）と、図６（Ｂ），（Ｃ）の各ハフ変換データＨＣ₂₁（ρ，θ），ＨＣ₂₂（ρ，θ）それぞれとの間で相関処理を行ない、それら２つの相関処理結果を重ねると、図７に示すような４つの点があらわれる結果となる。
ここでは、上記の演算で求めた相関データをＣＣ₁ （θ₁ ，τ₁ ）と表記する。ここで、θ₁ は、図２を参照して説明した、ハフ変換の際に設定された分解能をもつ方位であり、τ₁ は、その方位θ₁ とハフ変換の際に設定された分解能をもつ変位τ₀ とを用いて、前述した（３）式すなわち、
τ₁ ＝τ₀ ＋Ｄ_x ｃｏｓθ₁ ＋Ｄ_y ｓｉｎθ₁ ……（３）’
に基づいて計算された変位である。
【００３９】
次に、方位θ₁ の近傍で、方位θ₁ よりも細かな分解能を持つ方位θ_2i（ｉ＝１，２，…，ｎ）を設定する。例えば方位θ₁ を１０°おきに設定したとき、方位θ_2iは例えば１°おきに設定される。このようにして設定したθ_2i（ｉ＝１，２，…，ｎ）を用いて、
τ_2i＝τ₀ ＋Ｄ_x ｃｏｓθ_2i＋Ｄ_y ｓｉｎθ_2i
を求め、上記のＣＣ₁ （θ₁ ，τ₁ ）のデータを、θ−τ平面上の、（θ_2i，τ_2i）の点に再プロットする。この再プロットするデータをＣＣ₂ （θ_2i，τ_2i）と表記する。
【００４０】
図８は、このようにして再プロットしたθ−τ平面を示す模式図である。
ここでは、方位θ₁ の分解能Δθの半分の領域について、同一のデータＣＣ₁ （θ₁ ，τ₁ ）を再プロットする。具体的には、図８に則して説明すると、θ_A −Δθ／２≦θ＜θ_A ＋Δθ／２の領域ではθ_A に関して求めたＣＣ₁ （θ_A ，τ_A ）（但しτ_A ＝τ₀ ＋Ｄ_x ｃｏｓθ_A ＋Ｄ_y ｃｏｓθ_A ）を再プロットし、ＣＣ₁ （θ_B ，τ_B ）（但しτ_B ＝τ₀ ＋Ｄ_x ｃｏｓθ_B ＋Ｄ_y ｓｉｎθ_B ）を再プロットする。
【００４１】
このような再プロットを行なうと、正しい方位θ_ABにおいて一点に集まることになる。その一点については、投票の原理に基づき、２つの点に分かれた各票数が合わさった票数となる。
このような操作を行なうことにより、正しい方位θ_ABと正しい変位τ_ABとで定まる座標点（θ_AB，τ_AB）にピークを持った、θ方向に高い分解能を持つ相関データＣＣ（θ，τ）が得られる。
【００４２】
そこで、このようにして求めた相関データＣＣ（θ，τ）に逆ハフ変換を施すことにより、図３（Ｅ）に示す移動ベクトルを正確に求めることができる。
図９は、本発明の画像特徴抽出装置の一実施形態の構成を示すブロック図である。
画像入力部１０には、画像が時系列的に順次に入力され、画像分割部２０では、入力された各画像が複数の小領域に分割され、ハフ変換部３０では、各小領域毎の画像にハフ変換が施される。１次元フィルタ部４０では、そのハフ変換された画像に、必要に応じて、例えば微分処理等の１次元フィルタ処理が施される。ここで、このハフ変換後の画像に対しフィルタ処理を施すのは、ハフ変換後の画像に１次元フィルタ処理を施すことでハフ変換前の画像に二次元フィルタ処理を施したことと同等のフィルタ効果が期待できるからである。１次元フィルタ部４０を経由したハフ変換データＨＣ（ρ，θ）は、ρθデータ格納部５０に一旦格納される。
【００４３】
相関処理部６０の小領域選択部６１では、一時には、上記のようにしてρθデータ格納部５０に格納された時系列的な２つの画像それぞれについて１つずつの小領域のペアを選択し、ρθデータ入力部６２には、ρθデータ格納部５０から、そのペアを構成する２つの小領域のρθデータＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）が読み出されて入力される。
【００４４】
相関処理部６０の相関値計算部６３では、ρθデータ入力部に入力された２つの小領域に関するρθデータＨＣ₁ （ρ，θ），ＨＣ₂ （ρ，θ）に相関処理が施され、第１の相関データ
【００４５】
【数７】

【００４６】
但し、τ₁ ＝τ₀ ＋Ｄ_x ｃｏｓθ₁ ＋Ｄ_y ｓｉｎθ₁
が求められる。
この求められた相関データＣＣ₁ （θ₁ ，τ₁ ）は、相関データ格納部７０の、座標点（θ₁ ，τ₁ ）に対応する領域に格納される。
次いで、θ，τ計算部６５では、方位θ₁ よりも分解能の高い方位θ_2i（ｉ＝１，２，…，ｎ）が設定され、その方位θ_2iを用いて
τ_2i＝τ₀ ＋Ｄ_x ｃｏｓθ_2i＋Ｄ_y ｓｉｎθ_2i
が求められ、相関データ格納部７０の、θ₁ −Δθ／２≦θ ＜θ₁ ＋Δθ／２の範囲の各座標点（θ_2i，τ_2i）に、座標点（θ₁ ，τ₁ ）に格納されたデータＣＣ₁ （θ₁ ，τ₁ ）と同一のデータが格納される。その際、その新たな座標点（θ_2i，τ_2i）に既に値が格納されていたときは、その既に格納されていた値と、座標点（θ₁ ，τ₁ ）に格納されたデータＣＣ₁ （θ₁ ，τ₁ ）とが加算されて、その座標点（θ_2i，τ_2i）に格納される。こうすることにより、相関データ格納部７０内に、分解能の高い方位θをパラメータに持つ相関データＣＣ（θ，τ）が生成される。
【００４７】
このようにして、相関データ格納部７０内に相関データＣＣ（θ，τ）が生成されると、その生成された相関データ（θ，τ）は逆ハフ変換部８０に送られて逆ハフ変換が施され、さらにピーク検出部９０（本発明にいうベクトル演算部の一例に相当する）において移動ベクトルが求められる。ここでは、上記のようにして相関データ格納部７０に方位分解能が高められた相関データＣＣ（θ，τ）が生成され、その方位分解能の高い相関データに基づいて、逆ハフ変換、ピーク検出を行なっているため、高精度の移動ベクトルが求められる。
【００４８】
ここで、相関演算部６０における、分解能の高い方位θをパラメータとして持つ相関データＣＣ（θ，τ）を求めるための演算量、データ処理量の増加分は、ハフ変換部３０で同じレベルの高分解能の方位θを設定してハフ変換を行なう場合の演算量、データ処理量の増加と比べ極めて僅かである。すなわち、本実施形態によれば、高精度の移動ベラトルを高速に求めることができる。
【００４９】
尚、ここでは、順次入力される画像の「移動」を求めたが、例えば視差のように、同時に得られた２つの画像に基づいてそれらの画像どうしの変位量を求める場合も同様に適用できる。
また、上記実施形態は、本発明にいう、直線成分の位置ρと方位θ₁ とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ₁ ）に変換する手法の例としてハフ変換を採用した例であるが、本発明では、ハフ変換に代えて、投影処理など、他の変換手法を用いてもよい。
【００５０】
【発明の効果】
以上説明したように、本発明によれば、演算量の僅かな増加で、画像の正確な特徴抽出を行なうことができる。
【図面の簡単な説明】
【図１】画像を複数の小領域に分割し、ハフ変換を行なって２つの画像間の変位を求める手法の説明図である。
【図２】ハフ変換の手法を示す模式図である。
【図３】図１を参照して説明した手法を、２つの画像１，２間で、１つの小領域を超える大きな変位が生じ得る場合に応用した手法の説明図である。
【図４】２つの画像の小領域の模式図である。
【図５】画像上の直線とその画像の小領域を示した模式図である。
【図６】各小領域ＲＦ₀ ，ＲＦ₁ ，ＲＦ₂ それぞれについてのハフ変換後のデータを示す図である。
【図７】図６（Ａ）に示す領域ＲＦ₀ のハフ変換データＨＣ₁₀（ρ，θ）と、図６（Ｂ），（Ｃ）に示す２つの小領域ＲＦ₁ ，ＲＦ₂ のハフ変換データＨＣ₂₁（ρ，θ），ＨＣ₂₂（ρ，θ）それぞれとの各相関処理結果を、１つのθ−τ平面上に重ねて示す図である。
【図８】再プロットしたθ−τ平面を示す模式図である。
【図９】本発明の画像特徴抽出装置の一実施形態の構成を示すブロック図である。
【符号の説明】
１０画像入力部
２０画像分割部
３０ハフ変換部
４０１次元フィルタ部
５０ ρθデータ格納部
６０相関処理部
６１小領域選択部
６２ ρθデータ入力部
６３相関値計算部
６４ θ，τ計算部
７０相関データ格納部
８０逆ハフ変換部
９０ピーク検出部

Claims

２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ_１とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ_１）に変換し、
前記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、該ペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ_１（ρ，θ_１），ＨＣ_２（ρ，θ_１）間の位置ρの方向についての相関処理を実行して相関データを求めるにあたり、第１の相関データ

但し、＊は相関処理のための演算
τ_１＝τ_０＋Δτ（Ｄ_ｘ，Ｄ_ｙ，θ_１）
τ_０は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理のための位置ρの変位、
Δ_τ（Ｄ_ｘ，Ｄ_ｙ，θ_１）は、ペアを構成する２つの領域どうしの変位と、
直線成分の方位θ_１とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ_１（θ_１，τ_１）と、該方位θ_１の近傍における、該方位θ_１の分解能よりも細かい分解能を有する１つ以上の方位θ_２ｉ（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ_２ｉ（θ_２ｉ，τ_２ｉ）＝ＣＣ_１（θ_１，τ_１）
（ｉ＝１，２，…，ｎ；１≦ｎ）
但し、τ_２ｉ＝τ_０＋Δτ（Ｄ_ｘ，Ｄ_ｙ，θ_２ｉ）
を求めて、これら複数の相関データＣＣ_１（θ_１，τ_１），ＣＣ_２ｉ（θ_２ｉ，τ_２ｉ）を投票することにより、直線成分の位置の変位τと、直線成分の、方位θ_１の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めることを特徴とする画像特徴抽出方法。
前記第１および第２の相関データＣＣ_１（θ_１，τ_１），ＣＣ_２（θ_２ｉ，τ_２ｉ）（ｉ＝１，２，…，ｎ；１≦ｎ）を求める処理を、ペアを構成する２つの領域のうちの一方の領域が同一の領域であることが許容された複数のペアそれぞれについて実行するとともに、各ペアに関して求められた第１および第２の相関データＣＣ_１（θ_１，τ_１），ＣＣ_２ｉ（θ_２ｉ，τ_２ｉ）（ｉ＝１，２，…，ｎ；１≦ｎ）を複数のペアにわたって投票することにより、前記相関データＣＣ（θ，τ）を求めることを特徴とする請求項１記載の画像特徴抽出方法。
前記相関データＣＣ（θ，τ）を、前記２枚の画像どうしの相対的な二次元変位τ_ｘ，τ_ｙをパラメータとするパラメータ平面上のデータＶ（τ_ｘ，τ_ｙ）に変換することを特徴とする請求項１又は２記載の画像特徴抽出方法。
２枚の画像それぞれが複数に分割されてなる領域について、その領域に対応する画像データを、それぞれ所定の分解能をもつ、直線成分の位置ρと方位θ_１とをパラメータとするパラメータ平面上のデータＨＣ（ρ，θ_１）に変換する変換部と、
前記２枚の画像それぞれについて１つずつ選択されてなる２つの領域からなるペアについて、該ペアを構成する２つの領域に関するパラメータ平面上の２つのデータＨＣ_１（ρ，θ_１），ＨＣ_２（ρ，θ_１）間の位置ρの方向についての相関処理を実行して相関データを求める相関処理部とを備え、
該相関処理部が、第１の相関データ

但し、＊は相関処理のための演算
τ_１＝τ_０＋Δτ（Ｄ_ｘ，Ｄ_ｙ，θ_１）
τ_０は、ペアを構成する２つの領域どうしの変位を無視したときの相関処理のための位置ρの変位、
Δτ（Ｄ_ｘ，Ｄ_ｙ，θ_１）は、ペアを構成する２つの領域どうしの変位と、
直線成分の方位θ_１とに起因する位置ρの変位をあらわす。
を求めるとともに、求められた第１の相関データＣＣ_１（θ_１，τ_１）と、該方位θ_１の近傍における、該方位θ_１の分解能よりも細かい分解能を有する１つ以上の方位θ_２ｉ（ｉ＝１，２，…，ｎ；１≦ｎ）とを用いて、１つ以上の第２の相関データ
ＣＣ_２ｉ（θ_２ｉ，τ_２ｉ）＝ＣＣ_１（θ_１，τ_１）
（ｉ＝１，２，…，ｎ；１≦ｎ）
但し、τ_２ｉ＝τ_０＋Δτ（Ｄ_ｘ，Ｄ_ｙ，θ_２ｉ）
を求めて、これら複数の相関データＣＣ_１（θ_１，τ_１），ＣＣ_２ｉ（θ_２ｉ，τ_２ｉ）を投票することにより、直線成分の位置の変位τと、直線成分の、方位θ_１の分解能よりも分解能が向上した方位θとをパラメータとしてもつ相関データＣＣ（θ，τ）を求めるものであることを特徴とする画像特徴抽出装置。
前記相関データＣＣ（θ，τ）を、前記２枚の画像どうしの相対的な二次元変位τ_ｘ，τ_ｙをパラメータとするパラメータ平面上のデータＶ（τ_ｘ，τ_ｙ）に変換する逆変換部と、
該データＶ（τ_ｘ，τ_ｙ）に基づいて、前記２枚の画像間の相対的な変位をあらわす二次元ベクトルを求めるベクトル演算部とを備えたことを特徴とする請求項４記載の画像特徴抽出装置。