JPWO2009096520A1 - 対応点探索装置および対応点探索方法 - Google Patents

Abstract

対応点探索装置は、２以上の画像を取得し、保持する画像取得部と、画像取得部に保持されている画像のうちいずれかの画像上にサブピクセルレベルの注目点を入力する注目点入力部と、注目点を重心位置とする探索用テンプレートを生成する探索用テンプレート生成部と、探索用テンプレートを用いて、画像取得部に保持されている画像のうち、注目点を入力した画像に対応する画像上において、注目点に対応する点を探索する探索部とを備えている。

Description

本発明は、画像同士における対応点を探索するための対応点探索装置および対応点探索方法に関する。

３次元形状の認識、あるいは測距や画像の動きの検出などを行う場合には、一般的に、２つの画像間における対応点の探索が行われる。対応点を探索する方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）法と呼ばれる方法が知られている。この方法は、まず、２つの画像のうち、一方の画像である基準画像上の注目点に対して、この注目点を内包するようなウィンドウを設定するとともに、他方の画像である参照画像上にも同サイズのウィンドウを複数設定する。なお、これら２つの画像は、例えばステレオカメラのように異なる視点から撮影した画像とすればよい。そして、基準画像上のウィンドウと、参照画像上の各ウィンドウとの間で相関値を算出して、最も相関値が高い参照画像上のウィンドウを探索し、そのウィンドウの重心位置を注目点の対応点として求める。

例えば、特許文献１には、異なる時刻に取得されたステレオ画像をもとに、対応点の探索を行うことにより、画像におけるそれぞれの時刻における距離情報および２次元オプティカルフローを生成し、さらに、これらをもとに３次元オプティカルフローを生成する方法が記載されている。この方法では、注目点および対応点はピクセルレベル（画素単位）で与えられる。

また、非特許文献１には、位相限定相関法（ＰＯＣ法）を用いた高精度な対応点探索手法が開示されている。この手法では、基準画像上のピクセルレベルの注目点に対応する参照画像上のピクセルレベルの対応点を算出した後に、注目点に対する対応点のサブピクセルレベルのずれ量を求めることで、より正確な対応点を求めている。

しかし、上述の特許文献１の方法では、対応点の位置がサブピクセルレベルの場合を考慮していない。したがって、対応点が実際にはサブピクセルレベルの位置である場合であっても、そのサブピクセルレベル位置近傍のピクセルレベルの位置に対して対応点探索を行うことになる。そのため、正しい対応点の位置とずれが生じてしまう。したがって、このようにして求められた対応点をもとに、距離情報、２次元オプティカルフローおよび３次元オプティカルフローを求めても正確な値を得ることはできない。仮に、得られた対応点の情報を補間するなどして、より正確な値に近づけたとしても、あくまでも補間によるものであり、高精度とはいえない。

また、非特許文献１の方法では、注目点に対する対応点のサブピクセルレベルのずれ量を求める演算の中間段階において、注目点をサブピクセルレベルに変更しているが、サブピクセルレベルで設定された注目点に対する探索を行っているというわけではない。したがって、特許文献１と同様に、非特許文献１の方法も、正しい対応点の位置を求めているわけではなく、高精度の対応付けがなされているとはいえない。

このように、従来においては、サブピクセルレベルの位置にある注目点から対応点を求めることはなかった。仮に、サブピクセルレベルの位置に注目点がある場合には、ピクセルレベルの位置に補正して対応点を求めていた。したがって、正しい対応点の位置を求めることはできなかった。
特開２００１−８４３８３号公報 Kenji TAKITA, Mohammad Abdul MUQUIT, Takafumi AOKI, Tatsuo HIGUCHI, "A Sub-Pixel Correspondence Search Technique for Computer Vision Applications", IEICE Transactions. Fundamentals, Aug. 2004, E87-A, no.8, pp.1913-1923

本発明は、上述の事情に鑑みて為された発明であり、その目的は、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることで、より正確な対応点探索を行う対応点探索装置および対応点探索方法を提供することである。

本発明の対応点探索装置は、画像上の注目点を重心位置とする探索用テンプレートを用いて、対応する画像上における注目点に対応する点を探索する。これにより、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることができるので、対応付け精度をより向上させることができる。

本実施形態に係る移動体検出装置の概略構成を示す図である。 本実施形態の移動体検出装置による３次元演算の方法について説明するための図である。 対応点探索方法を説明するための図である。 対応点探索手法であるＳＡＤ法を説明するための図である。 ＰＯＣ値を算出する演算装置の構成を示す図である。 ＰＯＣ法で求められたＰＯＣ値を示す図である。 本実施形態に係る対応点探索装置の構成を示すブロック図である。 図８Ａは注目点の入力について説明する図であって、画素の重心位置に注目点を入力する場合を示す図である。図８Ｂは注目点の入力について説明する図であって、サブピクセルレベルの位置に注目点を入力する場合を示す図である。 図９Ａは探索用テンプレートについて説明するための図であって、注目点がピクセルレベルの位置である場合の基準画像と参照画像とを示す図である。図９Ｂは探索用テンプレートについて説明するための図であって、注目点がサブピクセルレベルの場合の基準画像と参照画像とを示す図である。 画像補間の方法を説明するための図である。 ずれ量を含む窓関数を示す図である。 ステレオ画像による３次元オプティカルフローの算出方法を説明するための図である。

以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。

まず、本発明の実施形態に係る移動体検出装置の構成について説明する。図１は本実施形態に係る移動体検出装置の概略構成を示す図である。この移動体検出装置１は、被写体６の２次元入力画像を得るために、適当な距離だけ離間させて左右に設置されたステレオカメラを構成する第１のカメラ２および第２のカメラ３と、これら第１のカメラ２および第２のカメラ３の出力画像から画像における３次元座標等を演算する演算処理装置４と、その演算処理結果である検出された被写体６の３次元形状を表示する表示装置５とを備えて構成される。

第１のカメラ２および第２のカメラ３は、被写体６を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。なお、これら第１のカメラ２および第２のカメラ３の収差は良好に補正されており、かつ、これらは相互に平行に設置されているものとする。

このように、第１のカメラ２および第２のカメラ３を平行に設置することで、平行化された画像が得られる。それにより、対応点の探索領域を１次元に限定できるという効果を奏する。なお、実際には平行化された画像が得られなくても、画像処理によって画像を平行化することは可能である。なお、画像処理によって平行化する場合は、画像にノイズが重畳されるので、平行化された画像で対応点の探索を行うと精度が低下する。そこで、平行化前の画像から直接対応点を求めてから、最後に３次元化することが好ましく、それにより、ノイズの影響を最小限に抑えることができる。

第１のカメラ２および第２のカメラ３により、被写体６を撮影した画像は演算処理装置４に送られる。また、演算処理装置４は対応点探索装置７および画像生成部８を有している。対応点探索装置７は、例えば第１のカメラ２および第２のカメラ３が撮影した画像のうち基準画像に対して任意の注目点を入力し、参照画像において前記注目点に対応する対応点を探索し、それらから距離情報等を算出する。画像生成部８は、対応点探索装置７により算出された距離情報等に基づいて、被写体６の３次元形状を示す画像を生成し、表示装置５に送る。表示装置５は画像生成部８から送信された被写体６の３次元情報を加えた画像を表示する。

次に、移動体検出装置１による３次元演算の具体例として、距離演算について説明する。図２は、本実施形態の移動体検出装置による３次元演算の方法について説明するための図である。第１のカメラ２および第２のカメラ３は、焦点距離ｆ、撮像素子の画素数および１画素の大きさが互いに等しい。なお、撮像素子は、第１のカメラ２の撮像面２ｂおよび第２のカメラ３の撮像面３ｂに配置されている。さらに、第１のカメラ２および第２のカメラ３の光軸２ａおよび光軸３ａは、所定の基線長Ｂだけ左右に離間させて平行となるように配置されている。被写体６を撮影したとき、撮像面２ｂおよび撮像面３ｂ上の視差がΔｄ（＝ｄｌ＋ｄｒ）であると、被写体６までの距離Ｄは以下に示す式１で表される。
Ｄ＝ｆ・Ｂ／Δｄ ・・・（１）

また、被写体６の各部の３次元位置（Ｘ，Ｙ，Ｚ）は、ｘ、ｙを画素上での位置とすると、以下に示す式２、式３、式４で表される。
Ｘ＝ｘ・Ｄ／ｆ ・・・（２）
Ｙ＝ｙ・Ｄ／ｆ ・・・（３）
Ｚ＝Ｄ ・・・（４）

次に、本発明の実施形態に係る対応点探索装置について説明するが、その前に、一般的な対応点探索方法について図３を用いて簡単に説明する。図３は対応点探索方法を説明するための図である。なお、この方法は本実施形態においても用いられている。

２つの画像のうち、一方の画像を基準画像２１ａとし、他方の画像を参照画像２１ｂとする。基準画像２１ａ上の任意の点（注目点）に対する、参照画像２１ｂ上の点（対応点）を探索する。まず、基準画像２１ａにおいて、画素単位で構成された一定の大きさを有する領域であり、注目点が重心位置に設定されたウィンドウ９を設定する。ウィンドウ９は、このように一定の大きさを有する画像上の領域であり、その領域内に含まれる各画素の輝度値等の情報（画像パターン）を含んでいる。そして、参照画像２１ｂ上において、このウィンドウ９に対応するウィンドウを探索する。具体的には、参照画像２１ｂ上の任意の位置に、基準画像２１ａのウィンドウ９と同じ大きさを有する領域であるウィンドウ１０を設定し、ウィンドウ９とウィンドウ１０との類似度（相関値）を求める。つまり、これらウィンドウ９とウィンドウ１０との画像パターンの類似度を求める。この類似度より、参照画像２１ｂのウィンドウ１０が基準画像２１ａのウィンドウ９に対応するか否かを判断する。仮に、これらの類似度が低く、対応しないと判断されれば、参照画像２１ｂにおいて、ウィンドウ１０は、例えば１画素いずれかの方向にずれた位置に設定し直され、設定し直されたウィンドウ１０と基準画像２１ａのウィンドウ９との類似度を求める。このようにして、基準画像２１ａのウィンドウ９と類似度の高い参照画像２１ｂのウィンドウ１０を求める。それにより、ウィンドウ９に対応するウィンドウ１０を求めることができる。こうして求められたウィンドウ１０の重心位置が対応点となる。

こうして求めた対応点および注目点の座標から、被写体までの距離である距離情報を算出することができる。具体的には、図２により説明した計算により算出することができる。また、同じステレオカメラにより、時間をずらして被写体を撮影した画像における基準画像および参照画像の注目点および対応点からその時刻の距離情報を算出することができる。また、先の撮影における注目点と後の撮影における注目点との座標により、２次元オプティカルフローを算出することができる。なお、後の撮影における注目点は、先の基準画像上における注目点に対応する後の基準画像上における点である。また後の撮影における対応点は後の基準画像上における注目点に対応する後の参照画像上における点である。以上で算出した距離情報および２次元オプティカルフローにより、３次元オプティカルフローを算出することができる。

上述の方法により、注目点に対応する対応点を求めることができるが、参照画像２１ｂ上に設定され得るすべてのウィンドウ１０と基準画像２１ａのウィンドウ９との類似度を求めていては、時間がかかる。そこで、探索時間を短縮するために、種々の方法がある。以下にその具体例を示す。

例えば、２つのカメラが平行に配置されており、基準画像２１ａと参照画像２１ｂとがほとんど平行に配置されている場合は、参照画像２１ｂ上における対応点は基準画像２１ａ上における注目点と同じ高さ位置にあると仮定できる。なお、高さ方向は図３の上下方向である。したがって、この高さ位置を重心とするウィンドウ１０のみを設定すればよい。また、基準画像２１ａと参照画像２１ｂとがほとんど平行に配置されていて、かつ基準画像２１ａの注目点と参照画像２１ｂの対応点との視差がある程度分かっている場合は、ウィンドウ１０の設定範囲はさらに限定することができる。このように、ウィンドウ１０の設定範囲を限定することで、類似度を求めるウィンドウの数を抑制できるので、短時間で探索を行うことができる。

また、一旦、それぞれの画像の解像度を低くして、すなわち探索するウィンドウの画素数を減少させて対応点の位置を求めることで、対応点の存在する範囲を絞り込む方法もある。この方法を用いることで、対応点探索にかかる時間を短縮できる。つまり、それぞれの画像の解像度を低くすることで、画像パターンの情報を減少させ、ウィンドウ同士の類似度を短時間で求めることができる。元の解像度における本来の対応点は、低解像度での対応点付近に存在するはずであるから、画像の解像度を元に戻して、低解像度で求めた対応点付近についてウィンドウ１０を設定し、ウィンドウ９との類似度を判断すればよい。この方法は、多重解像度戦略による対応点の探索方法とよばれている。低解像度の画像において対応点探索をすることで、元の解像度の画像における対応点が存在する範囲を短時間で確定することができる。そのため、対応点探索にかかる時間を短縮することができる。なお、この方法においては、何段階かに分けた複数の低解像度画像を作成して、徐々に探索位置を絞り込んでいってもよい。

次に、具体的な対応付けの方法について説明する。まず、ＳＡＤ（Sum of
Absolute Difference）法による相関値演算について説明する。図４は、対応点探索手法であるＳＡＤ法を説明するための図である。このＳＡＤ法では、基準画像２１ａ上のウィンドウＩｍｇ１の部分に対応する参照画像２１ｂ上のウィンドウを探索する。具体的には、基準画像２１ａ上の注目点を重心とする、縦横方向にそれぞれｗ画素分の大きさを持つウィンドウＩｍｇ１を設定し、同様に、参照画像２１ｂ上にも同じ大きさを持つウィンドウＩｍｇ２を設定する。そして、参照画像２１ｂ上におけるウィンドウＩｍｇ２を、基線長方向のある範囲ｐ（０＜ｐ＜ｍａｘ＿ｄｉｓｐ）においてずらしながら、それぞれの位置でウィンドウＩｍｇ２とウィンドウＩｍｇ１との相関演算を行う。このとき、参照画像２１ｂ上でのウィンドウＩｍｇ２の最初の座標位置は、基準画像２１ａ上におけるウィンドウＩｍｇ１の座標位置と同じ位置である。相関値（ＣＯＲ_ｐ）は式５で表される。

相関値を求めるためには、まず式６に示すＳＡＤ_ｐを求めなければならない。式６において、Ｉｍｇ１（ｉ，ｊ）はウィンドウＩｍｇ１の輝度値を、Ｉｍｇ２（ｉ，ｊ＋ｐ）はウィンドウＩｍｇ２の輝度値を表す。式６に示すように、ＳＡＤ_ｐは、それぞれのウィンドウ内における対応画素の明るさの差の絶対値をそれぞれ求め、それをウィンドウ内の全画素に亘って加算した値である。

上述の方法により、基準画像２１ａ上のウィンドウＩｍｇ１と、最も相関値の高い、参照画像２１ｂ上のウィンドウを求め、そのウィンドウの重心位置にある対応点を求める。なお、このような相関値演算には、他にＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize Cross Correlation）法（正規化相互相関法）等がある。

次に、上記ＳＡＤ法等に比べてロバスト性を有する対応点探索手法について説明する。具体的には、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法であり、画像の左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関演算が実現可能である。画像パターンの周波数分解信号を計算する手法として、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する対応点探索手法のうち位相限定相関法（以下、ＰＯＣ法という）について説明する。

図５はＰＯＣ値を算出する演算装置の構成を示す図であり、図６はＰＯＣ法で求められたＰＯＣ値を示す図である。ＰＯＣ法においても、上記ＳＡＤ法と同様に、基準画像上に、注目点を重心とするウィンドウを設定し、参照画像上に同じ大きさを持つウィンドウを設定する。そして、参照画像上のウィンドウをずらしながら、ウィンドウ同士の相関値を計算し、それらの類似度から対応するウィンドウを求める。具体的には、相関値であるＰＯＣ値を計算する。なお、ＰＯＣ値は画素ごとに離散的に求まるため、ウィンドウ内における画素ごとの相関値を求めることができる。つまり、上述のＳＡＤ法等では、ウィンドウごとの相関値を求めるが、ＰＯＣ法を用いることで、ウィンドウ内の画素ごとの相関値も求めることができる。それにより、ウィンドウ内における、類似度の高い範囲を求めることができる。したがって、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ＳＡＤ法等のようにウィンドウが１画素ずつずらされることで、相関値の算出が行われる必要はなく、ウィンドウが複数画素分ずらされても、相関値の算出は行われる。

図５に示す構成を有する、ＰＯＣ値を算出する演算装置は、２次元離散フーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。図５に示すように、基準画像のウィンドウおよび参照画像のウィンドウは、フーリエ変換部３１、３２においてそれぞれフーリエ変換され、規格化部３３、３４において規格化された後、合成部３５において合成され、逆フーリエ変換部３６において逆フーリエ変換される。この流れを数式で表すと以下に示すとおりである。

具体的には、式７および式８で示す基準画像および参照画像における画像信号ｆ（ｎ_１，ｎ_２）およびｇ（ｎ_１，ｎ_２）が、フーリエ変換部３１、３２においてそれぞれフーリエ変換され、式９および式１０に表すＦ（ｋ_１，ｋ_２）およびＧ（ｋ_１，ｋ_２）に変換される。さらに、それぞれが規格化部３３、３４において規格化され、式１１で表されるＦ´（ｋ_１，ｋ_２）およびＧ´（ｋ_１，ｋ_２）となる。さらにこれらが合成部３５において合成され、式１２で表されるＲ（ｋ_１，ｋ_２）となる。さらに、逆フーリエ変換部３６において逆フーリエ変換され、式１３で表されるｒ（ｋ_１，ｋ_２）が求められる。これをＰＯＣ値という。

ＰＯＣ値は、図６に示すように、急峻な類似度ピークを有している。例えば、基準画像のウィンドウに対して、参照画像のウィンドウが移動している場合には、これらのＰＯＣ値は、その移動量を示す座標に急峻な類似度ピークを持つことが知られている。また、ＰＯＣ法は、画像マッチングにおけるロバスト性が高い。ＰＯＣ値の高さは、画像パターン類似度を示す。ＰＯＣ値のピーク位置より、画像間の位置ずれ量を推定できる。ＰＯＣ値は離散的に求まるため、ピーク位置をサブピクセルで補間推定することにより、高分解な対応点座標を求めることができる。ピーク位置の補間推定方法としては、放物線などの関数をフィッティングして行うことができる。

ＰＯＣ法以外でも、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて相関演算を行う方法は知られている。例えばＤＣＴ符号限定相関法（「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」，貴家仁志，首都大学東京 システムデザイン学部 動的画像処理実利用化ワークショップ２００７，２００７．３．８−９参照）等があり、これらを用いて対応点探索を行ってもよい。

以上、一般的な対応点探索について説明した。次に、本実施形態に係る対応点探索装置について説明する。本実施形態の対応点探索装置は、注目点がサブピクセルレベルの位置であっても、その注目点に基づいて直接対応点を探索するものである。具体的には、サブピクセルレベルの位置にある注目点を重心位置とする探索用テンプレートと呼ぶウィンドウを設定して、それを用いて対応点を探索する。

図７は本実施形態に係る対応点探索装置の構成を示すブロック図である。図７に示すように、対応点探索装置７は、ステレオカメラからの画像を取得し、保持しておく画像取得部１１と、画像取得部１１に保持されているステレオ画像のうち、基準画像にサブピクセルレベルで注目点を入力する注目点入力部１２と、基準画像に対応する参照画像等における注目点に対応する対応点を探索するために、前記注目点を重心位置とする領域である探索用テンプレートを生成する探索用テンプレート生成部１３と、探索用テンプレートおよび参照画像等に設定されたウィンドウの類似度を順次求めていくことで、対応点を探索する探索部１４と、これらにより求められた注目点および対応点等から距離情報、２次元オプティカルフローおよび３次元オプティカルフロー等を算出する演算部１５とを備えて構成されている。対応点探索装置７は、例えば、各種電子部品や集積回路部品、ＣＰＵ（Central Processing Unit）、記憶部等から構成されている。

画像取得部１１は、ステレオカメラ（図示せず）からの画像をデータとして取得し、保持しておく働きをする。なお、静止画像ではなく移動体画像を検出等するためには、ステレオカメラは時間経過とともに順次撮影を続け、時系列ステレオ画像を得る必要がある。それらの画像は、画像取得部１１に順次保持されていくが、距離情報、２次元オプティカルフローおよび３次元オプティカルフロー等を算出するための必要な演算が終了し、不要になった画像については順次削除されていくこととすればよい。

注目点入力部１２は、画像取得部１１に保持されている画像に注目点を入力する。なお、画像への注目点の入力は、画素の重心位置（ピクセルレベルの位置）に入力しても、サブピクセルレベルの位置に入力してもどちらでもかまわない。注目点の位置を補正等せずに、本来の位置に入力する。図８Ａは、注目点の入力について説明する図であって、画素の重心位置に注目点を入力する場合を示す図である。また、図８Ｂは、注目点の入力について説明する図であって、サブピクセルレベルの位置に注目点を入力する場合を示す図である。図８Ａおよび図８Ｂにおいて、画像２１はマス目状に区切られているが、これら複数のマスは画素２２を表している。注目点２３ａが画素２２の重心位置（ピクセルレベルの位置）に入力されている場合とは、図８Ａに示すような状態である。具体的には、注目点２３ａが画素２２の中心にある状態である。また、注目点２３ｂが画素２２のサブピクセルレベルの位置に入力されている場合とは、図８Ｂに示すような状態である。具体的には、注目点２３ｂが画素２２の中心からずれた位置にある場合である。

探索用テンプレート生成部１３は、注目点入力部１２により画像に入力された注目点を重心位置とする探索用テンプレートを生成する。具体的には、探索用テンプレート生成部１３は、探索用テンプレートの位置の設定およびその範囲内の輝度値等の情報である画像パターンの算出を行う。なお、探索用テンプレート生成部１３は、注目点の最近傍の画素が重心位置となる領域を設定し、この領域をサブピクセルレベルでずらすことで、注目点を重心位置とする探索用テンプレートを生成することが好ましい。

ここで、探索用テンプレートとは、従来対応点を探索するために用いているウィンドウとほぼ同様の意味である。対応点の探索は、対応する画像同士をそれぞれ一定の範囲の領域で切り出し、その領域同士の相関値をとることで行うが、上述したように、この領域をウィンドウという。従来では、この領域であるウィンドウは画素単位で生成されていて、画素の一部のみがウィンドウに含まれ、それ以外は含まれないということはない。しかし、本願における探索用テンプレートは、重心位置がサブピクセルレベルの位置である注目点であることから、画素単位の領域になるとは限らない。

具体的に、探索用テンプレートについて説明する。図９Ａは、探索用テンプレートについて説明するための図であって、注目点がピクセルレベルの位置である場合の基準画像と参照画像とを示す図である。また、図９Ｂは、探索用テンプレートについて説明するための図であって、注目点がサブピクセルレベルの場合の基準画像と参照画像とを示す図である。図９Ａに示すように、複数の画素２２を有する基準画像２１ａにおける注目点がピクセルレベルの位置である場合は、基準画像２１ａ上において、注目点２４ａを重心位置とする、例えば３×３の探索用テンプレート２５ａが設定される。また、画素２２からなる参照画像２１ｂにおいては３×３のウィンドウが設定され、探索用テンプレート２５ａの画像パターンと参照画像２１ｂのウィンドウの画像パターンとの類似度を求め、それにより、対応点２４ｂを求める。なお、対応点２４ｂの探索においては補間等を用いることにより、図９Ａに示すようにサブピクセルレベルでの位置を求めることができる。

しかし、図９Ｂに示すように、注目点２４ｃの位置が画素の重心からずれている場合は、画素を構成単位とするウィンドウを設定することはできず、設定するためには、例えば、注目点２４ｃの位置を画素の重心位置となるように補正等しなければならない。しかし、それでは、本来の値からずれた値を求めることになる。そこで、注目点２４ｃを重心位置とし、画素を構成単位とせず、３×３の大きさである探索用テンプレート２５ｂを生成する。そして、参照画像２１ｂ上のウィンドウ２５ｃとの類似度を求め、その類似度により探索用テンプレート２５ｂに対応するウィンドウ２５ｃを求め、そのウィンドウ２５ｃの重心位置を対応点２４ｄとして求める。なお、注目点２４ａ、対応点２４ｂ、注目点２４ｃおよび対応点２４ｄは、実際には点であるが、見易さを考慮して図９Ａおよび図９Ｂにおいては、画素と同じ大きさに図示している。

ここで、探索用テンプレートの生成方法について説明する。探索用テンプレートはサブピクセルレベルの位置に生成されることから、各画素の配置から、画像パターンを求める必要がある。

探索用テンプレートを生成するための第１の方法として、画像を補間する方法がある。図１０は画像補間の方法を説明するための図である。図１０において、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）および（ｉ＋１，ｊ＋１）は画素の位置を示し、（ｘ，ｙ）がサブピクセルレベル位置の注目点の座標である。この場合に、探索用テンプレートの画像パターンを求めるためには、具体的には（ｘ，ｙ）における輝度値を求める必要がある。そこで、（ｘ，ｙ）の周りに位置する画素の輝度値を用いて補間により、（ｘ，ｙ）の輝度値を求める。具体的には、（ｘ，ｙ）の周りの位置である（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）および（ｉ＋１，ｊ＋１）の画素の輝度値を用いて補間することで、（ｘ，ｙ）の輝度値を求める。このようにして、ピクセルレベルの位置からずれている、サブピクセルレベルの位置における輝度値を求め、探索用テンプレートの画像パターンを求めることができ、探索用テンプレートを生成することができる。以下に、双一次補間（バイリニア補間）を用いた、（ｘ，ｙ）における輝度値Ｉ（ｘ，ｙ）を示す。ここで、Ｉ（ｉ，ｊ）、Ｉ（ｉ＋１，ｊ）、Ｉ（ｉ，ｊ＋１）およびＩ（ｉ＋１，ｊ＋１）は各画素の輝度値を示す。なお、式１４は（ｘ，ｙ）の座標位置を示し、式１５にその輝度値を示している。ここで、ｉおよびｊは整数であり、δｘおよびδｙは０よりも大きく、１よりも小さい数である。
（ｘ，ｙ）＝（ｉ＋δｘ，ｊ＋δｙ） ・・・（１４）
Ｉ（ｘ，ｙ）＝｛（１−δｘ）（１−δｙ）×Ｉ（ｉ，ｊ）｝
＋｛（１−δｘ）×δｙ×Ｉ（ｉ＋１，ｊ）｝
＋｛δｘ×（１−δｙ）×Ｉ（ｉ，ｊ＋１）｝
＋｛δｘ×δｙ×Ｉ（ｉ＋１，ｊ＋１）｝ ・・・（１５）

双一次補間について、上述したがこれ以外の補間により、サブピクセルレベルの位置での輝度値を求め、探索用テンプレートを生成してもよい。例えば、双三次補間（バイキュービック補間）等を用いて補間すればよい。それにより、探索用テンプレートを生成することができる。

探索用テンプレートを生成するための第２の方法は、窓関数を適用する方法である。上記対応点探索の方法のうち、例えばＰＯＣ法等のように周波数分解を行う方法において、周波数分解を行う際、通常は不連続性の影響などを取り除くために窓関数を適用後、周波数分解を行う。窓関数としては、例えばハニング窓、ハミング窓、カイザー窓等が挙げられる。この窓関数に、サブピクセルレベルの位置にある注目点における、画素の位置からのずれ量を含ませておけば、窓関数を適用することで、サブピクセルレベルの画像パターンを有する探索用テンプレートを生成することができる。以下に、窓関数にずれ量を含ませる方法について説明する。ここでは一例として、ハニング窓を用いて説明する。ハニング窓の式は式１６で表される。

式１６は１次元のハニング窓を表す。２次元への拡張は容易に行うことができ、２次元のハニング窓を表す式は式１７で表される。

式１７にサブピクセルレベルの位置にある注目点のずれ量を加味することで求めた、適用させるべき窓関数は式１８で表される。

図１１は、ずれ量を含む窓関数を示す図である。図１１では、１次元（ｘ方向）の場合を示していて、ずれ量を含まない窓関数と、ずれ量δｘを０．５とした場合の窓関数とを示した。図１１からわかるように、両者は、ずれている。

このようにして、求めたずれ量を含む窓関数を適用後、周波数分解を行い、例えばＰＯＣ法を用いて、対応付けを行えばよい。なお、周波数分解を用いる必要のない、ＳＡＤ法等の対応付け方法においても、画素（ｉ，ｊ）の輝度値であるＩ（ｉ，ｊ）に、このずれ量を含む窓関数を乗じることで、サブピクセルレベルの位置における注目点の輝度値Ｉ（ｘ，ｙ）を求めることができる。具体的には、式１９で表される。
Ｉ（ｘ，ｙ）＝ＤＨ（ｉ，ｊ）×Ｉ（ｉ，ｊ）・・・（１９）

したがって、サブピクセルレベルの位置を重心位置とする探索用テンプレートを生成することができる。

なお、ハニング窓以外の窓関数においても、同様にしてずれ量を含ませることができる。それにより、サブピクセルレベルの位置を重心位置とする探索用テンプレートを生成することができる。

探索用テンプレートの生成方法の第３の方法は、周波数空間で位相成分を回転させる方法である。この方法の詳細は、「“A High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching”, IEICE Transactions. Fundamentals, March 2006, E89-A, no. 3, pp. 686--697」に示されている。特に本論文の６８８ページにおける右欄の１９行〜３２行に記載されている。この方法により、周波数分解を利用する対応点探索手法において、サブピクセルレベルのずれ量を反復演算で算出する場合は、周波数分解を再度行う必要はなく、周波数空間で位相成分を回転することで、探索用テンプレートを生成することができる。それにより、対応点探索を高速に行うことができる。

探索用テンプレート生成部１３は、上述の方法等を用いることにより、探索用点テンプレートを生成する。

探索部１４は、探索用テンプレート生成部１３で生成された探索用テンプレートを用いて、例えば参照画像のウィンドウとの類似度を判断し、対応点を探索する。具体的には、上述したＳＡＤ法、ＰＯＣ法等の相関値演算を行えばよい。図９Ａにおいては、探索用テンプレート２５ａはピクセルレベルで位置するので、上述した一般的な対応点探索と同様である。図９Ｂにおいては、注目点がサブピクセルレベルなので、探索用テンプレート２５ｂの重心位置は画素の位置からずれる。なお、参照画像２１ｂ上にウィンドウ２５ｃを設定する際、ピクセルレベルでウィンドウ２５ｃを設定してもよいし、基準画像２１ａと同じように、参照画像２１ｂにおいてサブピクセルレベルの位置にウィンドウ２５ｃを設定してもよい。

なお、多重解像度戦略による場合は、低解像度における対応点探索において、ピクセル対応付けを行うのであれば、分解能が粗いので、基準側の注目点をサブピクセルではなく、ピクセルレベルで与えるようにすればよい。また、低解像度での精度を高めるために、低解像度でもサブピクセルレベルの対応付けを行うのであれば、基準側の注目点もサブピクセルで与えるようにすることで高精度な対応付けが可能になる。このようにして、低解像度での対応点の位置を求めておき、元の解像度に戻して、低解像度で求めた対応点の付近に絞って、対応点を求めるためのウィンドウを設定すればよい。それにより、対応点探索を高速で行うことができる。

演算部１５は、注目点入力部で入力された注目点、探索部１４により求められたその注目点に対する参照点等から距離情報、２次元オプティカルフローおよび３次元オプティカルフロー等を算出する。図１２はステレオ画像による３次元オプティカルフローの算出方法を説明するための図である。ここで、図１２を用いて、距離情報、２次元オプティカルフローおよび３次元オプティカルフローの算出方法について説明する。

図１２において、時刻Ｔ１に撮影された基準画像Ｂ１と参照画像Ｒ１とが示されている。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された基準画像Ｂ２と参照画像Ｒ２とが示されている。まず、時刻Ｔ１における基準画像Ｂ１における注目点４１が入力されているとする。この注目点４１に対応する点である、参照画像Ｒ１上の対応点４２が求められている。また、注目点４１に対応する点である、時刻Ｔ２での基準画像Ｂ２上の注目点４３が求められている。なお、この注目点４３は注目点４１に対しては対応点ではあるが、時刻Ｔ２における参照画像Ｒ２においては注目点となる。すなわち、注目点４３に対応する点である、時刻Ｔ２での参照画像Ｒ２上の対応点４４が求められている。なお、注目点４１、対応点４２、注目点４３および対応点４４は実際には点であるが、見易さを考慮して、図１２においては画素と同じ大きさで図示している。

注目点４１の座標を（ｐ１ｘ，ｐ１ｙ)とし、対応点４２の座標を（ｑ１ｘ，ｑ１ｙ)とし、注目点４３の座標を（ｐ２ｘ，ｐ２ｙ)とし、対応点４４の座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。ここで、これらの画像を撮影した２つのカメラで構成されるステレオカメラのカメラ同士は互いに平行に設置されていて、注目点４１および対応点４２のＹ座標は同じであり、注目点４３および対応点４４のＹ座標も同じであることとする。

まず、注目点４１および対応点４２の座標より、時刻Ｔ１の画像における視差Δｄ１等の距離情報を求めることができる。具体的には、Δｄ１は（ｑ１ｘ−ｐ１ｘ）である。
注目点４３および対応点４４の座標より、時刻Ｔ２の画像における視差Δｄ２等の距離情報を求めることができる。具体的には、Δｄ２は（ｑ２ｘ−ｐ２ｘ）である。

また、注目点４１および注目点４３の座標より２次元オプティカルフローを求めることができる。具体的には、２次元オプティカルフローは、
（ｐ２ｘ−ｐ１ｘ，ｐ２ｙ−ｐ１ｙ）で表されるベクトルである。

視差Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。この奥行きは、具体的には、図１２における紙面垂直方向の座標であり、この座標をＺ座標とする。ここで、焦点距離をｆとし、基線長をＢとすると、Ｄ１は式２０で表される。
Ｄ１＝ｆＢ／Δｄ１・・・（２０）

また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、視差Δｄ２を用いて、式２１で表される。
Ｄ２＝ｆＢ／Δｄ２・・・（２１）

これらより、時刻Ｔ１における注目点４１の３次元座標（Ｘ１，Ｙ１，Ｚ１）は、
（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における注目点４３の３次元座標（Ｘ２，Ｙ２，Ｚ２）は、
（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。

これら、３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元オプティカルフローを求める。具体的には、３次元オプティカルフローは、
（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）で表されるベクトルである。

次に、図１および図７を用いて、本実施形態に係る移動体検出装置１の動作について、対応点探索装置７の動作を中心に説明する。

まず、固定された第１カメラ２および第２カメラ３は同時（時刻Ｔ１）に被写体６を撮影し、撮影した基準画像および参照画像をデータとして出力する。第１カメラ２および第２カメラ３は同時に、順次時間をずらしながら撮影を続け、時系列ステレオ画像を出力している。第１カメラ２および第２カメラ３から出力された、それらデータである画像は演算処理装置４に入力され、さらに対応点探索装置７に入力される。

対応点探索装置７に入力された画像は、画像取得部１１に取り込まれ保持される。画像取得部１１は、保持している画像を注目点入力部１２に送る。注目点入力部１２では画像のうち基準画像において任意の注目点を入力して、探索用テンプレート生成部１３へと送る。

探索用テンプレート生成部１３では、基準画像において入力された注目点を重心位置とする探索用テンプレートを生成する。具体的には、注目点を重心位置とする任意の領域を設定し、その領域における画像パターンを求める。最初の注目点はピクセルレベルに設定すればいいので、上述したような補間、ずれ量を含む窓関数等は不要である。探索用テンプレートが生成された画像は探索部１４に送られる。

探索部１４は、探索用テンプレートを生成した基準画像に対応する参照画像にウィンドウを設定し、基準画像の探索用テンプレートと参照画像のウィンドウとの画像パターンの類似度を上述のＳＡＤ法、ＰＯＣ法等による相関値演算により求め、対応点を探索する。なお、この対応点は、サブピクセルレベルの位置とすればよい。

また、時刻Ｔ１の後に撮影された、時刻Ｔ２での基準画像および参照画像が、時刻Ｔ１に撮影された画像と対応付けされるよう、探索部１４に入力される。探索部１４は、時刻Ｔ１での基準画像の注目点に対する時刻Ｔ２での基準画像の対応点を求める。なお、この対応点は、サブピクセルレベルの位置とすればよい。探索部１４で時刻Ｔ２での基準画像の対応点が求まると、その位置を注目点として時刻Ｔ２での基準画像に入力する指示が、探索部１４から注目点入力部１２に送られる。注目点入力部１２は、画像取得部１１からの時刻Ｔ２での基準画像に注目点を入力し、探索用テンプレート生成部１３へと送る。

探索用テンプレート生成部１３では、時刻Ｔ２での基準画像において入力された注目点を重心位置とする探索用テンプレートを生成する。この際、注目点はサブピクセルレベルの位置であることから、必要であれば上述したような補間、ずれ量を含む窓関数の適用等を行って、ピクセルレベルに対するずれ量を考慮した探索用テンプレートを生成する。具体的には、サブピクセルレベルの位置を重心位置とする領域の画像パターンを生成する。

探索部１４は時刻Ｔ２での参照画像にウィンドウを設定し、時刻Ｔ２での基準画像の探索用テンプレートと時刻Ｔ２での参照画像のウィンドウとの画像パターンの類似度を上述のＳＡＤ法、ＰＯＣ法等による相関値演算により求め、対応点を探索する。また、これ以降の時刻に撮影された画像に対しても、上述した動作を繰り返していく。

演算部１５は、上記処理により求められた、各時刻における画像の注目点および対応点より、距離情報、２次元オプティカルフローおよび３次元オプティカルフローを求める。具体的には、時刻Ｔ１の基準画像および参照画像における注目点および対応点から時刻Ｔ１の距離情報を求め、時刻Ｔ２の基準画像および参照画像における注目点および対応点から時刻Ｔ２の距離情報を求めることができる。また、時刻Ｔ１の基準画像および時刻Ｔ２の基準画像における注目点同士から２次元オプティカルフローを求めることができる。また、時刻Ｔ１の距離情報、時刻Ｔ２の距離情報および２次元オプティカルフローをもとに３次元オプティカルフローを求めることができる。演算部１５は求めた各データを画像生成部８に送る。

画像生成部８は、演算部１５で求めた各データをもとに、表示装置５に表示するための３次元画像を生成し、表示装置５に送る。

表示装置５は、画像生成部８から送られた画像を表示する。

本実施形態ではステレオ画像を用いて対応点探索を行っているが、カメラを１つしか持たない単眼の装置において出力された時系列の画像を取り込み、それらの画像間で対応点を探索する際に用いることもできる。

このように、本実施形態に係る対応点探索装置は、サブピクセルレベルの位置に注目点があった場合でも、その位置に対する対応点を直接求めることができる。これにより、より正確な対応点探索を行うことができるという効果を奏する。

例えば、時系列の画像間で対応点を求める必要があるとき等に、求めた対応点を、注目点としてその点の対応点を求めていくといった動作を繰り返す場合がある。そのような場合でも、サブピクセルレベルの位置にある注目点を、ピクセルレベルの位置に補正等せずに、サブピクセルレベルの位置に対する対応点を直接求めていくことができる。そのため、対応付けの精度が向上するという効果を奏する。さらに、ステレオ画像において求められる距離情報、２次元オプティカルフロー、３次元オプティカルフロー等の精度も向上するという効果を奏する。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

本発明に係る一態様に係る対応点探索装置は、２以上の画像を取得し、保持する画像取得部と、前記画像取得部に保持されている画像のうちいずれかの画像上にサブピクセルレベルの注目点を入力する注目点入力部と、前記注目点を重心位置とする探索用テンプレートを生成する探索用テンプレート生成部と、前記探索用テンプレートを用いて、前記画像取得部に保持されている画像のうち、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する探索部とを備えている。

これにより、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることができるので、対応付け精度をより向上させることができる。

また、上述の対応点探索装置において、前記探索用テンプレート生成部は、前記注目点の最近傍の画素が重心位置となる領域を設定し、前記領域をサブピクセルレベルでずらすことで、前記注目点を重心位置とする探索用テンプレートを生成する。

これにより、重心位置をサブピクセルレベルとする探索用テンプレートを生成することができる。

また、上述の対応点探索装置において、前記画像取得部が、取得し、保持する画像はステレオ画像であることが好ましい。

このように、ステレオ画像を用いることで距離情報を得ることができるため、より正確な距離情報を得ることができる。

また、上述の対応点探索装置は、さらに、演算部を備え、前記ステレオ画像は、２つの撮像装置により同時に撮像された画像であり、前記画像取得部は、第１の時刻に撮像された第１ステレオ画像および前記第１の時刻後である第２の時刻に撮像された第２ステレオ画像を取得し、保持していて、前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を探索し、前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点から、２次元オプティカルフローを算出することが好ましい。なお、ステレオ画像は、２つの撮像装置により同時に撮像された２つの画像より構成されるが、このうちの一方を基準画像とし、他方を参照画像とする。

これにより、より正確な２次元オプティカルフローを求めることができる。

また、上述の対応点探索装置において、前記注目点入力部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を、前記第２ステレオ画像の基準画像の注目点として入力し、前記探索部は、前記第２ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の参照画像上における対応点を探索し、前記演算部は、前記第２ステレオ画像の基準画像上における注目点および前記第２ステレオ画像の参照画像上における対応点から、前記第２の時刻における距離情報を算出することが好ましい。

これにより、より正確な距離情報を求めることができる。

また、上述の対応点探索装置において、前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第１ステレオ画像の参照画像上における対応点を探索し、前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の参照画像上における対応点から、前記第１の時刻における距離情報を算出し、さらに前記第１の時刻における距離情報、前記第２の時刻における距離情報および前記２次元オプティカルフローから、３次元オプティカルフローを算出することが好ましい。

これにより、より正確な距離情報および３次元オプティカルフローを求めることができる。

また、上述の対応点探索装置において、前記探索部は、周波数分解され、振幅成分が抑制された前記探索用テンプレートの画像パターンを用いて、対応する点を探索することが好ましい。

このように、周波数成分から振幅成分を抑制することで、画像間の輝度差やノイズの影響を受けにくいため、ロバスト性を有する対応点探索が可能である。

また、上述の対応点探索装置において、前記探索用テンプレート生成部は、画像を補間することで探索用テンプレートを生成することが好ましい。

これにより、例えば双一次補間（バイリニア）や双三次補間（バイキュービック）等の、よく知られた画像処理方法を用いることができ、容易に適切な探索用テンプレートを生成することができる。

また、上述の対応点探索装置において、前記探索用テンプレート生成部は、窓関数を用いることで探索用テンプレートを生成することが好ましい。

このように、窓関数を用いることで、擬似的にサブピクセルずれした探索用テンプレートを生成することができる。そのため、周波数分解を用いて対応点探索を行う場合に用いる窓関数により擬似的にサブピクセルずれを生じさせることで、サブピクセルレベルの位置を重心とする探索用テンプレートを生成することができる。したがって、容易に適切な探索用テンプレートを生成することができ、高速に処理することができる。

また、上述の対応点探索装置において、前記探索用テンプレート生成部は、周波数空間で前記画像パターンの位相成分を回転させることで探索用テンプレートを生成することが好ましい。

これにより、周波数分解を利用する対応点探索において、サブピクセルずれ量を反復演算で算出するような場合は、周波数分解を再度行う必要がなく、周波数空間で位相成分を回転することで、サブピクセルレベルの位置を重心とする探索用テンプレートを生成することができる。したがって、高速に処理することができる。

また、上述の対応点探索装置において、前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかであることが好ましい。

このように、一般的に使用され、すでに確立されている手法により周波数分解を行うので、確実に周波数分解を行うことができる。

また、上述の対応点探索装置において、前記探索部は、位相限定相関法を用いて対応点を探索することが好ましい。

このように、位相限定相関法を用いることで、より高精度な探索が可能となる。

また、本発明の他の一態様に係る対応点探索方法は、それぞれ対応する画像のうち、いずれかの画像上にサブピクセルレベルの注目点を入力する工程と、前記注目点を重心位置とする探索用テンプレートを生成する工程と、前記探索用テンプレートを用いて、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する工程とを備えている。

これにより、注目点がサブピクセルレベルの位置であっても、その位置に対応する点を直接的に求めることができるので、精度の高い対応点探索を行うことができる。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、画像同士における対応点を探索するための対応点探索装置および対応点探索方法を提供することができる。

Claims (13)

1. ２以上の画像を取得し、保持する画像取得部と、
   前記画像取得部に保持されている画像のうちいずれかの画像上にサブピクセルレベルの注目点を入力する注目点入力部と、
   前記注目点を重心位置とする探索用テンプレートを生成する探索用テンプレート生成部と、
   前記探索用テンプレートを用いて、前記画像取得部に保持されている画像のうち、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する探索部とを備えた対応点探索装置。
2. 前記探索用テンプレート生成部は、前記注目点の最近傍の画素が重心位置となる領域を設定し、前記領域をサブピクセルレベルでずらすことで、前記注目点を重心位置とする探索用テンプレートを生成する請求項１に記載の対応点探索装置。
3. 前記画像取得部が、取得し、保持する画像はステレオ画像である請求項１に記載の対応点探索装置。
4. さらに、演算部を備え、
   前記ステレオ画像は、２つの撮像装置により同時に撮像された画像であり、
   前記画像取得部は、第１の時刻に撮像された第１ステレオ画像および前記第１の時刻後である第２の時刻に撮像された第２ステレオ画像を取得し、保持していて、
   前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を探索し、
   前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点から、２次元オプティカルフローを算出する請求項３に記載の対応点探索装置。
5. 前記注目点入力部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の基準画像上における点を、前記第２ステレオ画像の基準画像の注目点として入力し、
   前記探索部は、前記第２ステレオ画像の基準画像上における注目点に対応する、前記第２ステレオ画像の参照画像上における対応点を探索し、
   前記演算部は、前記第２ステレオ画像の基準画像上における注目点および前記第２ステレオ画像の参照画像上における対応点から、前記第２の時刻における距離情報を算出する請求項４に記載の対応点探索装置。
6. 前記探索部は、前記第１ステレオ画像の基準画像上における注目点に対応する、前記第１ステレオ画像の参照画像上における対応点を探索し、
   前記演算部は、前記第１ステレオ画像の基準画像上における注目点および前記第１ステレオ画像の参照画像上における対応点から、前記第１の時刻における距離情報を算出し、さらに前記第１の時刻における距離情報、前記第２の時刻における距離情報および前記２次元オプティカルフローから、３次元オプティカルフローを算出する請求項５に記載の対応点探索装置。
7. 前記探索部は、周波数分解され、振幅成分が抑制された前記探索用テンプレートの画像パターンを用いて、対応する点を探索する請求項１ないし請求項６のいずれかに記載の対応点探索装置。
8. 前記探索用テンプレート生成部は、画像を補間することで探索用テンプレートを生成する請求項１ないし請求項７のいずれかに記載の対応点探索装置。
9. 前記探索用テンプレート生成部は、窓関数を用いることで探索用テンプレートを生成する請求項１ないし請求項７のいずれかに記載の対応点探索装置。
10. 前記探索用テンプレート生成部は、周波数空間で前記画像パターンの位相成分を回転させることで探索用テンプレートを生成する請求項７に記載の対応点探索装置。
11. 前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである請求項７に記載の対応点探索装置。
12. 前記探索部は、位相限定相関法を用いて対応点を探索する請求項１１に記載の対応点探索装置。
13. それぞれ対応する画像のうち、いずれかの画像上にサブピクセルレベルの注目点を入力する工程と、
    前記注目点を重心位置とする探索用テンプレートを生成する工程と、
    前記探索用テンプレートを用いて、前記注目点を入力した画像に対応する画像上において、前記注目点に対応する点を探索する工程とを備えた対応点探索方法。

Images