JP4883223B2 - 動きベクトル生成装置および動きベクトル生成方法 - Google Patents

Description

本発明は、時系列画像同士において、対応点を探索することで動きベクトルを生成する動きベクトル生成装置および動きベクトル生成方法に関する。

近年、自動車業界では、安全性向上を目的とした様々なシステムの研究がなされており、特に、カメラを用いた画像センサが利用されている。画像センサは、取り込んだ画像を画像処理することにより、障害物の特定や、その障害物の動きの解析等を行うものである。

動きを解析する方法は、例えば、相関法がある。相関法とは、２つの互いに対応する画像のうち一方の画像における注目点に対応する、他方の画像における点（対応点）を求める方法である。より具体的には、この相関法では、例えば２つの時系列画像のうち、前の画像である基準画像上の注目点に対して、この注目点を内包するようなテンプレートが設定されるとともに、後の画像である参照画像上にも基準画像と同サイズのウィンドウが複数設定される。そして、基準画像上のテンプレートと、参照画像上の各ウィンドウとの間で相関値（類似度）が算出され、最も相関値が高い参照画像上のウィンドウが探索され、そのウィンドウの重心位置が対応点として求められる。複数の時系列画像では、さらに、対応点を求めた後に、その対応点が新たな注目点とされ、その後に撮像された画像における対応点が求められ、これが順次繰り返されて行くことで、フレームごとに対応点がどのような動きをしていくかを追跡することができ、連続的に動きベクトルを求めることができる。なお、動きベクトルとは、各フレームの対応する点同士を結ぶベクトルである。相関法としては、例えば、ＳＡＤ（Sum of Absolute
Difference）法と呼ばれる方法が知られている。

この動きベクトルを求める方法は、種々提案されており、例えば、特許文献１には、ブロックマッチングにより対応点を求め、動きベクトルを求める方法が記載されている。なお、この方法において、注目点は、ピクセルレベル（画素単位）で選択され、対応点もピクセルレベルで探索されるが、ブロックマッチングの類似度が低い場合は、例えば１／２画素や、１／４画素等の１画素よりも小さい単位であるサブピクセルレベルで探索が行われ、動きベクトルが求められる。これにより、サブピクセルレベルの高精度な対応点探索がなされ、それを基に動きベクトルが求められるので、高精度の動きの解析が可能である。

また例えば、特許文献２には、対応点を探索するためのテンプレートマッチングの際に、注目点側の画像の一部をサブピクセル化し、対応点側の画像の全体をサブピクセル化して、対応点を探索し、動きベクトルを求める方法が記載されている。これにより、サブピクセルレベルの探索がなされるので、高精度の動きベクトルの算出が可能である。

また例えば、特許文献３には、対応点の探索方法が記載されている。異なる時刻に取得されたステレオ画像をもとに、対応点の探索を行うことにより、それぞれの時刻における距離情報および２次元動きベクトルを生成し、さらに、これらをもとに３次元動きベクトルを生成する方法が記載されている。この方法では、注目点および対応点は、ピクセルレベルで与えられる。

また例えば、非特許文献１には、位相限定相関法（ＰＯＣ法）を用いた高精度な対応点探索手法が開示されている。この手法では、基準画像上のピクセルレベルの注目点に対応する参照画像上のピクセルレベルの対応点が算出される。そして、対応点に対するサブピクセルレベルのずれ量が求められ、前記算出された対応点にそのずれ量を加味してサブピクセルレベルの対応点が算出される。

しかし、特許文献１に開示の方法は、対応点をサブピクセルレベルで算出しているが、この対応点を注目点として、次の時系列画像から対応点を探索する際に、注目点が、サブピクセルレベルではなく、ピクセルレベルに設定し直されている。つまり、特許文献１に開示の方法は、サブピクセルレベルで求めた対応点を、ピクセルレベルに変換してから、次の画像との対応点を求めている。そのため、この特許文献１に開示の方法は、複数の時系列画像において、連続的に動きベクトルを求めているわけではない。

また、特許文献２に開示の方法は、画像のサブピクセル化において所定の分解能に限定しているので、この特許文献２に開示の方法には、推定精度に誤差が生じるという問題がある。また、画像をサブピクセル化するために、演算時間が増大するという問題も生じる。

また、特許文献３に開示の方法は、対応点の位置がサブピクセルレベルの場合を考慮していない。したがって、この特許文献３に開示の方法は、サブピクセルレベルの位置になる場合であっても、そのサブピクセルレベルの位置に対し近傍にあるピクセルレベルの位置に対して対応点探索を行うことになる。そのため、正しい対応点の位置とずれが生じてしまう。したがって、このようにして求められた対応点をもとに、距離情報、２次元動きベクトルおよび３次元動きベクトルを求めても正確な値を得ることはできない。仮に、得られた対応点の情報を補間するなどして、より正確な値に近づけたとしても、あくまでも補間によるものであり、高精度とはいえない。

また、非特許文献１に開示の方法は、演算の中間段階においては、注目点に対する対応点のサブピクセルレベルのずれ量を求める際に、基準画像上の注目点をサブピクセルレベルに変更して演算しているが、サブピクセルレベルで設定された注目点に対する探索を行っているわけではない。したがって、特許文献１に開示の方法と同様に、正しい対応点の位置を求めている場合ではなく、高精度の対応付けはなされていない。

特開平５−２３６４５２号公報 特開２００７−２５７０２６号公報 特開２００１−８４３８３号公報

Kenji TAKITA, Mohammad Abdul MUQUIT, Takafumi AOKI, Tatsuo HIGUCHI, "A Sub-Pixel Correspondence Search Technique for Computer Vision Applications", IEICE Transactions. Fundamentals, Aug. 2004, E87-A, no.8, pp.1913-1923

本発明は、上述の事情に鑑みて為された発明であり、その目的は、複数の画像において、連続した動きベクトルを求める動きベクトル生成装置および動きベクトル生成方法を提供することである。

本発明にかかる動きベクトル生成装置および動きベクトル生成方法では、複数の画像について、順次に動きベクトルを生成する際に、サブピクセルレベルで注目点が前記複数の画像のうちのいずれかの画像において決定され、この注目点に対応する対応点がこの画像と異なる他の画像においてサブピクセルレベルで探索され、これら注目点とその対応点とを基に動きベクトルが算出される。そして、この対応点が新たな注目点として決定され、上記処理が繰り返され、順次に動きベクトルが生成される。このため、本発明にかかる動きベクトル生成装置および動きベクトル生成方法は、複数の画像において、対応点探索をサブピクセルレベルで行うことで、連続した動きベクトルを求めることができる。

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

実施形態に係る動きベクトル生成装置の構成を示すブロック図である。 テンプレートについて説明するための図であって、図２（Ａ）は、注目点がピクセルレベルの位置である場合の基準画像と参照画像とを示す図であり、図２（Ｂ）は、注目点がサブピクセルレベルの場合の基準画像と参照画像とを示す図である。 画像補間の方法を説明するための図である。 ずれ量を含む窓関数を示す図である。 注目点を再近傍の画素に置き換えて対応点を探索した後に補正する方法を説明するための図である。 対応点探索について説明するための図である。 ステレオ画像による３次元動きベクトルの算出方法を説明するための図である。 ステレオ時系列画像において３次元動きベクトルが連続的につながっている様子を示した図である。 ステレオ画像による３次元動きベクトルの他の算出方法を説明するための図である。 ステレオ時系列画像において３次元動きベクトルが連続的につながっている様子を示した他の図である。 動きベクトルの信頼性評価の方法について説明するための図である。 他の動きベクトルの信頼性評価の方法について説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。

まず、本発明の実施形態に係る動きベクトル生成装置の構成について説明する。図１は本実施形態に係る動きベクトル生成装置の構成を示すブロック図である。図１に示すように、動きベクトル生成装置１は、画像取得部２と、注目点決定部３と、対応点探索部４と、動きベクトル算出部５と、動きベクトル解析部６とを有する。動きベクトル生成装置１は、例えば、各種電子部品や集積回路部品、ＣＰＵ（Central Processing Unit）、記憶部等からなる。そして、動きベクトル生成装置１は、カメラ７と、表示部８と接続されている。カメラ７は、時系列画像を取得するものであり、ステレオカメラであることが好ましい。より具体的には、所定の適当な距離だけ離間させて左右に設置された２つのカメラから構成される。また、表示部８は、動きベクトル生成装置１により求めた結果を表示する。

以下に、これら、動きベクトル生成装置１の各構成部材について説明する。

画像取得部２は、カメラ７からの時系列画像を取得し、保持している。ここで、カメラ７におけるステレオカメラは、それぞれ、被写体を同じタイミングで撮影した左右一対の画像を随時に撮影し、時系列ステレオ画像を動きベクトル生成装置１に出力する。なお、カメラ７における左右のカメラの収差は、良好に補正されており、かつ、これらは、相互にその光軸が平行に設置されているものとする。このように、ステレオカメラにおいて、各カメラを平行に設置することで、平行化された画像が得られる。なお、カメラ７は、ステレオカメラではなく、単眼カメラでもよく、単眼カメラにより異なる時刻において撮影をすることで、時系列画像を取得することとしてもよい。

注目点決定部３は、画像取得部２に保持されている画像のうち、いずれかの画像（基準画像）上に注目点を決定する。なお、その基準画像が動きベクトルの始点となる場合は、その基準画像上の任意の点を注目点として決定する。また、始点ではない場合は、時間的に前に撮影した画像に対する対応点を注目点として設定し直す。

対応点探索部４は、基準画像に対応する参照画像上の点を探索（対応点探索）する。なお、参照画像とは、基準画像に対応する画像である。より具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方が参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。具体的な対応点探索について説明する。注目点決定部３によって、設定された注目点に対してテンプレートが設定され、そのテンプレートと対応する参照画像上のテンプレートが探索され、その探索されたテンプレートから対応点が求められる。さらにより具体的には、対応点探索部４は、注目点決定部３によって注目点が設定された基準画像を取り込み、基準画像上に注目点を含むテンプレートを設定する。ここで、テンプレートとは、基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、対応点探索部４は、このテンプレートと、当該基準画像と対応する参照画像において複数設定されたウィンドウとの相関値を算出し、相関値に基づいて対応しているか否かを判断する。なお、ウィンドウとは、参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。相関値は、テンプレートとウィンドウとの画像パターンから求めることができる。例えば、テンプレートといずれかのウィンドウとの相関値が求められ、仮に、これらの相関値が低く、これらが対応しないと判断されれば、例えば１画素いずれかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、相関値がピークの値をとるウィンドウ、つまりテンプレートに対応するウィンドウが求められる。時系列画像であれば、例えば、先の画像が基準画像とされ、後の画像が参照画像とされる。なお、逆に、後の画像が基準画像とされ、先の画像が参照画像とされてもよい。つまり、時系列画像を撮影しながら対応点探索を行う場合は、先の画像が基準画像とされ、後の画像が参照画像とされる。しかし、時系列画像を撮影し、それらの画像を例えば画像取得部２に保持しておき、ある程度の量が保持された状態で対応点探索を行う場合は、先の画像が基準画像とされなくともよく、後の画像が基準画像とされ、先の画像が参照画像とされてもよい。

このような、対応点探索の方法は、公知であり種々の方法が提案されている。例えば、テンプレートに対応するウィンドウを求める時間を短縮する方法について以下に簡単に説明する。例えば、上述したように、基準画像がステレオ画像の一方の画像であり、参照画像が他方の画像であって、各画像を撮像したカメラは、平行に配置されている場合では、基準画像と参照画像とがほとんど平行に配置されている。そうすると、参照画像上におけるウィンドウは、基準画像上における注目点と同じ高さ位置にあると仮定することができるので、この高さ位置のウィンドウについて相関値を求めればよい。また、基準画像と参照画像とがほとんど平行に配置されていて、かつ基準画像と参照画像との視差がある程度分かっている場合は、ウィンドウの設定範囲は、さらに限定することができる。このように、ウィンドウの設定範囲を限定することで、テンプレートとの相関値を求めるウィンドウの数を抑制できるので、対応するウィンドウを短時間で探索することができる。

また、別の方法としては、多重解像度戦略による探索方法と呼ばれるものがある。この方法は、一旦、基準画像および参照画像の解像度を低くして、すなわち画素数を減少させてから相関値演算を行い、注目点に対して相関値がピークになる座標を求め、解像度を元に戻してから、ウィンドウの設定範囲を低解像度で求まった座標周辺に絞り込んで相関値を求める方法である。基準画像および参照画像の解像度を低くした状態では、画像パターンの情報を減少させることができるため、その状態における相関値は、短時間で求めることができる。また、そうして求めた低解像度での相関値がピークである座標付近に、本来の解像度における相関値がピークとなる座標が存在するはずである。このように、対応するウィンドウが存在する範囲を短時間で確定することができるので、対応するウィンドウを短時間で探索することができる。なお、この方法においては、何段階かに分けた複数の低解像度画像を作成して、徐々に探索位置を絞り込んでもよい。

次に、具体的な相関値の算出方法について説明する。相関値を求めるための関数として、例えば、ＳＡＤ（Sum of Absolute Difference）法、ＳＳＤ(Sum of Squared Difference)法（２乗残差法）、ＮＣＣ（Normalize cross Correlation）法（正規化相互相関法）等が知られている。例えばＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数であって、この関数により与えられた値より、ウィンドウごとの相関値を求めることができる。

また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法であり、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。画像パターンの周波数分解信号を計算する手法として、例えば、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換等が知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。

ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、参照画像上のウィンドウをずらしながら、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして相関値であるＰＯＣ値が求められる。また、ＰＯＣ値は、画素ごとに離散的に求まるため、ウィンドウ内における画素ごとに類似度を求めることができる。したがって、ウィンドウの範囲を絞り込むことが容易であり、対応点を求める処理も高速に実行することができるという効果を奏する。つまり、上述のＳＡＤ法等では、ウィンドウごとの相関値を求めていたが、ＰＯＣ法は、ウィンドウ内の画素ごとの相関値を求めることができる。したがって、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ＳＡＤ法等のようにウィンドウを１画素ずつずらして相関値を算出する必要はなく、ウィンドウを複数画素分ずらして相関値を算出することができる。どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであると言われている。つまり、例えば、ずらしたウィンドウと、ずらす前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定すればよい。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲を重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウを１６画素ずつずらせばよいので、８個のウィンドウが設定される。なお、ＰＯＣ法においても、上述の多重解像度戦略による探索方法を用いることができる。上述の例では、８個のウィンドウを設定すればよかったが、さらに多重解像度戦略による探索方法を用いて、例えば画像を１／１６に縮小すれば、設定するウィンドウは、１個で済む。これにより、さらに容易に対応点の探索を実行することができる。

なお、ＰＯＣ法以外でも、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて相関値演算を行う方法が知られている。例えばＤＣＴ符号限定相関法等があり、これらを用いて相関値演算を行ってもよい。このＤＣＴ符号限定相関法は、公知の手法であるが、例えば、「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」，貴家仁志，首都大学東京 システムデザイン学部 動的画像処理実利用化ワークショップ２００７，２００７．３．８−９に開示されている。

なお、本実施形態では、サブピクセルレベルでの探索を行うため、参照画像に設定されるウィンドウは、ピクセルレベルではなく、サブピクセルレベルで設定される。したがって、１つの画素において全体がウィンドウに含まれるとは限らず、画素の一部のみが当該ウィンドウに含まれる場合もあるため、ウィンドウが画素単位の領域になるとは限らない。

より具体的に、サブピクセルレベルでのウィンドウについて説明する。図２は、テンプレートについて説明するための図であって、図２（Ａ）は、注目点がピクセルレベルの位置である場合の基準画像と参照画像とを示す図であり、図２（Ｂ）は、注目点がサブピクセルレベルの場合の基準画像と参照画像とを示す図である。図２（Ａ）に示すように、複数の画素２２を有する基準画像２１ａにおける注目点がピクセルレベルの位置である場合は、基準画像２１ａ上において、注目点２４ａを重心位置とする、例えば３×３のテンプレート２５ａが設定される。また、複数の画素２２を有する参照画像２１ｂにおいては３×３のウィンドウが設定され、基準画像２１ａのテンプレート２５ａの画像パターンと参照画像２１ｂのウィンドウの画像パターンとの類似度が求められ、それにより、対応点２４ｂが求められる。なお、対応点２４ｂの探索において、補間等を用いることにより、図２（Ａ）に示すようにサブピクセルレベルでの位置を求めることができる。

しかし、図２（Ｂ）に示すように、注目点２４ｃの位置が画素の重心からずれている場合は、画素を構成単位とするウィンドウを設定することはできず、設定するためには、例えば、注目点２４ｃの位置を画素の重心位置となるように補正等しなければならない。しかし、それでは、本来の値からずれた値を求めることになる。そこで、注目点２４ｃを重心位置とし、画素を構成単位とせず、３×３の大きさであるテンプレート２５ｂが設定される。そして、参照画像２１ｂ上のウィンドウ２５ｃとの相関値が求められ、その相関値によりテンプレート２５ｂに対応するウィンドウ２５ｃが求められ、そのウィンドウ２５ｃの重心位置が対応点２４ｄとして求められる。なお、注目点２４ａ、対応点２４ｂ、注目点２４ｃおよび対応点２４ｄは、実際には点であるが、見易さを考慮して図２（Ａ）および図２（Ｂ）においては、画素と同じ大きさに図示している。

ここで、サブピクセルレベルの位置を重心とするテンプレートの設定方法について説明する。テンプレートは、サブピクセルレベルの位置に設定されることから、各画素の配置から、画像パターンを求める必要がある。

サブピクセルレベルの位置を重心とするテンプレートを設定するための第１の方法として、画像を補間する方法がある。図３は、画像補間の方法を説明するための図である。図３において、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）および（ｉ＋１，ｊ＋１）は画素の位置を示し、（ｘ，ｙ）がサブピクセルレベル位置の注目点の座標である。この場合に、このような注目点を重心位置とするテンプレートの画像パターンを求めるためには、具体的には（ｘ，ｙ）における輝度値を求める必要がある。そこで、（ｘ，ｙ）の周りに位置する画素の輝度値を用いて補間により、（ｘ，ｙ）の輝度値を求める。具体的には、（ｘ，ｙ）の周りの位置である（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ，ｊ＋１）および（ｉ＋１，ｊ＋１）の画素の輝度値を用いて補間することで、（ｘ，ｙ）の輝度値を求める。このようにして、ピクセルレベルの位置からずれている、サブピクセルレベルの位置における輝度値を求め、テンプレートの画像パターンを求めることができ、テンプレートを設定することができる。以下に、双一次補間（バイリニア補間）を用いた、（ｘ，ｙ）における輝度値Ｉ（ｘ，ｙ）を示す。Ｉ（ｉ，ｊ）、Ｉ（ｉ＋１，ｊ）、Ｉ（ｉ，ｊ＋１）およびＩ（ｉ＋１，ｊ＋１）は、各画素の輝度値を示す。なお、式１は（ｘ，ｙ）の座標位置を示し、式２にその輝度値を示している。ここで、ｉおよびｊは整数であり、δｘおよびδｙは０よりも大きく、１よりも小さい数である。
（ｘ，ｙ）＝（ｉ＋δｘ，ｊ＋δｙ） ・・・（１）
Ｉ（ｘ，ｙ）＝｛（１−δｘ）（１−δｙ）×Ｉ（ｉ，ｊ）｝
＋｛（１−δｘ）×δｙ×Ｉ（ｉ＋１，ｊ）｝
＋｛δｘ×（１−δｙ）×Ｉ（ｉ，ｊ＋１）｝
＋｛δｘ×δｙ×Ｉ（ｉ＋１，ｊ＋１）｝ ・・・（２）

双一次補間について、上述したがこれ以外の補間により、サブピクセルレベルの位置での輝度値が求められ、テンプレートが設定されてもよい。例えば、双三次補間（バイキュービック補間）等を用いて補間すればよい。それにより、テンプレートを設定することができる。

サブピクセルレベルの位置を重心とするテンプレートを設定するための第２の方法は、窓関数を適用する方法である。上記対応探索の方法のうち、例えばＰＯＣ法のように周波数分解を行う方法において、周波数分解を行う際、通常、不連続性の影響などを取り除くために窓関数が適用された後に、周波数分解が行われる。窓関数としては、例えばハニング窓、ハミング窓、カイザー窓等が挙げられる。この第２の方法は、この窓関数に、サブピクセルレベルの位置にある注目点における、画素の位置からのずれ量を含ませておく。それにより、この第２の方法は、窓関数を適用することで、サブピクセルレベルの画像パターンを有するテンプレートを設定することができる。そこで、窓関数にずれ量を含ませる方法について説明する。ここでは一例として、ハニング窓を用いて説明する。ハニング窓の式は、式３で表される。

式３は、１次元のハニング窓を表す。２次元への拡張は、容易に行うことができ、２次元のハニング窓を表す式は、式４で表される。

式４にサブピクセルレベルの位置にある注目点のずれ量を加味することで求めた、適用させるべき窓関数は、式５で表される。

図４は、ずれ量を含む窓関数を示す図である。図３では、１次元（ｘ方向）の場合を示し、ずれ量を含まない窓関数（◆）と、ずれ量δｘを０．５とした場合の窓関数（■）とを示す。図４からわかるように、両者は、ずれている。

このようにして、第２の方法は、求めたずれ量を含む窓関数を適用した後に、周波数分解を行い、例えばＰＯＣ法を用いて、対応付けを行う。なお、周波数分解を用いる必要のない、ＳＡＤ法等の対応付け方法においても、画素（ｉ，ｊ）の輝度値であるＩ（ｉ，ｊ）に、このずれ量を含む窓関数を乗じることで、サブピクセルレベルの位置における注目点の輝度値Ｉ（ｘ，ｙ）を求めることができる。具体的には、サブピクセルレベルの位置における注目点の輝度値Ｉ（ｘ，ｙ）は、式６で表される。
Ｉ（ｘ，ｙ）＝ＤＨ（ｉ，ｊ）×Ｉ（ｉ，ｊ）・・・（６）

したがって、サブピクセルレベルの位置を重心位置とするテンプレートを設定することができる。

なお、ハニング窓以外の窓関数においても、同様にしてずれ量を含ませることができる。それにより、サブピクセルレベルの位置を重心位置とするテンプレートを設定することができる。

サブピクセルレベルの位置を重心とするテンプレートの設定方法の第３の方法は、周波数空間で位相成分を回転させる方法である。この方法により、周波数分解を利用する対応点探索手法において、サブピクセルレベルのずれ量を反復演算で算出する場合は、周波数分解を再度行う必要はなく、周波数空間で位相成分を回転することで、テンプレートを設定することができる。それにより、対応点探索を高速に行うことができる。なお、この周波数空間で位相成分を回転させる方法は、公知の手法であるが、例えば、「“A High-Accuracy Passive 3D Measurement System Using Phase-Based Image Matching”, IEICE Transactions. Fundamentals, March 2006, E89-A, no. 3, pp. 686-697」に開示されており、特に、本論文の６８８ページにおける右欄の１９行〜３２行に開示されている。

また、サブピクセルレベルの注目点の対応点を探索する方法としては、サブピクセルレベルの位置を重心とするテンプレートを設定するのではなく、その注目点を再近傍の画素に置き換えて、その画素を重心位置とするテンプレートにより、対応点を求めた後に補正する方法がある。この方法について説明する。図５は、注目点を再近傍の画素に置き換えて対応点を探索した後に補正する方法を説明するための図である。図５の基準画像において、注目点２６ａは、画素の重心位置からずれている。そこで、この方法では、この注目点２６ａの最近傍に当たる画素２６ｂを重心とするテンプレート２６ｃが設定される。そして、画素２６ｂの重心位置に対応する、参照画像上の対応点２７ｂが探索される。そして、基準画像において、注目点２６ａと置き換えた画素２６ｂの重心位置とのずれ量δと同量分、対応点２７ｂをずらすことで注目点２６ａに対応する対応点２７ａが求められる。例えば、注目点２６ａの座標が（ｘ１，ｙ１）であり、画素２６ｂの重心の座標が（ｘ２，ｙ２）であれば、ずれ量δを示すベクトルは、（ｘ１−ｘ２，ｙ１−ｙ２）で表すことができる。ここで、画素２６ｂの重心位置に対する対応点２７ｂの座標が（ｘ３，ｙ３）とすると、ずれ量δを示すベクトルを加算することで、注目点２６ａに対する対応点２７ａの座標を求めることができる。具体的には、対応点２７ａの座標は、（ｘ１＋ｘ１−ｘ２，ｙ１＋ｙ１−ｙ２）となる。

上述の方法により、対応点探索部４は、サブピクセルレベルの注目点に対して、サブピクセルレベルの対応点を探索すればよい。なお、上記多重解像度戦略による探索方法を用いる場合は、低解像度における対応点探索においては分解能が粗いので、基準画像側の注目点をサブピクセルではなく、ピクセルレベルで与えるようにしてもよい。それにより、対応するウィンドウの範囲を絞り込むことが可能な上、低解像度状態での対応点探索の時間がさらに短縮できる。また、低解像度での精度を高めるために、低解像度でもサブピクセルレベルの対応付けが行われてもよい。

ここで、複数の時系列画像に対する、対応点探索部４における対応点の探索について、図を用いて説明する。図６は、単眼カメラによる画像に対する対応点探索について説明するための図である。まず、図６には、単眼カメラで撮像した、時刻Ｔ１、Ｔ２、Ｔ３における画像が示されている。なお、各時刻Ｔ１、Ｔ２、Ｔ３は、この順で時間的に進んでいる。ここで、時刻Ｔ１における画像を基準画像として、注目点が設定される。この画像が最初であり、この際の注目点が始点であるので、注目点は、ピクセルレベルすなわち画素単位で設定される。図６に示した画像において各マス目が１画素を示しているので、ピクセルレベルの注目点は、このマスの重心に位置することになる。なお、サブピクセルレベルの場合は、注目点は、マスの重心位置になるとは限らない。なお、各点３１、３２、３３は、実際には点であるが、見易さを考慮して、図６においては画素と同じ大きさで図示している。

カメラ７により撮像された画像は、画像取得部２に保持されているので、注目点決定部３は、画像取得部２から時刻Ｔ１における画像を取得し、注目点を決定する。例えば、点３１が注目点とされる。そして、対応点探索部４は、時刻Ｔ１の画像に対応する時刻Ｔ２の画像を画像取得部２から取得し、点３１の対応点である点３２を求める。なお、この場合は、時刻Ｔ１の画像が基準画像であり、時刻Ｔ２の画像が参照画像である。ここで、点３２は、サブピクセルレベルで求められる。次に、対応点探索部４は、時刻Ｔ３の画像における対応点を求める。この場合は、時刻Ｔ１の画像における注目点の対応点である点３２が注目点となる。そこで、注目点決定部２は、時刻Ｔ２の画像における点３２を注目点として設定する。そして、対応点探索部４では、時刻Ｔ２の画像に対応する時刻Ｔ３の画像を画像取得部２から取得し、点３２の対応点である点３３を求める。なお、この場合は時刻Ｔ２の画像が基準画像であり、時刻Ｔ３の画像が参照画像である。ここで、点３３はサブピクセルレベルで求められる。なお、対応点探索方法は、上述のいずれかの方法を用いればよい。このように、本実施形態においては、サブピクセルレベルの対応点探索を行い、それにより求められたサブピクセルレベルの点に対応する点を求めていく。時系列画像において、このように、順次対応点を探索していくことで、動きベクトルがとぎれることなく、連続の動きを検出することができ、始点である注目点に対して正確な追尾が可能である。

動きベクトル算出部５では、上述のように対応点探索部４により求められた各時系列画像の対応点の座標値から、動きベクトルを算出する。より具体的には、対応点探索部４により求められた注目点および対応点等から距離情報、２次元動きベクトルおよび３次元動きベクトル等を算出する。図７は、ステレオ画像による３次元動きベクトルの算出方法を説明するための図である。ここで、図７を用いて、３次元動きベクトルの算出方法について説明する。

図７において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１とが示されている。なお、説明を簡略化するために、これらの画像を撮像した一対の左右に配置されたカメラを有するステレオカメラにおいて、各カメラは、平行に配置されているとする。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２とが示されている。まず、時刻Ｔ１における画像Ｌ１における点４１ａが注目点（始点）として入力されているとする。この点４１ａに対応する点である、画像Ｒ１上の点４１ｂが対応点探索により求められる。また、点４１ａを注目点とした場合に、時刻Ｔ２での画像Ｌ２上において点４１ａに対応する点４２ａが対応点探索により求められている。そして、この点４２ａを注目点として、時刻Ｔ２における画像Ｒ２においてこれに対応する点４２ｂが対応点探索により求められている。なお、各点４１ａ、４１ｂ、４２ａ、４２ｂは、実際には点であるが、見易さを考慮して、図７においては画素と同じ大きさで図示している。

点４１ａの座標を（ｐ１ｘ，ｐ１ｙ)とし、点４１ｂの座標を（ｑ１ｘ，ｑ１ｙ)とし、点４２ａの座標を（ｐ２ｘ，ｐ２ｙ)とし、点４２ｂの座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。なお、上述したように、各カメラは、平行配置されているので、点４１ａおよび点４１ｂのＹ座標は同じであり、点４２ａおよび点４２ｂのＹ座標も同じである。

まず、点４１ａおよび点４１ａにより求めた点４１ｂの座標より、画像Ｌ１およびＲ１における視差を示すベクトルであるΔｄ１を求めることができる。具体的には、Δｄ１は、（ｑ１ｘ−ｐ１ｘ，０）である。また、点４１ａおよび点４１ａにより求めた点４２ａの座標より、画像Ｌ１およびＬ２における動きを示すベクトルであるΔｆ１を求めることができる。具体的には、Δｆ１は、（ｐ２ｘ−ｐ１ｘ，ｐ２ｙ−ｐ１ｙ）である。また、点４２ａおよび点４２ａにより求めた点４２ｂの座標より、時刻Ｔ２の画像における視差を示すベクトルであるΔｄ２を求めることができる。具体的には、Δｄ２は、（ｑ２ｘ−ｐ２ｘ，０）である。

なお、Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。具体的には、図７における紙面垂直方向の座標であり、この座標をＺ座標とする。ここで、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２を撮像したステレオカメラにおける、各カメラの焦点距離をｆとし、各カメラ同士の基線長をＢとすると、Ｄ１は、式７で表される。なお、式７において、Δｄ１は、ベクトルの大きさである。
Ｄ１＝ｆＢ／Δｄ１・・・（７）

また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、Δｄ２を用いて、式８で表される。なお、式８において、Δｄ２は、ベクトルの大きさである。
Ｄ２＝ｆＢ／Δｄ２・・・（８）

これらより、時刻Ｔ１における点４１ａおよび４１ｂにおける３次元座標（Ｘ１，Ｙ１，Ｚ１）は、（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における点４２ａおよび４２ｂにおける３次元座標（Ｘ２，Ｙ２，Ｚ２）は、（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。

これら３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元動きベクトルを求めることができる。具体的には、３次元動きベクトルは、（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）で表されるベクトルである。

なお、単眼カメラにより撮影された時系列画像から、２次元動きベクトルが算出される。この場合は、上述したステレオカメラによる画像のうち、一方のカメラで撮影した画像について考えればよい。例えば、画像Ｌ１およびＬ２を取得して、点４１ａに対応する点４２ａが探索して求められ、点４１ａおよび４２ａから２次元動きベクトルが求められる。つまり、２次元動きベクトルは、上記Δｆ１で表すことができる。

時間の経過とともに、順次に撮影される時系列画像において、上述のように対応する点をサブピクセルレベルで求め、その座標から３次元動きベクトルを求めていくことで、本実施形態の動きベクトル生成装置１は、時系列画像における任意の点（始点）を正確に追尾していくことができる。さらに、時系列画像を増やして説明する。図８は、ステレオ時系列画像において３次元動きベクトルが連続的につながっている様子を示した図である。図８において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１、時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２、時刻Ｔ３に撮影された画像Ｌ３と画像Ｒ３とが示されている。時刻Ｔ１における画像Ｌ１の点４１ａを注目点として、時刻Ｔ１における画像Ｒ１の対応点である点４１ｂが対応点探索により求められる。点４１ｂを求めることで、Δｄ１が算出される。そして、時刻Ｔ２の画像Ｌ２における、画像Ｌ１の点４１ａに対応する点である点４２ａが対応点探索により求められる。点４２ａを求めることで、Δｆ１が算出される。そして、時刻Ｔ２の画像Ｒ２における、画像Ｌ２の点４２ａに対応する点４２ｂが対応点探索により求められる。点４２ｂを求めることで、Δｄ２が算出される。そして、ベクトルであるΔｄ１、Δｄ２およびΔｆ１を用いて、上述のように、時刻Ｔ１および時刻Ｔ２間の３次元動きベクトルが求められる。

また、時刻Ｔ２の画像Ｌ２の点４２ａに対応する、時刻Ｔ３における画像Ｌ３の対応点である点４３ａが対応点探索により求められる。点４３ａを求めることで、Δｆ２が算出される。そして、時刻Ｔ３の画像Ｌ３における、画像Ｌ３の点４３ａに対応する点である点４３ｂが対応点探索により求められる。点４３ｂを求めることで、Δｄ３が算出される。そして、ベクトルであるΔｄ２、Δｄ３およびΔｆ２を用いて、時刻Ｔ１および時刻Ｔ２間の３次元動きベクトルと同様に、時刻Ｔ２および時刻Ｔ３間の３次元動きベクトルが求められる。

次に、他の動きベクトルの算出方法について、図９を用いて説明する。図９は、ステレオ画像による３次元動きベクトルの他の算出方法を説明するための図である。図９に示した画像は、図７の画像と同様であり、点４２ｂの求め方が図７を用いて説明した方法とは異なる。より具体的には、まず、時刻Ｔ１における画像Ｌ１における点４１ａが注目点（始点）として入力されているとする。この点４１ａに対応する点である、画像Ｒ１上の点４１ｂが求められている。また、点４１ａを注目点とした場合に、時刻Ｔ２での画像Ｌ２上において点４１ａに対応する点４２ａが求められている。そして、点４１ｂを注目点として、画像Ｒ２においてこれに対応する点４２ｂが対応点探索により求められている。

そして、図７と同様に、点４１ａの座標を（ｐ１ｘ，ｐ１ｙ)とし、点４１ｂの座標を（ｑ１ｘ，ｑ１ｙ)とし、点４２ａの座標を（ｐ２ｘ，ｐ２ｙ)とし、点４２ｂの座標を（ｑ２ｘ，ｑ２ｙ)とする場合に、まず、点４１ａおよび点４１ａにより求めた点４１ｂの座標より、画像Ｌ１およびＲ１における視差を示すベクトルであるΔｄ１が求められる。具体的には、Δｄ１は、（ｑ１ｘ−ｐ１ｘ，０）である。また、点４１ａおよび点４１ａにより求めた点４２ａの座標より、画像Ｌ１およびＬ２における動きを示すベクトルであるΔｆ１が求められる。具体的には、Δｆ１は、（ｐ２ｘ−ｐ１ｘ，ｐ２ｙ−ｐ１ｙ）である。また、点４１ｂおよび点４１ｂにより求めた点４２ｂの座標より、画像Ｒ１およびＲ２における視差を示すベクトルであるΔｇ１が求められる。

ここで、画像Ｌ２および画像Ｒ２における視差を示すベクトルであるΔｄ２は、Δｆ１、Δｇ１およびΔｄ１を用いて式９のように表すことができる。
Δｄ２＝Δｇ１−Δｆ１＋Δｄ１・・・（９）

そして、Δｄ１、Δｄ２、焦点距離ｆ、基線長Ｂ、式７、式８より、距離Ｄ１およびＤ２が求められ、これらより、上述のように３次元動きベクトルが求められる。つまり、時刻Ｔ１における点４１ａおよび４１ｂにおける３次元座標（Ｘ１，Ｙ１，Ｚ１）は、（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における点４２ａおよび４２ｂにおける３次元座標（Ｘ２，Ｙ２，Ｚ２）は、（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。そして、これら３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元動きベクトルは、（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）で表されるベクトルである。

時間の経過とともに、順次に撮影される時系列画像において、上述のように対応する点をサブピクセルレベルで求め、その座標から３次元動きベクトルを求めていくことで、本実施形態の動きベクトル生成装置１は、時系列画像における任意の点（始点）を正確に追尾していくことができる。さらに、時系列画像を増やして説明する。図１０は、ステレオ時系列画像において３次元動きベクトルが連続的につながっている様子を示した他の図である。図１０において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１、時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２、時刻Ｔ３に撮影された画像Ｌ３と画像Ｒ３とが示されている。時刻Ｔ１における画像Ｌ１の点４１ａを注目点として、時刻Ｔ１における画像Ｒ１の対応点である点４１ｂが対応点探索により求められる。点４１ｂを求めることで、Δｄ１が算出される。そして、時刻Ｔ２の画像Ｌ２における、画像Ｌ１の点４１ａに対応する点である点４２ａが対応点探索により求められる。点４２ａを求めることで、Δｆ１が算出される。そして、時刻Ｔ２の画像Ｒ２における、画像Ｒ１の点４１ｂに対応する点４２ｂが対応点探索により求められる。点４２ｂを求めることで、Δｇ１が算出される。そして、ベクトルであるΔｄ１、Δｆ１およびΔｇ１を用いて、上述のように、時刻Ｔ１および時刻Ｔ２間の３次元動きベクトルが求められる。

また、時刻Ｔ２の画像Ｌ２の点４２ａに対応する、時刻Ｔ３における画像Ｌ３の対応点である点４３ａが対応点探索により求められる。点４３ａを求めることで、Δｆ２が算出される。そして、時刻Ｔ３の画像Ｒ３における、画像Ｒ２の点４２ｂに対応する点である点４３ｂが対応点探索により求められる。点４３ｂを求めることで、Δｇ２が算出される。そして、ベクトルであるΔｄ１、Δｆ１、Δｇ１、Δｆ２およびΔｇ２を用いて、時刻Ｔ１および時刻Ｔ２間の３次元動きベクトルと同様に、時刻Ｔ２および時刻Ｔ３間の３次元動きベクトルが求められる。

上述のように、時系列ステレオ画像における動きベクトルの算出のための対応点探索手法には、図７、図８および図９、図１０に示したように２種類の方法がある。対応点探索部４は、いずれかの方法により対応点探索を行い、それに応じて動きベクトル算出部５は、動きベクトルを算出する。なお、対応点探索部４は、対応点の探索において、例えば、同一の注目点に対して、複数の参照画像上の対応点を探索する場合は、参照画像が異なる場合であっても同一の相関値演算（ＳＡＤ法やＰＯＣ法、またはそれ以外の方法）を用いることが好ましい。つまり、このような場合は、注目点に対して設定するテンプレートを各参照画像において共通化することができるため、演算処理が簡略化されるという効果を奏する。したがって、対応点探索部４において用いる相関値演算は、いずれか一つの演算方法を用いることが好ましい。また、相関値演算方法として、上記ＰＯＣ法等のロバスト性を有する相関値演算方法を用いる場合は、同一の注目点に対して、複数の参照画像上の対応点を探索する場合は、参照画像が異なる場合であっても、周波数分解され、振幅成分が抑制されたテンプレートの画像パターンとして同一のものを用いることが好ましい。このような構成では、周波数分解され、振幅成分が抑制された前記テンプレートの画像パターンを共有化することができるので、演算処理時間が短縮化されるという効果を奏する。

また、上述のように、時系列ステレオ画像における動きベクトルの算出のための対応点探索手法には２種類の方法がある。例えば、図８で示したように、一対のステレオ画像の一方から対応点を求める方法、および、図１０で示したように、時間的に前に撮像された画像をもとに、対応点を求める方法である。図８では、画像Ｒ２、Ｒ３における対応点を求めるために、画像Ｌ２、Ｌ３が用いられている。また、図１０では、画像Ｒ２、Ｒ３における対応点を求めるために、画像Ｒ１、Ｒ２が用いられている。このように、複数の注目点から、同一の対応点を求めることができる。これを用いて、算出された動きベクトルの信頼性を評価することができる。より具体的には、対応点探索部４は、複数の注目点に対応する一つの対応点を、上記複数の注目点から探索し、それらから同一の対応点が求められた場合は算出された動きベクトルの信頼性が高く、それらから異なる対応点が求められた場合は算出された動きベクトルの信頼性が低い、と判断できる。

ここで、より具体的に、動きベクトルの信頼性評価の方法について説明する。図１１は、動きベクトルの信頼性評価の方法について説明するための図である。図１１において、時刻Ｔ１〜Ｔ６におけるステレオ時系列画像である画像Ｌ１〜Ｌ６および画像Ｒ１〜Ｒ６がある。画像Ｌ１〜Ｌ６および画像Ｒ１〜Ｒ６は、それぞれ対応している。この場合に、対応点探索部４および動きベクトル算出部５は、画像Ｌ１の点４１ａを注目点（始点）として、画像Ｒ１の点４１ｂを対応点探索により求め、Δｄ１を算出する。そして、画像Ｌ１の点４１ａに対応する、画像Ｌ２の点４２ａを対応点探索により求め、Δｆ１を算出する。そして、画像Ｌ２の点４２ａに対応する、画像Ｒ２の点４２ｂを対応点探索により求め、Δｄ２を算出する。そして、画像Ｌ２の点４２ａに対応する、画像Ｌ３の点４３ａを対応点探索により求め、Δｆ２を算出する。そして、画像Ｌ３の点４３ａに対応する、画像Ｒ３の点４３ｂを対応点探索により求め、Δｄ３を算出する。そして、画像Ｌ３の点４３ａに対応する、画像Ｌ４の点４４ａを対応点探索により求め、Δｆ３を算出する。そして、画像Ｌ４の点４４ａに対応する、画像Ｒ４の点４４ｂを対応点探索により求め、Δｄ４を算出する。そして、画像Ｒ３の点４３ｂに対応する、画像Ｒ４の点を対応点探索により求め、Δｇ３を算出する。ここで、点４４ｂは２種類の点４４ａ、４３ｂにより探索されている。この場合は、どちらの点からも同一点４４ｂが探索されているため、対応点探索の信頼性は、高いといえる。このように、任意の画像において、２つの点に対応する対応点の探索を上記２つの点により行い、同一点を探索できるか否かを確認することで、対応点探索の信頼性を評価することができる。

そして、この場合では、対応点探索に問題がないので、対応点探索部４および動きベクトル算出部５は、対応点探索および動きベクトルの算出を継続する。画像Ｌ４の点４４ａに対応する、画像Ｌ５の点４５ａを対応点探索により求め、Δｆ４を算出する。そして、画像Ｌ５の点４５ａに対応する、画像Ｒ５の点４５ｂを対応点探索により求め、Δｄ５を算出する。そして、画像Ｌ５の点４５ａに対応する、画像Ｌ６の点４６ａを対応点探索により求め、Δｆ５を算出する。そして、画像Ｌ６の点４６ａに対応する、画像Ｒ６の点４６ｂを対応点探索により求め、Δｄ６を算出する。そして、画像Ｒ５の点４５ｂに対応する、画像Ｒ６の点４６ｃを対応点探索により求め、Δｇ５を算出する。このとき、点４６ｂおよび点４６ｃは、同一座標のはずであるが、それぞれ異なる座標である。したがって、この場合は、対応点探索の信頼性が低いといえる。このような場合には、実施形態の動きベクトル生成装置１は、エラーを検出することとし、動きベクトル生成装置１の動作を停止することとしてもよいし、あるいは、探索されたいずれかの点の内、確からしい点について、さらに対応点の探索および動きベクトルの算出を行うこととしてもよい。

次に、他の動きベクトルの信頼性評価の方法について説明する。図１２は、他の動きベクトルの信頼性評価の方法について説明するための図である。図１２において、図１１と同様に、時刻Ｔ１〜Ｔ６におけるステレオ時系列画像である画像Ｌ１〜Ｌ６および画像Ｒ１〜Ｒ６がある。画像Ｌ１〜Ｌ６および画像Ｒ１〜Ｒ６それぞれ対応している。図１２に示す動きベクトルの信頼性評価の方法は、図１１に示す場合と、対応点探索および動きベクトルの算出が異なる。この場合に、対応点探索部４および動きベクトル算出部５は、画像Ｌ１の点４１ａを注目点（始点）として、画像Ｒ１の点４１ｂを対応点探索により求め、Δｄ１を算出する。そして、画像Ｌ１の点４１ａに対応する、画像Ｌ２の点４２ａを対応点探索により求め、Δｆ１を算出する。そして、画像Ｒ１の点４１ｂに対応する、画像Ｒ２の点４２ｂを対応点探索により求め、Δｇ１を算出する。そして、画像Ｌ２の点４２ａに対応する、画像Ｌ３の点４３ａを対応点探索により求め、Δｆ２を算出する。そして、画像Ｒ２の点４２ｂに対応する、画像Ｒ３の点４３ｂを対応点探索により求め、Δｇ２を算出する。そして、画像Ｌ３の点４３ａに対応する、画像Ｒ３の点を対応点探索により求め、Δｄ３を算出する。ここで、点４３ｂは２種類の点４３ａ、４２ｂにより探索されている。この場合は、どちらの点からも同一点４３ｂが探索されているため、対応点探索の信頼性は、高いといえる。このように、任意の画像において、２つの点に対応する対応点の探索を上記２つの点により行い、同一点を探索できるか否かを確認することで、対応点探索の信頼性を評価することができる。

そして、この場合は、対応点探索に問題がないので、対応点探索部４および動きベクトル算出部５は、対応点探索および動きベクトルの算出を継続する。そして、画像Ｌ３の点４３ａに対応する、画像Ｌ４の点４４ａを対応点探索により求め、Δｆ３を算出する。そして、画像Ｒ３の点４３ｂに対応する、画像Ｒ４の点４４ｂを対応点探索により求め、Δｇ３を算出する。画像Ｌ４の点４４ａに対応する、画像Ｌ５の点４５ａを対応点探索により求め、Δｆ４を算出する。そして、画像Ｒ４の点４４ｂに対応する、画像Ｒ５の点４５ｂを対応点探索により求め、Δｇ４を算出する。そして、画像Ｌ５の点４５ａに対応する、画像Ｌ６の点４６ａを対応点探索により求め、Δｆ５を算出する。そして、画像Ｒ５の点４５ｂに対応する、画像Ｒ６の点４６ｂを対応点探索により求め、Δｇ５を算出する。そして、画像Ｌ６の点４６ａに対応する、画像Ｒ６の点４６ｃを対応点探索により求め、Δｄ６を算出する。このとき、点４６ｂおよび点４６ｃは同一座標のはずであるが、それぞれ異なる座標である。したがって、この場合は、対応点探索の信頼性が低いといえる。このような場合には、実施形態の動きベクトル生成装置１は、エラーを検出することとし、動きベクトル生成装置１の動作を停止することとしてもよいし、あるいは、探索されたいずれかの点の内、確からしい点について、さらに対応点の探索および動きベクトルの算出を行うこととしてもよい。

このように、図１１に示す場合では撮像時間の異なる画像による対応点探索を行うことで、図１２に示す場合ではステレオ画像による対応点探索を行うことで、対応点探索の信頼性を評価することができる。ここで、この対応点探索の信頼性評価は、例えば時系列における所定の時間間隔ごとに行うこととすればよい。より具体的には、所定のフレーム間隔ごとに行うこととすればよい。また、対応点探索における相関値演算により算出される類似度の値に応じて行ってもよい。例えば、ＰＯＣ法を用いている場合は、ＰＯＣ値が所定の閾値よりも低い場合に、対応点探索を２種類の手法により行うこととすればよい。また、例えば、ＳＡＤ法を用いている場合は、相関値が所定の閾値よりも低い場合に、対応点探索を２種類の手法により行うこととすればよい。これらの場合は、対応付けが正しくできていない可能性が高いからである。また、それ以前の動きベクトルと比較して、大きな変化があった場合に行うこととすればよい。例えば、動きベクトルの大きさが、２倍以上になった場合や、方向が５°以上変化した場合に、対応点探索を２種類の手法により行えばよい。なお、比較する動きベクトルとしては、過去に算出したすべての動きベクトルを対象としてもよいが、１つ前に算出した動きベクトルと比較することとすればよい。また、設定したテンプレートのコントラストに応じて行ってもよい。例えば、テンプレート内のコントラストが所定の閾値よりも低い場合に、対応点探索を２種類の手法で行うこととすればよい。

動き解析部６は、動きベクトル算出部５により算出された動きベクトルについて、所定の解析を行う。具体的には、例えば、距離情報および動きベクトル等の結果を表示部８に表示する形式に変換する。

次に、本実施形態に係る動きベクトル生成装置１の動作について説明する。まず、カメラ７は、時系列ステレオ画像を撮像する。カメラ７により撮像された画像は、画像取得部２に取り込まれ保持される。注目点決定部３は、画像取得部２に保持されている画像のうち、動作の開始となる画像を取得し、注目点を決定し、対応点探索部４に送る。対応点探索部４は、画像取得部２に保持されている画像から、注目点決定部３により前記注目点が決定された画像に対応する画像を取得し、対応点探索を行い、注目点に対するサブピクセルレベルの対応点を求める。なお、対応点探索の方法は、上述の方法を用いればよいが、上述以外の方法であってもサブピクセルレベルの注目点から、サブピクセルレベルの対応点を探索できる方法であればよい。対応点探索部４は、注目点および求めた対応点を動きベクトル算出部５に送る。また、対応点探索部４により求めた対応点のうち、その点に対応する点を探索する必要がある場合は、その対応点が注目点決定部３により、注目点として決定される。そして、再び、対応点探索部４に送られ、対応点が探索される。そして、上述の処理が繰り返される。また、このようにして、対応点探索がなされている際に、上述したように、対応点探索部４は、随時対応点探索の信頼性の評価を行っており、信頼性が低い場合は、動作を停止する等すればよい。

動きベクトル算出部５は、対応点探索部４により求められた点から、上述の方法により距離情報および動きベクトル等を算出する。そして、その結果を動きベクトル解析部６へと送る。動きベクトル解析部６は、距離情報および動きベクトル等を表示部８により表示するため等の所定の解析を行う。そして、生成された動きベクトルの解析結果は、表示部８に送られ、表示される。

このように、本実施形態に係る動きベクトル生成装置１は、対応点探索の際に、サブピクセルレベルの位置に注目点があった場合でも、その位置に対する対応点を直接求めることができる。また、求められた、サブピクセルレベルの位置における対応点に対応する点を直接求め、それを繰り返していく。したがって、連続的であって、高精度な動きベクトルを生成することができる。

つまり、注目点となる点の座標を補正等せずに、その座標から直接対応点を求めていくので、本実施形態に係る動きベクトル生成装置１は、より高精度の動きベクトルを生成することができるという効果を奏する。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる動きベクトル生成装置は、複数の画像を取得し、保持する画像取得部と、前記画像取得部に保持されている複数の画像のうちいずれか１つの画像において、サブピクセルレベルの注目点を決定する注目点決定部と、前記画像取得部に保持されている複数の画像のうち、前記注目点が決定された前記画像とは異なる画像における前記注目点に対応する対応点をサブピクセルレベルで探索する対応点探索部と、前記注目点および前記対応点を基に、動きベクトルを算出する動きベクトル算出部とを備え、前記注目点決定部は、前記対応点探索部が前記対応点を探索した後、前記探索された対応点を、前記探索された画像において注目点として決定し、前記動きベクトル算出部は、順次に決定される注目点および、該注目点に対応し、探索される対応点を基に順次に動きベクトルを算出するものである。

このように、動きベクトル生成装置は、注目点の対応点を、サブピクセルレベルで求め、さらに求められた対応点を注目点として、そのサブピクセルレベルの位置に対する対応点をサブピクセルレベルで求め、複数の画像、例えば時系列な複数の画像において、これを繰り返していく。これにより、各対応点は、各注目点に対して直接求められるので、例えば時系列的に求められる動きベクトルは、連続的なつながりを持つ。また、順次求められる対応点は、その注目点に対して高精度に求められるため、注目点の追尾をより正確に行うことができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、前記注目点が決定された画像において、前記注目点を重心位置とするテンプレートを設定し、前記テンプレートを用いて、前記注目点に対応する対応点をサブピクセルレベルで探索するものである。

この構成によれば、重心位置をサブピクセルレベルとするテンプレートを用いて、対応点探索が行われる。このため、このような構成の動きベクトル生成装置は、サブピクセルレベルの注目点に対応する点を直接的に求めることができるので、高精度の対応点探索を実現できる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、前記注目点が決定された画像において、前記注目点の最近傍の画素を重心位置とするテンプレートを設定し、前記画素の重心位置に対応する点を、前記テンプレートを用いて探索し、前記探索した点の位置を、前記注目点と前記注目点の最近傍の画素の重心位置とのずれ量だけずらすことで、前記対応点をサブピクセルレベルで探索するものである。

この構成によれば、直接サブピクセルレベルの演算を行うことなく、ピクセルレベルの演算により対応点が求められ、その後にその対応点をずらすことで、サブピクセルレベルの対応点探索が行われる。このため、このような構成の動きベクトル生成装置は、演算量が少なくてすみ、演算時間も短時間である。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、前記注目点が決定された画像において、前記注目点の最近傍の画素を重心位置とするテンプレートを設定し、前記注目点が決定された前記画像とは異なる画像における、前記画素の重心位置に対応する点を、前記テンプレートを用いて探索し、前記探索した点の位置を、前記注目点と前記注目点の最近傍の画素の重心位置とのずれ量だけずらすことで、前記対応点をサブピクセルレベルで探索するものである。

この構成によっても、直接サブピクセルレベルの演算を行うことなく、ピクセルレベルの演算により対応点が求められ、その後にその対応点をずらすことで、サブピクセルレベルの対応点探索が行われる。このため、このような構成の動きベクトル生成装置は、演算量が少なくてすみ、演算時間も短時間である。

また、他の一態様では、上述の動きベクトル生成装置において、前記複数の画像は、一対のステレオ画像を複数備えて成り、前記注目点決定部は、前記一対のステレオ画像のうちの一方の画像において、サブピクセルレベルの注目点を決定し、前記対応点探索部は、さらに、前記注目点が決定された画像と対をなす他方の画像における前記注目点に対応する対応点をサブピクセルレベルで探索するものである。

このような構成の動きベクトル生成装置は、ステレオ画像を用いることで、距離情報を得ることができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記動きベクトル算出部は、さらに、前記一対のステレオ画像間において互いに対応する点をもとに、当該一対のステレオ画像が撮像された際の距離情報を算出し、前記動きベクトル算出部は、前記動きベクトルの算出において、前記距離情報も用いるものである。

この構成によれば、ステレオ画像を用いて、カメラから注目点までの距離等の距離情報を求めることができる。このため、このような構成の動きベクトル生成装置は、３次元動きベクトルを得ることができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記複数の画像は、一対のステレオ画像を時系列で複数備えて成り、前記注目点決定部は、前記一対のステレオ画像のうちの一方の画像において、サブピクセルレベルの注目点を決定し、前記対応点探索部は、前記注目点が決定された画像とは異なる時刻のステレオ画像のうち、前記注目点が決定された画像に対応する画像における前記注目点に対応する対応点を前記サブピクセルレベルで探索し、前記注目点決定部は、前記注目点に対応する対応点を、注目点として決定し、当該注目点が決定された画像とは異なる時刻のステレオ画像のうち、当該注目点が決定された画像に対応する画像における当該注目点に対応する対応点を前記サブピクセルレベルで順次に探索していき、かつ、当該注目点が決定された画像と対をなす他方の画像における前記注目点に対応する対応点を前記サブピクセルレベルで探索するものである。

この構成によれば、連続する時系列ステレオ画像における各画像間で対応する点を探索していくことから、このような構成の動きベクトル生成装置は、カメラから注目点までの距離等の距離情報を求めることができ、３次元動きベクトルを得ることができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記複数の画像は、一対のステレオ画像を時系列で複数備えて成り、前記注目点決定部は、前記一対のステレオ画像のうちの一方の画像において、サブピクセルレベルの注目点を決定し、前記対応点探索部は、さらに、前記注目点が決定された画像と対をなす他方の画像における前記注目点に対応する対応点を前記サブピクセルレベルで探索し、前記注目点決定部は、前記一方の画像における前記注目点に加えて、前記他方の画像における前記注目点に対応する対応点を、注目点として決定し、前記それぞれの注目点の画像と異なる時刻の一対のステレオ画像のうち、それぞれの注目点の画像に対応する画像上に、前記それぞれの注目点に対応する対応点を前記サブピクセルレベルで順次に探索していくものである。

この構成によれば、連続する時系列ステレオ画像における各画像間で対応する点を探索していくことから、このような構成の動きベクトル生成装置は、カメラから注目点までの距離等の距離情報を求めることができ、３次元動きベクトルを得ることができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、画像を補間することで前記テンプレートを生成するものである。

このような構成の動きベクトル生成装置は、例えば、双一次補間（バイリニア）や双三次補間（バイキュービック）等の、よく知られた画像処理方法を用いることができ、容易に適切な探索用テンプレートを生成することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、窓関数を用いることで前記テンプレートを生成するものである。

このような構成の動きベクトル生成装置では、窓関数を用いることで、擬似的にサブピクセルレベルに配置されたテンプレートを生成することができる。このため、例えば、周波数分解を用いて対応点探索を行う場合に用いる窓関数により擬似的にサブピクセルずれを生じさせてテンプレートを生成することができる。したがって、このような構成の動きベクトル生成装置は、容易に適切なテンプレートを生成することができる。また、周波数分解を用いて対応点探索を行う場合には、新たに処理を増加させる必要がなく、高速に処理することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、一つの前記注目点に対応する複数の対応点を探索する際には、いずれの対応点の探索においても、同一の対応点探索方法を用いるものである。

このような構成の動きベクトル生成装置では、いずれの対応点探索においても、テンプレートを共通化することができるので、このような構成の動きベクトル生成装置は、テンプレートの設定にかかる時間を短縮することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、一つの前記対応点を複数の前記注目点に基づいて探索するものである。

このような構成の動きベクトル生成装置は、対応点探索の信頼性評価を行うことができる。すなわち、例えば、本来は、同一の対応点が求まるべき、複数の注目点による対応点探索を行うことで、同一の対応点が求まらなかった場合には、対応点探索の信頼性が低いと判断することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、同一時刻に撮像された一対のステレオ画像における一方の画像の点に基づいて、他方の画像における対応点を探索している場合に、所定の条件において、前記他方の画像とは異なる時刻に撮像された、前記他方の画像と時系列的に対応する画像の点に基づいて、前記対応点を探索するものである。

このような構成の動きベクトル生成装置は、対応点探索の信頼性を評価することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、異なる時刻に撮像された時系列的に対応している画像の点に基づいて対応点を探索している場合に、所定の条件において、前記対応点が探索された画像と同時刻に撮像された、一対のステレオ画像における一方の画像の点に基づいて、前記対応点を探索するものである。

このような構成の動きベクトル生成装置は、対応点探索の信頼性を評価することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記所定の条件とは、所定のフレーム数であるものである。

このような構成の動きベクトル生成装置は、時系列画像の一定のフレームごとに上述の対応点探索の信頼性評価がなされるので、誤った追尾がなされないように、定期的に監視されることになる。

また、他の一態様では、上述の動きベクトル生成装置において、前記所定の条件は、対応点探索における類似度により決まるものである。

このような構成の動きベクトル生成装置は、正しい対応点探索が行われていない可能性が高い場合に、対応点探索の信頼性を評価することができる。すなわち、対応点探索における類似度が低い場合は、正しい対応点探索が行われていない可能性が高い。したがって、この場合は、対応点探索が誤りである可能性が高いと判断できる。

また、他の一態様では、上述の動きベクトル生成装置において、前記所定の条件は、前記動きベクトルにより決まるものである。

このような構成の動きベクトル生成装置は、正しい対応点探索が行われていない可能性が高い場合に、対応点探索の信頼性を評価することができる。すなわち、動きベクトルの大きさまたは方向が、例えば１つ前の動きベクトルに比べて、大きく異なる場合は、正しい対応点探索が行われていない可能性が高い。したがって、この場合は対応点探索が誤りである可能性が高いと判断できる。

また、他の一態様では、上述の動きベクトル生成装置において、前記所定の条件は、前記テンプレート内のコントラストにより決まるものである。

このような構成の動きベクトル生成装置は、正しい対応点探索が行われていない可能性が高い場合に、対応点探索の信頼性を評価することができる。すなわち、テンプレート内のコントラストが低い場合は、正しい対応点探索が行われていない可能性が高い。したがって、この場合は対応点探索が誤りである可能性が高いと判断できる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、周波数分解され、振幅成分が抑制された前記テンプレートの画像パターンを用いて、対応する点を探索するものである。

このような構成の動きベクトル生成装置は、周波数成分から振幅成分を抑制することで、画像間の輝度差やノイズの影響を受けにくいため、ロバスト性を有する対応点探索が可能である。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、一つの前記注目点に対応する複数の対応点を探索する際には、いずれの対応点の探索においても、周波数分解され、振幅成分が抑制された前記テンプレートの画像パターンとして同一のものを用いるものである。

このような構成の動きベクトル生成装置は、周波数分解され、振幅成分が抑制された前記テンプレートの画像パターンを共有化することができるので、演算処理時間を短くすることができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、周波数空間で前記画像パターンの位相成分を回転させることで前記テンプレートを生成するものである。

このような構成の動きベクトル生成装置は、周波数分解を利用する対応点探索において、周波数空間で位相成分を回転することで、探索用テンプレートを生成することができるので、高速に処理することができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである。

この構成によれば、一般的に使用され、すでに確立されている手法により周波数分解を行うので、このような構成の動きベクトル生成装置は、確実に周波数分解を行うことができる。

また、他の一態様では、上述の動きベクトル生成装置において、前記対応点探索部は、位相限定相関法を用いて対応点を探索するものである。

このような構成の動きベクトル生成装置は、位相限定相関法を用いることで、より高精度な探索が可能となる。

また、他の一態様にかかる動きベクトル生成方法は、複数の画像のうちいずれかの画像において、サブピクセルレベルの注目点を決定する注目点決定工程と、前記複数の画像のうち、前記注目点が決定された前記画像と異なる画像における前記注目点に対応する対応点をサブピクセルレベルで探索する対応点探索工程と、前記対応点探索工程により探索した対応点を、前記対応点を探索された画像の注目点として決定し、前記対応点探索工程を繰り返す工程と、前記注目点および前記対応点をもとに、動きベクトルを算出する動きベクトル算出工程とを備える。

このような構成の動きベクトル生成方法は、注目点の対応点をサブピクセルレベルで求め、さらに求められた対応点を注目点として、そのサブピクセルレベルの位置に対する対応点をサブピクセルレベルで求め、これを繰り返すことで、動きベクトルを生成している。これにより、生成された動きベクトルは、連続的なつながりを持つ。また、順次求められる対応点は、その注目点に対して高精度に求められるため、注目点の追尾をより正確に行うことができる。

この出願は、２００９年１月９日に出願された日本国特許出願特願２００９−３６５５を基礎とするものであり、その内容は、本願に含まれるものである。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、動きベクトルを生成する動きベクトル生成装置および動きベクトル生成方法を提供することができる。

Claims (25)

1. 複数の画像を取得し、保持する画像取得部と、
   前記画像取得部に保持されている複数の画像のうちいずれか１つの画像において、サブピクセルレベルの注目点を決定する注目点決定部と、
   前記画像取得部に保持されている複数の画像のうち、前記注目点が決定された画像とは異なる画像における前記注目点に対応する対応点を探索する対応点探索部と、
   前記注目点および前記対応点を基に、動きベクトルを算出する動きベクトル算出部とを備え、
   前記注目点決定部は、前記対応点探索部が前記対応点を探索した後、前記探索された対応点を、前記探索された画像において注目点として決定し、
   前記動きベクトル算出部は、順次に決定される注目点および、該注目点に対応し、探索される対応点を基に順次に動きベクトルを算出し、
   前記対応点探索部は、前記注目点が決定された画像において、前記注目点を重心位置として一定の領域で区切られた範囲の画像パターンをテンプレートとして設定し、かつ、前記対応点が探索される画像において、前記テンプレートと同じ大きさを持つウィンドウを設定し、前記ウィンドウをずらしながら前記テンプレートと各ウィンドウとの相関値を計算することにより、前記注目点に対応する対応点を探索することを特徴とする動きベクトル生成装置。
2. 複数の画像を取得し、保持する画像取得部と、
   前記画像取得部に保持されている複数の画像のうちいずれか１つの画像において、サブピクセルレベルの注目点を決定する注目点決定部と、
   前記画像取得部に保持されている複数の画像のうち、前記注目点が決定された画像とは異なる画像における前記注目点に対応する対応点を探索する対応点探索部と、
   前記注目点および前記対応点を基に、動きベクトルを算出する動きベクトル算出部とを備え、
   前記注目点決定部は、前記対応点探索部が前記対応点を探索した後、前記探索された対応点を、前記探索された画像において注目点として決定し、
   前記動きベクトル算出部は、順次に決定される注目点および、該注目点に対応し、探索される対応点を基に順次に動きベクトルを算出し、
   前記対応点探索部は、前記注目点が決定された画像において、前記注目点の最近傍の画素を重心位置として一定の領域で区切られた範囲の画像パターンをテンプレートとして設定し、かつ、前記対応点が探索される画像において、前記テンプレートと同じ大きさを持つウィンドウを設定し、前記ウィンドウをずらしながら前記テンプレートと各ウィンドウとの相関値を計算し、前記最近傍の画素に対応する点として探索された前記参照画像中の点を、前記注目点と前記注目点の最近傍の画素とのずれ量だけずらすことで、前記対応点を探索することを特徴とする動きベクトル生成装置。
3. 前記複数の画像は、一対のステレオ画像を複数備えて成り、
   前記注目点決定部は、前記一対のステレオ画像のうちの一方の画像において、サブピクセルレベルの注目点を決定し、
   前記対応点探索部は、さらに、前記注目点が決定された画像と対をなす他方の画像における前記注目点に対応する対応点を探索することを特徴とする請求項１又は２に記載の動きベクトル生成装置。
4. 前記動きベクトル算出部は、さらに、前記一対のステレオ画像間において互いに対応する点をもとに、当該一対のステレオ画像が撮像された際の距離情報を算出し、
   前記動きベクトル算出部は、前記動きベクトルの算出において、前記距離情報も用いることを特徴とする請求項３に記載の動きベクトル生成装置。
5. 前記複数の画像は、一対のステレオ画像を時系列で複数備えて成り、
   前記注目点決定部は、前記一対のステレオ画像のうちの一方の画像において、サブピクセルレベルの注目点を決定し、
   前記対応点探索部は、前記注目点が決定された画像とは異なる時刻のステレオ画像のうち、前記注目点が決定された画像に対応する画像における前記注目点に対応する対応点を探索し、
   前記注目点決定部は、前記注目点に対応する対応点を、注目点として決定し、当該注目点が決定された画像とは異なる時刻のステレオ画像のうち、当該注目点が決定された画像に対応する画像における当該注目点に対応する対応点を順次に探索していき、かつ、当該注目点が決定された画像と対をなす他方の画像における前記注目点に対応する対応点を探索することを特徴とする請求項１又は２に記載の動きベクトル生成装置。
6. 前記複数の画像は、一対のステレオ画像を時系列で複数備えて成り、
   前記注目点決定部は、前記一対のステレオ画像のうちの一方の画像において、サブピクセルレベルの注目点を決定し、
   前記対応点探索部は、さらに、前記注目点が決定された画像と対をなす他方の画像における前記注目点に対応する対応点を探索し、
   前記注目点決定部は、前記一方の画像における前記注目点に加えて、前記他方の画像における前記注目点に対応する対応点を、注目点として決定し、
   前記それぞれの注目点の画像と異なる時刻の一対のステレオ画像のうち、それぞれの注目点の画像に対応する画像上に、前記それぞれの注目点に対応する対応点を順次に探索していくことを特徴とする請求項１又は２に記載の動きベクトル生成装置。
7. 前記対応点探索部は、前記注目点の周りに位置する画素の輝度値を用いて前記注目点の輝度値を補間することで前記テンプレートを生成することを特徴とする請求項１に記載の動きベクトル生成装置。
8. 前記対応点探索部は、サブピクセルレベルの位置にある注目点における、画素の位置からのずれ量を含む窓関数を、前記注目点が決定された画像に乗じることで前記テンプレートを生成することを特徴とする請求項１に記載の動きベクトル生成装置。
9. 前記対応点探索部は、一つの前記注目点に対応する複数の対応点を探索する際には、いずれの対応点の探索においても、同一の対応点探索方法を用いることを特徴とする請求項５または請求項６に記載の動きベクトル生成装置。
10. 前記対応点探索部は、一つの前記対応点を複数の前記注目点に基づいて探索することを特徴とする請求項３に記載の動きベクトル生成装置。
11. 前記対応点探索部は、同一時刻に撮像された一対のステレオ画像における一方の画像の点に基づいて、他方の画像における対応点を探索している場合に、所定のフレーム数ごとに、前記他方の画像とは異なる時刻に撮像された、前記他方の画像と時系列的に対応する画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
12. 前記対応点探索部は、異なる時刻に撮像された時系列的に対応している画像の点に基づいて対応点を探索している場合に、所定のフレーム数ごとに、前記対応点が探索された画像と同時刻に撮像された、一対のステレオ画像における一方の画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
13. 前記対応点探索部は、同一時刻に撮像された一対のステレオ画像における一方の画像の点に基づいて、他方の画像における対応点を探索している場合に、前記一方の画像と前記他方の画像との類似度が所定の閾値より低い場合において、前記他方の画像とは異なる時刻に撮像された、前記他方の画像と時系列的に対応する画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
14. 前記対応点探索部は、異なる時刻に撮像された時系列的に対応している画像の点に基づいて対応点を探索している場合に、前記一方の画像と前記他方の画像との類似度が所定の閾値より低い場合において、前記対応点が探索された画像と同時刻に撮像された、一対のステレオ画像における一方の画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
15. 前記対応点探索部は、同一時刻に撮像された一対のステレオ画像における一方の画像の点に基づいて、他方の画像における対応点を探索している場合に、動きベクトルが所定の閾値以上変化した場合において、前記他方の画像とは異なる時刻に撮像された、前記他方の画像と時系列的に対応する画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
16. 前記対応点探索部は、異なる時刻に撮像された時系列的に対応している画像の点に基づいて対応点を探索している場合に、動きベクトルが所定の閾値以上変化した場合において、前記対応点が探索された画像と同時刻に撮像された、一対のステレオ画像における一方の画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
17. 前記対応点探索部は、同一時刻に撮像された一対のステレオ画像における一方の画像の点に基づいて、他方の画像における対応点を探索している場合に、前記テンプレート内のコントラストが所定の閾値より低い場合において、前記他方の画像とは異なる時刻に撮像された、前記他方の画像と時系列的に対応する画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
18. 前記対応点探索部は、異なる時刻に撮像された時系列的に対応している画像の点に基づいて対応点を探索している場合に、前記テンプレート内のコントラストが所定の閾値より低い場合において、前記対応点が探索された画像と同時刻に撮像された、一対のステレオ画像における一方の画像の点に基づいて、前記対応点を探索することを特徴とする請求項３に記載の動きベクトル生成装置。
19. 前記対応点探索部は、周波数分解され、振幅成分が抑制された前記テンプレートの画像パターンを用いて、対応する点を探索することを特徴とする請求項１に記載の動きベクトル生成装置。
20. 前記対応点探索部は、一つの前記注目点に対応する複数の対応点を探索する際には、いずれの対応点の探索においても、周波数分解され、振幅成分が抑制された前記テンプレートの画像パターンとして同一のものを用いることを特徴とする請求項１９に記載の動きベクトル生成装置。
21. 前記対応点探索部は、周波数空間で前記画像パターンの位相成分を回転させることで前記テンプレートを生成することを特徴とする請求項１９に記載の動きベクトル生成装置。
22. 前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかであることを特徴とする請求項１９に記載の動きベクトル生成装置。
23. 前記対応点探索部は、位相限定相関法を用いて対応点を探索することを特徴とする請求項１に記載の動きベクトル生成装置。
24. 複数の画像のうちいずれかの画像において、サブピクセルレベルの注目点を決定する注目点決定工程と、
    前記複数の画像のうち、前記注目点が決定された前記画像と異なる画像における前記注目点に対応する対応点を探索する対応点探索工程と、
    前記対応点探索工程により探索した対応点を、前記対応点を探索された画像の注目点として決定し、前記対応点探索工程を繰り返す工程と、
    前記注目点および前記対応点をもとに、動きベクトルを算出する動きベクトル算出工程とを備え、
    前記対応点探索工程は、前記注目点が決定された画像において、前記注目点を重心位置として一定の領域で区切られた範囲の画像パターンをテンプレートとして設定し、かつ、前記対応点が探索される画像において、前記テンプレートと同じ大きさを持つウィンドウを設定し、前記ウィンドウをずらしながら前記テンプレートと各ウィンドウとの相関値を計算することにより、前記注目点に対応する対応点を探索することを特徴とする動きベクトル生成方法。
25. 複数の画像のうちいずれかの画像において、サブピクセルレベルの注目点を決定する注目点決定工程と、
    前記複数の画像のうち、前記注目点が決定された前記画像と異なる画像における前記注目点に対応する対応点を探索する対応点探索工程と、
    前記対応点探索工程により探索した対応点を、前記対応点を探索された画像の注目点として決定し、前記対応点探索工程を繰り返す工程と、
    前記注目点および前記対応点をもとに、動きベクトルを算出する動きベクトル算出工程とを備え、
    前記対応点探索工程は、前記注目点が決定された画像において、前記注目点の最近傍の画素を重心位置として一定の領域で区切られた範囲の画像パターンをテンプレートとして設定し、かつ、前記対応点が探索される画像において、前記テンプレートと同じ大きさを持つウィンドウを設定し、前記ウィンドウをずらしながら前記テンプレートと各ウィンドウとの相関値を計算し、前記最近傍の画素に対応する点として探索された前記参照画像中の点を、前記注目点と前記注目点の最近傍の画素とのずれ量だけずらすことで、前記対応点を探索することを特徴とする動きベクトル生成方法。

Images