JP5062531B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、ステレオ画像処理または時系列画像処理を行う画像処理装置および画像処理方法に関する。

特許文献１は、１対のカメラにより物体を撮像し、その画像間のずれ量（視差）によりカメラから物体までの距離分布を高速に算出する相関演算方法として基本的なステレオマッチング方法を開示する。すなわち、１対の撮像装置で物体を撮像し、多重解像度画像生成部でその画像をピラミッド構造の多重解像度画像にし、次いで、演算量を削減するため空間フィルタによって各層の画像をエッジ画像化し、次いで、相関演算部によって、各層間でステレオ照合を行い、この時、先ず低解像度画像である上層の画像間でそれを行い概略の視差を求める。また、その視差より次層のステレオ照合に対する照合領域と探索領域を設定する。これを繰り返すことにより、最終層までステレオ照合を短時間で終了させる（要約参照）。
特開２００１−３１９２２９号公報

特許文献１では、すべてのピラミッド階層でステレオ演算をするか、または途中のピラミッド階層で低信頼度であると、それ以上の階層では演算を行わないようにしている。このように基本的にすべてのピラミッド階層でステレオマッチングの演算を行うので、演算量が増えてしまう。このため、演算処理時間が長くなったり回路構成が大規模になってしまい、装置コストの増大につながってしまう。

本発明は、上述のような従来技術の問題に鑑み、演算量を減らすことができるとともに、信頼性の高いデータが得られかつ精度も高い画像処理装置および画像処理方法を提供することを目的とする。

上記目的を達成するための本実施形態の画像処理装置について図１〜図１０を参照して説明する。

図１の画像処理装置は、基準画像と参照画像とを入力し取得する画像入力部１１と、前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成部１２と、対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定部１３と、前記解像度選択・対応点探索領域設定部１３の情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理部１４と、を備えことを特徴とする。前記多重解像度画像を用いてステレオ画像処理または時系列画像処理を行うことができる。また、対応点探索処理結果は出力部１５から出力する。

図１の画像処理装置によれば、解像度選択・対応点探索領域設定部１３で、対応点探索処理を行う画像解像度を選択し、対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定し、これらの画像解像度および探索領域に基づいて対応点探索処理部１４で基準画像と参照画像との間の対応点を探索することにより、すべての解像度画像で演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。

図２の画像処理装置は、図１において、前記解像度選択・対応点探索領域設定部１３が、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果から所定値を所定値演算手段により演算し、前記所定値を用いて、対応点探索処理を行う画像解像度を選択する解像度選択部１６と、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて現フレームにおける基準画像上の各領域に対応する参照画像上の対応点を推定し、前記推定した参照画像上の対応点に探索領域を設定する対応点探索領域設定部１７と、前記解像度選択部１６で選択された解像度情報を保持する選択解像度保持部１８と、前記対応点探索領域設定部１７で設定された領域情報を保持する設定対応点探索領域保持部１９と、を備えることを特徴とする。対応点探索処理部１４は、前記基準画像と前記探索領域が設定された前記参照画像との間の対応点を前記選択した画像解像度で探索する。

図２の画像処理装置によれば、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択し、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。

図３の画像処理装置は、図１において、前記解像度選択・対応点探索領域設定部１３が、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果を保持する対応点探索処理結果保持部２０と、前記対応点探索処理結果保持部２０に保持された、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果から所定値を所定値演算手段により演算し、前記所定値を用いて、対応点探索処理を行う画像解像度を選択する解像度選択部２１と、前記対応点探索処理結果保持部２０に保持された、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて現フレームにおける基準画像上の各領域に対応する参照画像上の対応点を推定し、前記推定した参照画像上の対応点に探索領域を設定する対応点探索領域設定部２２と、を備えることを特徴とする。

図３の画像処理装置によれば、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果を保持し、その対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。

図２において前記選択解像度保持部１８および前記設定対応点探索領域保持部１９は、前記基準画像もしくは前記参照画像の画素数分だけ、または、前記対応点探索処理を行う点数分だけの前記画像解像度情報と前記探索領域情報を保持しておくことを特徴とする。

図３において前記対応点探索処理結果保持部２０は、１フレームまたは複数フレームの各フレームの対応点探索処理結果を保持することを特徴とする。

図４，図５の画像処理装置は、図２，図３において前記解像度選択部１６，２１は、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算する所定値演算部２５を備え、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする。

図２〜図５において前記解像度選択部１６，２１は、前記画像解像度の選択をフレーム毎に行うことを特徴とする。この具体例について図６のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。ｎフレーム目の選択解像度を、図２，図４の選択解像度保持部１８（または、図２〜図５の解像度選択部１６，２１）から取得する（Ｓ０１）。ｉ＝０とし（Ｓ０２）、ｉ番目の対応点探索領域を、図２，図４の対応点探索領域保持部１９（または、図２〜図５の対応点探索領域設定部１７，２２）から取得する（Ｓ０３）。次に、図２〜図５の対応点探索処理部１４で対応点探索処理を行う（Ｓ０４）。次に、ｉ＝ｉ＋１とし（Ｓ０５）、ｉが所定の処理点数に達しなければ（Ｓ０６）、ステップＳ０３に戻り、次の対応点探索領域を取得し対応点探索処理を行う。ｉが所定の処理点数に達すると（Ｓ０６）、ｎフレーム目の処理が完了する。

図２〜図５において前記解像度選択部１６，２１は、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする。この具体例について図７のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。ｉ＝０とし（Ｓ１１）、ｉ番目の画素の選択解像度を、図２，図４の選択解像度保持部１８（または、図２〜図５の解像度選択部１６，２１）から取得する（Ｓ１２）。ｉ番目の画素の対応点探索領域を、図２，図４の対応点探索領域保持部１９（または、図２〜図５の対応点探索領域設定部１７，２２）から取得する（Ｓ１３）。次に、図２〜図５の対応点探索処理部１４で対応点探索処理を行う（Ｓ１４）。次に、ｉ＝ｉ＋１とし（Ｓ１５）、ｉが所定の処理点数に達しなければ（Ｓ１６）、ステップＳ１２に戻り、次の画素の選択解像度および対応点探索領域を取得し対応点探索処理を行う。ｉが所定の処理点数に達すると（Ｓ１６）、ｎフレーム目の処理が完了する。

図４，図５の前記所定値演算部２５は、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする。この具体例について図８のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。まず、ｉ＝０とし（Ｓ２１）、（ｎ−１）フレーム目のｉ番目の対応点探索処理結果を、図５の対応点探索処理結果保持部２０（または、図４，図５の対応点探索処理部１４）から取得する（Ｓ２２）。その対応点探索処理結果の信頼度が閾値以上であるか否かを判断し（Ｓ２３）、閾値以上である（高信頼度）場合には、図４，図５の解像度選択部１６，２１で、（ｎ−１）フレーム目よりも１段だけ高解像度の画像を選択する（Ｓ２４）。ただし、（ｎ−１）フレーム目の解像度が最高解像度の場合は最高解像度を選択する。次に、図４，図５の対応点探索領域設定部１７，２２で、（ｎ−１）フレーム目の対応点探索処理結果からｎフレーム目の参照画像の推定点にウィンドウを設定する（Ｓ２５）。

上記ステップＳ２３で、対応点探索処理結果の信頼度が閾値未満である（低信頼度）場合には、図４，図５の解像度選択部１６，２１で最低解像度を選択する（Ｓ２６）。次に、図４，図５の対応点探索領域設定部１７，２２でウィンドウを基準画像と同一座標に設定する（Ｓ２７）。

次に、図４，図５の対応点探索処理部１４で基準画像のウィンドウに対応する参照画像のウィンドウ位置について対応点探索処理を行う（Ｓ２８）。次に、図４，図５の対応点探索処理部１４または対応点探索処理結果保持部２０で対応点探索処理結果を保持する（Ｓ２９）。次に、ｉ＝ｉ＋１とし（Ｓ３０）、ｉが所定の処理点数に達しなければ（Ｓ３１）、ステップＳ２２に戻る。ｉが所定の処理点数に達すると（Ｓ３１）、ｎフレーム目の処理が完了する。

また、図４，図５の前記所定値演算部２５は、対応点探索処理における距離値を所定値とすることを特徴とする。この具体例について図９のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。まず、ｉ＝０とし（Ｓ４１）、（ｎ−１）フレーム目のｉ番目の対応点探索処理結果を、図５の対応点探索処理結果保持部２０（または、図４，図５の対応点探索処理部１４）から取得する（Ｓ４２）。その対応点探索処理の対応点探索処理結果を距離値に変換し（Ｓ４３）、その距離値を三段階に判断する（Ｓ４４）。

すなわち、遠距離の場合は、図４，図５の解像度選択部１６，２１で高解像度を選択する（Ｓ４５）。中距離の場合は、解像度選択部１６，２１で中解像度を選択する（Ｓ４６）。近距離の場合は、解像度選択部１６，２１で低解像度を選択する（Ｓ４７）。

次に、図４，図５の対応点探索領域設定部１７，２２で、（ｎ−１）フレーム目の対応点探索処理結果からｎフレーム目の参照画像の推定点にウィンドウを設定する（Ｓ４８）。次に、図４，図５の対応点探索処理部１４で基準画像のウィンドウ位置に対応する参照画像のウィンドウ位置について対応点探索処理を行う（Ｓ４９）。次に、図４，図５の対応点探索処理部１４または対応点探索処理結果保持部２０で対応点探索処理結果を保持する（Ｓ５０）。次に、ｉ＝ｉ＋１とし（Ｓ５１）、ｉが所定の処理点数に達しなければ（Ｓ５２）、ステップＳ４２に戻る。ｉが所定の処理点数に達すると（Ｓ５２）、ｎフレーム目の処理が完了する。

また、図４，図５の前記所定値演算部２５は、時系列処理における移動量または速度を所定値とすることを特徴とする。この具体例について図１０のフローチャートによりｎフレーム（ｎ：２以上の整数）目の処理で説明する。まず、ｉ＝０とし（Ｓ６１）、（ｎ−１）フレーム目のｉ番目の対応点探索処理結果を、図５の対応点探索処理結果保持部２０（または、図４，図５の対応点探索処理部１４）から取得する（Ｓ６２）。その時系列処理の対応点探索処理結果を移動量に変換し（Ｓ６３）、その移動量を三段階に判断する（Ｓ６４）。

すなわち、移動量が小の場合は、図４，図５の解像度選択部１６，２１で高解像度を選択する（Ｓ６５）。移動量が中の場合は、解像度選択部１６，２１で中解像度を選択する（Ｓ６６）。移動量が大の場合は、解像度選択部１６，２１で低解像度を選択する（Ｓ６７）。

次に、図４，図５の対応点探索領域設定部１７，２２で、（ｎ−１）フレーム目の対応点探索処理結果からｎフレーム目の参照画像の推定点にウィンドウを設定する（Ｓ６８）。次に、図４，図５の対応点探索処理部１４で基準画像のウィンドウに対応する参照画像のウィンドウ位置について対応点探索処理を行う（Ｓ６９）。次に、図４，図５の対応点探索処理部１４または対応点探索処理結果保持部２０で対応点探索処理結果を保持する（Ｓ７０）。次に、ｉ＝ｉ＋１とし（Ｓ７１）、ｉが所定の処理点数に達しなければ（Ｓ７２）、ステップＳ６２に戻る。ｉが所定の処理点数に達すると（Ｓ７２）、ｎフレーム目の処理が完了する。

本実施形態の画像処理方法は、基準画像と参照画像とを入力し取得するステップと、前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成ステップと、対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定ステップと、前記解像度選択・対応点探索領域設定ステップの情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理ステップと、を含むことを特徴とする。

この画像処理方法によれば、対応点探索処理を行う画像解像度を選択し、対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定し、これらの画像解像度および探索領域に基づいて基準画像と参照画像との間の対応点を探索することにより、すべての解像度画像で演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。また、前記多重解像度画像を用いてステレオ画像処理または時系列画像処理を行うことができる。

前記解像度選択・対応点探索領域設定ステップは、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果から所定値を演算し、前記所定値を用いて、対応点探索処理を行う画像解像度を選択する解像度選択ステップと、
現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて現フレームにおける基準画像上の各領域に対応する参照画像上の対応点を推定し、前記推定した参照画像上の対応点に探索領域を設定する対応点探索領域設定ステップと、前記解像度選択ステップで選択された解像度情報を保持する選択解像度保持ステップと、前記対応点探索領域設定ステップで設定された領域情報を保持する設定対応点探索領域保持ステップと、を含むことを特徴とする。上述の対応点探索処理ステップにおいて、前記基準画像と前記前記探索領域が設定された参照画像との間の対応点を前記選択した画像解像度で探索する。

上述のように、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択し、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。

また、前記解像度選択・対応点探索領域設定ステップは、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果を保持する対応点探索処理結果保持ステップと、前記対応点探索処理結果保持ステップで保持された、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果から所定値を所定値演算手段により演算し、前記所定値を用いて、対応点探索処理を行う画像解像度を選択する解像度選択ステップと、前記対応点探索処理結果保持ステップで保持された、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて現フレームにおける基準画像上の各領域に対応する参照画像上の対応点を推定し、前記推定した参照画像上の対応点に探索領域を設定する対応点探索領域設定ステップと、を含むことを特徴とする。

上述のように、現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果を保持し、その対応点探索処理結果に基づいて対応点探索処理を行う画像解像度を選択することにより、一段の階層でしか演算をしないことで演算量を減らすことができ、信頼性の高いデータが得られかつ精度も高い。

また、前記選択解像度保持ステップおよび前記設定対応点探索領域保持ステップでは、前記基準画像もしくは前記参照画像の画素数分だけ、または、前記対応点探索処理を行う点数分だけの前記画像解像度情報と前記探索領域情報を保持しておくことを特徴とする。

また、前記対応点探索処理結果保持ステップでは、各フレームの対応点探索処理結果を保持することを特徴とする。

また、前記解像度選択ステップは、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算する所定値演算ステップを含み、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする。

また、前記解像度選択ステップでは、前記画像解像度の選択をフレーム毎に行うことを特徴とする。具体例は図６のとおりである。

また、前記解像度選択ステップでは、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする。具体例は図７のとおりである。

また、前記所定値演算ステップでは、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする。具体例は図８のとおりである。

また、前記所定値演算ステップでは、対応点探索処理における距離値を所定値とすることを特徴とする。具体例は図９のとおりである。

また、前記所定値演算ステップでは、時系列処理における移動量または速度を所定値とすることを特徴とする。具体例は図１０のとおりである。

上述の画像処理方法は、図１〜図５の画像処理装置により実行することができる。

本発明の画像処理装置および画像処理方法によれば、例えばステレオ画像処理または時系列画像処理などを行う際の演算量を減らすことができるとともに、信頼性の高いデータが得られかつ精度も高くなる。

以下、本発明を実施するための最良の形態について図面を用いて説明する。

まず、図１１により本実施の形態による画像処理装置の基本的動作を説明する。図１１は本実施の形態による画像処理装置の基本的な動作例（処理結果を次フレームに用いる）を説明するための概念図である。

本実施の形態による画像処理装置は、対応点探索処理や時系列処理を行うための、ピラミッド画像を使用した対応点探索処理において、ｎ番目（ｎ：１以上の整数）のフレームにおける所定値を用いて、（ｎ＋１）番目のフレームの画像解像度を選択するようにしたものである。この画像解像度の選択は、フレーム毎に行うこともできるし、画素毎（対応点を演算する点毎）に行うこともできる。ここで、所定値とは、例えば、処理結果の信頼度、対応点探索処理における距離値、または、時系列処理における移動量（速度）である。

図１１のように、処理結果の信頼度を所定値とする場合、ｎ（ｎ：１以上の整数）フレームにおいて基準画像と参照画像の対応点探索処理結果が高信頼度であると、次の（ｎ＋１）フレームの画像解像度を上げる。（ｎ＋１）フレームにおける処理結果が高信頼度であると、次の（ｎ＋２）フレームの画像解像度を上げる。（ｎ＋２）フレームにおける処理結果が低信頼度であると、次の（ｎ＋３）フレームでは対応点探索処理に使用する解像度を例えば、最低解像度とする。

図１１において、対応点探索のためのウィンドウは前フレームの結果から推定して設定するが、この場合の対応点の推定およびウィンドウ（探索範囲）の設定について説明する。

まず、前フレームの対応点探索結果、または、それ以前のフレームの対応点探索結果から、現フレームの対応点を推定する。以下の(1)〜(9)の方法から選択できる。

(1)前フレームの対応点探索結果を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。

(2)現フレーム以前のフレーム結果の平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。

(3)現フレーム以前のフレーム結果の重み付け平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。その場合に新しいフレームに重み付けする。

(4)現フレーム以前のフレーム結果の重み付け平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。その場合に結果の解像度に応じて重み付けする。

(5)現フレーム以前の信頼度の高いフレーム結果を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。

(6)現フレーム以前の信頼度の高いフレームの平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。

(7)現フレーム以前の信頼度の高いフレームの重み付け平均値を、現フレームで対応点探索処理をする解像度に対応させて、その点を推定点とする。その場合に高信頼度フレームに重み付けする。

(8)オプティカルフローで移動していなければ、現フレーム以前の複数フレームを使用して推定する。

(9)オプティカルフローで移動していなければ、前フレームの移動量から推定する。

次に、推定された対応点に対して探索範囲（ウィンドウ）を設定する。すなわち、推定点の信頼度によって、ウィンドウを設定するピラミッド画像の解像度を変えて、その解像度で画像の対応点探索処理を行う。以下の(10)〜(14)の方法から選択できる。

(10)推定点の信頼度が閾値以上（高信頼度）であれば、前フレームよりも高解像度で対応点探索処理を行う。推定点の信頼度が閾値以下（低信頼度）であれば、前フレームよりも低解像度で対応点探索処理を行う。

(11)推定点の信頼度が閾値以上（高信頼度）であれば、前フレームよりも高解像度で対応点探索処理を行う。推定点の信頼度が閾値以下（低信頼度）であれば、最低解像度で対応点探索処理を行う（図１１参照）。

(12)推定点が高信頼度であれば、前フレームよりも高解像度で対応点探索処理を行う。推定点が中信頼度であれば、前フレームよりも低解像度で対応点探索処理を行う。推定点が低信頼度であれば、最低解像度で対応点探索処理を行う。

(13)推定点が高信頼度もしくは中信頼度であれば、前フレームよりも高解像度で対応点探索処理を行う。ただし、高信頼度のほうがより解像度を上げられる。推定点が低信頼度であれば、前フレームよりも低解像度で対応点探索処理を行う。

(14)推定点が高信頼度もしくは中信頼度であれば、前フレームよりも高解像度で対応点探索処理を行う。ただし、高信頼度のほうがより解像度を上げられる。推定点が低信頼度であれば、最低解像度で対応点探索処理を行う。

また、本実施の形態による画像処理装置では、解像度と探索領域情報または対応点探索処理結果を以下の(15)〜(17)のような手段（ハードウエア）で保持することができる。

(15)次フレームで処理する「解像度と探索領域情報」を処理点数分だけメモリに保持する構成のハードウェア。

(16)現フレームの対応点探索処理結果を処理点数分だけメモリに保持しておき、次フレームでその情報を使用する構成のハードウェア。

(17)現フレームとそれ以前のフレームの対応点探索処理結果を処理点数分だけメモリに保持しておき、次フレームでその情報を使用する構成のハードウェア。

〈第１例〉
次に、本実施の形態の画像処理装置の第１例について図１２〜図１６を参照して具体的に説明する。

図１２は本実施の形態による画像処理装置（第１例）の概略的構成を示す要部ブロック図である。図１３は本実施の形態の画像処理装置において用いるピラミッド画像（画像Ａ〜Ｄ）を説明するための模式図である。

図１２に示す画像処理装置１０１は、図１，図２に対応した構成を有し、基準画像と参照画像とを入力し取得する画像入力部１１と、基準画像および参照画像の各多重解像度画像を生成する多重解像度画像生成部１２と、対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定部１３と、解像度選択・対応点探索領域設定部１３の情報に基づいて基準画像と参照画像との間の対応点を探索する対応点探索処理部１４と、対応点探索処理結果を出力する出力部１５と、を備える。

図１２の画像処理装置１０１は、一対のカメラ（ステレオカメラ）で撮像したステレオ画像を基準画像と参照画像とし、基準画像と参照画像との間の視差（位置ずれ量）に基づいて三角測量の原理により物体の３次元空間における位置を検出する際に、かかる視差を求めるために基準画像と参照画像とを対応点探索処理により対応づける画像処理を行うように構成可能であるが、これに限定されず、基準画像と参照画像とが時系列的な画像であってもよい。

図１２のように、多重解像度画像生成部１２は、画像入力部１１からの基準画像と参照画像について解像度変換を行う複数の解像度変換部１２ａ、１２ｂ、１２ｃを有し、さらに、各解像度の画像を保持し基準画像と参照画像のフレームバッファのためのＲＡＭ等からなる複数のメモリ１２ｄ、１２ｅ、１２ｆ、１２ｇを有する。

多重解像度画像生成部１２では、画像入力部１１から入力した画像データからピラミッド構造の多重解像度画像を生成する。例えば、図１３の画像サイズが１６０×１２０の画像Ｄの画像データが画像入力部１１から入力すると、画像Ｄの画像データをメモリ１２ｄに保存するとともに、解像度変換部１２ａで図１３の画像サイズが８０×６０の画像Ｃ（画像Ｄの画像サイズの１／２）に解像度変換し、画像Ｃの画像データをメモリ１２ｅに保存する。同様にして、解像度変換部１２ｂで図１３の画像サイズが４０×３０の画像Ｂ（画像Ｃの画像サイズの１／２）に解像度変換し、画像Ｂの画像データをメモリ１２ｆに保存し、次に、解像度変換部１２ｃで図１３の画像サイズが２０×１５の画像Ａ（画像Ｂの画像サイズの１／２）に解像度変換し、画像Ａの画像データをメモリ１２ｇに保存する。

対応点探索処理部１４は、各メモリ１２ｄ〜１２ｇから画像Ｄ〜Ａの各画像データを読み込み、さらに解像度選択・対応点探索領域設定部１３から解像度と対応点探索領域を読み込むことで、基準画像のウィンドウ画像と参照画像上の対応点探索領域のウィンドウ画像とを読み取る読取部１４ａと、読取部１４ａからのウィンドウ画像データに基づいて基準画像と参照画像との間の対応点探索処理のために並列演算を行う複数の演算ユニットからなる演算部１４ｂと、を有する。

演算部１４ｂの各演算ユニットは、例えば、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いて視差演算のための対応点探索処理を並列的に実行する。演算部１４ｂでの対応点探索処理結果は、出力部１５から外部に出力し、また、解像度選択・対応点探索領域設定部１３に入力する。

解像度選択・対応点探索領域設定部１３は、対応点探索処理部１４での対応点探索処理結果に基づいて解像度と対応点探索領域を計算し、その解像度をＲＡＭ等のメモリからなる選択解像度保持部１８で保持し、その対応点探索領域をＲＡＭ等のメモリからなる対応点探索領域保持部１９で保持する。

画像処理装置１０１では対応点探索処理結果の信頼度を所定値とし、解像度選択・対応点探索領域設定部１３で対応点探索処理部１４での結果に基づいて信頼度を演算する。かかる信頼度について図１４を参照して、差分絶対値和(Sum of Absolute Difference:SAD)による相関法で対応点探索処理を行う場合を例にして説明する。

図１４はステレオ画像による基準画像（ａ）および参照画像（ｂ）を模式的に示し、本実施の形態における信頼度の演算式を説明するための図である。

対応点探索処理部１４では、図１４（ａ）のように基準画像Ｇａ内に測距点Ｗａｏを設定し、測距点Ｗａｏを中心とした、所定サイズ、例えば９×９のウインドウＷａを設定する。また、図１４（ｂ）のように参照画像Ｇｂ内に測距点Ｗｂｏを設定し、測距点Ｗｂｏを中心とした、基準画像と同じサイズ９×９のウインドウＷｂを設定する。基準画像と参照画像の各測距点Ｗａｏ，Ｗｂｏの設定座標は同一座標である。ウインドウＷａ〜Ｗｂ間の相関度をＳＡＤ法で算出する。ＳＡＤ法とはウインドウ内の各画素毎の「差の絶対値の和」である。例えば、ウインドウサイズが９×９の場合は８１画素における「差の絶対値の和」となり、その値が小さいほど相関度が高い。相関値Ｒは、差の絶対値の和ＳＡＤから図１４の式（１）により算出される。この相関度Ｒを信頼度とし、信頼度Ｒは、相関度が高く（信頼性が高く）なると１に近づき、相関度が低く（信頼性が低い）なると０に近づく。

解像度選択・対応点探索領域設定部１３（図４，図５の所定値演算部２５）では、対応点探索処理部１４での対応点探索処理結果の上述のＳＡＤ値から図１４の式（１）により信頼度Ｒを演算する。

次に、図１２の画像処理装置における１フレーム目の対応点探索処理について図１５のフローチャートを参照して説明する。図１５は図１２の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。

まず、ｉ＝０とし（Ｓ１０１）、対応点探索処理部１４において、最低解像度（図１３の画像Ａ）を用い（Ｓ１０２）、参照画像のウィンドウを基準画像のウィンドウと同じ座標に設定し、対応点探索処理を行う（Ｓ１０３）。

その対応点探索処理結果を解像度選択・対応点探索領域設定部１３の各メモリ１８，１９に書き込んで保持する（Ｓ１０４）。次に、ｉ＝ｉ＋１とし（Ｓ１０５）、ｉが所定の処理点数の１９２００（１フレームあたり、１６０×１２０＝１９２００点の処理をする場合）に達しなければ（Ｓ１０６）、ステップＳ１０２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１０６）、１フレーム目の処理が完了する。

次に、図１２の画像処理装置におけるｎ（ｎ：２以上の整数）フレーム目の対応点探索処理について図１６のフローチャートを参照して説明する。図１６は図１２の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。

まず、ｉ＝０とし（Ｓ１１１）、解像度選択・対応点探索領域設定部１３の各メモリ１８，１９からｎフレーム目のｉ番目の解像度と対応点探索領域を読み込み（Ｓ１１２）、その解像度と対応点探索領域を用いて対応点探索処理部１４で対応点探索処理を行う（Ｓ１１３）。

上記ステップＳ１１３での対応点探索処理結果から図１４のようにして解像度選択・対応点探索領域設定部１３で信頼度Ｒを演算し、その信頼度を所定の閾値と比較して信頼度を判断する（Ｓ１１４）。

そして、解像度選択・対応点探索領域設定部１３において、信頼度が閾値以上であり、高信頼度と判断されると（Ｓ１１４）、ｎフレーム目よりも一段だけ高解像度の画像を（ｎ＋１）フレーム目の画像として選択する（Ｓ１１５）。このとき、ｎフレーム目の画像サイズが１６０×１２０で最高解像度のときは、最高解像度である１６０×１２０の画像サイズの画像Ｄを選択する。また、ｎフレーム目の対応点探索処理結果から（ｎ＋１）フレーム目の対応点探索領域を設定する（Ｓ１１６）。

また、信頼度が閾値未満で低信頼度と判断されると（Ｓ１１４）、最低解像度の画像（２０×１５の画像サイズの画像Ａ）を選択する（Ｓ１１７）。また、基準画像と同じ座標に参照画像の対応点探索領域を設定する（Ｓ１１８）。

上述のようにして選択された解像度および設定された対応点探索領域を解像度選択・対応点探索領域設定部１３の各メモリ１８，１９に書き込むことで保持する（Ｓ１１９）。

次に、ｉ＝ｉ＋１とし（Ｓ１２０）、ｉが所定の処理点数の１９２００点に達しなければ（Ｓ１２１）、ステップＳ１１２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１２１）、ｎフレーム目の処理が完了する。

図１２の画像処理装置１０１は、上述のような制御および演算を実行するハードウエアとしての集積素子から構成できるが、上述のような制御および演算を実行するソフトウエアであるプログラムにより動作するＣＰＵ（中央演算処理回路）やＤＳＰ（デジタルシグナルプロセッサ）やＭＰＵ（マイクロプロセッサ）から構成してもよい。

図１２の画像処理装置１０１によれば、４段のピラミッド画像からなる多重解像度画像（画像サイズは１６０×１２０、最低解像度は２０×１５）を用いて、ｎフレーム目の対応点探索処理結果による信頼度が閾値以上であったら、（ｎ＋１）フレーム目の対応点探索領域の画像解像度を１段上の高解像度に設定し（最高解像度だったら、最高解像度に設定する）、信頼度が閾値以下だったら、最低解像度に設定することで、すべての解像度の画像で対応点探索のための演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、それでいて信頼性の高いデータが得られかつ精度も高い。

したがって、図１２の画像処理装置１０１をハードウエアである集積素子から構成した場合には、その回路規模を削減することができ、また、プログラムにより動作するＣＰＵ（中央演算処理回路）等から構成した場合には、そのプログラムによる処理時間を短縮することができる。

〈第２例〉
次に、本実施の形態の画像処理装置の第２例について図１７〜図１９を参照して説明する。図１７は本実施の形態による画像処理装置（第２例）の概略的構成を示す要部ブロック図である。

図１７に示す画像処理装置１０２は、図１，図３に対応した構成を有する一方、図１２と同一の構成部分を有し、同一の構成部分には図１２と同じ符号を付してその説明を省略する。

図１７の画像処理装置１０２は、図１２の画像処理装置１０１と同様に、一対のカメラ（ステレオカメラ）で撮像したステレオ画像を基準画像と参照画像とし、基準画像と参照画像との間の視差（位置ずれ量）に基づいて三角測量の原理により物体の３次元空間における位置を検出する際に、かかる視差を求めるために基準画像と参照画像とを対応点探索処理により対応づける画像処理を行うように構成可能であるが、これに限定されず、基準画像と参照画像とが時系列的な画像であってもよい。

図１７の画像処理装置１０２の解像度選択・対応点探索領域設定部１３は、現在の処理より以前の１以上の対応点探索処理結果を保持する対応点探索処理結果保持部２０を有し、対応点探索処理結果保持部２０の情報に基づいて対応点探索処理を行う画像解像度を選択するとともに、対応点探索処理結果保持部２０の情報に基づいて対応点探索処理を行う基準画像上の各領域に対応する参照画像上の探索領域を設定する。

対応点探索処理結果保持部２０は、図１７のように、ＲＡＭ等からなる複数のバッファメモリ２０ａ，２０ｂ，２０ｃを有し、ｎフレーム目（ｎ：２以上の整数）に対し、バッファメモリ２０ａは（ｎ−３）フレーム目の対応点探索処理結果および信頼度を保持し、バッファメモリ２０ｂは（ｎ−２）フレーム目の対応点探索処理結果および信頼度を保持し、バッファメモリ２０ｃは（ｎ−１）フレーム目の対応点探索処理結果および信頼度を保持するようになっている。

図１７の解像度選択・対応点探索領域設定部１３は、３フレーム分の対応点探索処理結果と図１４のようにして演算した信頼度とを各バッファメモリ２０ａ〜２０ｃで保持し、各フレームの対応点探索処理結果に対して信頼度で重み付けして対応点探索領域を設定し、また、３フレームの信頼度の総和から解像度を設定するようになっている。

次に、図１７の画像処理装置における１フレーム目の対応点探索処理について図１８のフローチャートを参照して説明する。図１８は図１７の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。

まず、ｉ＝０とし（Ｓ１３１）、対応点探索処理部１４において、最低解像度（図１３の画像Ａ）を用い（Ｓ１３２）、参照画像のウィンドウを基準画像のウィンドウと同じ座標に設定し、対応点探索処理を行う（Ｓ１３３）。

その対応点探索処理結果および図１４のようにして演算した信頼度を解像度選択・対応点探索領域設定部１３のバッファメモリ２０ａに書き込んで保持する（Ｓ１３４）。次に、ｉ＝ｉ＋１とし（Ｓ１３５）、ｉが所定の処理点数の１９２００（１フレームあたり、１６０×１２０＝１９２００点の処理をする場合）に達しなければ（Ｓ１３６）、ステップＳ１３２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１３６）、１フレーム目の処理が完了する。

なお、２，３フレーム目の各対応点探索処理も例えば上述と同様にして行い、対応点探索処理結果および信頼度を各バッファメモリ２０ｂ，２０ｃに書き込んで保持する。

次に、図１７の画像処理装置におけるｎ（ｎ：４以上の整数）フレーム目の対応点探索処理について図１９のフローチャートを参照して説明する。図１９は図１７の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。

まず、ｉ＝０とし（Ｓ１４１）、解像度選択・対応点探索領域設定部１３において、各バッファメモリ２０ａ〜２０ｃから（ｎ−１）フレーム目、（ｎ−２）フレーム目、（ｎ−３）フレーム目の各ｉ番目の対応点探索処理結果および信頼度を読み込み（Ｓ１４２）、各信頼度の総和を計算する（Ｓ１４３）。

次に、信頼度の総和を所定の閾値と比較して信頼度を判断する（Ｓ１４４）。そして、解像度選択・対応点探索領域設定部１３において、信頼度の総和が閾値以上で、高信頼度と判断されると（Ｓ１４４）、（ｎ−１）フレーム目よりも一段だけ高解像度の画像を選択する（Ｓ１４５）。このとき、（ｎ−１）フレーム目の画像サイズが１６０×１２０で最高解像度のときは、最高解像度である１６０×１２０の画像サイズの画像Ｄを選択する。

次に、（ｎ−１）フレーム目、（ｎ−２）フレーム目、（ｎ−３）フレーム目の各信頼度に基づいて各対応点探索処理結果に重み付けを持たせて平均値を算出し、その平均値を用いてｎフレーム目の対応点探索領域を設定する（Ｓ１４６）。

また、信頼度の総和が閾値未満で低信頼度と判断されると（Ｓ１４４）、最低解像度の画像（２０×１５の画像サイズの画像Ａ）を選択する（Ｓ１４７）。また、基準画像と同じ座標に参照画像の対応点探索領域を設定する（Ｓ１４８）。

上述のようにして選択された解像度および設定された対応点探索領域を用いて対応点探索処理部１４において対応点探索処理を行う（Ｓ１４９）。その対応点探索処理および演算された信頼度をバッファメモリ２０ａ，２０ｂまたは２０ｃに書き込んで保持する（Ｓ１５０）。

次に、ｉ＝ｉ＋１とし（Ｓ１５１）、ｉが所定の処理点数の１９２００点に達しなければ（Ｓ１５２）、ステップＳ１４２に戻る。ｉが所定の処理点数（１９２００点）に達すると（Ｓ１５２）、ｎフレーム目の処理が完了する。

図１７の画像処理装置１０２は、上述のような制御および演算を実行するハードウエアとしての集積素子から構成できるが、上述のような制御および演算を実行するソフトウエアであるプログラムにより動作するＣＰＵ（中央演算処理回路）やＤＳＰ（デジタルシグナルプロセッサ）やＭＰＵ（マイクロプロセッサ）から構成してもよい。

図１７の画像処理装置１０２によれば、４段のピラミッド画像からなる多重解像度画像（画像サイズは１６０×１２０、最低解像度は２０×１５）を用いて、（ｎ−３），（ｎ−２），（ｎ−１）の３フレーム分の信頼度の総和が閾値以上であったら、ｎフレーム目の対応点探索領域の画像解像度を１段上の高解像度に設定し（最高解像度だったら、最高解像度に設定する）、信頼度の総和が閾値以下だったら、ｎフレーム目の解像度を最低解像度に設定することで、すべての解像度の画像で対応点探索のための演算をせずに一段の階層でしか演算をしないことで演算量を減らすことができ、それでいて信頼性の高いデータが得られかつ精度も高い。

また、３フレーム分の信頼度の総和に基づいて解像度を設定するとともに、各フレームの各信頼度に基づいて各対応点探索処理結果に重み付けを持たせて平均値を算出し、その平均値を用いてｎフレーム目の対応点探索領域を設定するので、データの信頼性および精度がいっそう高いものとなる。

したがって、図１７の画像処理装置１０２をハードウエアである集積素子から構成した場合には、その回路規模を削減することができ、また、プログラムにより動作するＣＰＵ（中央演算処理回路）等から構成した場合には、その処理時間を短縮することができる。

以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、本実施の形態では、差分絶対値和(SAD)による相関法で対応点探索処理を行う場合を例にし、図１４のように信頼度をＳＡＤ値から求めたが、本発明ではこれに限定されず、例えば、対応点探索処理を位相限定相関法(POC)で行う場合には、位相限定相関（ＰＯＣ）値を用いて信頼度を得ることができ、この場合のＰＯＣ値の算出法については、例えば、本発明者が先に提案した特願２００７−１４９００５で説明されている。さらに、ＳＡＤ法の代わりに、ＳＳＤ(Sum of Squared Difference)法やＮＣＣ(Normalized Cross Correlation)法を用いてもよく、また、ＰＯＣ法の代わりに、フーリエ変換や離散コサイン変換(DCT:Discrete cosine Transform)やウェーブレット変換を用いてもよい。

また、画像処理装置１０１，１０２は、例えば、ステレオカメラを有する距離計測装置に適用でき、このような距離計測装置は例えば自動車等の車両に搭載可能であるが、本発明はこれに限定されず、基準画像と参照画像との間の位置ずれ量を用いる他の装置にも適用可能であり、例えばカメラの手ぶれ補正処理等に適用できる。

本実施形態の画像処理装置の基本的構成を示す要部ブロック図である。 図１の画像処理装置の第１例を示す要部ブロック図である。 図１の画像処理装置の第２例を示す要部ブロック図である。 図２の画像処理装置が所定値演算部を備える構成を示す要部ブロック図である。 図３の画像処理装置が所定値演算部を備える構成を示す要部ブロック図である。 図２〜図５の各画像処理装置が解像度選択部で画像解像度の選択をフレーム毎に行う具体例を説明するためのフローチャートである。 図２〜図５の各画像処理装置が解像度選択部で画像解像度の選択を画素毎または対応点を演算する点毎に行う具体例を説明するためのフローチャートである。 図４，図５の各画像処理装置で対応点探索処理の処理結果における信頼度を所定値とした場合の動作の具体例を説明するためのフローチャートである。 図４，図５の各画像処理装置で対応点探索処理における距離値を所定値とした場合の動作の具体例を説明するためのフローチャートである。 図４，図５の各画像処理装置で時系列処理における移動量または速度を所定値とした場合の動作の具体例を説明するためのフローチャートである。 本実施形態による画像処理装置の基本的な動作例（処理結果を次フレームに用いる）を説明するための概念図である。 本実施の形態による画像処理装置（第１例）の概略的構成を示す要部ブロック図である。 本実施の形態の画像処理装置において用いるピラミッド画像（画像Ａ〜Ｄ）を説明するための模式図である。 ステレオ画像による基準画像（ａ）および参照画像（ｂ）を模式的に示し、本実施の形態における信頼度の演算式を説明するための図である。 図１２の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。 図１２の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。 本実施の形態による画像処理装置（第２例）の概略的構成を示す要部ブロック図である。 図１７の画像処理装置における１フレーム目の対応点探索処理を説明するためのフローチャートである。 図１７の画像処理装置におけるｎフレーム目の対応点探索処理を説明するためのフローチャートである。

符号の説明

１１ 画像入力部
１２ 多重解像度画像生成部
１２ａ，１２ｂ，１２ｃ 解像度変換部
１２ｄ〜１２ｇ メモリ
１３ 対応点探索領域設定部
１４ 対応点探索処理部
１４ａ 読取部
１４ｂ 演算部
１５ 出力部
１６ 解像度選択部
１７ 対応点探索領域設定部
１８ 選択解像度保持部、メモリ
１９ 設定対応点探索領域保持部、メモリ
２０ 対応点探索処理結果保持部
２０ａ〜２０ｃ バッファメモリ
２１ 解像度選択部
２２ 対応点探索領域設定部
２５ 所定値演算部
１０１，１０２ 画像処理装置
Ｇａ 基準画像
Ｇｂ 参照画像
Ｒ 信頼度、相関値
Ｗａ 基準画像に設定したウインドウ
Ｗｂ 参照画像に設定したウインドウ

Claims (14)

1. 基準画像と参照画像とを入力し取得する画像入力手段と、
   前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成手段と、
   対応点探索処理を行う画像解像度を選択するともに対応点探索処理を行う基準画像上の各領域に対応する参照画像の探索領域を設定する解像度選択・対応点探索領域設定手段と、
   前記解像度選択・対応点探索領域設定手段の情報に基づいて前記基準画像と前記参照画像との間の対応点を探索する対応点探索処理手段と、を備え、
   前記解像度選択・対応点探索領域設定手段は、
   現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果から所定値を所定値演算手段により演算し、前記所定値を用いて、前記対応点探索処理を行う画像解像度を選択する解像度選択手段と、
   現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて現フレームにおける基準画像上の各領域に対応する参照画像上の対応点を推定し、前記推定した参照画像上の対応点に探索領域を設定する対応点探索領域設定手段と、を有し、
   前記対応点探索処理手段は、前記基準画像と前記探索領域が設定された前記参照画像との間の対応点を前記選択した画像解像度で探索することを特徴とする画像処理装置。
2. 前記所定値演算手段は、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算し、
   前記解像度選択手段は、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記解像度選択手段は、前記画像解像度の選択をフレーム毎に行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記解像度選択手段は、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記所定値演算手段は、前記対応点探索処理の処理結果における信頼度を所定値とすることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記所定値演算手段は、対応点探索処理における距離値を所定値とすることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
7. 前記所定値演算手段は、時系列処理における移動量または速度を所定値とすることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
8. 基準画像と参照画像とを入力し取得するステップと、
   前記基準画像および前記参照画像の各多重解像度画像を生成する多重解像度画像生成ステップと、
   現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果から所定値を演算し、前記所定値を用いて、対応点探索処理を行う画像解像度を選択する解像度選択ステップと、
   現在の処理よりも少なくとも１フレーム以前の対応点探索処理結果に基づいて現フレームにおける基準画像上の各領域に対応する参照画像上の対応点を推定し、前記推定した参照画像上の対応点に探索領域を設定する対応点探索領域設定ステップと、
   前記基準画像と前記前記探索領域が設定された参照画像との間の対応点を前記選択した画像解像度で探索する対応点探索処理ステップと、を含むことを特徴とする画像処理方法。
9. 前記解像度選択ステップにおいて、ｎ番目のフレーム以前の１以上のフレームにおける所定値を演算し、前記所定値を用いて（ｎ＋１）番目のフレームの画像解像度を選択することを特徴とする請求項８に記載の画像処理方法。
10. 前記解像度選択ステップでは、前記画像解像度の選択をフレーム毎に行うことを特徴とする請求項８または９に記載の画像処理方法。
11. 前記解像度選択ステップでは、前記画像解像度の選択を画素毎または対応点を演算する点毎に行うことを特徴とする請求項８または９に記載の画像処理方法。
12. 前記対応点探索処理の処理結果における信頼度を前記所定値とすることを特徴とする請求項８〜１１のいずれか１項に記載の画像処理方法。
13. 対応点探索処理における距離値を前記所定値とすることを特徴とする請求項８〜１１のいずれか１項に記載の画像処理方法。
14. 時系列処理における移動量または速度を前記所定値とすることを特徴とする請求項８〜１１のいずれか１項に記載の画像処理方法。

Images