JP4039425B2 - 画像処理装置、および方法 - Google Patents

Description

本発明は、車両に搭載されたカメラによって撮像された画像を処理する画像処理装置、および方法に関する。

次のような位置検出装置が特許文献１によって知られている。この位置検出装置では、取得した複数枚の画像の中から、それぞれ抽出された対象物のｙ座標変位量の平均値を算出して、これを車両の振動に起因する画像の変位量とする。

特開２００１−８４４９７号公報

しかしながら、従来の装置においては、対象物のｙ座標変位量の平均値を車両の振動に起因する画像の変位量とするため、対象物が移動することによってｙ座標の位置変化が生じた場合でも、その変位量が車両の振動に起因する画像の変位量として平均化されてしまい、車両の振動に起因する画像の変位量に誤差が生じるという問題が生じていた。

本発明は、車両に搭載され、撮像手段で撮像した画像を画像処理する画像処理装置および画像処理方法であって、撮像手段で撮像した撮像画像において、走行中の路面の状況に起因して発生する車両の振動に伴って画像内で上下に移動する移動成分を特定し、特定した移動成分の移動履歴に対して周波数解析を行って、移動成分の振動周波数の強度を算出し、算出した移動成分の振動周波数の強度のうち、車両に最も頻繁に発生している所定の周波数範囲の振動を定常振動として抽出し、抽出した周波数範囲内の周波数強度に基づいて、当該周波数範囲内における振動の平衡点で撮像された撮像画像を平衡画像として抽出し、平衡画像における画像速度を算出し、算出した平衡画像における画像速度を用いて、定常振動による画像速度成分を撮像画像から排除し、定常振動による画像速度成分を排除した撮像画像に基づいて、車両の振動によって変位する画像内の変位の中心位置を検出し、検出した変位の中心位置を監視して、撮像手段で撮像した画像における車両の振動に起因する画像の変位量を算出することを特徴とする。

本発明によれば、車両の振動によって変位する画像内の変位の中心位置を検出し、検出した変位の中心位置を監視して、撮像した画像における車両の振動に起因する画像の変位量を算出するようにした。これによって、常に画像内の変位の中心位置を把握して、当該中心位置からの変位量を算出することができるため、画像中に存在する対象物の位置変化を車両の振動に起因するものとして誤検出することを防ぐことができ、車両の振動に起因する画像の変位量を正確に算出することができる。

図１は、本実施の形態における画像処理装置の一実施の形態の構成例を示すブロック図である。画像処理装置１００は車両に搭載され、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、後述する制御装置１０３、および履歴メモリ１０４と、カメラ１０１で撮像された自車両前方の画像を表示するためのモニタ１０５とを備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有した高速カメラであり、自車両の走行中に極めて微小な一定時間Δｔ間隔、例えば１ｍｓ間隔で連続的に車両前方を撮像し、各フレームごとに画像メモリ１０２に出力する。なお、カメラ１０１は、図２に示すように車両の室内上部前方に設置され、その視軸向きＺは車両前方正面方向に向き、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。

一般的に、車両の走行中には、ピッチングの発生などによって車両に振動が生じる。すなわち、車両が停車中の状態においては、一般的に振動は発生しないことから、図３（ａ）に示すように振動の周波数は０Ｈｚとなっている。図３（ａ）に示す例においては、例えば乗員の重さにより車体が沈んでいる、あるいは停車前の減速の影響でノーズダイブが発生しているなどの理由により、下方向に一定の変位量を維持したまま停車している状態を示している。

これに対して、車両が走行を開始した場合には、以下のように様々な振動が発生する。すなわち、車両が路面のうねりや凹凸を乗り越える場合には、図３（ｂ）に示すような１〜２Ｈｚの上下方向の振動が定常的に発生する。また、砂利道など連続的な凹凸路を走行する場合には、図３（ｃ）に示すような２〜１５Ｈｚの上下方向の振動が定常的に発生する。また、これらの定常的な振動以外にも、路面の状況によって突発的な振動が発生したりする。このように路面の状況によって様々な周波数の振動が発生した場合には、図２に示すように車両に取り付けられたカメラ１０１も同時に振動し、カメラ１０１の視軸向きが上下に変化することから、その影響を受けて撮像画像内に映り込む物体はその時間変化とともに上下に移動する。

このため、カメラ１０１で撮像された画像をそのままモニタ１０５に出力して表示した場合には、自車両前方の画像が上下に動きながら表示され、使用者にとって見にくいものとなってしまう。これを避けるために本実施の形態では、制御装置１０３は、カメラ１０１で連続して撮像される撮像画像から車両の振動を検出し、その振動によって生じる撮像画像の上下方向の変位量を算出する。そして、画像変位の水平方向の中心を算出し、その中心が常にモニタ１０５の水平方向の中心に表示されるように表示する画像位置を補正する。これによって、車両の振動に関わらず、常に画像変位の中心がモニタ１０５の中心になるように表示され、使用者にとって見やすい表示とすることができる。また、白線等の路面マーカや車両周囲の障害物を検出するための画像処理においても、カメラの振動により生じる画像の振動を排除できるので、処理しやすい画像を取得することができる。

制御装置１０３は、上述した補正処理を、以下のように実行する。まず、カメラ１０１によって撮像された撮像画像の中から上下方向の振動を検出するために、撮像画像内で縦方向に濃度勾配を有する移動成分を特定する。例えば撮像画像内で水平方向に延在する横方向のエッジ（横エッジ）は、縦方向に濃度勾配を有することから、本実施の形態では、撮像画像に対して、例えば、横エッジ検出Ｓｏｂｅｌフィルタ（垂直方向Ｓｏｂｅｌフィルタ）を適用して横エッジ画像を算出し、撮像画像内の横方向のエッジを検出する。そして、算出した横エッジ画像内の任意の横エッジを含む所定範囲、例えば２画素×３画素の範囲を検出領域として設定する。

なお、横エッジ画像は、画像の左上を原点とし、横方向をｘ軸、縦方向をｙ軸とするｘｙ座標系で表され、設定した検出領域の中心点に位置する座標値を横エッジ画像内における検出領域の座標値とする。そして、連続して撮像された各フレームの横エッジ画像において、設定した検出領域内の横エッジ位置の上下方向の変化とともに検出領域を移動させて、検出領域で横エッジを追跡し、各フレームにおける検出領域のｙ座標値をその時間経過とともに履歴メモリ１０４に記憶していく。

その後、履歴メモリ１０４に記憶した履歴が所定時間分、例えば１秒分蓄積された時点で、検出領域のｙ座標値の履歴、すなわち時系列ｙ座標に対してフーリエ変換を実行して周波数解析を行い、図４（ａ）に示すように、検出領域における振動周波数と、各周波数の強度を示すパワースペクトル強度との関係を示すグラフを作成する。そして図４（ａ）のグラフにおいて、最もパワースペクトル強度が高い周波数４ａを含む所定の範囲４ｂを検出し、その範囲を抽出するために図４（ｂ）に示す帯域通過フィルタを適用する。これによって、図４（ｃ）に示すように、最もパワースペクトル強度が高い周波数を含む所定の範囲４ｂが抽出される。抽出した周波数範囲４ｂは、履歴メモリ１０４からデータを読み込んだ所定時間内に、自車両で最も頻繁に、すなわち定常的に発生している振動周波数の範囲に相当する。

なお、図４（ａ）において、最もパワースペクトル強度が高い周波数４ａを含む所定の範囲４ｂを検出する際には、図３で上述したように、車両においては周波数が１〜２Ｈｚの振動、または周波数が２〜１５Ｈｚの振動が定常的に発生しやすいことを考慮して、これらの２つの範囲のうち、最もパワースペクトル強度が高い周波数４ａが存在する範囲を検出する。したがって、図４（ｂ）に示す帯域通過フィルタは、上述した２種類の周波数を抽出するための帯域通過フィルタが準備されており、図４（ａ）における検出結果に応じて、適切な帯域通過フィルタを選択して適用する。

次に、図４（ｃ）に示す範囲４ｂの抽出結果に対して逆フーリエ変換を行って、検出領域内の振動周波数範囲４ｂにおける変位量の時間変化を図５に示すように算出する。そして、例えば符号５ａに示すような変位量が０の点を連続して複数抽出し、抽出した変位量が０の点で撮像された撮像画像を画像メモリ１０２から読み込む。これによって、自車両走行中に発生している振動のうち、最も発生頻度が高い周波数範囲４ｂにおける振動の平衡点で撮像された画像、すなわちカメラ１０１が定常的に発生している振動の影響を受けていない状態で撮像された平衡画像を抽出することができる。

画像メモリ１０２から読み込んだ各平衡画像に対して、横方向のエッジ抽出処理を行い、抽出した横エッジに対して公知の勾配法やブロックマッチングの手法を用いて、各平衡画像における横エッジの縦方向の移動速度、および移動方向、すなわち速度成分をベクトルで表したオプティカルフローを算出する。これによって、平衡画像における縦方向の画像速度、および速度方向（平衡速度方向）を算出することができる。次に、各平衡画像において、算出した全ての横エッジの平衡画像速度の平均値を算出して、各平衡画像における平衡画像速度Ｖｃｎｖを算出する。なお、平衡画像速度Ｖｃｎｖは、例えば符号５ｂに示すような変位量が０の点における変位量の時間変化量、すなわち縦方向の変化速度から算出することもできる。

平衡画像は、上述したように振動周波数範囲４ｂ内でカメラ１０１が振動の影響を受けていないときに撮像された画像であることから、本来であればこのときの縦方向の画像速度は０となる。したがって、算出した平衡画像速度Ｖｃｎｖは、車両に定常的に発生している振動に起因して生じている画像速度に相当する。このことを加味して、この平衡画像速度Ｖｃｎｖを用いて車両に定常的に発生している振動によって画像内に含まれる振動成分を除去する。すなわち、まず、カメラ１０１で撮像される各画像の画像速度を算出する。そして、各画像の画像速度から当該平衡画像速度Ｖｃｎｖを減算することにより、自車両の定常的な振動によって発生している画像速度を排除するように補正することができる。

例えば、図６（ａ）に示すように撮像画像から抽出した各横エッジから速度成分が算出された場合に、算出された各速度成分から平衡画像速度Ｖｃｎｖを減算して補正することによって、図６（ｂ）に示すように振動の影響を排除する。すなわち、図６（ａ）に示す撮像画像は、定常的に発生する振動によって車両が上から下方向に移動しているときに撮像されたものであるため、撮像画像上では、振動周波数４ｂ内の振動の影響を受けて上向きの画像速度が加算された状態で速度成分が検出されている。これに対して、各速度成分から平衡画像速度Ｖｃｎｖを減算することによって、図６（ｂ）に示すように振動周波数４ｂ内の振動の影響を受けて加算された上向きの画像速度が減算され、定常的に発生する振動の影響が排除される。

この補正後の撮像画像（補正後画像）に対して、図７に示すように画像の水平方向中央にｙ軸７ａを設定し、ｙ軸７ａと直行するｘ軸７ｂを設定する。そして、補正後画像内におけるｙ軸７ａ方向の移動速度の分布を図７（ｂ）に示すように計測する。この結果、ｙ軸７ａ方向の移動速度が０となる点の座標値ｙ_０を算出し、このｙ_０を補正後画像における振動の消失点７ｃとして設定する。なお、ここで設定した消失点７ｃは、車両の振動によって変位する画像内の変位の中心位置に相当する。

そして、設定した消失点７ｃを中心に、縦方向に濃度勾配を有する画素、例えば横エッジが検出された画素を含む所定の大きさ、例えば２画素×３画素を有する追跡領域を設定する。例えば、図８（ａ）に示すように、消失点７ｃのｙ座標値ｙ_０を中心にｙ座標値がｙ_０±αとなる２点をそれぞれ上限、および下限とし、ｘ軸方向に所定の幅を持った追跡領域８ａを設定する。

この追跡領域をカメラ１０１で連続して撮像される各撮像画像に設定し、追跡領域８ａ内に含まれる縦方向に濃度勾配を有する画素を追跡して監視する。すなわち、追跡領域８ａは、追跡領域８ａ内に含まれる縦方向に濃度勾配を有する画素が、車両の振動によって画像内で移動すると、それを追跡しながら図８（ｂ）に示すように一緒に移動する。このときの追跡領域８ａの中心のｙ座標値ｙ_１と、上述した消失点７ｃのｙ座標値ｙ_０の差分を取ることで、車両の振動に伴って追跡領域８ａが移動した量、すなわち撮像画像の振動による平衡点からの変位量８ｂを算出することができる。

そして、この変位量が０となるように、すなわち車両の振動に伴って移動した追跡領域８ａのｙ座標値がｙ_０となるように画像位置を補正してモニタ１０５に表示することによって、常に画像変位の中心がモニタ１０５の中心になるように表示され、使用者にとって見やすい表示とすることができる。また、同時に、ここで設定した追跡領域８ａの中心点に位置するｙ座標値を履歴メモリ１０４に記憶していくことによって、追跡領域８ａを上述した検出領域とすることができ、逐次変化する路面状況に基づいて発生する振動に対応した画像位置の補正を行うことが可能となる。

図９は、本実施の形態における画像処理装置１００の処理を示すフローチャートである。図９に示す処理は画像処理装置１００を搭載した車両のイグニションスイッチがオンされることによって画像処理装置１００の電源がオンされると、制御装置１０３によって起動されるプログラムとして実行される。ステップＳ１０において、画像メモリ１０２からの撮像画像の取り込みを開始して、ステップＳ２０へ進む。ステップＳ２０では、撮像画像内の物体の上下方向の変位から車両の振動を検出するための検出領域を設定する。その後、ステップＳ３０へ進み、設定した検出領域の位置変化の履歴、すなわち検出領域のｙ座標値の履歴を履歴メモリ１０４に蓄積して、ステップＳ４０へ進む。

ステップＳ４０では、履歴メモリ１０４に検出領域の位置変化の履歴が所定量以上、すなわち所定時間分以上蓄積されたか否かを判断する。検出領域の位置変化の履歴が所定量以上蓄積されたと判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、蓄積した検出領域の位置変化の履歴に基づいて、検出領域の変位量の時系列変化に対してフーリエ変換を実行して振動周波数の解析を行う。その後、ステップＳ６０へ進み、振動周波数の解析結果に基づいて、最もパワースペクトル強度が高い振動周波数を特定し、特定した周波数範囲に対応した帯域通過フィルタを使用して、最もパワースペクトル強度が高い振動周波数を含む所定の範囲を抽出する。その後、ステップＳ７０へ進む。

ステップＳ７０では、抽出した最もパワースペクトル強度が高い振動周波数を含む所定の範囲内における振動周波数のパワースペクトル強度に対して逆フーリエ変換を実行して、その振動周波数範囲内の変位量の時系列変化を算出する。その後、ステップＳ８０へ進み、算出した最もパワースペクトル強度が高い振動周波数を含む所定の範囲内の変位量の時系列変化に基づいて、上述した平衡画像を抽出して、ステップＳ９０へ進む。ステップＳ９０では、抽出した平衡画像のオプティカルフローを算出して平衡画像速度Ｖｃｎｖを算出し、ステップＳ１００へ進む。ステップＳ１００では、算出した撮像画像における各速度成分から平衡画像速度Ｖｃｎｖを減算して、画像速度の補正を行う。その後、ステップＳ１１０へ進む。

ステップＳ１１０では、画像速度の補正を行った補正後画像内におけるｙ軸方向の移動速度の分布を計測し、この結果、ｙ軸方向の移動速度が０となる点を消失点として設定する。その後、ステップＳ１２０へ進み、消失点を中心に、縦方向に濃度勾配を有する画素を含む追跡領域を設定して、ステップＳ１３０へ進む。ステップＳ１３０では、追跡領域内に含まれる縦方向に濃度勾配を有する画素を追跡して、そのときの追跡領域のｙ座標値と、消失点のｙ座標値との差分をとって、撮像画像の振動による平衡点からの変位量を算出するその後、ステップＳ１４０へ進む。

ステップＳ１４０では、算出した変位量に基づいて、常に画像変位の中心がモニタ１０５の中心になるように画像位置を補正してモニタ１０５に表示する。その後、ステップＳ１５０へ進み、画像処理装置１００を搭載した車両のイグニションスイッチがオフされたか否かを判断する。イグニションスイッチがオフされないと判断した場合にはステップＳ１６０へ進み、上述した処理で設定した追跡領域を検出領域に設定して、ステップＳ３０へ戻る。一方、イグニションスイッチがオフされたと判断した場合には、ステップＳ１７０へ進み、画像メモリ１０２からの画像の取り込みを終了して、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）車両の振動によって変位する画像内の変位の中心位置を消失点として検出し、カメラ１０１で連続して撮像される画像内の消失点位置を監視して、画像の変位量を算出するようにした。これによって、常に画像内の変位の中心位置を把握して、当該中心位置からの変位量を算出することができるため、車両の振動に起因する画像の変位量を正確に算出することができる。
（２）消失点を中心として所定の範囲に設定した追跡領域で、追跡領域内に含まれる縦方向に濃度勾配を有する画素を追跡し、追跡領域のｙ座標値が消失点のｙ座標値となるように画像位置を補正してモニタ１０５に表示するようにした。これによって、常に画像変位の中心がモニタ１０５の中心になるように表示され、使用者にとって見やすい表示とすることができる。
（３）図４（ｂ）に示す帯域通過フィルタは、車両においては周波数が１〜２Ｈｚの振動、または周波数が２〜１５Ｈｚの振動が定常的に発生しやすいことを考慮して、これらの２種類の周波数を抽出するための帯域通過フィルタをあらかじめ準備しておき、図４（ａ）から検出した最もパワースペクトル強度が高い周波数に応じて、いずれの帯域通過フィルタを使用するかを選択するようにした。これによって、路面の状況に応じて変化する振動の種類に対応した適切な帯域通過フィルタを適用することができる。

なお、上述した実施の形態の画像処理装置は以下のように変形することもできる。
（１）上述した実施の形態では、カメラ１０１によって撮像された撮像画像の中から上下方向の振動を検出するために、撮像画像内における縦方向に濃度勾配を有する移動成分として、撮像画像内における横方向のエッジを検出して使用する例について説明した。しかしこれに限定されず、その他の注目点に基づいて撮像画像内における縦方向に濃度勾配を有する移動成分を特定してもよい。

（２）上述した実施の形態では、履歴メモリ１０４に記憶した検出領域のｙ座標値の履歴に対してフーリエ変換を実行して、周波数解析を行う例について説明した。しかしこれに限定されず、例えばＤＣＴなどのその他の手法によって周波数解析を行ってもよい。

（３）上述した実施の形態では、図４（ｂ）に示した帯域通過フィルタを、車両には周波数が１〜２Ｈｚの振動、または周波数が２〜１５Ｈｚの振動が発生しやすいことを考慮して、これらの２種類の周波数を抽出するための帯域通過フィルタをあらかじめ準備しておき、最もパワースペクトル強度が高い周波数に応じて、いずれの帯域通過フィルタを使用するかを選択する例について説明した。しかしこれに限定されず、車両に発生する振動の周波数をさらに細かく分類して、３種類以上の帯域通過フィルタを選択できるようにしてもよい。

（４）また、発生しやすい振動周波数で分類するのではなく、画像処理装置を搭載する車種ごとに異なる周波数帯域を抽出する帯域通過フィルタを使用するようにしてもよい。これによって、一般的に車種によって発生する振動の周波数が異なることを加味して、より適切な帯域通過フィルタの選択が可能となる。

（５）上述した実施の形態では、カメラ１０１を図２に示すように車両前方を撮像するように設置し、車両のピッチング量の計測を行う例について説明した。しかしこれに限定されず、車両の周囲、例えばカメラ１０１を車両の後方を撮像するように設置して車両のピッチング量を計測してもよく、またはカメラ１０１を車両の側方を撮像するように設置して車両のローリング量を計測するようにしてもよい。

（６）上述した実施の形態では、本発明による画像処理装置１００を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、履歴メモリ１０４は記憶手段に、モニタ１０５は表示手段に相当する。制御装置１０３は、特定手段、周波数強度算出手段、周波数抽出手段、画像速度算出手段、排除手段、中心位置検出手段、変位量算出手段、および表示位置補正手段に相当する。なお、この対応は一例であり、実施の形態の構成によって対応関係は異なるものである。

画像処理装置の一実施の形態の構成例を示すブロック図である。 カメラ１０１の車両への設置例を示す図である。 車両に発生する代表的な振動の種類を示す図である。 履歴メモリ１０４に記憶した検出領域のｙ座標値の履歴に対してフーリエ変換を実行して、特定の周波数範囲を抽出する場合の具体例を示す図である。 特定の周波数範囲における変位量の時間変化を示す図である。 平衡画像速度に基づいて補正後画像を算出する場合の具体例を示す図である。 消失点を設定する具定例を示す図である。 撮像画像上に追跡領域を設定して、車両の振動に起因する画像の変位量を算出する具定例を示す図である。 本実施の形態における画像処理装置１００の処理を示すフローチャート図である。

符号の説明

１００ 画像処理装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置
１０４ 履歴メモリ
１０５ モニタ

Claims (5)

1. 車両に搭載され、撮像手段で撮像した画像を画像処理する画像処理装置であって、
   前記撮像手段で撮像した撮像画像において、走行中の路面の状況に起因して発生する車両の振動に伴って画像内で上下に移動する移動成分を特定する移動成分特定手段と、
   前記移動成分特定手段で特定した前記移動成分の移動履歴を記憶する記憶手段と、
   前記記憶手段に記憶した前記移動成分の移動履歴に対して周波数解析を行って、前記移動成分の振動周波数の強度を算出する周波数強度算出手段と、
   前記周波数強度算出手段で算出した前記移動成分の振動周波数の強度のうち、車両に最も頻繁に発生している所定の周波数範囲の振動を定常振動として抽出する周波数抽出手段と、
   前記周波数抽出手段で抽出した周波数範囲内の周波数強度に基づいて、当該周波数範囲内における振動の平衡点で撮像された撮像画像を平衡画像として抽出し、前記平衡画像における画像速度を算出する画像速度算出手段と、
   前記画像速度算出手段で算出した前記平衡画像における画像速度を用いて、前記定常振動による画像速度成分を撮像画像から排除する排除手段と、
   前記排除手段で前記定常振動による画像速度成分を排除した撮像画像に基づいて、車両の振動によって変位する画像内の変位の中心位置を検出する中心位置検出手段と、
   前記中心位置検出手段で検出した変位の中心位置を監視して、前記撮像手段で撮像した画像における車両の振動に起因する画像の変位量を算出する変位量算出手段とを備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記撮像手段で撮像した画像を表示する表示手段と、
   前記変位量算出手段で算出した車両の振動に起因する画像の変位量に基づいて、画像の前記表示手段への表示位置を補正する表示位置補正手段とを備えることを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記周波数抽出手段は、前記周波数強度算出手段で算出した前記移動成分の振動周波数の強度に基づいて、抽出する周波数の範囲を変化させることを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置において、
   前記周波数抽出手段は、画像処理装置を搭載する車両の車種に応じて、抽出する周波数の範囲を変化させることを特徴とする画像処理装置。
5. 車両に搭載され、撮像手段で撮像した画像を画像処理する画像処理方法であって、
   前記撮像手段で撮像した撮像画像において、走行中の路面の状況に起因して発生する車両の振動に伴って画像内で上下に移動する移動成分を特定し、
   特定した前記移動成分の移動履歴に対して周波数解析を行って、前記移動成分の振動周波数の強度を算出し、
   算出した前記移動成分の振動周波数の強度のうち、車両に最も頻繁に発生している所定の周波数範囲の振動を定常振動として抽出し、
   抽出した周波数範囲内の周波数強度に基づいて、当該周波数範囲内における振動の平衡点で撮像された撮像画像を平衡画像として抽出し、前記平衡画像における画像速度を算出し、
   算出した前記平衡画像における画像速度を用いて、前記定常振動による画像速度成分を撮像画像から排除し、
   前記定常振動による画像速度成分を排除した撮像画像に基づいて、車両の振動によって変位する画像内の変位の中心位置を検出し、
   検出した変位の中心位置を監視して、前記撮像手段で撮像した画像における車両の振動に起因する画像の変位量を算出することを特徴とする画像処理方法。

Images