JP4196211B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、移動体の姿勢変化に起因する画像のずれを補正する画像処理装置及び画像処理方法に関する。

この種の画像処理装置及び画像処理方法に関し、白線に代表されるレーンマーカ等を直線近似して画像中の消失点（ＦＯＥ）を検出し、この消失点の位置に基づいてピッチ角又は撮像高の変化を計測するものがある。

特許文献１には、レーンマーカが曲線の場合でもピッチ角および撮像高が計測できるように、撮像された画像から抽出されたレーンマーカに座標変換を施し、所定の平面座標系において2本のレーンマーカが互いに平行であることに基づいて、観測者側となる車両のピッチ角変化を検出する装置が記載されている。

また、特許文献２には、車載したカメラで車外を撮影している場合、ピッチングなどによりカメラに視軸変化が発生すると、画像中の全対象物において同量のｙ座標位置変位が生じることから、画像から複数の対象物を抽出し、抽出された対象物のｙ座標変位量の平均値によりピッチング量を補正する装置が記載されている。

しかしながら、特許文献１の手法では、基準となるレーンマーカ等が無い場合は、ピッチ角および撮像高を計測することができないという問題があった。また、特許文献２の手法では、対象物のｙ座標変位量を用いてピッチ角を計測するため、ピッチングなどの視軸変化によらないｙ座標の位置変化を、視軸変化の発生によるものと誤って判断し、間違った視軸補正をしてしまうという問題があった。
特開平１１−２０３４４５号公報 特開２００１−８４４９７号公報

本発明は、以上の課題を鑑みてなされたものであり、画像処理において、観測者側の姿勢変化によって生じる影響を排除することを目的とする。
本発明によれば、移動体の周囲を所定のタイミングで連続的に撮像する撮像装置から画像データを順次取得し、取得された各画像データから特徴部を抽出し、抽出された各特徴部の速度又は加速度を検出し、検出された各特徴部の速度又は加速度に基づいて特徴部の基準状態位置を判断し、判断された特徴部の基準状態位置に基づいて、移動体の挙動に起因する画像データの補正量を算出する画像処理装置又は画像処理方法が提供される。
本発明の画像処理装置及び画像処理方法は、レーンマーカ等の存在を必要とせず、移動体と観測対象との相対的位置変化が生じた場合でも自己（観測者側）の姿勢変化に起因する画像データの補正量を正確に算出することができる。

以下、図面に基づいて、本発明に係る実施形態の画像処理装置１００を説明する。本実施形態の画像処理装置１００は、撮像装置２００とともに車両その他の移動体に搭載される。本実施形態の画像処理装置１００を含む車載装置のブロック構成を図１に示した。図１に示すように、本実施形態の画像処理装置１００は、同じ車両に搭載された車両姿勢検出装置３００、走行支援装置４００、又は障害物検出装置５００と、車載ＬＡＮにより情報の授受が可能なように接続されている。画像処理装置１００により算出された画像データの補正量又は補正された画像データは、これらに向けて出力され、車両姿勢検出、走行支援、障害物検出等に利用される。
本実施形態の画像処理装置１００は、画像データ取得手段１０と、特徴抽出手段２０と、加速度検出手段３０と、基準位置判断手段４０と、補正量算出手段５０と、画像データ補正手段６０とを有する。具体的には、少なくとも、画像データに基づいて補正量を算出するプログラムを格納したＲＯＭ(Read Only Memory)等と、このＲＯＭ等に格納されたプログラムを実行することで基準位置判断手段４０、補正量算出手段５０、画像データ補正手段６０として機能するＣＰＵ（Central Processing Unit）等と、アクセス可能な記憶装置７０として機能するＲＡＭ(Random Access Memory)等とを備えている。記憶装置７０は、画像処理装置１００がアクセス可能であればよく、画像処理装置１００の装置内部又は装置外部に設けられる。もちろん、これらの機能を実現するＡＳＩＣ（Application Specific Integrated Circuit）、又はＦＰＧＡ（Field Programmable Gate Array）等のＬＳＩを搭載してもよい。

以下、画像処理装置１００について説明する。
「画像データ取得手段１０」は、自車両周辺を撮像する撮像装置２００から、所定のタイミングで連続的に撮像された画像データを順次取得する。撮像装置２００は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサや、ＣＣＤ(Charge Coupled Device)等の撮像素子を備えた撮像手段２１０と、撮像手段２１０により撮像された画像データを時系列でフレームごとに記憶するフレームメモリ２２０とを備える。

「特徴抽出手段２０」は、画像データ取得手段１０により取得された各画像データ（フレーム）から、撮像対象の画像上の動きを観測することができる特徴部を抽出する。特徴抽出手段２０は、追跡領域設定、エッジ検出、画像変換等の通常の画像処理を行うことができる。

「加速度検出手段３０」は、特徴抽出手段２０により抽出された特徴部の速度及び／又は加速度を検出する。画像データ中の特徴部は、自車両周囲に存在する観測対象に対応する。この画像データ中の特徴部は、自車両の移動又は観測対象の移動による相対的位置変化に伴い移動する。加速度検出手段３０は、画像データ中における特徴部の移動速度又は移動加速度を検出する。具体的に、加速度検出手段３０は、撮像タイミングが異なる２つの画像データに含まれる特徴部の位置を比較し、その位置変化量を１階微分又は２階微分することにより、特徴部の速度、加速度を求める。求めた特徴部の速度又は加速度は、撮像タイミング識別子又はフレーム識別子と対応づけて記憶装置７０に記憶させる。１の画像データ中に複数の特徴部が存在する場合は、いずれか１又は２以上の特徴部を選択して速度又は加速度を算出してもよいし、すべての特徴部について速度又は加速度を算出してもよい。

「基準位置判断手段４０」は、加速度検出手段３０により検出された特徴部の速度又は加速度に基づいて、特徴部の基準状態位置を判断する。具体的に、基準位置判断手段４０は、撮像装置２００を搭載する自車両が基準状態にある画像データを抽出し、この抽出した画像データに含まれる特徴部の画像データ上の位置を基準状態位置として判断する。判断された特徴部の基準状態位置は、撮像タイミングに対応づけて記憶装置７０に記憶される。記憶された特徴部の基準状態位置は、その後に撮像された画像データの補正量の算出時に読み出される。

本実施形態は、車両（移動体）の挙動と観測対象に対応する特徴部（画像データ）の挙動との関係に着目し、特徴部の画像データ上の挙動に基づいて車両の状態を判断し、車両が基準状態（最も正確な画像処理を行える状態）であることを検出する。本実施形態では、車両にピッチング及び／又はバウンシングが生じている「振動状態」に対して定義された、車両にピッチング及び／又はバウンシングが生じていない「基準状態」を検出する。

特に限定されないが、本実施形態の基準位置判断手段４０は、画像データの各特定部の移動加速度が所定の閾値未満である場合は、移動体が基準状態にあると判断する。つまり、基準位置判断手段４０は、加速度検出手段３０により検出された特徴部の加速度が所定の閾値未満である画像データを抽出し、その画像データに含まれる特徴部の画像上の位置を基準状態位置として判断する。判断結果となる基準状態位置は、画像データの撮像タイミングに対応づけて記憶装置７０に記憶する。この場合、特徴部の加速度を評価する閾値は、ゼロ近傍の値であることが好ましい。

また、本実施形態の基準位置判断手段４０は、画像データの各特定部の移動速度が略最大である場合は、移動体が基準状態にあると判断する。つまり、基準位置判断手段４０は、加速度検出手段３０により検出された特徴部の速度が略最大である画像データを抽出し、その画像データに含まれる特徴部の画像上の位置を基準状態位置として判断する。判断結果となる基準状態位置は、画像データの撮像タイミングに対応づけて記憶装置７０に記憶する。

さらに、本実施形態の基準位置判断手段４０は、画像データの各特定部の加速度の符合が反転した場合は、移動体が基準状態にあると判断する。つまり、基準位置判断手段４０は、加速度検出手段３０により検出された特徴部の加速度の符合が反転した（反転後最初乃至初期に撮像された）画像データを抽出し、その画像データに含まれる特徴部の画像上の位置を基準状態位置として判断する。判断結果となる基準状態位置は、画像データの撮像タイミングに対応づけて記憶装置７０に記憶する。

ここで、本実施形態が定義する「車両の基準状態」について、「車両の振動状態」と対比しつつ、図２〜図６に基づいて説明する。

自車両にピッチングおよびバウンシングが生じておらず、自車両が基準状態であるとき、特徴部の画像上の位置変化は、主に、自車両と撮像対象の相対位置変化に起因して生じる。図２（Ａ）は、自車両Ｒと観測対象Ｑとの距離がｘ（ｔ_０）である場合の相対位置関係を、図２（Ｂ）は、自車両Ｒと観測対象Ｑとの距離がｘ（ｔ_１）の場合（ｔ_１＞ｔ_０）である場合の相対位置関係を示す。図３（Ａ）は、図２（Ａ）に示す相対位置関係おいて撮像された観測対象Ｑの画像データを示し、図３（Ｂ）は、図２（Ｂ）に示す相対位置関係において撮像された観測対象Ｑの画像データを示す。自車両と観測対象Ｑの相対位置が変化すると俯角（仰角）が変化するため、自車両に設置された撮像手段２１０により撮像される観測対象Ｑの画像上の位置が変化する。時系列での画像上のｙ座標の変化は、図６（Ａ）に示すとおりである。

つぎに、自車両にピッチング及び／又はバウンシングが生じており、自車両が振動状態であるときの特徴部の位置変化について説明する。たとえば、ピッチング中心から観測対象までの距離に対して、ピッチング中心から撮像手段２１０（カメラ）までの距離が十分小さい場合、画像データ上における特徴部の動きは、ピッチング挙動に支配されていると考えることができる。つまり、撮像手段２１０（カメラ）の回転中心は、ピッチング中心であると仮定することができる。

ピッチングおよびバウンシングは、路面から入力された振動が、タイヤ〜コイルスプリング・ダンパー〜ボディー（シャシー）へと伝わることで生じる。つまり、ピッチングおよびバウンシングの振動周波数は、これらが形成するバネ・マス・ダンパー系の固有振動数であり、一般的には１〜２Ｈｚ程度である。

図４（Ａ）は、自車両にピッチング及び／又はバウンシングが生じていないときの撮像方向Ｐ１を示し、図４（Ｂ）は、自車両にピッチング及び／又はバウンシングが生じているときの撮像方向Ｐ２を示す。また、図５（Ａ）は、図４（Ａ）に示す基準状態において撮像された観測対象Ｑの画像データを示し、図５（Ｂ）は、図４（Ｂ）に示す振動状態において撮像された観測対象Ｑの画像データを示す。ピッチング及び／又はバウンシングにより自車両の姿勢が変化すると俯角（仰角）が変化するため、画像全体にもピッチングおよびバウンシングによる動きが検出され、観測対象Ｑの画像上の位置が変化する。時系列での画像上のｙ座標の変化は、図６（Ｂ）に示すとおりである。

以上のように、画像データ上の特徴部の変化量は、自車両と観測対象Ｑとの相対位置の変化に起因する変位量と、自車両、つまり撮像手段（カメラ）２１９に生じるピッチングやバウンシングに起因する変位量とが重畳されて検出される。このような要因により複合的に生じる時系列での画像上の変化は、図６（Ｃ））に示すとおりである。

ピッチ角変化量や撮像高変化量を正確に計測するためには、それぞれの要因に起因する変化量を分離し、それぞれを分析する必要がある。本実施形態は、ピッチング／バウンシングの影響が無視できる、バネ・マス・ダンパー系の静的な平衡状態を検出し、その状態を「車両の基準状態」とすることにより、ピッチング／バウンシングの影響を排除した画像処理を行う。ピッチング／バウンシングの影響が無い基準状態とは、車両のバネ・マス・ダンパー系が平衡状態にあることを意味し、この平衡状態を検出できればピッチング／バウンシングが生じていない基準状態における観測対象に対応する特徴部の画像上の位置を計測することができる。

先述した図６（Ａ）に示すように、ピッチング／バウンシングによる変位量が重畳されていない状態（図２の時刻ｔ_０およびｔ_１での観測タイミング）は、観測対象Ｑの画像位置ｙ（ｔ_０）およびｙ（ｔ_１）は、自車両と観測対象Ｑの相対位置関係で決まるため、相対位置関係に応じた特徴部の画像データ上の変位量を求めることができる。他方、図６（Ｂ）に示すピッチング／バウンシングに起因する特徴部の変位量は、観測対象Ｑの画像データの位置から直接的に計測することはできない。そこで、本実施形態では、特徴部の画像上の挙動を利用してその変位量を求める。すなわち、本実施形態では、特徴部の画像上の挙動を観察することにより、ピッチング／バウンシングの影響が無い基準状態を検出し、検出した基準状態における観測対象に対応する特徴部の画像データ上の基準状態位置（例えば、ｙ（ｔ_０）およびｙ（ｔ_１））を計測し、これを基準の位置として、実際に撮像された観測対象に対応する特徴部の画像データ上の位置を評価することにより、画像データ上のずれ量又は補正量を求める。

ピッチング／バウンシングの周波数である１〜２Ｈｚ程度の振動は、観測対象と自車両の相対位置関係の変化におけるダイナミクスよりも十分高いため、ピッチング／バウンシングに起因する動きが、画像上の動きの支配的な要因となると考えることができる。一般的に振動状態で撮像した観測対象の特徴部の画像においては、時間に対する変位量の１階微分が速度となり、２階微分が加速度となる。速度が最大値であるとき、加速度がゼロであるとき又は加速度の符合が反転する（プラスからマイナス／マイナスからプラスへ変化する）とき（図６（Ｂ）のｔ_０、ｔ_１）は、バネ・マス・ダンパー系が平衡状態にあり、ピッチング／バウンシングによる変位が略ゼロとなると考えることができる。

このため、本実施形態では、ピッチング／バウンシングの影響が無い基準状態を、観測対象に対応する特徴部の画像データ上における移動速度情報、移動加速度情報又は移動加速度の符合情報に基づいて検出する。具体的に、本実施形態の基準位置判断手段４０は、加速度検出手段２０により検出された画像データ上における特徴部の移動加速度が、予め設定されたゼロ近傍の所定の閾値未満である場合、自車両が基準状態であると判断する。他の手法として、基準状態位置判断手段４０は、加速度検出手段２０により検出された画像データ上における特徴部の移動速度が、最大値である場合、自車両が基準状態であると判断する。さらに他の手法として、基準状態位置判断手段４０は、加速度検出手段２０により検出された画像データ上における特徴部の加速度の符号と先のタイミングに抽出された特徴部の加速度とを比較して、加速度の符合が変化した場合、自車両が基準状態であると判断する。

そして、基準位置判断手段４０は自車両が基準状態時における画像データに含まれる特徴部の画像上の位置を基準状態位置として判断する。さらに基準位置判断手段４０は、特徴部の基準状態位置を画像データの撮像タイミングと対応づけて記憶する。

「補正量算出手段５０」は、基準位置判断手段４０により判断された特徴部の画像上の基準状態位置を参照し、特徴抽出手段２０により抽出された各特徴部の画像上の補正量を算出する。つまり、補正量算出手段５０は、画像データ中の特徴部の移動加速度が所定閾値未満乃至ゼロとなったタイミング、移動速度が略最大となったタイミング又は加速度の符合が反転したタイミングにおける特徴部の位置（基準状態位置）と現タイミングにおける（判断対象となる）特徴部の位置とを比較して、特徴部の画像データ上のずれ量（補正量）を算出する。

特に限定されないが、補正量算出手段５０は、基準位置判断手段４０により判断された特徴部の画像上の基準状態位置に基づいて所定時間経過後の所定タイミングにおける特徴部の予測位置を算出し、当該算出された特徴部の予測位置と、その所定タイミングにおいて撮像された画像データの特徴部の観測位置とを比較し、特徴抽出手段２０により抽出された各特徴部の画像上の補正量を算出する。

補正量（ずれ量）の算出手法の一例を説明する。加速度がゼロとなったときの特徴部の位置を時系列で連続して観測したとき、任意のタイミングからΔｔ秒後のｙ座標位置は、以下のように表現できる。ここでは、観測対象の特徴部の位置をｙ（ｔ_０）およびｙ（ｔ_１）とし、特徴部の画像上の加速度がゼロ（又は速度が略最大）となり、次に加速度がゼロ（速度が略最大）となるまでの時間をＴとし、時刻ｔ_１からΔｔだけ時刻が経過した時点ｔ_１＋Δｔにおける特徴部の画像上の位置ｙ（ｔ_１＋Δｔ）を示した。

したがって、観測対象の画像上のｙ座標位置をＹ（ｔ_１＋Δｔ）とすると、ピッチング／バウンシングにより生じている画像上の位置変位Δｙは、下式により求めることができる。

このように、記憶された先のタイミングにおける基準状態位置に基づいて、ピッチングやバウンシングが生じていない状況下であって、所定タイミングにおける特徴部の画像データ上の位置を予測し、現時点で実際に観測された特徴部の画像上の位置と比較／変換することにより、現時点を含む所定タイミングにおける画像データのずれ量（補正量）を算出することができる。算出した補正量は、画像データを補正する画像データ補正手段６０へ出力してもよいし、車両姿勢検出装置３００、走行支援装置４００、障害物検出装置５００その他の外部装置に向けて出力してもよい。

補正量算出手段５０により算出された補正量（ずれ量）から、自車両のピッチングにより生じるピッチ角変化量およびバウンシングにより生じる撮像高変化量を導出することもできる。補正量から導出されたピッチ角および撮像高に関する情報は、対象物の距離計測や対象物への衝突時間推定（以下ＴＴＣ）に用いることができる。例えば、観測対象と自車両の衝突時間推定（ＴＴＣ）の推定において、自車両（カメラ）と観測対象が上下に大きく変化しない場合、観測対象に対応する特徴部の画像上の位置と画像上の移動速度から、式：衝突時間（ＴＴＣ） ＝ ｙ ／ ｖ_ｙ から算出することができる。ここでｙは、処理原点を消失点としたときの観測対象の画像上の縦座標値であり、ｖ_ｙは観測対象の縦方向の移動速度である。

以上のように構成された画像処理装置の１００の動作を説明する。画像処理装置１００の制御手順を図７のフローチャートに示した。
まず、ステップＳ１で撮像装置２００の撮像手段（カメラ）２１０は自車両（移動体）の周囲を所定のタイミングで連続的に撮像し、撮像された画像データをフレームメモリ２２０に格納する（Ｓ１）。

ステップＳ２では画像処理装置１００の画像データ取得手段１０が、記憶された画像データを順次取得する（Ｓ２）。ステップＳ３では、特徴抽出手段２０が取得した画像データから、観測対象の動きを追跡できるパターン又は領域である、観測対象に対応する特徴部を抽出する（Ｓ３）。

ステップＳ４では、連続するフレーム間において、Ｓ３で抽出された特徴部の追跡処理を行い、特徴部の画像データ上における位置を計測する（Ｓ４）。

ステップＳ５では、加速度算出手段３０が、Ｓ４で得た特徴部の時系列の位置情報に基づいて移動する特徴部の加速度又は速度を算出する（Ｓ５）。

ステップＳ６では、基準位置判断手段４０が、Ｓ５で算出された加速度が所定閾値以下であるか否かを判断する（Ｓ６）、設定される加速度の閾値はゼロ又はゼロ近傍の値であることが好ましい。このＳ６において、Ｓ５で算出された速度が略最大であるか否かを判断するようにしてもよい。さらに、このＳ６において、Ｓ５で算出された加速度の符合が反転したか否かを判断するようにしてもよい。

ステップＳ６において、基準位置判断手段４０が、加速度は所定閾値未満である（又は速度は略最大値である、又は加速度の符合は反転した）と判断した場合、ステップＳ７へ進み、Ｓ４により得られる特徴部の座標値を「基準状態位置」として記憶する（Ｓ７）。「基準状態位置」はこの画像データが撮像された撮像タイミングと対応づけて格納することが好ましい。記憶装置７０へ格納後、ステップＳ９へ進む。

ステップＳ６において、基準位置判断手段４０が、加速度は所定閾値未満でない（又は速度は略最大ではない、又は加速度の符合は変化していない）と判断した場合、ステップＳ７において記憶された「基準状態位置」を読み出す（Ｓ８）。ステップＳ９において、最新の基準状態位置が得られた時刻（タイミングｔ１）から所定の時間Δｔ経過後の所定タイミングにおける、ピッチング／バウンシングが発生していない場合の推定位置を算出する（Ｓ９）。

補正量算出手段５０は、実際にＳ４において観測された特徴部の位置と、Ｓ９において算出されたピッチング／バウンシングが発生していない場合の推定位置とを比較して、現在時点におけるピッチング／バウンシングにより生じた特徴部の画像上の変位を算出する。この変位に基づいて、画像データの補正量又はずれ量を求める。

算出された補正量（ずれ量）は、画像データ補正手段６０へ送出される。画像データ補正手段６０は、補正量に基づいて画像データを補正する。これにより、ピッチング又はバウンシングに起因する画像のずれが補正され、正確な画像データを得ることができる。なお、補正した画像データを外部装置（車両姿勢検出装置３００、走行支援装置４００、又は障害物検出装置５００）へ送出することができる。算出された補正量は、車両姿勢検出装置３００、走行支援装置４００、又は障害物検出装置５００に送出され（Ｓ１１）、画像データの補正量として利用されるほか、ピッチ角又は撮像高の補正量として利用される。

本実施形態の画像処理装置１００によれば、レーンマーカ等のリファレンスやマークが無い場合であっても、ピッチング／バウンシングにより生じた画像上の位置誤差を算出することができ、画像上の補正量、自車両のピッチ角、又は撮像高の変化量を計測することができる。

また、ピッチング／バウンシングを要因とするずれ量を正確に求めることができるため、適切な補正量を算出し、車両の挙動による影響を排除した正確な画像データを得ることができる。例えば、ピッチングが発生していないにもかかわらず、他の要因によって生じた変位に基づいてピッチング補正を行ってしまうといった誤った補正処理を行うことがない。

本実施形態の画像処理装置１００は、画像上における特徴部の加速度が略ゼロ（所定閾値以下）となったとき、速度が最大となったとき、又は加速度の符号が変化したときを、
移動体にピッチング／バウンシングが生じていない基準状態と判断し、移動体が基準状態にあるタイミングにおいて撮像された画像データの特徴部の位置に基づいて、画像データのずれ量を算出するため、ピッチングおよびバウンシングによる影響を排除した補正量を算出することができる。

また、移動体が基準状態である場合に撮像された特徴部の画像上の位置を、時間的に外挿して実際に観測された画像データの補正量（ずれ量）を算出することにより、ピッチングおよびバウンシングの影響を排除した、より正確な補正量を算出することができる。

本明細書では、画像処理装置１００を例にして説明したが、本願の画像処理方法を使用した場合も、同様に作用し、同様の効果を奏する。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

画像処理装置のブロック構成図である。 （Ａ）（Ｂ）は、自車両の状態を説明する第１の図である。 （Ａ）（Ｂ）は、図２（Ａ）（Ｂ）の状態において撮像された観測対象（先行車）ｎ画像データを示す図である。 （Ａ）（Ｂ）は、自車両の状態を説明する第２の図である。 （Ａ）（Ｂ）は、図３（Ａ）（Ｂ）の状態において撮像された観測対象（先行車）ｎ画像データを示す図である。 （Ａ）（Ｂ）（Ｃ）は、画像上のｙ座標位置の経時的変化を示す図である。 画像処理装置の制御手順を示す図である。

符号の説明

１００…画像処理装置
１０…画像データ取得手段
２０…特徴抽出手段
３０…加速度検出手段
４０…基準位置判断手段
５０…補正量算出手段
６０…画像データ補正手段
７０…記憶装置
２００…撮像装置
２１０…撮像手段
２２０…フレームメモリ
３００…車両姿勢検出装置
４００…走行支援装置
５００…障害物検出装置

Claims (10)

1. 移動体に搭載され、当該移動体の周囲を所定のタイミングで連続的に撮像する撮像装置から画像データを順次取得する画像データ取得手段と、
   前記画像データ取得手段により取得された各画像データから特徴部を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された各特徴部の加速度を検出する加速度検出手段と、
   前記加速度検出手段により検出された各特徴部の加速度に基づいて、特徴部の基準状態位置を判断する基準位置判断手段と、
   前記基準位置判断手段により判断された特徴部の基準状態位置と前記特徴抽出手段により抽出された特徴部の位置とに基づいて、前記移動体の挙動に起因する画像データの補正量を算出して出力する補正量算出手段とを有し、
   前記基準位置判断手段は、前記加速度検出手段により検出された各特徴部の加速度が所定の閾値未満である画像データを抽出し、当該画像データに含まれる特徴部の画像上の位置を基準状態位置として判断するとともに、基準状態位置を前記画像データの撮像タイミングに対応づけて記憶する画像処理装置。
2. 前記所定の閾値は、ゼロ近傍の値である請求項１に記載の画像処理装置。
3. 移動体に搭載され、当該移動体の周囲を所定のタイミングで連続的に撮像する撮像装置から画像データを順次取得する画像データ取得手段と、
   前記画像データ取得手段により取得された各画像データから特徴部を抽出する特徴抽出手段と、
   前記特徴抽出手段により抽出された各特徴部の加速度を検出する加速度検出手段と、
   前記加速度検出手段により検出された各特徴部の加速度に基づいて、特徴部の基準状態位置を判断する基準位置判断手段と、
   前記基準位置判断手段により判断された特徴部の基準状態位置と前記特徴抽出手段により抽出された特徴部の位置とに基づいて、前記移動体の挙動に起因する画像データの補正量を算出して出力する補正量算出手段とを有し、
   前記基準位置判断手段は、前記加速度検出手段により検出された各特徴部の加速度の符号が変化した画像データを抽出し、当該画像データに含まれる特徴部の画像上の位置を基準状態位置として判断するとともに、基準状態位置を前記画像データの撮像タイミングに対応づけて記憶する画像処理装置。
4. 前記補正量算出手段は、前記基準位置判断手段により判断された特徴部の基準状態位置に基づいて所定時間経過後の所定タイミングにおける特徴部の予測位置を算出し、当該算出された特徴部の予測位置と、当該所定タイミングにおいて撮像された画像データの特徴部の観測位置とを比較し、前記特徴抽出手段により抽出された各特徴部の画像上のずれ量から前記補正量を算出する請求項１〜３のいずれかに記載の画像処理装置。
5. 前記補正量算出手段により算出された補正量に基づいて、前記画像データを補正する画像データ補正手段をさらに備えた請求項１〜４のいずれかに記載の画像処理装置。
6. 移動体の周囲を所定のタイミングで連続的に撮像する撮像装置から画像データを順次取得するステップと、
   前記取得された各画像データから特徴部を抽出するステップと、
   前記抽出された各特徴部の加速度を検出するステップと、
   前記検出された各特徴部の加速度に基づいて特徴部の基準状態位置を判断するステップと、
   前記判断された特徴部の基準状態位置と前記抽出された特徴部の位置とに基づいて、前記移動体の挙動に起因する画像データの補正量を算出するステップとを有し、
   前記基準状態位置を判断するステップは、
   前記検出された各特徴部の加速度が所定の閾値未満である画像データを抽出するステップと、
   当該抽出された画像データに含まれる特徴部の画像上の位置を基準状態位置として判断するステップと、
   当該判断された基準状態位置を前記画像データの撮像タイミングに対応づけて記憶するステップとを有する画像処理方法。
7. 前記所定の閾値は、ゼロ近傍の値である請求項６に記載の画像処理方法。
8. 移動体の周囲を所定のタイミングで連続的に撮像する撮像装置から画像データを順次取得するステップと、
   前記取得された各画像データから特徴部を抽出するステップと、
   前記抽出された各特徴部の加速度を検出するステップと、
   前記検出された各特徴部の加速度に基づいて特徴部の基準状態位置を判断するステップと、
   前記判断された特徴部の基準状態位置と前記抽出された特徴部の位置とに基づいて、前記移動体の挙動に起因する画像データの補正量を算出するステップとを有し、
   前記基準状態位置を判断するステップは、
   前記検出された各特徴部の加速度の符号が変化した画像データを抽出するステップと、
   当該抽出された画像データに含まれる特徴部の画像上の位置を基準状態位置として判断するステップと、
   当該判断された基準状態位置を前記画像データの撮像タイミングに対応づけて記憶するステップとを有する画像処理方法。
9. 前記補正量を算出するステップは、前記判断された特徴部の基準状態位置に基づいて所定時間経過後の所定タイミングにおける特徴部の予測位置と、当該所定タイミングにおいて撮像された画像データの特徴部の観測位置とを比較し、前記抽出された各特徴部の画像上の補正量を算出する請求項６〜８のいずれかに記載の画像処理方法。
10. 前記算出された補正量に基づいて、前記画像データを補正するステップをさらに有する請求項６〜９のいずれかに記載の画像処理方法。

Images