JP3719095B2

JP3719095B2 - 挙動検出装置および勾配検出方法

Info

Publication number: JP3719095B2
Application number: JP2000102102A
Authority: JP
Inventors: 敏彦鈴木; 武雄金出
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2000-03-22
Filing date: 2000-04-04
Publication date: 2005-11-24
Anticipated expiration: 2020-04-04
Also published as: JP2001266160A; US6535114B1

Description

【０００１】
【発明の属する技術分野】
本発明は、挙動検出装置および勾配検出方法に関し、特に、１台のカメラが移動しながら撮影した画像を用いて３次元的に物体を認識して、移動体の挙動を検出またはカメラの移動する面の勾配を検出する技術に関する。
【０００２】
【従来の技術】
従来、道路表面上の障害物を検出するために用いられる車両用のセンサとしては、３つのタイプのセンサが知られている。ミリ波レーダと、レーザレーダと、撮影画像を用いるビジョンシステムである。
【０００３】
ミリ波レーダおよびレーザレーダは、悪条件下で高い信頼性を有し、オートクルーズコントロールシステムにおいて実用化されている。しかしながら、タイヤおよび木製の箱のような非金属の小さな障害物を検出する能力が低い。
【０００４】
またビジョンシステムとしては、種々のステレオシステムが提案されている。例えば、“A High-Performance Stereo Vision System for Obstacle Detection,” T.Williamson, Ph. D Thesis, The Robotics Institute, Carnegie Mellon University, Pittsburgh, Pennsylvania, October 1998である。しかしながら、ステレオシステムは、複数のカメラを必要とし、スペースおよびコストの面から不利である。
【０００５】
またステレオシステムでは、通常、レンジ解像度を上げるために１ｍ以上のベースラインを設ける必要がある。さらに、高い空間解像度を得るためには焦点距離が長いレンズを用いる必要がある。信頼性を得るために３つ以上のカメラが設けられることもある。これらの要求によりカメラ搭載位置が制限され、その結果、カメラ視野として使える範囲が狭められることもある。
【０００６】
これに対し、１つのカメラだけを物体認識に用いることも提案されている。元々、人間の両眼の間のベースラインは十分に長くはない。したがって運転者は、遠くの障害物をステレオ視（立体視）によって認識しているわけではない。運転者は、ある種の移動による立体情報または強度情報を手掛かりに用いている。このような手法を応用することにより、一つのカメラだけを使って障害物を認識可能であり、これによりコストを低減できる。
【０００７】
移動情報による認識技術としては、オプティカルフローを用いることが提案されている。障害物と背景から得られるオプティカルフローの相違に基づいて障害物が検出される。
【０００８】
すなわち、平坦な路面の画像から得られるオプティカルフローベクトルは、ある特定の式に従う。オプティカルフローベクトルは、連続する複数の画像上の同一ポイントを結ぶベクトルである。画像中のあるポイントが路面上に無ければ、そのポイントのオプティカルフローベクトルは規則に当てはまらない。したがって路面と異なる高さの物体を認識可能である。
【０００９】
オプティカルフローを用いた画像処理の一般的な技術は、例えば“画像理解“金谷、森北出版、１９９０年（“Gazo Rikai”K.Kanatani, Morikita Publishing,Tokyo,1990）に説明されている。また国際公開ＷＯ９７／３５１６１号に記載されている。これらの文献はここに参照として本明細書に組み込む。
【００１０】
【発明が解決しようとする課題】
しかしながら、単にオプティカルフローだけを用いて画像から障害物を認識しようとした場合、小さい障害物に対して信頼できる高精度の検出を行うことが困難である。障害物と路面のオプティカルフローベクトルの差が非常に小さいからである。オプティカルフロー計算の時間差が小さい場合、またはカメラの動きが遅い場合も、同様の理由で信頼できる高精度の検出が困難である。
【００１１】
図１の例では、カメラ高さは１．５ｍであり、９０ｍ先には高さ１５ｃｍの物体がある。画像上においては、物体の頂点は、１００ｍ先の路面と同一位置にある。カメラから両点を見下ろす角度は０．８５３度である。
【００１２】
車両が１００ｋｍ／ｈで１ｍ進んだときに２枚目の画像が取得されるとする。このとき、物体頂点を見下ろす角度は０．８６８度である。一方、路面上の点を見下ろす角度は０．８６９度である。両者の相違は非常に小さい。したがってこのような状況では、オプティカルフローベクトルを比較しても障害物を見つけることは困難である。
【００１３】
ここでは、車載カメラによる障害物検出について説明したが、他の任意の認識技術においても同様の問題がある。また本発明の他の関連技術は、“A Specialized Multi-baseline Stereo Technique for Obstacle Detection,” T.Williamson and C.Thorpe, Proceedings of the International Conference on Computer Vision and Pattern Recognition (CVPR '98), Santa Barbara, California, June 1998であり、また“Detection of Small Obstacles at Long Range Using Multibaseline Stereo,” T.Williamson and C.Thorpe, Proceedings of the 1998 IEEE International Conference on Intelligent Vehicles, Stuttgart, Germany, October 1998である。
【００１４】
本発明は上記に説明した課題に鑑みてなされたものであり、本発明の主な目的は、小さい対象物などに対する認識能力を向上可能な方法および装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、本発明は、カメラで周辺領域を撮影した画像に映った物体を画像処理により認識する方法に関する。本発明によれば、一台のカメラにより移動しながら撮影された一連の画像列が取得される。カメラ移動は、物体に対する相対的な移動であればよい。取得した画像に映った物体候補が特定され、特定した物体候補が一連の画像列中で追跡される。そして追跡により得られる物体候補画像の変化情報から物体に関する３次元情報が求められる。
【００１６】
物体に関する３次元情報は、例えば物体の高さ、位置、幅または形状などである。この３次元情報は、背景からの物体の突出の有無のような単純な情報を含む。好ましくは、物体の突出の高さなど寸法が求められる。
【００１７】
本発明によれば、物体候補が追跡されるので、物体候補とそれ以外の部分との間で、物体画像の移動量の相違が大きく現れる。したがって物体の認識能力が向上する。物体が小さいとき、画像の取得間隔が小さいとき（フレームレートが大きいとき）、およびカメラ移動速度が小さいときでも物体を正確に認識可能となる。
【００１８】
また本発明の方法は、認識対象物と背景の色（強度）が近いときに有利である。周囲と近い色をもつ部分は、物体候補に仮決定し、追跡する。そして、その追跡結果から、物体候補が本当に物体であったか否か、例えば路面より突出しているか否かを判定する。したがって、本発明は撮影条件に関連する認識能力も向上できる。
【００１９】
好ましくは、追跡中のカメラ挙動を検出し、カメラ挙動に基づいて追跡情報を処理する。カメラ挙動は、カメラを搭載した移動体の挙動と同じである。挙動を用いることで物体の位置やサイズなどを好適に認識できる。さらに好ましくは、カメラ挙動とともにカメラ姿勢を検出し、挙動および姿勢に基づいて追跡情報を処理する。姿勢(pose)は向き(orientation)と配置(location)を含む。挙動と姿勢を用いることでカメラに対する物体の位置などの好適な認識ができる。
【００２０】
さらに好ましくは、挙動および姿勢は画像列を用いて検出される。一台のカメラにより撮影された画像列が、物体認識だけでなく、物体認識の基礎となるカメラ挙動および姿勢の検出に利用される。挙動および姿勢の各種パラメータを直接検出する専用センサを削減でき、コストなどの面でも有利である。
【００２１】
また挙動および姿勢を検出するとき、画像列に加えてカメラ挙動センサの検出信号を利用してもよく、信頼性を向上できる。
【００２２】
また好ましくは、挙動および姿勢を検出するとき、画像列の画像座標上でのフローパラメータを、３次元座標での物理的パラメータへと変換して、挙動と姿勢を求める。画像座標上でのオプティカルフローパラメータは蓄積（積分）処理に向かない。これとは対称的に、３次元座標での物理パラメータは容易に蓄積可能であり、追跡中の挙動および姿勢検出に容易に利用できる。
【００２３】
さらに、仮にオプティカルフローパラメータを蓄積したとして、物体と背景を判別可能な程度の蓄積結果の相違は得られるかもしれない。しかしながら、フローパラメータの蓄積からは物理的な値が求められない。すなわち物体の高さ、サイズ、距離、幅などの寸法を求めることは不可能である。一方、本発明によれば、３次元座標での物理パラメータを蓄積して、追跡中にカメラがどのように動いたかを知ることができる。この蓄積情報と、画像内の物体候補の動きから、物体の３次元形状を物理的に把握でき、所望の寸法等の物理的値を計算可能である。このように本発明によれば物体情報を正確に認識でき、この点は本発明の大きな利点の一つである。
【００２４】
また好ましくは、挙動および姿勢の検出処理に非線形処理対応のカルマンフィルタを用いる。非線形データの処理を好適に行うことができ、かつ画像ノイズの影響を低減できる。
【００２５】
また好ましくは、さらに、カメラが移動する面の勾配を検出する。そして、カメラ挙動および勾配を追跡情報に関連づけて認識処理を行い、より正確に物体を認識する。
【００２６】
好ましくは、勾配を検出するとき、画像列からカメラ挙動として推定した推定ピッチ角と、センサで検出した検出ピッチ角との相違に基づいて勾配情報を求める。ここでも非線形処理対応のカルマンフィルタを用いることが好適である。
【００２７】
さらに、認識処理ステップにおいても、非線形処理対応のカルマンフィルタを用いることが好適である。好ましくは、新しい物体候補が検出されたときに、その新しい物体候補のためにカルマンフィルタを割り当てる。そして、複数のカルマンフィルタを用いて複数の物体候補の認識処理を並行して行う。これにより、画像に次々と現れる複数の物体を好適に検出できる。
【００２８】
また好ましくは、各画像を複数の領域に分割し、分割領域の各々についての認識処理結果から、領域間の凹凸情報を求める。ここでは、各分割領域を物体候補として認識処理を行うことにより、カメラが移動する面の凹凸が求められる。
【００２９】
本発明の一態様は、画像に映った被撮影物を画像処理により認識する方法または装置に関する。本発明によれば、一台のカメラにより移動しながら撮影された一連の画像列が取得される。画像に映った被撮影物が前記一連の画像列中で追跡され、追跡により得られた画像中の被撮影物位置の変化情報から被撮影物に関する３次元情報が求められる。
【００３０】
本発明の認識技術は、車両における障害物検出に好適に利用される。しかしながら、本発明はそのような用途に限定されない。例えば、本発明は任意の車両制御に利用でき、また３次元地図の作成に利用できる。また車両以外の用途、例えば監視カメラなどにも本発明を適用可能である。
【００３１】
ここまでは、本発明の一つの目的である周辺認識技術の向上に関連して、周辺認識方法または装置の態様について説明した。しかし、本発明の態様はこれに限定されない。
【００３２】
本発明の別の目的の一つは、好適な挙動検出方法および装置を提供することにある。本発明の一態様によれば、一台のカメラが移動しながら撮影した画像を用いて挙動が検出される。検出処理では、オプティカルフローから３次元座標の物理的パラメータへの変換が好適に行われる。検出処理にはカルマンフィルターが好適に用いられる。これにより、カメラ自体またはカメラが搭載された移動体の挙動が検出される。挙動とともに姿勢が検出され、あるいは姿勢のみが検出されてもよいことはもちろんである。検出結果の用途は、上述の周辺認識に限定されない。カメラを車両に搭載すれば、検出結果は車両制御、例えば各種アクチュエータ（エンジン、ブレーキ、変速機またはステアリング装置など）の制御に利用できる。
【００３３】
本発明のさらに別の態様は、撮影画像を用いてカメラが移動する面の勾配を検出する勾配検出方法または装置である。勾配は、画像処理による推定ピッチ角とセンサによる検出ピッチ角に基づいて検出される。検出された勾配は物体認識に利用する他、車両制御などにも利用できる。
【００３４】
【発明の実施の形態】
以下、本発明の好適な実施の形態（以下、実施形態という）について、図面を参照し説明する。
【００３５】
本実施形態では、例として、カメラが車両に搭載され、路面上の障害物が検出される。ここでは路面上にない物体部分、路面から突出した物体を障害物と定義する。またカメラは車両に固定されているので、基本的にカメラ挙動は車両挙動に等しい。
【００３６】
図２は、障害物検出装置の全体構成を示すブロック図である。車両には一台のＣＣＤカメラ１が搭載されており、ＣＣＤカメラ１は車両前方を撮影する。カメラ１は車両の屋根などに搭載される。車両センサ３は、車速センサ、ヨーレートセンサおよびピッチセンサを含む。
【００３７】
車両の移動中にＣＣＤカメラ１が撮影する一連の画像列（動画像）は、認識処理装置５に送られる。認識処理装置５はコンピュータ装置であり、画像処理により路面上の障害物を検出する。検出結果は、ディスプレイ７およびスピーカ８から出力される。例えば、障害物の存在を示す警報が出力される。また障害物情報は、アクチュエータ９の制御に用いられる。アクチュエータ９は、例えばエンジン、ブレーキ、変速機またはハンドルである。例えば適切な障害物回避制御が行われる。
【００３８】
図３は、認識処理装置５の構成を示している。認識処理装置５は、概略的には挙動・姿勢検出部１１と、認識処理部１３とを含む。挙動・姿勢検出処理部１１は、車両挙動（カメラ挙動）およびカメラ姿勢を求め、さらに道路勾配も求める。認識処理部１３は、画像から障害物候補を見い出し、その障害物候補を画像列中で追跡し、追跡により得られた軌跡情報(trajectory)から障害物を検出する。追跡および認識処理は、挙動および姿勢情報、さらには勾配情報を用いることにより精度よく行われる。本実施形態では例えば障害物の高さ、距離、横方向配置が求められる。以下、各処理を詳細に説明する。
【００３９】
「車両挙動およびカメラ姿勢の検出」
図４は、挙動・姿勢検出部１１による処理の全体的な概念を示している。左側の２次元撮影画像からは、オプティカルフローモデルが得られる。このモデルは、周知の２次フローモデルの８つのフローパラメータで表され、それらパラメータは画像中の位置と組み合わされる。ここでは路面が平坦であると仮定し、２枚の画像間の同一点を結ぶベクトルを求める。
【００４０】
一方、図４の右側に示すように、３次元空間では車両挙動とカメラ姿勢（向きと配置）が９つの物理的次元のパラメータで表される。９つの物理的パラメータは、車両の３方向の速度ａ，ｂ，ｃ、３軸回りの角速度Ｗ1，Ｗ2，Ｗ3、カメラのピッチθ、ロールφ、カメラ高さＨである。
【００４１】
これら９つの物理パラメータの一つ（例えばカメラ高さ）を与えることにより、他の８つの物理パラメータがオプティカルフローパラメータから求まり、挙動および姿勢が求められる。本発明では、この検出処理を拡張カルマンフィルタを用いて行うことによりノイズ低減効果を得る。
【００４２】
以下、本実施形態で好適に適用できる技術として、本発明者が発明した、オプティカルフローに基づく車両挙動および向きの検出方法について説明する。
【００４３】
後段の障害物認識では、画像中の候補物体を動画像中で追跡する。正確な認識の基礎として用いるべく、追跡中に撮影側がどのように動いたかを正確に求めることが望まれる。ここでは２つの手法が考えられる。一つは、画像座標上での２次元的な挙動パラメータを蓄積する方法である。もう一つは、３次元ワールド座標上での３次元挙動パラメータを蓄積する方法である。
【００４４】
両パラメータを計算するための数学的フレームワークは、“Hierarchical Model-Based Motion Estimation,” J.Bergen, P.Anandan, K.Hanna and R.Hingorani, Proceedings 2nd European Conference on Computer Vision-92,Santa Margherita Ligure, Italy, May 1992に提案されている。この文献はここに参照として本明細書に組み込まれる。この文献では、現在の画像と以前の画像（挙動パラメータで変形）の強度差が最小になるように最適計算が行われる。
【００４５】
しかし、画像座標上での２次元挙動パラメータは、本来、積分処理には向かないデータであり、このパラメータの蓄積処理は実際問題として困難である。物理的な次元も適当に設定できないので、パラメータの蓄積結果から得られる形状情報は曖昧であり、物理的な形状認識（寸法等）は困難である。
【００４６】
この点に鑑み、本発明者は、検討の結果、３次元座標での挙動パラメータ（変化率）を蓄積することが最も実用的であり、効果的であることを見い出した。道路表面に対する車両挙動と向きが明確に求められる。これら情報は、カメラの挙動と姿勢による画像変化を計算するための基礎となり、そして、道路平面で定義されるような３次元世界での障害物認識のための情報蓄積が可能になる。なお、これら情報は車両制御および道路形状（geography)のモデリングにも利用できる。
【００４７】
以上の検討に基づき、本実施形態では、オプティカルフローベクトルから、３次元空間での挙動および向きを推定する。オプティカルフローベクトルは、前述のように、複数画像の同一点を結んだベクトルである。
【００４８】
ここで問題となるのは、フローベクトルとパラメータの間の関係が非線形なことである。また正確で安定した推定処理のためには、ＣＣＤカメラの個体差からくる画像強度(intensity)および色彩(effect)の測定ノイズを取り除くべきである。本実施形態では、このような要求を満たすために拡張カルマンフィルタを用いる。
【００４９】
拡張カルマンフィルタについては、例えば、“Recursive 3-D Road and Relative Ego-State Recognition,” E.Dickmanns and B.Mysliwetz, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.14, No.2, February 1992に記載されており、また、“Robust car tracking using Kalman filtering and Bayesian templates,” F.Dellaert and C.Thorpe, Proceedings of SPIE: Intelligent Transportation Systems, Vol.3207, October 1997に記載されている。これらの文献は、ここに参照として本明細書に組み込まれる。
【００５０】
図５の概略図は、図３の上半部に相当する。センサ情報としては、１台のＣＣＤカメラにより撮影された複数の画像（例えば時間ｔ−１およびｔ）が入力される。また車両センサから車速、ヨーレートおよびピッチレートが入力される。なお、ヨーレートセンサおよびピッチセンサは、近年のラグジュアリークラスの乗用車に通常備えられているセンサでよい。またＣＣＤカメラは、例えば車両のルーフラックの中央に取り付けられる。
【００５１】
図５の構成において、画像情報からは画像処理によりオプティカルフローおよび２次元フローモデルの８つのパラメータが算出される。オプティカルフローが、データ演算部としてのカルマンフィルタで処理され、車両挙動とカメラ向きおよび配置（姿勢）とが算出される。車速およびヨーレートを画像情報とともに用いることにより推定精度が向上される。また、第２のカルマンフィルタが設けられており、第１のカルマンフィルタから挙動情報が入力され、また車両センサからピッチレート情報が入力される。この第２のカルマンフィルタは、道路勾配検出用のデータ演算部として設けられている。
【００５２】
以下、挙動検出処理の原理を詳細に説明する。
【００５３】
（１）座標システムとパラメータの定義
図６および図７には、本実施形態で用いる３つの座標システム、すなわち画像座標システム、カメラ座標システムおよび車両座標システムが示されている。画像座標は、ＣＣＤカメラの画像面に設定されている。カメラ座標では、画像面とカメラ軸の交点が原点である。車両座標はカメラ座標を回転したものである。これらの座標システムはカメラの移動に伴って動く。
【００５４】
基本的に、画像に現れる道路表面は平坦であると仮定する。しかしながら、実際には小さな凹凸および勾配が存在する。この点に関連する好適な処理は、後述にて述べる。
【００５５】
（２）平坦表面フロー
路面を走る車両に搭載されたカメラの動きは、６つの自由度を有する。垂直方向速度ａcamera、横方向速度ｂcamera、縦（前後）方向速度ｃcamera、ヨーレートω１、ピッチレートω２およびロールレートω３である。これらの挙動パラメータはカメラ座標にて測定される。
【００５６】
路面が平坦であると見なすと、平面の方程式はカメラ座標において下式で記述される：
【数１】

ここでｐ、ｑおよびｒは平面パラメータである。
【００５７】
そして画像面上で平坦な表面の画像から得られるオプティカルフローベクトルは、下式で表される：
【数２】

【数３】

ここで、ｕ、ｖは、それぞれ、画像座標（ｘ，ｙ）でのフローベクトルの水平成分および垂直成分である。ｆは焦点距離である。Ｕ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，ＥおよびＦは、路面に対するカメラの挙動と向きにより決定されるフローパラメータである。フローパラメータは下式で与えられる：
【数４】

ここでｔｄは、画像サンプリングタイムである。
【００５８】
ところで、平面パラメータは、路面に対するカメラ向き角度と位置を用いて記述できる。すなわち、ピッチ角θ、ロール角φおよびカメラ高さＨである。通常、ほとんどの車両において、θ、φおよびΔＨ（Ｈの変化）は、ほぼゼロである。したがって：
【数５】

この近似式を用いることにより、カメラと路面の間の幾何学的関係から下式が得られる。
【００５９】
【数６】

図７に示すように、カメラ座標は、車両座標に対してθおよびφだけ回転されている。したがって、カメラの移動速度ａcamera、ｂcamera、ｃcameraは、車両移動速度ａ、ｂ、ｃを用いて以下のように書ける。
【００６０】
【数７】

カメラを搭載するとき、ニュートラルステアリング位置での車両移動方向にカメラ軸を正確に一致させることは容易でない。そこで、ここではカメラと車両の縦方向速度を測定するための水平方向の差を考慮に入れるためにパラメータγを導入している。
【００６１】
以上より、フローベクトルは車両座標では下式のようになる。
【数８】

【００６２】
（３）車両ダイナミクスモデル
前述したように、本実施形態では、拡張カルマンフィルタを用いて測定ノイズが低減され、かつ非線形式が容易に扱われる。拡張カルマンフィルタは、周知のように、非線形処理に対応できるように構成されたカルマンフィルタである。本実施形態では、対象である車両の物理的な数学モデルがフィルタ内に備えられる。ここでは、拡張カルマンフィルタで用いる車両ダイナミクスモデルの例を説明する。
【００６３】
車両ダイナミクス（上下、ピッチ、ロール移動）は、二次振動によりモデル化される。モデルは１０の式で表される。すなわち、車両座標での重心回りの３つの移動速度および３つの回転速度、カメラ視での路面に対するカメラ姿勢の３つの式、およびカメラ軸と車両軸の角度差である。
【００６４】
垂直方向挙動は、
【数９】

ここでｐａは減衰係数、ｑａはバネ定数、ｋａは加速と高さ変化の関係要因、αは運転者または道路勾配による車両加速度、Ｗａは道路の凹凸（バンプ）に起因する処理ノイズ、ｈａは道路凹凸である（以下の式で同様の文字は同様の意味をもつ）。
【００６５】
またピッチング挙動は、
【数１０】

ここでＩθはピッチングの慣性モーメント、θ0は初期ピッチ角、Ｐθは減衰係数、ｑθはバネ定数、ｋθはαとω２の変化率との関係要因、Ｗ２は道路凹凸の処理ノイズ、ｈθは２次ダイナミクスでのＷ２による等価ピッチ変化である。
【００６６】
またロール挙動は、
【数１１】

ここでＶは車両速度であり、Ｉφはロールの慣性モーメント、φ０は初期ロール角、Ｐφは減衰係数、ｑφはバネ定数、ｋφは移動加速度とω３の変化率との関係要因、Ｗ３は道路凹凸の処理ノイズ、ｈφは２次ダイナミクスでのＷ３による等価ロール変化である。
【００６７】
車両のスリップ角は無視できると仮定すると、横方向挙動は、
【数１２】

ここでＷｂはヘッド（車頭）角差、ワインド(wind)および道路凹凸による処理ノイズである。
【００６８】
さらに縦方向挙動は、
【数１３】

ここでＷｃは道路勾配による処理ノイズである。
【００６９】
さらにヨー挙動は、
【数１４】

ここでＷ１は道路凹凸による処理ノイズである。
【００７０】
さらに、カメラ視での路面に対するカメラ軸のピッチ角θとロール角φ、および、路面に対する初期時点でのカメラ位置高さは、
【数１５】

さらに、カメラの角度に関して、カメラの向きと車体の向きの角度、および、車体の向きと車体が動く方向との角度が考えられる。前者の角度は前述のγに相当する。後者には適当な推定値が好適に適用可能である。車速が大きくない状況、あるいは、急カーブ等以外の状況を想定し、ｂ＝０と仮定してこうした角度を処理することができる。
【００７１】
以上、車両ダイナミックスモデルに関して各種の条件を説明した。拡張カルマンフィルタには、これらの条件（６つの挙動パラメータと４つの向きパラメータ）が線形マトリックス表現で書かれる。
【００７２】
（４）オプティカルフローおよびフローパラメータの計算
まず、ラプラシアン・ガウシアン・フィルタ(Laplacian Gaussian Filter)を用いて画像の特徴が強調される。それからテンプレートマッチング法を用いてオプティカルフローパラメータが算出される。テンプレートマッチング法では、絶対値差の合計をマッチング指標として利用できる。
【００７３】
前段階のオプティカルフローパラメータを用いることにより、テンプレートマッチングのスタート位置を適切に設定できる。また初期化では、路面領域には障害物が一つもないと仮定する。これにより、大きな計算負荷を使わないでも、オプティカルフローの計算をリアルタイム作業で行える。
【００７４】
そして前出の式（２）（３）が、道路面のフローパラメータＵ，Ｖ，Ａ，Ｂ，Ｃ，Ｄ，ＥおよびＦの算出に用いられる。最小二乗法を用いて、フローパラメータおよびその画像中の位置（ｕ(x,y)，ｖ(x,y)，ｘ，ｙ）が計算される。この処理は、アウトライアー(outliers)を取り除くため、数回の反復処理にわたって繰り返される。
【００７５】
（５）拡張カルマンフィルタの構成
本実施形態では、車両センサによって得られた車速およびヨーレートが、オプティカルフローパターンから計算される８つのパラメータとともに用いられる。したがって、車両挙動の観察ベクトルｙｖは以下にように定義される：
【数１６】

ここで、ｃおよびω１は車両センサ（それぞれ速度センサおよびヨーレートセンサ）で測定される。
【００７６】
一方、本実施形態で推定により求めるべき状態ベクトルｚｖは、以下のように、車両挙動の６つのパラメータと、車両方向の３つのパラメータと、カメラ軸と車両軸の間のオフセット角とで構成される。
【００７７】
【数１７】

観察ベクトルは、式（６）で示されるような可変状態では非線形である。拡張カルマンフィルタによれば、前回の推定に基づいてシステムの式を線形化することで、最小分散推定ができる。共分散マトリクスおよび拡張カルマンフィルタのカルマンゲインが現在の測定に依存するので、それらは反復計算の度に、最新のセンサデータと推定結果を用いて更新される。
【００７８】
（６）実験結果
ここでは、車両挙動と向きを推定するアルゴリズムを、ＳＧＩＯ２ワークステーションにてＭＡＴＬＡＢバージョン５のＳＩＭＵＬＩＮＫモジュールを用いて作成した（それぞれ商標）。入力データは、１台のＣＣＤカメラにより得られた画像列と車両センサデータとであり、これらは、駐車場を走る乗用車から同時に取得された。
【００７９】
使用した画像サイズは、２５６×２４０ピクセルであり、画像取得レートは１５Ｈｚ（１５枚／秒）である。画像列は、時速約２４ｋｍ／ｈで走行中に取得された。
【００８０】
図８のグラフは、拡張カルマンフィルタにより推定されたピッチ角（点線）と、センサで測定したピッチ角（実線）とを比較して示している。縦軸の単位は約０．２５度であり、横軸の単位は１秒である。図８の画像は、画像列から得たＬＯＧフィルター処理後のフレームである。推定および測定による２つのラインは良好に一致している。これは、推定処理が正確であり、安定していることを示す。
【００８１】
図９に示すように、検出処理の対象領域を狭め、挙動推定に用いるオプティカルフローベクトルの数を減らすと、推定結果の安定性は変わらないが、推定および測定の一致度は少し低下する。この効果は、図８および図９中で円で囲んだ部分にて明らかである。
【００８２】
この相違の原因は、各処理で選択した処理対象領域（大きい領域と小さい領域）における道路勾配の相違にある、と考えられる。実際、拡張カルマンフィルタは、路面に対するカメラ軸の向きを推定しており、一方、ピッチレートセンサは、カメラの絶対的なピッチ挙動を測定している。この点は、後述する道路勾配の推定に好適に利用される。
【００８３】
図１０は、他の車両挙動パラメータの推定結果を示している。これらの推定値も、他の方法で測定した結果と良く一致すると思われる。なお、“カメラアングル”と付されたグラフは、オフセット角（車両の前後方向軸とカメラ軸との角度）である。
【００８４】
以上に、オプティカルフローから車両挙動と向きを推定するアルゴリズムを説明した。
【００８５】
図３に戻り、本実施形態の障害物検出装置への上記アルゴリズムの適用について説明する。
【００８６】
時間的に離れた複数の画像が入力されると、これらの画像から上記の方法でオプティカルフローが計算され、フローパラメータが求められる。フローパラメータと、車両センサから入力された車速およびヨーレートが、上述の原理に従い構成された第１のカルマンフィルタに入力される。そして上記のパラメータ変換が行われ、車両（カメラ）挙動とカメラ姿勢（向きおよび配置）が求められる。
【００８７】
さらに、第１のカルマンフィルタで推定されたピッチ角が、第２のカルマンフィルタに入力される。また車両センサからピッチレートがピッチ角測定値情報として入力される。第２カルマンフィルタは、推定ピッチ角と測定ピッチ角を用いて道路勾配を検出する。
【００８８】
勾配検出の原理を説明すると、画像を用いた推定ピッチ角は、実際のピッチ角に加えて、道路勾配情報を含んでいる。一方、測定ピッチ角は、実際のピッチ角のみを含んでいる。したがって、両ピッチ角の差から道路勾配が求められる。
【００８９】
挙動・姿勢検出部１１が推定したデータは、認識処理部１３へ送られる。
【００９０】
「障害物認識処理」
次に、本実施形態の障害物認識処理を説明する。
【００９１】
これまでの処理で車両挙動およびカメラ姿勢が得られた。道路形状(geography）情報については、道路座標でもって道路の任意の点が記述できる。道路座標は、任意の初期時点にて車両が位置するところの道路に接するＹＺ平面として定義される。しかし、道路形状を正確に求めても、画像中の点が路面上にあるか否かは、１枚の画像によってはかなり曖昧にしか決定できない。画像上では、カメラに近い側で路面より上方にある点が、少し遠くにあって路面上にある点と同一画像位置に投影されるからである。そこで、本実施形態では、以下のように適当な期間、例えば数秒間にわたって障害物候補を追跡することにより、確実な認識処理を行う。
【００９２】
概略的には、画像面上での対象ポイントの軌跡は、適当な初期位置から現在までの適当な道路座標での車両（カメラ）の移動(movement）とカメラ座標でのポイント位置により記述できる。車両の移動量（movement)は画像の全ポイントにて同様であり、既に説明した車両挙動(motion,変化率）の蓄積によって容易に計算できる。車両の３次元的な移動量と画像の軌跡が得られれば、カメラ座標での対象ポイントの３次元位置が記述できる。非線形で密接に関連するデータの処理のため、またノイズに対処するために、ここでも拡張カルマンフィルタが好適に用いられる。以下、認識処理をより詳細に説明する。
【００９３】
この認識処理は、上記の挙動および姿勢を参照して、撮影画像に基づいて、図３の認識処理部１３にて行われる。まず、図１１を参照して認識処理の原理を説明する。ここでは障害物の高さを求める。路面より突出する物体があれば、その物体は障害物とみなされる。
【００９４】
図１１において、ｔ０の画像中に障害物候補が検出されたとする。障害物候補は、例えば、画像強度が路面と異なる部分である。そのような部分のエッジなどの特徴点が候補ポイントとして求められる。
【００９５】
ｔ０から障害物候補の追跡が開始される。フレームレートは例えば１５フレーム／秒である。適当な期間（ｔ０〜ｔ１）、例えば数秒の間に複数のフレームが取得され、それらフレーム中で障害物候補が追跡される。路面からの候補ポイントの高さに応じて、すなわち候補ポイントが実際に障害物の一部であるか否かによって、候補ポイントは異なる軌跡を描く。
【００９６】
図１１において、丸印は、候補ポイントが路面より上方にあるときの軌跡である。×印は、候補ポイントが路面上にあるとき（高さ０）の軌跡である。丸印の方が画像内で大きく移動する。
【００９７】
そこで、本実施形態では、候補ポイントの軌跡の相違に基づいて障害物を検出する。すなわち候補ポイントが路面より高い位置にあるとき、その候補ポイントの位置に障害物があると判断する。ここでは、図１１に示す２つの軌跡の違いが何らかのかたちで求められればよい。ポイント移動量から求めることが一般的である。また例えば、候補ポイントの移動の速さ（軌跡の傾きに相当）から求めることも可能である。本発明の範囲内で、物体の高さ情報を求める処理として、路面からの高さの有無だけを求めてもよい。好ましくは物体の高さ寸法などの具体的数値が求められる。適宜、物体までの距離および物体の横方向位置も求められる。
【００９８】
なお、図１１の例では、前提条件として、路面傾斜は変化してもよいが、局所的には平坦である。また、車両挙動に関しては、ピッチ、ヨーおよびロールは小さいがゼロではないことを想定している。
【００９９】
次に、図１２を参照し、認識処理において挙動および姿勢情報をどのように利用するかを説明する。図１２の右上には、実際の画像に映る点の軌跡を示している。追跡の前後で、障害物の頂点と道路上のポイントでは、画像上の垂直方向の移動量が異なっていることが分かる。
【０１００】
図１２から明らかなように、実際の画像上では、コンスタントに一方向にポイントが移動する滑らかな軌跡は描かれない。追跡途中に高さ、ヨー、ロール、ピッチなどが変化するからである。
【０１０１】
さらに、図１２を参照すると、障害物の頂点も路面上の点も同じように上下している。これは車両挙動の影響が画面全体に同様に現れるからである。
【０１０２】
そこで、本実施形態では、車両挙動とカメラ姿勢に基づいて、障害物認識処理を行う。原理的には、図１２の右上の軌跡から、挙動と姿勢に関連する成分を取り除けばよい。この処理では、姿勢に応じて推定された挙動を積分して得られる移動量が参照される。このようにしてカメラ座標における対象ポイントの３次元位置を求めることが可能になる。
【０１０３】
さらに図１２の左側に例示する認識処理では、車両挙動として走行距離、横方向移動およびヨー角度が求められる。またカメラ姿勢としてピッチ角、ロール角、高さが求められる。さらに路面からの高さ情報が取得され、道路勾配が取得される。これらの情報を利用して、画像中の障害物の位置情報が求められる。
【０１０４】
認識処理では測定ノイズの影響も受ける。認識処理の対象になる各パラメータは、互いに非線形的かつ密接に関連している。そのため、認識処理は測定ノイズに敏感であり、かつ複雑である。本実施形態では、障害物認識処理にもプロセッサとしての拡張カルマンフィルタが用いることにより、この問題を解決している。
【０１０５】
次に、図３に戻り、本実施形態の障害物検出装置に対する上記認識処理の適用について説明する。本実施形態では、認識処理部１３に、障害物検出用に複数のカルマンフィルタが設けられている。そして、これらの複数のカルマンフィルタにより、複数の障害物候補が並行して認識処理にかけられる。
【０１０６】
障害物検出用の複数のカルマンフィルタは、図示しない制御部の下で、独立して任意の時点で起動し、かつ任意の時点でその機能を終了可能に構成されている。カルマンフィルタが任意の時点でプロセッサ上にソフトウエア的に生成されてもよい。
【０１０７】
認識処理部１３に入力される画像は、障害物候補の追跡用と、新しい障害物候補の発見用に用いられる。追跡用の複数のカルマンフィルタには、複数の追跡対象の障害物候補がそれぞれ割り当てられている。現在はｎ個のカルマンフィルタが機能している。各カルマンフィルタには、挙動・姿勢検出部１３から、逐次車両挙動と姿勢（変化率）が送られてくる。これらのデータが蓄積されて、追跡期間にカメラがどう動いたか（蓄積動き）が求められる。この蓄積データを用いて、障害物候補の認識処理が行われ、障害物候補が実際に路面から突出する高さを有するか否かが求められ、これにより障害物が検出される。
【０１０８】
ｎ＋１番目の新たな障害物候補が発見されたときは、その障害物候補のために新たなカルマンフィルタが形成(create)される。前述したように、例えば画像内で強度が路面と異なる部分が障害物候補に選定される。画像内のエッジ等の特徴点が好適に用いられる。そして、新たな候補の追跡が開始される。
【０１０９】
また、ある障害物候補が実際には障害物候補でないことが判明したとき、その障害物候補を処理していたカルマンフィルタは終了(terminate)される。
【０１１０】
図１３は、本実施形態に従った認識結果の例である。上段から順に、高さ、距離、横方向配置の推定結果が示されている。各グラフでは、障害物候補の頂点と最下点（すなわち路面上の点）についての認識結果が示されている。また最も下のグラフには道路勾配の推定結果が示されている。
【０１１１】
グラフ中の１秒の時点から追跡が開始されている。図示のように、追跡開始直後は、障害物の頂点と路面上の点の判別がつかない。しかし、数秒の追跡の結果、障害物の頂点が路面より上方にあることが分かる。推定値が収束および安定して、物体高さが分かる。
【０１１２】
以上に説明したように、本実施形態では、適当な期間、複数の画像中で障害物候補を追跡している。したがって、障害物が小さいときでも、障害物上のポイントと路面上のポイントとの移動量に大きな差が現れる。また、追跡処理を行うので、複数の画像中で対応する候補ポイントを正確に求められる。この利点は、時間的に大きく離れて得られた２枚の画像のみを比較する場合と比べると顕著である。以上より、本実施形態では、小さい障害物も正確に検出できる。
【０１１３】
さらに本実施形態は、以下に説明するように、路面と障害物の色が近似しているとき、すなわち両者の画像強度差が小さいときに有利である（撮影条件の影響を低減できる）。
【０１１４】
画像中で、路面と異なる画像強度を有する領域Ａが路面内にあるとする。本実施形態では、この領域Ａを障害物候補に設定するか否かの基準値を低く設定する。より詳細には、領域Ａが障害物であることが疑われる程度に（障害物である可能性が低いぐらいに）小さな強度差を基準値に設定する。
【０１１５】
路面と領域Ａの強度差が基準値以上であれば、領域Ａを障害物候補とし、領域Ａのエッジ等の特徴点を追跡する。追跡の結果として、領域Ａの高さが路面と同じであれば、領域Ａは障害物でなかったと判断する。一方、領域Ａが路面から突出していれば、領域Ａは実際に障害物であると判断する。
【０１１６】
このように、本実施形態では、障害物候補の範囲が広く設定される。障害物か否かが疑わしい場合でも、とりあえず障害物候補に設定し、後からその設定が正しいか否かを判定する。これにより、障害物と路面の輝度差が小さい場合でも障害物を検出可能となり、認識能力を向上できる。
【０１１７】
次に、本実施形態において、高さ検出のさらなる精度向上を図るためには、物体候補の最上点と最下点の高さの差を求めることが好適である。また、簡略化のためには上下方向の画素位置のみを処理すればよいが、詳細処理のためには上下方向および横方向の画素位置を考慮すべきである。これらは、高さ以外の値の算出においても同様である。
【０１１８】
例えば、図１３を再び参照すると、実際の障害物高さが６０ｃｍであるのに対して、測定値にはある程度の誤差が見られる。これは、車両と物体の間の道路勾配変化に起因すると考えられる。さらなる精度向上のために、物体上下の位置を測定し、両者の距離を求めてもよい。
【０１１９】
以上に本実施形態の障害物認識装置について説明した。本発明は本実施形態に限定されない。当業者は、本発明の範囲内で本実施形態を変形および応用可能であり、または他の態様でもって本発明を実施可能である。
【０１２０】
例えば、障害物検出装置は本発明の周辺認識装置の好適な一形態である。本発明は、障害物検出以外の用途に用いられる周辺認識装置にも適用可能である。あるいは、車両周辺の任意の物体を障害物とみなして、本実施形態を周辺認識に適用してもよい。
【０１２１】
また本実施形態は、物体の形状に関する情報の一例としての主に物体高さを検出している。しかし、前述したように、本発明により高さ以外の情報、すなわち３次元形状に関する任意の情報が求められてもよい。
【０１２２】
また本実施形態を応用することにより、道路の凹凸を検出することもできる。好適には、撮影画像が複数の領域に分割される。そして、各分割領域に対して本発明の認識処理に従って深さ情報が求められる。すなわち各分割領域が障害物候補と同様に扱われる。領域間に深さの差がある場合に、凹凸があると判断する。例えば、工事による凹凸などが検出される。凹凸情報は、障害物情報と同様に、スピーカまたはディスプレイから出力され、あるいはステアリング等のアクチュエータ制御に用いられる。このような凹凸を検出する周辺認識装置も本発明の好適な一形態である。
【０１２３】
また、本発明の周辺認識方法を利用して３次元地図を作成することもできる。上記の実施形態において、道路形状および道路脇の建物等を障害物とみなし、それらの形状を求める。得られた形状情報を地図作成に利用する。
【０１２４】
また本発明の別の態様は、車両以外で用いられる周辺認識装置である。カメラを任意の移動体に搭載し、撮影画像から物体を認識することができる。
【０１２５】
さらに、本発明では、カメラと物体が相対的に移動すればよい。カメラが固定されて、物体が移動してもよい。この点では、監視カメラなどにも本発明を適用できる。
【０１２６】
さらに、本発明では、カメラと物体が両方とも移動してもよい。例えば先行車両の検出に本発明を用いることができる。
【０１２７】
また、本実施形態では、周辺認識装置の一部構成要素として、撮影画像を利用するカメラ挙動および姿勢検出機能が設けられた。この検出機能は、方法または装置のかたちで、単独で本発明の一態様となり得る。
【０１２８】
すなわち、本発明の別の態様は、カメラ挙動および／または姿勢検出装置である。また本発明の別の態様は、カメラが搭載された移動体の挙動および／または姿勢検出装置である。これらの態様は、物体認識に好適に用いられるのはもちろんのこと、物体認識以外の用途に用いられてもよい。
【０１２９】
例えば、本発明により車両挙動（または姿勢）が認識される。この挙動を用いて車両制御が行われる。トラクションコントロールなどに好適に適応可能である。車両に搭載すべきセンサを削減できるという利点が得られる。また車両センサとの併用により信頼性を向上できる。
【０１３０】
さらに、本発明の別の態様は、道路勾配検出装置または方法でもよい。
【０１３１】
さらに、本発明の別の態様は、カメラ方向を検出する。好ましくは、検出結果に基づいてカメラ方向を調整する手段が設けられる。本発明では、上述したカメラ軸と車両軸の角度（カメラ角）を検出した機能が利用される（図１０参照）。
【０１３２】
ここで、カメラ角の検出機能は、本発明の注目すべき利点の一つである。従来、ステアリングがニュートラル位置に保持されており、かつ、車両が真っ直ぐに走っている状態では、車両の移動方向を示す車両軸を測定することは困難であった。これに対し、本実施形態で推定されたカメラ角は、車両座標でのＹＺ面における車両軸とカメラ軸の角度を示している。そして、オプティカルフローを用いて得られたこのカメラ角を用いて搭載角を調整することができ、初期組付け後のシステム変化に対処できる。
【０１３３】
以上に本発明の各種変形例を説明した。なお、本発明は方法の態様で実施されてもよく、また装置の態様で実施されてもよいことはもちろんである。また本発明は記録媒体の態様で実施されてもよい。上述した認識方法、挙動検出方法等がプログラムの形で記録媒体に記録される。記録媒体は、電気的、磁気的または光学的手段によってデータを保持する。
【０１３４】
次に、本発明の主要な効果をまとめて説明する。
【０１３５】
本発明によれば、周辺認識処理において候補物体を追跡するので、小さい物体も正確に認識できる。カメラの移動速度が小さいときや画像取得間隔が小さいときも同様である。
【０１３６】
本発明によれば、上記追跡処理の効果として、撮影条件の影響を低減でき、背景色と近似した色をもつ物体の認識能力を向上できる。
【０１３７】
本発明によれば、カメラ挙動に基づいて認識処理を行うので、位置およびサイズなどの認識精度を向上できる。カメラ挙動（変化率）は蓄積され、カメラの移動量として有用に用いられる。さらにカメラ挙動とカメラ姿勢に基づいて認識処理を行うことで、認識精度を向上できる。もちろん、認識精度は限られるものの、カメラ挙動のみを用いてもよい。
【０１３８】
本発明によれば、撮影画像が認識処理に用いられるだけでなく、認識の基礎になるカメラ挙動および姿勢の検出に用いられ、これによりセンサコストを低減できる。
【０１３９】
本発明によれば、カメラ挙動および姿勢の検出に、撮影画像に加えてセンサを利用することにより、信頼性を向上できる。
【０１４０】
本発明によれば、カメラ挙動および姿勢を検出するときに、画面上のフローパラメータを、３次元座標での物理的パラメータへと変換するので、挙動データを容易に蓄積でき、そして正確な認識ができる。
【０１４１】
これは本発明の重要な効果の一つである。２枚の画像から得られるオプティカルフローでは、物体と背景のベクトルに差が現れず、物体検出が困難なことは既に述べた。オプティカルフローを蓄積することも考えられるが、オプティカルフローは元々蓄積に適さないデータである。また仮にオプティカルフローを蓄積したとしても、オプティカルフローは元々２次元画像上のデータなので、３次元的な形状把握できない。これに対して、本発明によれば、上述したように、３次元座標での物理パラメータを蓄積して、追跡中にカメラがどのように動いたかを知ることができる。この蓄積情報を用いて、画像に映った物体の３次元形状を物理的に把握できる。このように本発明によれば物体認識能力の大幅な向上を図ることができる。
【０１４２】
本発明によれば、カメラ挙動および姿勢の検出に拡張カルマンフィルタを用いることにより、非線形であるフローパラメータの処理を好適に行うことができ、かつ画像ノイズの影響を低減でき、実用面で好適な検出装置を構成できる。
【０１４３】
本発明によれば、カメラが移動する面の勾配に基づいて認識処理を行うことにより、さらに認識性能を向上できる。道路勾配は、センサで検出したピッチ角と、画像処理で推定したピッチ角とを比較することにより好適に求められる。勾配算出にもカルマンフィルタが好適に用いられる。
【０１４４】
本発明によれば、物体認識処理でも非線形処理対応のカルマンフィルタを用いることにより、ここでもノイズ条件下で非線形データを好適に処理できる。
【０１４５】
本発明によれば、認識処理用の複数のカルマンフィルタ処理部を用意して、複数の候補物体を並行して処理することにより、画像に次々と現れる複数の物体を好適に検出できる。
【０１４６】
本発明によれば、各画像を複数の領域に分割し、分割領域の各々について認識処理を行うことにより、路面等の凹凸情報を求めることもできる。
【０１４７】
本発明によれば、認識結果として得られる形状情報を利用して３次元地図を作成することができる。
【０１４８】
本発明によれば、周辺認識により車両前方の障害物を検出することにより、安全性を向上できる。
【０１４９】
本発明によれば、カメラ挙動情報および姿勢情報を各種の用途に利用できる。例えば車両制御に利用することもできる。
【図面の簡単な説明】
【図１】従来技術の問題点を示す図である。
【図２】本発明の実施形態の障害物検出装置の全体構成を示すブロック図である。
【図３】図２中の認識処理装置の構成を示す図である。
【図４】撮影画像を用いたカメラ挙動および姿勢検出処理を概略的に示す図である。
【図５】図３の認識処理装置の挙動姿勢検出部を示す図である。
【図６】座標システムの定義を示す図である。
【図７】車両座標およびカメラ座標を示す図である。
【図８】挙動情報としてのピッチ角の推定結果を示す図である。
【図９】処理対象領域が図９と異なるときのピッチ角の推定結果を示す図である。
【図１０】各種の挙動および姿勢パラメータの推定結果を示す図である。
【図１１】本実施形態の追跡処理を用いた障害物認識処理の原理を示す図である。
【図１２】図１１の処理へのカメラ挙動および姿勢情報の適用方法を示す図である。
【図１３】障害物の認識結果の例を示す図である。
【符号の説明】
１ＣＣＤカメラ、３車両挙動センサ、５認識処理装置、７ディスプレイ、８スピーカ、９アクチュエータ、１１挙動・姿勢検出部、１３認識処理部。

Claims

カメラまたはカメラが搭載された移動体の挙動を検出する挙動検出装置であって、
移動体に搭載され、移動体が移動する間に移動体の周辺の少なくとも一部領域の画像を取得するカメラと、
前記カメラが取得した複数の画像を用いて挙動を検出する検出処理手段と、
を含み、
前記検出処理手段は、前記複数の画像の画像座標上でのフローパラメータを、カメラ側の挙動情報を表す３次元座標での物理的パラメータへと変換するとともに、前記複数の画像に加えて挙動センサの検出信号を利用して挙動を検出することを特徴とする挙動検出装置。
カメラによる撮影画像を用いて、カメラが移動する面の勾配を検出する方法であって、
一台のカメラにより移動しながら撮影された複数の画像を取得するステップと、
前記複数の画像から得られるフローパラメータを、３次元座標での物理的パラメータに変換することによって、カメラまたはカメラが搭載された移動体のピッチ角を推定するステップと、
ピッチセンサを用いて、カメラまたはカメラが搭載された移動体のピッチ角情報を検出するステップと、
推定ピッチ角と検出ピッチ角との相違に基づいて、カメラが移動する面の勾配を求めるステップと、
を含むことを特徴とする勾配検出方法。