JP5251814B2

JP5251814B2 - 運転支援装置

Info

Publication number: JP5251814B2
Application number: JP2009223250A
Authority: JP
Inventors: 成哉笹根; 恵資上南; 秀昭新井; 高広前村
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2013-07-31
Anticipated expiration: 2029-09-28
Also published as: JP2011070580A

Description

本発明は、俯瞰映像上で抽出した特徴点についての三次元座標情報を含む特徴点情報をもとに自車両に対する障害物を検知する運転支援装置に関する。

従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成し、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした運転支援装置がある。
このような従来の運転支援装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、それら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰映像を生成する。
このようにして生成された俯瞰映像は俯瞰映像表示画面へ表示され、運転操作の支援に活用される。

このような運転支援装置としては、撮像部と、運転者に情報を提供する表示部とを有する運転支援装置において、始動シーン選択部と、車速センサと、シフト位置検出部と、ウインカー検出部と、操舵角センサと、画面モード切替部とを備えた運転支援装置がある。
そして、この運転支援装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。（特許文献１参照）。

特開２００２−１０９６９７号公報

したがって、従来の運転支援装置では、着目したい目標物、特に立体的な目標物に関しては、その映像は視点変換され画像合成された処理段階で画像が歪んでしまい、俯瞰映像表示画面へ表示される目標物の距離感がつかみにくいという課題があった。
また、俯瞰映像表示画面へ表示される俯瞰映像は、前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成したものであることから、異なるカメラにより撮像された映像を画像合成した俯瞰映像の境界付近では、着目したい目標物、特に一部の立体的な目標物が表示されないという課題があった。

本発明は、このような事情に鑑みてなされたものであり、俯瞰映像上で抽出した特徴点の三次元座標における高さを含む特徴点情報をもとに、自車両に対する障害物が俯瞰映像上の死角領域にあるか否かにかかわらず検知できる運転支援装置を提供することを目的とする。

請求項１に記載の発明は、車両に搭載され、それぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成する映像合成手段と、前記映像合成手段により合成した俯瞰映像上の画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する特徴点抽出処理部と、前記俯瞰映像の時系列映像から前記特徴点抽出処理部で抽出した前記特徴点の前記俯瞰映像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した時刻ｔから時刻ｔ＋ＦΔｔにおける前記特徴点の前記俯瞰映像上での位置の変化をもとに、前記時刻ｔにおける前記特徴点の三次元座標における高さを含む三次元座標情報と、前記時刻ｔから前記時刻ｔ＋ＦΔｔにおける前記車両と前記特徴点との前記俯瞰映像上での相対運動情報とを含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、を備え、前記障害物検知処理部が行う障害物であるか否かの判定は、前記特徴点の三次元座標における高さについての情報から所定の高さ基準値をもとに障害物候補となる障害物候補特徴点を識別し、前記識別した障害物候補特徴点と前記車両との距離が前記車両に対し近距離の障害物範囲に含まれる距離であるか、あるいは遠距離の障害物範囲に含まれる距離であるかを所定の距離基準値をもとに判定し、前記判定結果から前記障害物候補特徴点を遠距離障害物特徴点と近距離障害物特徴点とに識別し、前記識別した遠距離障害物特徴点に対し、前記三次元計測処理部で算出した前記相対運動情報と所定の衝突予想時間基準値とをもとに衝突予想時間について判定し、前記判定結果から低危険度障害物特徴点と早期到達障害物特徴点とに識別し、前記早期到達障害物特徴点を抽出した画像が前記車両に早期に達する障害物であるか否かを、前記識別結果をもとに判定することを特徴とする。

本発明によれば、俯瞰映像上で抽出した特徴点の三次元座標における高さを含む特徴点情報から、自車両に対する高さのある障害物が俯瞰映像上の死角領域にあるか否かにかかわらず俯瞰映像上の自車両に対する高さのある障害物を検知できる運転支援装置を提供できる効果がある。

本発明の実施の形態である運転支援装置の構成を示すブロック図である。本発明の実施の形態の運転支援装置のモニタ装置に表示される俯瞰映像を示す説明図である。本発明の実施の形態の運転支援装置の動作を説明するための対象物の三次元空間座標と俯瞰映像上の位置との関係を示す説明図である。本発明の実施の形態の運転支援装置における時系列映像取り込み部から取り込まれる時系列映像である時刻ｔにおける俯瞰映像と時刻ｔ＋ＦΔｔにおける俯瞰映像との一例を示す説明図である。本発明の実施の形態の運転支援装置における俯瞰映像から抽出した特徴点の動きをベクトルで示した説明図である。本発明の実施の形態の運転支援装置の動作を示すフローチャートである。俯瞰映像上の画像の一例を示す説明図である。俯瞰映像から得られた立体物の三次元情報と相対運動情報とから検知した自車両に対する距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。本発明の実施の形態の運転支援装置における三次元計測処理部および障害物検知処理部の動作を示すフローチャートである。拘束行列に関する数式および行列を示す図である。

以下、本発明の実施の形態について説明する。図１は、本発明の実施の形態である運転支援装置の構成を示すブロック図である。この運転支援装置は、俯瞰映像１の時系列映像取り込み部２、特徴点抽出処理部３、特徴点追跡処理部４、三次元計測処理部５および障害物検知処理部６を備えている。
俯瞰映像１は、車両に取り付けられた前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して生成する。

図２は、車両１１に取り付けられた前方カメラ１１４、後方カメラ１１２、右カメラ１１１および左カメラ１１３により撮像される撮像範囲と、これら撮像範囲の映像を視点変換し画像合成して生成された、モニタ装置に表示される俯瞰映像を示す説明図である。
前方カメラ１１４は、例えば車両１１前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ１１２は、例えばリアウィンドウが設けられた車両１１後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ１１１は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両１１の右側方を撮像するカメラである。
左カメラ１１３は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両１１の左側方を撮像するカメラである。
符号１２は前方カメラ１１４による撮像範囲、符号１３は右カメラ１１１による撮像範囲、符号１４は後方カメラ１１２による撮像範囲、符号１５は左カメラ１１３による撮像範囲を示す。
また、符号２２は前方カメラ１１４の撮像範囲１２の映像から図示していない視点変換手段により視点変換され生成された前方部分俯瞰映像を示す。符号２３は右カメラ１１１の撮像範囲１３の映像から同様に視点変換され生成された右部分俯瞰映像を示す。符号２４は後方カメラ１１２の撮像範囲１４の映像から同様に視点変換され生成された後方部分俯瞰映像を示す。符号２５は左カメラ１１３の撮像範囲１５の映像から同様に視点変換され生成された左部分俯瞰映像を示す。
これら前方部分俯瞰映像２２、右部分俯瞰映像２３、後方部分俯瞰映像２４および左部分俯瞰映像２５は、自車両１１を中心としてその上方から自車両周囲を俯瞰したときの俯瞰映像として図示していない画像合成手段により画像合成される。

図１に戻り、時系列映像取り込み部２は、図２で説明した俯瞰映像を所定の時間間隔で時系列映像１として取り込む。
特徴点抽出処理部３は、前記俯瞰映像の時系列映像１に対し、たとえば画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する。
特徴点追跡処理部４は、前記俯瞰映像上で時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部５は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式（１）を用いて算出する。

そして、この運転支援装置では、単眼のカメラ映像の俯瞰画像では視点つまりカメラの高さに応じて対象物体の動きが異なるため、カメラの高さに応じた俯瞰画像上の対象物体の動きをモデル化し、実映像に対しモデル推定することで、対象物体の三次元計測を行い障害物を検知する。

障害物検知処理部６は、前記算出した相対運動情報および三次元座標情報をもとに障害物を判定する。
前記視点変換手段および前記画像合成手段と、時系列映像取り込み部２、特徴点抽出処理部３、特徴点追跡処理部４、三次元計測処理部５および障害物検知処理部６は各部を制御するマイクロコンピュータにより構成されたＥＣＵにより実現される。
このＥＣＵは、前方カメラ１１４、後方カメラ１１２、右カメラ１１１および左カメラ１１３により撮像した映像の視点変換処理および画像合成処理を含む、この運転支援装置特有の機能を実現するための各種処理を行う。

次に動作について説明する。
図３は、この実施の形態の運転支援装置の動作を説明するための対象物の三次元空間座標と俯瞰映像上の位置との関係を示す説明図である。図３において、符号２０１はカメラを示し、ｚ軸上の高さＨの位置に配置されている。符号３００は対象物を示しその三次元空間座標は［Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ］^Ｔである。また、符号３０１は俯瞰映像上の対象物映像であり、その三次元空間座標は［ｘ_ｐ，ｙ_ｐ，０］^Ｔである。また、符号３０２は撮像された対象物が含まれた平面的な俯瞰映像を示している。
図４は、この実施の形態の運転支援装置における時系列映像取り込み部２から取り込まれる時系列映像１である時刻ｔにおける俯瞰映像と時刻ｔ＋ＦΔｔにおける俯瞰映像との一例を示す説明図である。
図５は、図４に示す俯瞰映像から抽出した特徴点の動きをベクトルで示した説明図である。
図６は、この運転支援装置の動作を示すフローチャートである。
対象物の三次元空間座標と俯瞰映像上の位置との関係は上述した式（１）で示す関係が成立する。
また、対象物と自車両とが相対速度［Ｖ_Ｘ，Ｖ_Ｙ］^Ｔ、ヨーレートωで相対運動をしていたとき、Ｋｐ＝Ｈ／（Ｈ−Ｚｐ）とすると、式（２）で示す関係が成立する。

式（２）のベクトルｍ（ｔ＋Δｔ）、ベクトルｎ（ｔ＋Δｔ）は相対速度とヨーレートとを格納する相対運動であり、ベクトルＳ_Ｐは上述した式（１）から、特徴点Ｐの三次元座標への変換が一意に可能である。
この実施の形態では、式（１）および式（２）の関係を用いて、自車両に対する立体物を判定して障害物の検知を行う。

以下、図６に示すフローチャートを参照しながら動作について説明する。
図２に示すように視点変換され画像合成された俯瞰映像は、一定の時間間隔Δｔごとに時系列映像取り込み部２から取り込まれる（ステップＳ１）。

取り込まれた俯瞰映像からは特徴点抽出処理部３において特徴点Ｐを抽出する（ステップＳ２）。
特徴点抽出処理部３における特徴点Ｐの抽出は、たとえば画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する。

次に、図４（Ａ）、（Ｂ）に俯瞰映像の一例が示されているように、特徴点抽出処理部３において抽出された特徴点Ｐがどのような動きをするかを特徴点追跡処理部４において追跡処理する。
この特徴点追跡処理部４の追跡処理は次のように行う。
つまり、図４（Ａ）に示す時刻ｔにおける俯瞰映像上の特徴点Ｐと、図４（Ｂ）に示す時刻ｔ＋ＦΔｔにおける俯瞰映像上の特徴点Ｐとの位置関係から、特徴点Ｐがどのような動きをしてどのような位置へ移動したかを追跡処理する（ステップＳ３）。
この特徴点Ｐの追跡処理では、特徴点Ｐのオプティカルフローを計算することで、その動きベクトルを求める。
特徴点Ｐのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰映像上の、互いに共通する特徴点Ｐの座標変化を検出し、その特徴点Ｐが移動しているか否か、座標が変化している場合には、特徴点Ｐの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。

次に、三次元計測処理部５において、式（１）、（２）を用いて俯瞰映像上の特徴点Ｐの位置の変化から自車両と特徴点Ｐとの相対運動情報と、前記特徴点Ｐの三次元座標情報を取得する（ステップＳ４）。

さらに、障害物検知処理部６において、前記三次元計測処理部５で取得した前記相対運動情報と前記三次元座標情報とから障害物を検知する（ステップＳ５）。
そして、障害物情報として距離による障害物エリアと衝突予想時間による障害物エリアとにおける障害物情報を出力する（ステップＳ６）。

ここでカメラの高さに応じた俯瞰画像上の対象物体の動きをモデル化し、実映像に対しモデル推定することで、対象物体の三次元計測を行い、障害物を検知するときの俯瞰映像上の３次元物体の動きモデルを示す式（２）の導出と、式（２）からの式（３）の導出を説明する。

図３に示すように、特徴点ｐの３次元実空間上の位置ベクトルＸｐを［Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ］^Ｔとし、時刻ｔにてカメラは[０，０，Ｈ]の位置にあるとする。ここで，Ｈはカメラの路面に対する高さである。

特徴点ｐの俯瞰映像上の位置ベクトルｘ_ｐを［ｘ_ｐ，ｙ_ｐ，０］^Ｔとしたとき、ベクトルＸｐ＝［Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ］^Ｔとベクトルｘ_ｐ＝［ｘ_ｐ，ｙ_ｐ，０］^Ｔとの間には式（１）が成立する。
ここでｋ_ｐ＝Ｈ/（Ｈ−Ｚ_ｐ）とおけば、式(1)は以下に示す式（４）のように書き換えることができる。

一方、真の俯瞰映像とはカメラは無限の高さにあるときで（Ｈ＝∞）、ｋ_ｐ＝１となり、式(４)より、式（５）のようになる。

つまり、俯瞰映像に映る特徴点位置ｘ_ｐ＝［ｘ_ｐ，ｙ_ｐ，０］^Ｔは、真の俯瞰映像の位置［Ｘ_ｐ，Ｙ_ｐ，０］^Ｔに対して、カメラ高と特徴点の高さに応じた係数ｋ_ｐだけ乗じたものである。
今、対象物ｐはカメラに対して、時刻ｔにおいて３次元実空間ではベクトルＸｐ＝［Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ］^Ｔの位置にあり、ヨーレートω、相対速度Ｖ_Ｘ、Ｖ_Ｙの相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻ｔ+Δｔでの対象物ｐの３次元実空間上の位置ベクトルＸｐ（ｔ+Δｔ）＝［Ｘ_ｐ（ｔ+Δｔ），Ｙ_ｐ（ｔ+Δｔ），Ｚ_ｐ（ｔ+Δｔ）］^Ｔは、以下のように式（６）で与えられる。

式(６)より、バウンシング・ロール・ピッチング運動がなかったとすれば、Ｚ_ｐ（ｔ）＝Ｚ_ｐ（ｔ+Δｔ）であり、ｋ_ｐ＝Ｈ/（Ｈ−Ｚ_ｐ）より、係数ｋ_ｐは時間によらず一定となる。式(６)は以下のように式（７）のように書き換えることができる。

ところで、時刻ｔとｔ＋Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘ_ｐ＝［ｘ_ｐ（ｔ），ｙ_ｐ（ｔ），０］^Ｔ、ベクトルｘ_ｐ＝［ｘ_ｐ（ｔ+Δｔ），ｙ_ｐ（ｔ+Δｔ），０］^Ｔは、係数ｋ_ｐは時間によらず一定となるため、式(５)より以下の式（８）のように与えられる。

時刻ｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘ_ｐ（ｔ+Δｔ）＝［ｘ_ｐ（ｔ+Δｔ），ｙ_ｐ（ｔ+Δｔ），０］^Ｔを、式(７),(８)に代入すると、式（９）に示すようになる。

この結果、時刻ｔとｔ+Δｔでの対象物ｐの俯瞰映像上の位置ベクトルｘ_ｐ（ｔ）＝［ｘ_ｐ（ｔ），ｙ_ｐ（ｔ），０］^Ｔ、ベクトルｘ_ｐ（ｔ+Δｔ）＝［ｘ_ｐ（ｔ+Δｔ），ｙ_ｐ（ｔ+Δｔ），０］^Ｔには、以下の関係式（１０）が成立する。

さて、対象物ｐのカメラに対する相対運動は、実際には対象物ｐは静止物であり、カメラが移動して生じたものとする。つまり、自車両の動きによって生じたものとする。また、俯瞰映像に映る静止物中の特徴点は、対象物ｐの他に、全部でＰ個あったとする。
このとき、静止物に対する相対運動は共通であるため、時刻ｔとｔ+Δｔでの特徴点の俯瞰映像上の位置ベクトルｘ_ｐ（ｔ）＝［ｘ_ｐ（ｔ），ｙ_ｐ（ｔ），０］^Ｔ、ベクトルｘ_ｐ（ｔ+Δｔ）＝［ｘ_ｐ（ｔ+Δｔ），ｙ_ｐ（ｔ+Δｔ），０］^Ｔ、１＜ｐ＜Ｐは式(１０)より以下のように式（１１）で与えられる。

式(１１)は以下のように式(１２)に書き換えることができる。

ここで、次に示す式（１３）、式（１４）であり、ベクトルｍ（ｔ+Δｔ）、ベクトルｎ（ｔ+Δｔ）およびｃ_ｘ（ｔ+Δｔ）、ｃ_ｙ（ｔ+Δｔ）は時刻ｔから時刻ｔ+Δｔでのカメラと対象物との回転運動と併進運動の相対運動を示し、ベクトルｓ_ｐ（ｔ）は式（４）から実質上は時刻ｔでの特徴点ｐの３次元実空間上の位置と見なすことができる。

ところで、時刻ｔから時刻ｔ+２Δｔでのカメラと対象物との相対運動情報ｍ（ｔ+２Δｔ）、ｎ（ｔ+２Δｔ）、ｃ_ｘ（ｔ+２Δｔ）、ｃ_ｙ（ｔ+２Δｔ）を得たならば、時刻ｔ+２Δｔでの、俯瞰映像上の特徴点の位置ベクトルｘ_ｐ（ｔ+２Δｔ）＝［ｘ_ｐ（ｔ+２Δｔ），ｙ_ｐ（ｔ+２Δｔ），０］^Ｔ、１＜ｐ＜Ｐは式（１２）より、以下のように式（１５）で与えられる。

式(１２)、(１５)をまとめると、次に示す式（１６）となる。

今、時間間隔Δｔで時刻ｔからｔ+ＦΔｔにわたり、俯瞰映像上において、全部でＰ個の特徴点の位置が観測されたとする。なお、この観測は特徴点抽出・追跡にて行う。すると式(１６)を拡張して、以下の関係式（１７）が得られる。

式(１７)が俯瞰映像上の３次元物体の動きの数式モデルである。
なお、式(１７)は以下に示す式（１８）のように行列の積として書き換えることができる。

ここで、行列Ｗ、Ｍ、Ｓは以下に示す式（１９）のように与えられ、行列Ｗは特徴点抽出・追跡で得られた時刻ｔからｔ+ＦΔｔの俯瞰映像上の各特徴点の位置を示し、行列Ｍは時刻ｔからｔ+ＦΔｔの相対運動を示し、行列Ｓは時刻ｔでの各特徴点の３次元実空間上の位置を示す。

式(１８)の関係式を利用して、俯瞰映像上の特徴点の位置の変化から、相対運動と３次元実空間の位置を得る。

次に、モデル推定方法の概略について説明する。
式（１８）に示すＷ＝ＭＳより、俯瞰映像上の特徴点の位置の変化を示す行列Ｗから、相対運動を示す行列Ｍと３次元形状を示す行列Ｓに分割するには以下の手順で行う。
式（１９）より、行列Ｗは２Ｆ×Ｐの大きさの行列である。行列Ｍは、ベクトルｍ、ｎが２次元であるため２Ｆ×３の大きさの行列であり、行列Ｓはベクトルｓが３次元であるため３×Ｐの大きさの行列である。つまり、行列Ｗは階数３の行列である。そこで、以下のように、一旦、行列Ｗに対して特異値分解を行う。

ここで、Ｕは２Ｆ×Ｈの直交行列、ΣはＨ×Ｈの対角行列、Ｖ^ＴはＨ×Ｐの直交行列であり、ＨはＨ＝ｍｉｎ｛２Ｆ，Ｐ｝と与えられる。また、Σの対角要素は
σ_１＞σ_２＞…σ_ｐと降順に並んでいるとする。
行列Ｗは階数３の行列となるため、σ_４以降はノイズ成分とみなせることより、式（２１）に示すように行列Ｕの３列分を抽出する。

ここから、式（２２）に示すように仮の分解結果を得ることができる。

次に拘束行列の計算を行う。式（２２）の分解結果は図１０の（式１）を満たすが、得られた図１０の行列（１）は、一般には図１０の（式２）を満たさない。例えば、適当な３×３の大きさの行列Ａを用いて、図１０の（行列１）を以下に示す式（２３）のように変換しても、Ｗ＝ＭＳを満たしてしまう。つまり、行列Ａを適切に選択する必要がある。

行列Ａを適切に選択するため、以下の拘束条件を導入する。
（ａ）回転成分の拘束条件
式（１９）より行列Ｍは以下の式（２４）で示すように構成される。

ここで、ベクトルｍｎは式（１３）を例に示すとおり、回転成分を示すため、以下の拘束条件が存在する。

（ｂ）路面の拘束条件
式（１９）より行列Ｓは以下のように構成される。

また、ベクトルＳ_Ｐ（ｔ）は式（１４）よりＳ_Ｐ（ｔ）＝［ｘ_ｐ（ｔ）ｙ_ｐ（ｔ）ｋ_ｐ］^Ｔであり、ｋ_ｐはｋ_ｐ＝Ｈ/（Ｈ-Ｚ_ｐ）と与えられる。ここで、ｋ_ｐはＺ_ｐ＜Ｈの条件で、Ｚ_ｐが増加すれば、ｋ_ｐも増加する。つまり対象物がカメラより下にある限り、対象物が高ければ高いほど、ｋ_ｐは大きな値を有する。
ｋ_ｐが最小となるのは、対象物が路面にあるとき、つまりＺ_ｐ＝０であり、そのときｋ_ｐ＝１となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、ｋ_ｐ＝１を満たす特徴点が必ず存在する。すなわち、ｋ_ｐに対して以下の拘束条件が存在する。

以上、式（２５）および式（２７）を満たすように、行列Ａを定めればよい。

次に、三次元計測処理部５の三次元計測処理および障害物検知処理部６の障害物検知処理についてさらに説明する。
図８は、俯瞰映像から得られた立体物の三次元情報と相対運動情報とから検知した自車両１１に対する距離による障害物エリアＡと、衝突予想時間による障害物エリアＢとを示す説明図である。
図９は、この実施の形態の運転支援装置における三次元計測処理部５および障害物検知処理部６の動作を示すフローチャートである。
三次元計測処理部５の三次元計測処理では、俯瞰映像上の特徴点の三次元座標情報と、前記特徴点と自車両１１との相対運動情報とを式（１）の関係式を利用して算出する（ステップＳ４１）。
この特徴点の三次元座標情報は、三次元位置行列Ｓｓとして求められ（ステップＳ４２）、また前記特徴点と自車両１１との相対運動情報とは、相対運動行列Ｍとして求められる（ステップＳ４３）。
そして、三次元位置行列Ｓとして求めた特徴点の三次元座標情報に対してはｚ軸方向の高さによる閾値処理を行う（ステップＳ４４）。
この閾値処理では、ｚ軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし（ステップＳ４５）、またｚ軸方向の高さ情報が零である特徴点を非障害物特徴点とする（ステップＳ４６）。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両１１との間の距離が明らかになることから、自車両１１と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う（ステップＳ４７）。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う（ステップＳ４８、ステップＳ４９）。
近距離障害物特徴点として識別した特徴点は、例えば図８に示す障害物エリアＡに含まれる特徴点である。
また、遠距離障害物特徴点として識別した特徴点については、ステップＳ４３において求めた相対運動行列Ｍをもとに、衝突予想時間に対し所定の衝突予想時間基準値をもとに閾値処理を行う（ステップＳ５１）。
そして、低危険度障害物特徴点と早期到達障害物特徴点とに識別する（ステップＳ５２、ステップＳ５３）。
早期到達障害物特徴点は、例えば図８に示す障害物エリアＢに含まれる特徴点である。

以上説明したように、この実施の形態によれば、俯瞰映像上の障害物の位置を明確化できる運転支援装置を提供できる効果がある。
また、俯瞰映像上で歪んで距離感が把握しづらい立体物に対し、その距離情報をドライバへ報知できる運転支援装置を提供できる効果がある。

３……特徴点抽出処理部、４……特徴点追跡処理部、５……三次元計測処理部、６……障害物検知処理部、１１……自車両（車両）、１１４……前方カメラ（撮像装置）、１１２……後方カメラ（撮像装置）、１１１……右カメラ（撮像装置）、１１３……左カメラ（撮像装置）。

Claims

車両に搭載され、それぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰映像を合成する映像合成手段と、
前記映像合成手段により合成した俯瞰映像上の画像のコーナまたは画像のエッジ等の画像処理技術上において位置の変化の追跡が比較的容易な特徴を有する箇所を特徴点として抽出する特徴点抽出処理部と、
前記俯瞰映像の時系列映像から前記特徴点抽出処理部で抽出した前記特徴点の前記俯瞰映像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した時刻ｔから時刻ｔ＋ＦΔｔにおける前記特徴点の前記俯瞰映像上での位置の変化をもとに、前記時刻ｔにおける前記特徴点の三次元座標における高さを含む三次元座標情報と、前記時刻ｔから前記時刻ｔ＋ＦΔｔにおける前記車両と前記特徴点との前記俯瞰映像上での相対運動情報とを含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、を備え、
前記障害物検知処理部が行う障害物であるか否かの判定は、前記特徴点の三次元座標における高さについての情報から所定の高さ基準値をもとに障害物候補となる障害物候補特徴点を識別し、前記識別した障害物候補特徴点と前記車両との距離が前記車両に対し近距離の障害物範囲に含まれる距離であるか、あるいは遠距離の障害物範囲に含まれる距離であるかを所定の距離基準値をもとに判定し、前記判定結果から前記障害物候補特徴点を遠距離障害物特徴点と近距離障害物特徴点とに識別し、前記識別した遠距離障害物特徴点に対し、前記三次元計測処理部で算出した前記相対運動情報と所定の衝突予想時間基準値とをもとに衝突予想時間について判定し、前記判定結果から低危険度障害物特徴点と早期到達障害物特徴点とに識別し、前記早期到達障害物特徴点を抽出した画像が前記車両に早期に達する障害物であるか否かを、前記識別結果をもとに判定することを特徴とする運転支援装置。
前記三次元計測処理部は、前記撮像装置の高さに応じた俯瞰画像上の対象物体の動きを前記特徴点をもとにモデル化し、実映像に対しモデル推定することで、前記特徴点の三次元座標における高さを含む特徴点情報および前記相対運動情報を算出することを特徴とする請求項１記載の運転支援装置。