JP4657765B2 - ノーズビューシステム - Google Patents

Description

本発明は、車両側方を撮像したノーズビューカメラが捉えた接近移動物体が該車両の前方または後方を通過する時間を予測し、警報並びにブレーキ操作を行うノーズビューシステムに関する。

ノーズビューモニタ装置は、例えば図１にその概念を示すように車両の前部に組み込んだカメラ（ノーズビューカメラ）にて、運転席からは死角となり易い車両前方の側方領域ＦＬ,ＦＲの情景を撮像し、その側方画像を該車両の運転席に設けたモニタにて表示するもので（例えば、特許文献１を参照）、例えば交差点に車両が進入する際の安全性の確認に利用される。

また最近では車両に搭載したカメラにより撮像される画像から、オプティカルフローの手法を用いて、該画像中の移動物体を検出することも提唱されている（例えば、特許文献２乃至５を参照）。
特許文献２に開示される移動体周辺監視装置は、単一の撮像手段によっても、誤差累積がなく高精度で移動体の位置及び姿勢を特定し、移動体における所望の位置での視界を確保することを目的としたものである。この移動体周辺監視装置は、一つの撮像手段により移動中に周辺を撮像した画像から、特徴点検出手段にて特定平面内の少なくとも四つの特徴点を抽出する。そしてこの装置は、移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を特徴点追跡手段によって追跡すると共に、その追跡結果に基づき移動状態特定手段にて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、撮像手段の相対的な位置及び姿勢を特定する。更にこの装置は、第１及び第２の状態での撮像手段の位置及び姿勢、第１の状態の画像における所定対象の特徴点の平面座標、並びに第２の状態の画像における所定対象の特徴点に対応する平面座標に基づき３次元座標推定手段にて所定対象の特徴点の３次元座標を推定している。

また特許文献３に開示される監視装置は、オプティカルフローを用いて接近物を検出する車両用監視装置であって、該監視装置を搭載した車両がたとえカーブを走行中であっても、接近物を精度良く検出可能にすることを目的としている。この監視装置は、検出した接近物の特徴点を多重解像度法によるオプティカルフローで計算している。この多重解析法は、一枚の画像に対して解像度の異なる複数枚の画像を階層的に用意し、その中の粗い画像から順番にパターンマッチングを行い、オプティカルフローを求め、最終的には解像度の細かい画像を用いてオプティカルフローを求めるものである。

一方、特許文献４に開示されるノーズビューモニタ装置は、抽出した特徴点に対してオプティカルフローを計算するものであって、左右映像中における特徴点から、接近方向のベクトルをもつものだけを接近特徴点として選択するよう構成されている。
或いは、距離センサとカメラとを組み合わせて移動物体までの距離を計測する車両用カメラ装置も知られている（例えば、特許文献５を参照）。
特開２００１−４３４９４号公報 特開２００４−１９８２１１号公報 特開２００４−５６７６３号公報 特願２００４−９１６６６号 特開２００１−３９２４８号公報

しかしながら、上述した監視装置等において、ノーズビューカメラが捉えた画像は、基本的に単眼視画像である。したがって、単眼視画像から移動物体までの距離を求めるには、何らかの仮定や制約を設ける必要がある。この種の仮定や制約としては例えば、単眼視画像から移動物体までの距離を求めるべく画像中の道路平面を仮定する方法がある。この方法は、移動物体の画像上の接地面を求めて、カメラパラメータ（位置、向き、視平面距離等）と画像上の接地面の位置から距離を求めるものである。しかしながら、画面上における接地面を認識することは、一般に困難である。それ故、接地面の認識対象は、専ら画像上の自動車の接地面に限定し、しかも自動車の前面や後面を正面から撮影した状態に限定されている。ところがノーズビューモニタのように、対象物を斜め方向に視野し、この視野範囲に含まれる接近物体を認識すべくなされるような接地面の認識は、一般に難しい。

また距離センサとカメラとを組み合わせて移動物体までの距離を計測する車両用カメラ装置（特許文献５）は、装置の価格が高くなることが否めない。
本発明は、このような従来の事情を考慮してなされたもので、その目的は、車両に接近する移動物体が該車両の前方を通過する通過予想時間を算出するともに、求めた通過予想時刻および自車速度に応じて適切な接近物体の表示（警報）およびブレーキ制御を行うノーズビューシステムを提供することにある。

上述した目的を達成すべく本発明のノーズビューシステムは、車両の前部または後部に取り付けられて該車両の側方を撮像するノーズビューカメラと、前記側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段と、上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段と、前記検出された接近移動物体の特徴点を追跡する特徴点追跡手段と、この特徴点追跡手段により追跡された前記接近移動物体の特徴点から前記接近移動物体が前記ノーズビューカメラの受光面方向に延伸した平面空間を横切るまでの時間を求める通過時刻計算手段とを具備したことを特徴としている。

特に前記特徴点検出手段は、前記側方画像中の特徴点のオプティカルフローを計算するものとして構成される。
上述のノーズビューシステムは、ノーズビューカメラが撮像した側方画像中の各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する。具体的にこの特徴点は、車両に接近する接近移動物体の角等を抽出したものである。そして上述したノーズビューシステムは、この特徴点の移動を捉えた軌跡から接近移動物体が自車正面を通過する予想通過時刻を演算により算出する。

上記ノーズビューシステムは、更に前記接近移動物体の接近を通知する接近通知手段を備え、この接近通知手段は、前記通過時刻計算手段が所定の時間以内に前記接近移動物体が前記車両の前方を通過すると算出したとき、該接近移動物体の接近を通知するものとして構成する。
上述のノーズビューシステムは、通過時刻計算手段が求めた通過時刻に応じて車両に搭載されたモニタに接近移動物体があることを車両の運転者等に通知する。具体的に上述のノーズビューシステムは、該車両に搭載されたモニタに接近移動物体があることを強調表示したり、警報器から警報音を発したりして通知する。

より好ましくは上記ノーズビューシステムは、更に上記車両の速度を検出する速度検出手段を備え、この速度検出手段が検出した速度が所定の速度以下であり、かつ前記通過時刻計算手段が所定の時間以内に前記接近移動物体が前記車両の前方を通過すると算出したとき、上記車両のブレーキを制御して該車両を停止させることが望ましい。
上述のノーズビューシステムは、速度検出手段が検出した車両速度が所定の速度以下、例えば数km/h以下であり、かつ過時刻計算手段が求めた通過時刻が所定の時間以内であると検出したとき、該車両の安全に停止させて接近移動物体との衝突を未然に防止すべく、該車両のブレーキを制御して停止させる。

上述した如く構成されたノーズビューシステムによれば、側方画像（ノーズビュー画像）中における特徴点のオプティカルフローを計算して接近移動物体の検出をすると共に、この計算によって求めた特徴点から接近移動物体がノーズビューカメラの受光面を延伸した平面空間を通過する通過予想時間を演算によって算出しているので、該移動物体が車両の前方を通過する時刻を確実に予想することができる。

その上で前記側方画像（ノーズビュー画像）中に含まれる車両等の接近移動物体の画像部分を枠で囲む等して強調表示したり、警報を出力したりして、或いは所定のウインド領域に拡大して表示するので、例えば接近移動物体の像が小さい場合であっても、その強調表示された画像から接近移動物体が存在することを容易に、しかも確実に認識することができる。

また車両の速度が所定の速度以下（例えば数km/h以下）であり、かつ前記接近移動物体が所定の時間以内に前記車両の前方を通過すると予想したとき、車両のブレーキを制御して車両を安全に停止させる。
したがって側方画像（ノーズビュー画像）を長時間に亘って注視しなくても、その表示画像から接近移動物体の存在を確実に把握することができると共に、万一、車両の運転者が接近する車両等を認識できなかったとしても警報音を発したり車両を安全に停止させたりするので、車両運転における安全性を高める上で大きく寄与するという優れた効果を奏し得る。

以下、本発明の一実施形態について添付図面を参照しながら説明する。図２は、本発明の一実施形態に係るノーズビューシステムの要部概略構成を示すブロック図である。この図において１は、車両の前部に組み込まれて該車両の左右側方の情景をそれぞれ撮像する左右一対のノーズビューカメラである。このノーズビューカメラ１は、例えば図１に示すように車両Ａの前端両側部にそれぞれ組み込まれたＣＣＤカメラからなり、車両側部の所定の視野領域ＦＬ,ＦＲをそれぞれ撮像するように設けられる。尚、ノーズビューカメラ１は、車両の後部に組み込まれて、該車両の左右側方の情景をそれぞれ撮像するものであっても良い。

このようなノーズビューカメラ１にて撮像された側方画像（ノーズビュー画像）を取り込むノーズビュー装置２は、例えばマイクロコンピュータを主体とする電子制御ユニット（ＭＰＵ）により構成される。このノーズビュー装置２は、基本的には図３にその制御手順を示すように、ノーズビュースイッチ３が投入（オン）されていることを条件として［ステップＳ１］、車速センサ４により検出される当該車両Ａの車速が、例えば１０km/h以下に低下したとき［ステップＳ２］、或いは車両Ａが停止したときにノーズビュー機能をＯＮ動作させて前記ノーズビューカメラ１にて撮像された側方画像（ノーズビュー画像）をモニタ５に表示し［ステップＳ３］、また上記各条件が満たされないときにはノーズビュー機能をＯＦＦさせることで、その表示を行わないよう構成される［ステップＳ４］。

尚、上記側方画像（ノーズビュー画像）の表示に用いられるモニタ５は、運転席前方のセンターコンソールに組み込まれたマルチディスプレイからなり、常時はＧＰＳを利用したカーナビゲーション情報の表示や、車室空間の環境を設定するエアコンの情報、或いは各種オーディオ機器の設定状態等の情報表示に用いられる。尚、ノーズビュー表示専用のモニタであってもよいことは言うまでもない。

さて基本的には上述した如く構成されるノーズビューシステムにおいて、この発明が特徴とするところは、図２に示すように前記ノーズビュー装置２において、
[ａ] 前述した如くノーズビューカメラ１を用いて撮像した側方画像（ノーズビュー画像）中の複数の特徴点を検出し、これらの各特徴点のオプティカルフローを計算することでその動きベクトルを求める特徴点検出手段１１と、
[ｂ] この特徴点検出手段１１にて求められた各特徴点の動きベクトルから前記側方画像（ノーズビュー画像）中の自車（車両Ａ）に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段１２と、
[ｃ] 前記側方画像（ノーズビュー画像）中における上記移動物体検出手段１２にて検出された接近移動物体の画像領域を特定して追跡し（特徴点追跡手段１３）、この特定した特徴点から接近移動物体が車両の正面を通過する時刻を求める通過時刻計算手段１４と
を備えている点にある。

具体的にはこれらの各手段（機能）１１,１２,１３,１４によって実現されるノーズビュー処理は、例えば図４に示すように、先ずノーズビューカメラ１を介して撮像されたノーズビュー画像を所定の周期で順次取得することから開始される［ステップＳ１１］。そしてノーズビュー画像中の、例えば画像信号レベル（輝度）や色相が、その周辺部と大きく異なるような特徴点を抽出し［ステップＳ１２］、これらの特徴点についてのオプティカルフローを計算することで、その動きベクトルを求める［ステップＳ１３］。このオプティカルフローの計算処理については、前述した特許文献４等に詳しく紹介されるとおりのものであるが、これを簡単に説明すると、基本的には所定の周期で撮像される連続した複数のノーズビュー画像間における互いに共通する特徴点の座標変化を検出することで、その特徴点が移動しているか否か、更には座標が変化している場合には、その移動（座標変化）の向きとその大きさがどの程度であるかをそれぞれ計算することによってなされる。

次いで移動物体検出手段１２は、ステップＳ１３で求めた動きベクトルの中から接近移動物体の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づき接近物体を検出する［ステップＳ１４］。この際、動くベクトルが検出されない特徴点については、建物等の固定物（背景）であるとして認識処理対象から排除する。そして検出された特徴点の時間経過は、特徴点追跡手段１３により捉えられる［ステップＳ１４］。このようにして捉えた特徴点の時間経過情報から通過時刻計算手段１４は、接近移動物体が車両の正面を通過する時間を算出する［ステップＳ１５］。

次いでステップＳ１５で求めた予想通過時刻ｔ_ｃが所定の通過想定時刻Ｔｈより早く（ｔ＜Ｔｈ）、または自車速度Ｖが所定の車両速度Ｖｈより遅い（Ｖ＜Ｖｈ）とき、ノーズビュー装置２は、接近物体があると検知し［ステップＳ１６］、モニタ５等の表示内容をノーズビューカメラの画像に切り替えると共に、接近物体があることを表示制御部１５の表示制御によってモニタ５に強調表示する［ステップＳ１７］。この強調表示は、例えば前述した特徴点を含む近傍を四角形状に抽出することによってなされる。そして表示制御部１５は、上述した如く切り出した接近移動物体を前記モニタ５に表示したノーズビュー画像中で明示するべく、例えば接近移動物体を含む該当画像領域特定を四角形状の枠にて囲み表示する等して強調表示する。
一方、ステップＳ１５で求めた予想通過時刻ｔ_ｃが所定の通過想定時刻Ｔｍより早く（ｔ_ｃ＜Ｔｍ）、かつ自車速度Ｖが所定の車両速度Ｖｈより遅い範囲にあるとき（０＜Ｖ＜Ｖｈ）［ステップＳ１８］、ノーズビュー装置２は、車両がより接近しているとして警報器６から警報音を発すると共に、前述したステップＳ１７で表示制御部１５によりモニタ５等になされる接近移動物体に対する強調表示に比べて、より強調された表示を表示制御部１５が行う［ステップＳ１９］。この強調表示は、表示制御部１５が接近する移動物体に対して例えば赤色や黄色等の色付けを行ってモニタ５上になされるものである。

また、ステップ１５で求めた予想通過時刻ｔ_ｃが所定の通過想定時刻Ｔｌより早く（ｔ_ｃ＜Ｔｌ）、かつ自車速度Ｖが所定の車両速度Ｖｈより遅い範囲にあるとき（０＜Ｖ＜Ｖｈ）［ステップＳ２０］、ノーズビューモニタシステムは、接近移動物体との衝突を避けるべく車両のブレーキ制御部７へ指令を出力して車両を停止させると共に、表示制御部１５が前述したステップ１９でモニタ５等になす接近移動物体に対する強調表示より一層強調された表示を行いドライバに対して警告する［ステップＳ２１］。例えば、この強調表示は、接近移動物体を拡大してモニタ５に重ねて表示したり、接近移動物体に引出線を付与したりして警告表示すればよい。

この際、上述した接近移動物体の強調表示と共に警報器６を用いて警報音を発する以外にも、接近移動物体が存在する旨の情報を音声メッセージ等としたりして報知するようにしてもよい。このような報知手段を併用すれば、視覚的なノーズビュー画像の確認と相俟って聴覚を利用して注意力の喚起を促すことができるので、見通しの悪い公差点等に車両が進入する際の安全確認を、より効果的にアシストすることが可能となる等の実用上多大なる効果が奏せられる。

ちなみにステップＳ１６における所定の通過想定時刻Ｔｈは、例えば５乃至３秒、ステップＳ１８における所定の通過想定時刻Ｔｍは、例えば３乃至２秒、ステップＳ２０における所定の通過想定時刻Ｔｌは、例えば２乃至１秒の値であり、一方、所定の車両速度Ｖｈは、最大１０km/h程度の微速前進速度であって、こられが予めノーズビュー装置２に設定されている。

ところで本発明に係るノーズビューシステムが行う特徴点検出手段について、より詳細に説明する。例えばカメラによって撮像された画像が図５に示すように画像データの左上を原点として横軸をｘ軸、縦軸をｙ軸と定めた座標上にあるものとする。まず特徴点検出手段１１は、画像Ｉのｘ軸およびｙ軸方向に対する偏微分∂Ｉ/∂ｘおよび∂Ｉ/∂ｙをそれぞれ求める。次いでこの画像Ｉでの全ての画素における空間配列行列Ｇ(ｐ)を次式に示すように求める。

そして特徴点検出手段１１は、空間配列行列Ｇ(ｐ)に対する固有値λmin(ｐ)およびλmax(ｐ)を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。
次いで上述したようにして得られたノーズビュー画像中における特徴点の時間変化を特徴点追跡手段１３が追跡する。そしてこの特徴点追跡手段１３により追跡された接近移動物体の特徴点から接近移動物体が車両Ａの正面を通過する時間を通過時刻計算手段１４により求めている。

より詳しくはノーズビューカメラ１は、前述したように車両（自車）Ａの進行方向に対してほぼ垂直となる位置、すなわち図６に示すように車両（自車）Ａの側方（右側方ＦＲおよび左側方ＦＬ）を視野するように取り付けられている。この場合、接近移動物体Ｂが自車Ａの正面を通過するときとは、ノーズビューカメラ１の受光面方向に延伸した平面空間を横切るときと見なすことができる。

ちなみにこの種の予想通過時間を求めるには、いくつかの方法が考えられるが、本発明は、複数の特徴点の軌跡から、複数のフレームを求めることによりノイズ耐性を高めることができる演算を適用した。尚、上述のノイズは、求めた特徴点の軌跡と真の軌跡との誤差のことである。
次に本発明が採用した予測時間の算出原理について図７に示す原理図を参照しながら説明する。

いま、時刻t_fにおける特徴点ｉの画像上の位置を座標（x_i(t_f),y_i(t_f)）とする。そして特徴点に対する追跡フレーム数Ｆ（≧３）、全特徴点数Ｐ（≧３）として、次式に示す行列Ｗを作成する。ここでは、t_１を追跡開始時刻、t_Fを現フレーム時刻とする。

ここに

は、時刻t_ｆにおける全特徴点の重心であって次式で示すことができる。

ところで本発明は、弱透視投影モデルや正投影モデルの他、実際の透視投影に近い平行透視投影モデルにも適用可能であるが、ここでは弱透視投影モデルを適用して説明する。
まず図７に示す三次元実空間上において、ノーズビューカメラ１の位置をp(t_f)、カメラの光軸方向ベクトルをk(t_f)、カメラが存在する空間における垂直方向および水平方向のベクトルをそれぞれ垂直ベクトルj(t_f)および横ベクトルi(t_f)とする。また、この図においてノーズビューカメラ１の方向を表すベクトルｉ(t_f),ｊ(t_f),ｋ(t_f)は、互いに直交する単位ベクトルである。特徴点は実空間では固定され、画像上の見た目の変化は、カメラの動きによってもたらされたものとし、特徴点ｉの実空間上の位置をs_i=(x_i,y_i,z_i)^Tとする。

而して弱透視投影は、実空間から画像への変換式は、実空間から画像への変換を線形に扱うことができるものである。この弱透視投影は、図７に示すように画像平面と平行なもう一つの平面である仮想画像平面を仮定する方法である。この仮想画像平面を仮定すると特徴点ｉは、まず仮想画像平面上に正投影され、次に仮想画像平面から画像平面へと透視投影される。
このような弱透視投影によれば、時刻t_fにおける特徴点ｉの画像上の座標(x_i(t_f),y_i(t_f))は、次式で表すことができる。

ちなみに上式におけるｚ(t_f)は、カメラと仮想画面平面との距離を示すパラメータである。
ところで上述した弱透視投影モデルを適用した場合、実空間上の原点が全特徴点の重心を示すベクトルｃにあるとし、かつ実空間上の原点、即ち全特徴点の重心が仮想画像平面上にあるものとしている。したがって次式を得ることができる。

このとき、z(t_f)は、全特徴点の重心とカメラとの深さに再定義される。［数２］の行列Ｗは、Ｗ＝ＭＳとして次式に示すように二つの行列Ｍ，Ｓに分解できる。

ここに、ベクトルｍ(t_f)=ｉ(t_f)/ｚ(t_f)，ベクトルｎ(t_f)=ｊ(t_f)/ｚ(t_f)である。このベクトルｉ(t_f)，ｊ(t_f)の定義は、時刻t_fにおけるカメラ姿勢であり、ｚ(t_f)の定義は、全特徴点の重心とカメラとの深さである。すなわち行列Ｍは、対象物体とカメラとの相対運動情報を示している。また、行列Ｓの各要素s_iは、特徴点の実空間上の位置である。したがって行列Ｓは、対象物の実区間上の形状情報を示していることになる。

つまり本発明が特徴とするところは、特徴点の画像上の見た目を示す行列Ｗを入力とし実空間上の特徴点とカメラとの相対的動作を示す動作行列Ｍと、特徴点の実空間上の位置を示す形状行列Ｓとに分解した後、演算によって接近移動物体の通過予想時間を求める点にある。
このような特徴ある本発明の一実施形態に係るノーズビューモニタシステムに関し、より詳細に説明する。ちなみに本ノーズビューモニタシステムは、弱透視投影または平行透視投影であって、行列Ｗを動作行列Ｍと形状行列Ｓとに分解すればよく、その計算方法は特に限定されるものではない。
さて、上述の行列Ｗを特異値に分解すると次式を得る。

ここで行列Ｕは、２Ｆ×Ｌの直交行列、行列Σは、Ｌ×Ｌの対角行列、行列Ｖ^ＴはＬ×Ｐの直交行列であり、Ｌは２ＦまたはＰのいずれか小さい値をとる。また、対角行列Σは、それぞれσ_１≧σ_２≧・・・≧σ_Ｌの降順に並んでいる。ちなみにＦは、フレーム数である。
ついで行列Ｍ，Ｓの大きさについて検討する。ベクトルｉ(t_f)，j(t_f)は、三次元実空間上のベクトルであるので、ベクトルｉ(t_f)，j(t_f)から形成されるベクトルｍ(t_f)，ｎ(t_f)もまた三次元ベクトルである。一方、フレーム数は、前述したようにＦ個であり、それがｍ(t_f)，ｎ(t_f)それぞれにあるので、ベクトルｍ(t_f)，ｎ(t_f)から形成される行列Ｍの大きさは、２Ｆ×３になる。同様にベクトルs_iは、三次元実空間上の位置であるから、やはり三次元ベクトルである。また、特徴点数はＰ個であるから、ベクトルs_iから形成される行列Ｓの大きさは３×Ｐとなる。一方、［数７］，［数８］から行列Ｗは、行列Ｍおよび行列Ｓとの積であるので、行列Ｍおよび行列Ｓの大きさを考慮すれば結局、行列Ｗの階数（ランク）は、３以下になる。

ここで、［数１１］におけるＵの最初の３列である２Ｆ×３行列Ｕ'、３×３の対角行列Σ'、行列Ｖ^Ｔの最初の３行である３×Ｐ行列Ｖ'^Ｔの積で［数１１］を近似すれば［数１２］を得る。

ところで行列Ｗには、一般に特異点の追跡誤差等のノイズが含まれる。このため、行列Ｗの階数は必ずしも３以下にはならない。しかし［数１２］に示すように近似してσ_４以降を０として分解すれば、最小二乗法的な意味合いから最良の近似解を得ることができる。つまり本発明は、特異点分解の仮定においてノイズ成分を予め除去しているので、ロバスト性を確保することができるという優れた特徴を有している。
ここで［数１２］の分解結果を用いれば、次式に示す分解結果を得ることができる。

このように分解することによって［数１２］は、次式を満たすことになる。

ただし、［数１５］に示される分解は、一意ではない。つまり［数１３］および［数１４］の行列Ｍ，Ｓは、一般に異なり、両者を次式に示すようにおけばこれらを関連付ける適当な３×３の行列Ａを見出すことができる。

ここで［数９］が示すように行列Ｍを形成するベクトルｍ(t_f)，n(t_f)に着目する。このベクトルｍ(t_f)，n(t_f)は、更にそれぞれベクトルｉ(t_f)，ｊ(t_f)から形成されている。ベクトルｉ(t_f)，ｊ(t_f)は、図７に示すように直交座標系において互いに直交している。したがって、ベクトルｍ(t_f)，n(t_f)は次式に示す条件を満足する必要がある。

これらの式が示すように［数１８］、［数１９］を拘束条件とすれば［数１６］および［数１７］に示される行列Ｍ，Ｓは、それぞれ求めることができる。ただし、時刻t_fにおける全特徴点の重心とカメラとの深さであるｚ(t_f)は未知であるため、拘束条件として［数１８］、［数１９］だけでは不十分である。たとえば、ベクトルｍ(t_f)＝０，ベクトルｎ(t_f)＝０であったとしても［数１８］、［数１９］を満たしてしまう。このため次式に示す拘束条件を新たに加える必要がある。

この式の意味するところは、時刻t_F、即ち現フレームの移動物体とカメラとの深さを１と仮定したものである。この式の拘束条件により、最終的に得られる行列Ｍ，Ｓは、現フレームを基準とした相対量になる。それ故、時刻t_fにおける全特徴点の重心とカメラとの深さであるｚ(t_f)は、例えばメートル単位等の絶対量では求めることができないものの後述するように予想通過時間に関して計算することが可能である。

次に本発明に係るノーズビューシステムが行う予測通過時間の計算方法について説明する。前述した［数７］に示されるように行列Ｗを行列Ｍ，Ｓに分解した後、本システムは、動作行列Ｍを解析する。特に時刻t_fにおける全特徴点の重心とカメラとの深さであるｚ(t_f)に注目して次式を得る。

ただし、ベクトルｍ(t_f)=ｉ(t_f)/ｚ(t_f)，ベクトルｎ(t_f)=ｊ(t_f)/ｚ(t_f)，１≦ｆ≦Ｆである。
ここにベクトルｉ(t_f)，ｊ(t_f)は、それぞれ単位ベクトルである。したがって変数ｚ(t_f)は、次式に示すように容易に求めることができる。

ところで上述の計算において導入した［数２０］は、ｚ(t_f)＝１と等価である。この拘束条件から［数２２］から得られる全特徴点の重心とカメラとの深さの時系列データとは、時刻t_Fでの真の深さに対する相対量の時系列データのことをいう。即ち、真の全特徴点の重心とカメラとの深さを求めるには、図８に示すようにｚ(t_f)に対して定数倍する必要があるが、その定数は未知である。そこで、ｚ(t_f)＝z'(t_f)/z'(t_Ｆ) ，z'(t_f)＝αz(t_f)、ただし１≦ｆ≦Ｆを考慮する。これらの式においてz'(t_f)は、真の特徴点の重心とカメラとの深さである。一方、αは、α＞０を満たす未知の定数である。この未知の定数αを求めるには、何らかの事前の知識（ある時刻での真の深さ）を得ておく必要がある。しかしながら現実の道路環境下においては、事前の知識を得ることが極めて困難である。

そこで本演算で得られた深さｚ(t)および真の深さｚ'(t)のそれぞれが０になる時刻について考える。上述した式が示すように未知の定数αがどのような値を取ったとしてもｚ(t)＝０ならばｚ'(t)＝０でなければならない。逆にｚ(t)≠０ならば、ｚ'(t)≠０を満たす必要がある。これらのことから、本演算で得られた深さｚ(t)が０となるとき、未知の定数αの値によらず真の深さｚ'(t)は、０となる。

一方、ノーズビューカメラシステムにおいて真の深さｚ(t)が０になる場合を考える。図７をその上方から眺めて描き直せば図９を得る。この図において深さｚ(t)は、カメラと全特徴点との重心でなすベクトルと、カメラ光軸ベクトルとの内積をとったものである。したがって、ｚ(t)＝０になるということは、カメラ光軸ベクトルに対して、全特徴点の重心が一致することを意味している。即ち、カメラの素子平面上に全特徴点の重心（移動物体の重心）があることになる。換言すれば、深さｚ(t)＝０になるとき、移動物体はカメラ素子平面上を通過中である。

ところで、ノーズビューカメラシステムにおいて、接近物体が自車正面付近（カメラ素子平面）を通り過ぎるときとは、上述したようにして求めたｚ(t)＝０になるときと見なすことができる。つまり予想通過時刻は、ｚ(t_c)＝０を満たす時刻ｔ_ｃとなる。
より具体的には、［数２２］で得られる全特徴点の重心とカメラとの深さの時系列データｚ(t_f)（ただし１≦ｆ≦Ｆ）に対して、回帰直線ｚ(t)＝ａｔ＋ｂを当てはめ、回帰直線ｚ(t)＝０を満たす時刻ｔ_ｃ＝−(ａ/ｂ)を予測通過時刻とする。このようにして求めた深さの時系列データｚ(t_f)（ただし１≦ｆ≦Ｆ）には、上述したようにノイズを含んでいると考えられる。

しかしながら前述したように回帰直線を求める際に最小二乗法によるノイズ除去を行っているので、計算される予測通過時刻は、ノイズの影響を最小限に抑えた値になる。さらに特異値分解の段階でノイズ抑制を行っているので、本発明に係るノーズビューモニタシステムは、より一層ノイズの影響を抑えることができ、接近移動物体の予測通過時刻の精度を高めることが可能となる。

かくして上述した本発明の一実施形態に係るノーズビューモニタシステムは、ノーズビューカメラ１にて撮像された側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段１１と、上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段１２と、前記検出された接近移動物体の特徴点を追跡する特徴点追跡手段１３と、この特徴点追跡手段１３により追跡された前記接近移動物体の特徴点から前記接近移動物体が該車両の正面を通過する時間を求める通過時刻計算手段１４とを備えている。特に前記特徴点検出手段１１は、前記側方画像中の特徴点のオプティカルフローを計算するものとして構成されている。

このため本発明のノーズビューモニタシステムは、ノーズビューカメラ１が撮像した側方画像中から車両Ａに接近する接近移動物体の角等の特徴点を抽出すると共に、その特徴点の移動を捉えた軌跡から上記接近移動物体が自車正面を通過する予想通過時刻を演算により算出している。このため本発明のノーズビューモニタシステムは、ノーズビューカメラ１が撮像した側方画像から接近車両や接近歩行者等が自車正面を通過する時刻を高精度に予測することが可能である。

また本発明のノーズビューモニタシステムは、上述して求めた予想通過時刻に応じて警報音等により接近移動物体の接近を通知する接近通知手段（表示制御部１５，警報器６）を備えている。このため、本発明のノーズビューモニタシステムは、通過時刻計算手段が求めた通過時刻に応じて車両に搭載されたモニタに接近移動物体があることを該車両に搭載されたモニタ５に強調表示等したり警報器６から警報音を発したりすることができる。

更に本発明のノーズビューモニタシステムは、更に上記車両の速度を検出する速度検出手段（車速センサ４）を備え、この速度検出手段が検出した車両の速度が所定の速度以下、例えば１０km/h程度以下であり、かつ求めた予想通過時刻が所定の時間以内（例えば数秒以内）であると検出したとき、該車両Ａを安全に停止させて接近移動物体との衝突を防止すべく、該車両Ａのブレーキを制御して停止させることができる。

また上述した接近移動物体の強調表示および警報器６を用いて警報音を発する他にも、接近移動物体が存在する旨の情報を音声メッセージ等として報知したりするようにしてもよい。このような報知手段を併用すれば、視覚的なノーズビュー画像の確認と相俟って聴覚を利用して車両の運転者等に注意力の喚起を促すことができるので、見通しの悪い公差点等に車両が進入する際の安全確認を、より効果的にアシストすることが可能となる等の実用上多大なる効果が奏せられる。

尚、本発明は上述した実施形態に限定されるものではない。例えばノーズビューカメラ１の視野角（撮像画角）やその撮像の向き等は、車両に要求される仕様に応じて定めれば良いものである。ここでは車両の前部にノーズビューカメラ１を組み込んだものとして説明したが、ノーズビューカメラ１を車両の後部に組み込んだ場合にも有用である。この場合には、例えば車両を後退して車庫から出そうとする場合に有効に機能する。更にはモニタ５内に接近移動物体を拡大表示する際の拡大率については、モニタ５の表示画面の大きさとノーズビュー画像中において検出された接近移動物体の大きさに応じて適宜定めればよいものである。

その他、本発明のノーズビューモニタシステムは、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形して実施することができる。

ノーズビューモニタシステムを備えた車両とノーズビューカメラの向きを示す図。 本発明の一実施形態に係るノーズビューモニタシステムの要部概略構成図。 ノーズビューモニタシステムの基本的な動作制御手順を示す図。 本発明に係るノーズビューモニタシステムにおける基本的な接近移動物体の検出処理とその接近移動物体が通過する通過予想時間を算出する手順を示す図。 カメラが撮像した画像データに含まれる特徴点抽出の一例を示す図。 カメラの視野およびその素子平面と接近物体との関係を示す図。 カメラによって撮像された画像データに対して弱透視投影を行う際のカメラ、画像平面および仮想画像平面との関係を示す図。 演算で得られた深さと真の深さとの関係を示す図。 図７をその上方から眺めて描き直した平面図。

符号の説明

１ ノーズビューカメラ
２ ノーズビュー装置
３ ノーズビュースイッチ
４ 車速センサ
５ モニタ
６ 警報器
７ ブレーキ制御部
１１ 特徴点検出手段
１２ 移動物体検出手段
１３ 特徴点追跡手段
１４ 通過時刻計算手段
１５ 表示制御部

Claims (3)

1. 車両の前部または後部に取り付けられて該車両の側方を撮像するノーズビューカメラと、
   前記側方画像中の特徴点を検出すると共に、検出した特徴点の動きベクトルを計算する特徴点検出手段と、
   上記計算された各特徴点の動きベクトルから前記側方画像中の前記車両に接近してくる方向のベクトルを有する物体を接近移動物体として検出する移動物体検出手段と、
   前記検出された接近移動物体の特徴点を追跡する特徴点追跡手段と、
   この特徴点追跡手段により追跡された前記接近移動物体の特徴点から、前記接近移動物体が前記ノーズビューカメラの受光面方向に延伸した平面空間を横切るまでの時間を求める通過時刻計算手段と、
   前記接近移動物体の接近を知らせる接近通知手段とを備え、
   前記通過時刻計算手段が所定の時間以内に前記接近移動物体が前記車両の正面を通過すると算出したとき、該接近移動物体の接近を通知することを特徴とするノーズビューシステム。
2. 前記特徴点検出手段は、前記側方画像中の特徴点のオプティカルフローを計算するものである請求項１に記載のノーズビューシステム。
3. 請求項１または２に記載のノーズビューシステムであって、
   更に上記車両の速度を検出する速度検出手段を備え、
   この速度検出手段が検出した速度が所定の速度以下であり、かつ前記通過時刻計算手段が所定の時間以内に前記接近移動物体が前記車両の前方を通過すると算出したとき、上記車両のブレーキを制御して該車両を停止させるものであるノーズビューシステム。

Images