JP6185970B2 - 車両の後方側面に隣接する物体を検出する方法 - Google Patents

Description

[0001]本発明は、車両の後方側面に隣接する物体を検出する方法に関する。

[0002]自動車又は他の車両の背後又は後方を見るか又は検知することが望ましい様々な状況が存在する。ほとんどの事例において、１つの視界用途の要件は他の用途の要件と異なる。たとえば、乗用車における後方視界又は後方視野カメラシステムの要件は、多くの場合に、商用トラックにおける後方視界又は後方視野カメラシステムの要件と異なる。

[0003]異なる視界用途において車両の背後の検知範囲が異なることに少なくとも部分的に起因して、システム設計者は、十分なデータ整合性を伴って大部分の用途を満たす単一の検知構成を見つけようと奮闘してきた。

[0004]本発明は、車両の背後を見る目的で、高い画像解像度で最大１８０度の視野をカバーする後方視野構成を提供する。本発明はまた、車両快適システム及び車両安全システムを含む複数の機能に関する整合性の高い深度情報及び動き情報を提供する。カメラシステムは、順方向運転条件下及び逆方向運転条件下の双方で動作する。

[0005]車両において使用される車両検知システムは、存在するか又は未来に発生すると予測される悪条件を車両の操作者に警告するのに使用することができる。そのような車両検知システムは、逆方向に運転しているときに車両の背後の物体の存在を運転者に警告し、物体の動きを計算し、衝突見込み及び衝突時点を予測し、車両の背後の物体の仮想画像を提供し、距離を計算し、車両における安全装置（features）をアクティブ制御し、車両のブレーキ動作及び操舵角をアクティブ制御すると共に、他の機能を実行することができる。本発明の車両検知システムは、複数の検知システムの必要性を排除しつつ、複数の機能を実行する。

[0006]１つの実施の形態では、本発明は車両のための後方視野カメラシステムを提供する。該後方視野カメラシステムは、車両の後方側面に位置決めされる第１のカメラを備える。該第１のカメラは、第１の視野に対応する画像データを含む第１のデータセットを作成する。第２のカメラは、第１のカメラから水平距離をあけて車両の後方側面に位置決めされる。該第２のカメラは第２の視野に対応する画像データを含む第２のデータセットを作成する。第１の視野及び第２の視野は車両の後方側面に隣接する空間をカバーする。電子制御ユニットは第１のデータセット及び第２のデータセットを受信し、該第１のデータセット及び該第２のデータセットを処理して車両の後方側面に隣接する空間内の物体の存在を判断する。電子制御ユニットは、第１のデータセットと第２のデータセットとを縫合して車両の後方側面に隣接する空間に対応するパノラマ画像を生成するように構成される。

[0007]カメラシステムは、車両の操作者に隣接して位置決めされる視認用画面を有するヒューマン・マシン・インターフェース（「ＨＭＩ」）を備える。ＨＭＩは、パノラマ画像を受信し、該パノラマ画像を視認用画面上に表示するように構成される。

[0008]別の実施の形態では、本発明は、車両の後方側に隣接する物体を検出する方法を提供する。本方法は、車両の後方側面に隣接して位置する第１の空間に対応する第１の画像データセットを取得するステップ、及び車両の後方側面に隣接して位置する第２の空間に対応する第２の画像データセットを取得するステップを含む。本方法はまた、第１の画像データセットを第１のピクセルアレイにマッピングするステップ、第２の画像データセットを第２のピクセルアレイにマッピングするステップ、及び第１のピクセルアレイと第２のピクセルアレイとの対応を計算するステップであって、第１のゾーン、第２のゾーン、及び第３のゾーンを含む第３の画像データセットを作成する、計算するステップを含む。本方法はさらに、車両の予測される動き経路に対応する運転ルート（driving corridor）を計算するステップ、最初に第１のゾーン内の物体の存在の判断を試みるステップ、第１のゾーン内に物体が検出されなかった場合、第２のゾーン及び第３のゾーンのうちの一方における物体の存在の判断を試みるステップ、物体と運転ルートとの衝突見込みを判断するステップ、及び衝突までの時間を計算するステップを含む。

[0009]本発明の他の態様は、詳細な説明及び添付の図面を検討することによって明らかになるであろう。

[0010]トラックの後部における２つのカメラの取り付け位置及び視野を示す図である。 [0011]自動車の後部における２つのカメラの取り付け位置及び視野を示す図である。 [0012]車両に取り付けられる２つのカメラのそれぞれの空間撮像範囲、及び該２つのカメラによって得られる画像を処理する電子制御ユニットを示す図である。 [0013]図１又は図２の２つのカメラによって得られる画像を車両操作者に表示する視認用画面を含むヒューマン・マシン・インターフェースを示す図である。 [0014]図１及び図２の後方視野カメラシステムによって実行されるロジックを示す図である。 [0015]図５のロジックの続きである。 [0016]図５及び図６のロジックによって実行されるデジタルマッピングを示す図である。 [0017]図５及び図６のロジックの処理速度を改善するのに使用されるロジックを示す図である。

[0018]本発明の任意の実施形態を詳細に説明する前に、本発明は、その用途において、以下の説明において記載されるか又は以下の図面において示される構成要素の構造及び配置の詳細には限定されないことを理解されたい。本発明は他の実施形態が可能であり、様々な方法で実施又は実行されることが可能である。

[0019]後方視野カメラシステム２０は、車両２８の後方側面２６に取り付けられる２つのカメラ２２、２４を使用して、複数の機能を提供する。カメラ２２、２４は、該カメラが車両の後方側面２６に隣接する空間を監視することができる、車両２８の他の適切な表面（たとえば、背面、側面、上面、下側）に取り付けることができることを理解されたい。後方視野カメラシステム２０は、車両２８の後方側面２６に隣接して位置する空間からデジタル化画像を捕捉する。カメラ２２、２４からの画像データは、電子処理ユニット２９（図３）に提供される。電子処理ユニット２９は、電子制御ユニット（「ＥＣＵ」）とも呼ばれ、プログラム可能なマイクロプロセッサ、メモリ、オペレーティングシステムソフトウェア、及び他の関連構成要素を含む場合がある。調整回路又は周辺駆動部（「Ｃ／Ｄ」）３０及び３１を使用して、電子処理ユニット２９をカメラ２２、２４とインターフェースで接続することができる。

[0020]図１は、後方視野カメラシステム２０Ａを備える、トラック２８Ａの形態の車両２８を示している。後方視野カメラシステム２０Ａは、トラック２８Ａの右側３０Ａ付近に取り付けられる第１のカメラ２２Ａ（ここでは右カメラと呼ばれる）と、トラック２８Ａの左側３２Ａ付近に取り付けられる第２のカメラ２４Ａ（ここでは左カメラと呼ばれる）とを備える。右カメラ２２Ａ及び左カメラ２４Ａは類似しており、類似した形で動作する。右カメラ２２Ａ及び左カメラ２４Ａは共に、約１００度の視野（「ＦＯＶ」）を有する。右カメラ２２Ａは、トラック２８Ａの上面３４Ａ付近に、右尾灯３６Ａの上方に取り付けられ、左カメラ２４Ａは、トラック２８Ａの上面３４Ａ付近に、左尾灯３８Ａの上方に取り付けられる。右カメラ２２Ａは、該右カメラ２２Ａが左側３２Ａに向かってトラック２８Ａの真後ろに位置する空間に対応する画像データを取得するように、トラック２８Ａの左側３２Ａに向かって方向付けられる。左カメラ２４Ａは、該左カメラ２４Ａが、右側３０Ａに向かってトラックの真後ろに位置する空間に対応する画像データを取得するように、トラック２８Ａの右側３０Ａに向かって方向付けられる。

[0021]他の構造では、右カメラ２２Ａは左カメラ２４Ａと異なる（たとえば、異なるＦＯＶを有する）ことができる。カメラのＦＯＶは通常、９０度〜１３０度の範囲をとる。いくつかの構造では、カメラ２２Ａ及び２４Ａは、トラック２８Ａ上の異なる位置に取り付けられるか、又は異なる方向に照準を合わせられる。

[0022]トラック２８Ａは、一対の前輪４０Ａ及び一対の後輪４２Ａも備える。トラック２８Ａの操作中、操作者は前輪４０Ａを操縦してトラック２８Ａを所望の方向に方向付ける。既知のように、車両が順方向に動いている（順方向モード）か又は逆方向に動いている（逆方向モード）かに関わらず、転向が発生し得る。

[0023]図２は、後方視野カメラシステム２０Ｂを備える、自動車２８Ｂの形態の車両２８を示している。後方視野カメラシステム２０Ｂは、図１に示す後方視野カメラシステム２０Ａに類似している。同様の構成要素は同様の参照符号を与えられ、簡潔に検討される。後方視野カメラシステム２０Ｂは、自動車２８Ｂの右側３０Ｂ付近に取り付けられる右カメラ２２Ｂと、自動車２８Ｂの左側３２Ｂ付近に取り付けられる左カメラ２４Ｂとを備える。右カメラ２２Ｂ及び左カメラ２４Ｂは類似しており、類似した形で動作する。右カメラ２２Ｂ及び左カメラ２４Ｂはそれぞれ、約１００度のＦＯＶを有する。右カメラ２２Ｂはナンバープレート３６Ｂに隣接して位置決めされ、該右カメラ２２Ｂが、左側３２Ｂに向かって自動車２８Ｂの真後ろに位置する空間に対応する画像データを取得するように、自動車２８Ｂの左側３２Ｂに向かって方向付けられる。同様に、左カメラ２４Ｂはナンバープレート３６Ｂに隣接して位置決めされ、該左カメラ２４Ｂが、右側３０Ｂに向かって自動車２８Ｂの真後ろに位置する空間に対応する画像データを取得するように、自動車２８Ｂの右側３０Ｂに向かって方向付けられる。

[0024]図１及び図２に示すものを含むいくつかの実施形態では、使用されるカメラはＣＭＯＳ型カメラ又はＣＣＤ型カメラであり、可視スペクトル、赤外スペクトル、近赤外（「ＮＩＲ」）スペクトル、又はそれらの組み合わせにおいて画像ストリームを連続して捕捉する。１つの実施形態では、カメラは約４００ｎｍ〜約１０００ｎｍの範囲内の波長を有する光を感知し、約１２００ｎｍを超える波長を遮断するために、カメラ上でＩＲフィルターが使用される。いくつかの実施形態では、車両又はカメラは、対象エリアの照射を提供するＮＩＲ光源２３（たとえばＬＥＤ）を設けられる。車両、カメラ、又はその双方にＮＩＲ光源を設けることは、特に夜間に、カメラによって取得される画像の品質を改善するのに役立つ。

[0025]図３は、車両２８の後方側面２６に隣接する空間を平面図で概略的に示す。図３
に規定されるように、右カメラ２２は１００度のＦＯＶを有し、０度〜１００度の画像を取得する。図３に規定されるように、左カメラ２４は１００度のＦＯＶを有し、該左カメラ２４が８０度〜１８０度の画像を取得するように位置決めされる。カメラ２２及び２４は、それぞれのＦＯＶが重複するように位置決めされ、合わせて１８０度のＦＯＶを有する。図示する実施形態では、撮像空間は、５つのゾーンによって規定される。ゾーン１は車両２８の真後ろに位置し、右カメラ２２及び左カメラ２４の双方によって撮像される全ての空間を含む。ゾーン２は車両２８の左後方に位置し、右カメラ２２のみによって撮像される全ての空間を含む。ゾーン３は車両２８の右後方に位置し、左カメラ２４のみによって撮像される全ての空間を含む。ゾーン４は車両２８の背後に左側３２に向かって位置し、左カメラ２４のみによって撮像される。ゾーン５は車両２８の背後に右側３０に向かって位置し、右カメラ２２のみによって撮像される。

[0026]図３は、一例示の運転ルート４４も示している。車両２８が順方向に運転されているとき、車両２８は、矢印４６によって規定される方向に動く。車両２８が逆方向に運転されているとき、車両２８は、矢印４６と反対の方向に動く。特に、前輪４０及び後輪４２は、車両２８が動くとき、実質的に運転ルート４４に沿って走行する。

[0027]動作時に、操作者が車両２８をオンにすると、車両２８のＥＣＵ２９に電力が供給される。上述のように、ＥＣＵ２９は、ハードウェア及びソフトウェアを備え、これらの構成要素は協働して後方視野カメラシステム２０のロジックを実行する。図３に示すように、入力／出力（「Ｉ／Ｏ」）インターフェース４７は、カメラ２２、２４から画像を得て、該画像をＥＣＵ２９に供給する。Ｉ／Ｏインターフェース４７は、カメラ２２、２４からの画像をＥＣＵ２９に提供する前に、該画像を処理することができる。車両の移動方向に依拠して、ＥＣＵ２９は、視認用画面４８に画像（たとえばカメラ２２、２４から得られる画像から作成されるパノラマ画像）を出力する。図４に示すように、視認用画面４８はヒューマン・マシン・インターフェース（「ＨＭＩ」）４９の一部である。ＨＭＩ４９は、車両のダッシュボード４９ｂ上に位置決めされ、様々な形式で車両操作者に情報を提供する。視認用画面４８に加えて、ＨＭＩ４９は、車両操作者に可聴情報を提供するためのスピーカー４９ｃと、車両操作者に視覚情報を提供するための１つ若しくは複数の警報灯又は発光ダイオード（「ＬＥＤ」）５１とを備える。いくつかの実施形態では、ＨＭＩ４９は、車両操作者に、車両のハンドル、座席、ブレーキペダル等における振動又は運動のような触知性情報を提供するための１つ又は複数の触覚インターフェースも備える。

[0028]車両２８が順方向モードで操作されているとき（すなわち、操作者が車両２８を順方向４６に運転するとき）、後方視野カメラシステム２０は複数のシステム及び機能を提供する。後方視野カメラシステム２０は、ビデオベースの車両検出アルゴリズムを使用して、追突（rear-end collision）緩和を提供する。衝突結果が緩和される方法のうちの１つは、システム２０によって生成される情報を使用して拘束システムを予め起動しておくことによるものである。たとえば、システム２０からの情報が、追突が差し迫っていることを示す場合、車両乗員をより良好に保護する位置にヘッドレストが動かされるか、シートベルトを予め緊張状態にするか、エアバッグの展開準備を整えるか、又はそれらの組み合わせが行われる。システム２０からの情報は、（いくつかの実施形態では）自動非常ブレーキシステムにも提供される。自動非常ブレーキの強化は、車両２８の速度、並びに車両２８の背後を走行する第２の車両の速度及び車間距離を求めることによって達成される。車両２８が前方監視カメラ、レーダー、又はライダーシステムを備え、かつ該システムが差し迫った前方衝突に起因して自動非常ブレーキの展開を生じさせる情報を生成しており、かつシステム２０が後方衝突が差し迫っているという情報を同時に生成している場合、システム２０からの情報が前方監視システムに提供され、それによって該前方監視システムは、双方の事象を考慮して、改善された、総合的に安全な結果を達成するための制
御の妥協点を確定する。後方視野カメラシステム２０は、車両の背後の車線マーカーを検出すると共に、車線モデルを適合させて車線内の相対車両位置を予測することによって、車線逸脱警報（「ＬＤＷ」）システム及び車線維持システム（「ＬＫＳ」）も提供する。本システムは、車線変更支援のために、ミラーの死角における他の車両又は背後から高速で近づいてくる他の車両を検出することもできる。換言すれば、車両が順方向に動いている（たとえば高速道路上を時速１２０ｋｍで走行している）間にシステムが動作する場合、システムによって生成される情報を使用して、死角検出及び車線変更支援を提供することができる。

[0029]車両２８が逆方向モードにあるとき（すなわち操作者が車両２８を逆方向に運転するとき）、後方視野カメラシステム２０は、複数のシステム、並びに車両２８を順方向に操作するときに提供される機能と同様であるか又は異なる場合がある機能を提供する。後方視野カメラシステム２０は、下記でより詳細に説明するように、１８０度のＦＯＶ、歪み補正、及び障害物強調表示を有する高品質の後方視野ビデオストリームを提供する。後方視野カメラシステム２０は、可聴フィードバック、可視フィードバック、及び触覚フィードバックを有する後方超過（バックオーバー（back-over））警報システムを提供す
る。可聴フィードバックのいくつかの例には、ビープ音及びボイスアラートが含まれる。可視フィードバックの例には、車両のダッシュボード上の発光ダイオード（「ＬＥＤ」）及び物体強調表示が含まれ、触覚フィードバックの例には、ブレーキ振動、ハンドル振動、座席振動、安全ベルト振動、ブレーキジャーク（brake jerk）等が含まれる。ＥＣＵは、衝突を回避するために、ブレーキをアクティブ制御して、車両を部分的に又は完全に停止又は操縦することもできる。後方視野カメラシステムは、ブレーキの事前充電、アクティブブレーキを用いた後方超過回避システム、ビデオベースの障害物検出、空いた空間及び障害物を正確に検出する自動駐車システム、及び横切る動きを伴う物体を検出する側方車両アラートシステムも提供する。

[0030]図５〜図８は、車両２８がオンにされた後の後方視野カメラシステム２０の動作を示している。ステップ５２において、右カメラ２２及び左カメラ２４は、１つのフレーム又は画像に対応する画像データを取得する。右カメラ２２及び左カメラ２４はビデオカメラであり、実質的に連続した形でデータを取得する。簡単にするために、図５〜図８のロジックの１回の反復を詳細に説明する。ロジックはＥＣＵ２９によって迅速に実行され、データは実質的に連続した形で取得及び表示されることを理解されたい。

[0031]ステップ５２に示すように、右カメラ２２は右画像データアレイの形式で画像データのフレームを取得し、左カメラ２４は、左画像データアレイの形でデータのフレームを取得する。各画像データアレイは、それぞれ撮像される空間に対応するピクセルアレイである。ステップ５３において、右画像データアレイと左画像データアレイとの間の画像対応が計算される。右画像データアレイ及び左画像データアレイは同時に（すなわち実質的に同じ時点で）取得され、したがって、空間内の同じ３次元の点に対応するゾーン１内のピクセルを含む。カメラ２２及び２４は車両２８の反対側に位置決めされるため、ゾーン１に対応する空間は、異なる視点から撮像される。対応計算は、右データアレイ及び左データアレイ内のいずれのピクセルが３次元空間内の同じ点に対応するかを求める。ステップ５４において、対応計算の結果を使用してゾーン１のための深度マップを確定する。より詳細には、深度マップはゾーン１において視差計算から計算される。

[0032]地面（すなわち車両２８を支持する表面に対応するデータのセット）は、全ての画像データアレイ内に存在するものと想定され、したがって、ステップ５６において深度マップから取り除かれる。このため、地面の上に位置する物体のみが深度マップ内にとどまる。ステップ５８において、深度マップ上で分割が実行される。分割されたデータから、物体認識が実行されて（ステップ６０）、抽出記述子を使用してゾーン１内（すなわち
深度マップ内）に位置する任意の対象物体の存在が判断される。抽出記述子は、画像特徴（たとえば、輝度、色、質感等）、３次元形状情報、及び他のものを含む。抽出記述子を使用する障害物認識を実行することによって、対象物体の分類がさらに可能になる。このため、誤検出が低減され、物体はゾーン１内で識別されることができる（ステップ６２）。

[0033]図３に示すように、各ゾーンは、ショッピングカート又は子供のような物体６３を含む場合がある。ＥＣＵ２９は抽出記述子を使用して、特定のゾーン内のこれらの物体６３を識別する。物体が深度マップ内に存在するとき、車両データが取得される（ステップ６４）。車両データは、速度、加速度、操舵角等を含むことができる。車両ルートは、操舵角及び車両重心位置に基づいて予測される。車両ルートは、車両の幅と概ね等しい幅を有する。予測される車両ルートは、車両の操舵角及び自動車に特有の車両動特性（軸間距離、重量、速度、及び加速度等）に依拠する多項式曲線を有する。車両ルートは経時的に変化する（車両が動いていると想定する）。

[0034]ステップ６０において識別された物体６３が追跡され、方程式を使用して追跡物体が運転ルートとぶつかる可能性があるか否かが判断される。特に、ステップ７０において、追跡物体が運転ルートとの衝突経路上にあるか否かが判断される。

[0035]車両が逆方向モードにある場合（ステップ７２において判断される）、ＥＣＵ２９は、ステップ７４において右カメラ２２及び左カメラ２４によって取得された画像データからパノラマ画像（たとえば約１８０度の画像）を生成する。ＥＣＵ２９は、画像縫合（綴合、ステッチ）を使用してパノラマ画像を生成する。画像縫合は、重複する視野を有する複数の画像を一緒に結合又は「縫合」し、単一のパノラマ画像を作成する。画像縫合は、個々の画像を較正すること、直接画像位置合わせ法又は特徴ベースの画像位置合わせ法を使用して画像を登録し、画像の配向及び重複を確定すること、及び複数の画像を混合させて、重複部分を結合すると共に誤り又は歪みを補正することのような複数のステップ又はプロセスを含む。パノラマ画像は、画像変換を実行し（知覚される視角を変更するため）、その後それらの変換画像を縫合することによって、異なる視点（たとえば、立面図と対照的に上面図）を提供するように生成することもできる。そのような実施形態では、システムは入力メカニズム又は選択メカニズム（たとえば車両の操縦室内の実際のボタン又は仮想のボタン）も備え、それによって運転者はパノラマ画像のいずれの視点又は観点を該運転者に表示するかを選択するか又は選ぶことができる。

[0036]ステップ７４においてパノラマ画像を生成した後、ＥＣＵ２９は、ステップ７６において、パノラマ画像内の任意の追跡物体を強調表示し、その後ステップ７８において操作者にパノラマ画像を表示する。図４に示すように、ＥＣＵ２９はＨＭＩ４９の視認用画面４８上でパノラマ画像を操作者に表示する。

[0037]車両が逆方向モードにあるか又は順方向モードにあるかに関わらず、物体が運転ルートとの衝突経路上にあるとき、ＨＭＩ４９を通じて警報が作成される（ステップ８０）。警報は、視認用画面４８上に表示されるパノラマ画像内の追跡物体の強調表示、マーキング、若しくはフラッシング、警報灯５１のうちの１つの照射、スピーカー４９Ｃを用いた可聴アラートの出力、及び／又は触覚インターフェースを用いた触知性アラームの生成（図４を参照）によって作成される。操作者が警報に反応しないか、又は応答し損ねた場合、ステップ８６において、システムは衝突までの時間（ＴＴＣ）を計算することによって反応又は応答する。ＴＴＣは所定の閾値と比較される。ＴＴＣが閾値未満であり、かつ車両が逆方向に動いている場合、システムはアクティブブレーキに、衝突を回避するように命令する（ステップ９０）。換言すれば、後方視野カメラシステムはブレーキコマンドを生成し、そのように通知又は起動されたブレーキシステムはアクティブブレーキシス
テムを形成する。衝突が回避不可能である場合、衝突緩和（ステップ８８）中にさらなる安全装置（たとえばシートベルト、ヘッドレスト等）が起動される。これらのさらなる構成要素は、特に後方視野カメラシステムによって起動又は通知される場合に、衝突緩和システムを形成する。衝突緩和システムは、物体タイプ、衝突速度、衝突位置等のようなデータを受信し、それに従って、シートベルト、エアバッグ、アクティブヘッドレスト等のような安全装置に信号を送信することによって反応する。

[0038]ゾーン１において物体が検出されない場合（ステップ６２）、ゾーン２及び３が処理される。（計算量を低減するために、ゾーン１内で物体が検出されるとき、ゾーン２及びゾーン３は検査されない）。隣接画像データとも呼ばれるゾーン２及び３に関する以前の画像データがバッファー内に格納される。図６を参照することによって良好に見て取れるように、ゾーン２に関する現在の画像データと、ゾーン２に関する前回の画像データとの間の対応が計算される（ステップ９２）。同様に、ゾーン３に関する現在の画像データと、ゾーン３に関する前回の画像データとの間の対応が計算される（ステップ９２）。

[0039]ステップ９４において、対応データから、視覚用（光学的）フローが実行され、ゾーン２及び３のための運動用フローのマップが計算される。視覚用フローは、現在の画像データ及び前回の画像データからの対応を使用して実行される。運動マップは、１）車両が逆方向モードにあるとき、及び、２）図５のステップ６２中に物体が検出されないときにのみ計算されるため、視覚用フローは、ゾーン２及び３内の物体によってのみ生じると想定される。（ゾーン１に関する視差計算は常にアクティブであるが、運転ルートに沿った後方超過による衝突見込みは、車両が逆方向モードにあるときに（のみ）顕著である）。一方、ゾーン１における物体の検出は、背後から近づく比較的高速移動している物体に起因する場合があり、これは、状況に応じて、追突又は正面衝突につながる場合がある（たとえば物体が車両が走り去ることができる速度よりも高速で接近している場合）。ゾーン２及び３内の物体に対応するピクセルは、式を簡単にするために、及び交差する動きのみが関連していることに起因して、同じ高度で移動しているものと想定される。このようにして、動きは平面図に変換される。さらに、車両の自己動き（ego-motion）（たとえば、車両速度、車両方向、操舵角等）は既知であり、ピクセル又は物体の実際の動きを、車両の自己動き及び追跡された動きから求めることができる。ゾーン１に向かう実際の動き及び運転ルートに向かう実際の動きのみが関連するとみなされる。他の動きは無視される。動きピクセルは、潜在的な物体が車両に向かって移動しているか否か、及び潜在的な物体が運転ルートとの衝突経路上にあるか否かを判断するようにクラスター化される（ステップ１０６）。衝突経路上にある物体が検出されない場合、新たな右画像データアレイ及び左画像データアレイが取得され（ステップ５０）、プロセスが反復する。

[0040]ゾーン２又は３内の物体が、衝突経路上にあると判断される場合（ステップ１０６）、車両モードが判断される。車両２８が逆方向モードにある場合（ステップ１１０において判断される）、ステップ１１２において、（たとえばステップ７４に関して上述したように画像縫合を使用して）パノラマ画像が作成され、ステップ１１４において、追跡物体がパノラマ画像において強調表示又はマーキングされる。次に、ステップ１１６において、パノラマ画像は、ＨＭＩ４９（図４を参照）の視認用画面４８上で操作者に対し表示される。

[0041]ＨＭＩ４９を通じて（順方向モード若しくは逆方向モード又は車両の移動に関わらず）警報が作成される（ステップ１１８）。警報は、視認用画面４８上に表示されるパノラマ画像内の追跡物体を強調表示、マーキング、又はフラッシングし、警報灯５１のうちの１つを照射し、スピーカー４９ｃを用いて可聴アラートを出力し、かつ／又は触覚インターフェース（図４を参照）を用いて触知性警報を生成することによって作成される。操作者が警報に反応しない場合（ステップ１２２）、ステップ１２８において、システム
は衝突までの時間（ＴＴＣ）を計算する。ＴＴＣが閾値未満である場合、システムはアクティブブレーキに、衝突を回避するように命令する（ステップ１３４）。衝突が回避不可能である場合、衝突緩和（ステップ１３２）中にさらなる安全装置（たとえばシートベルト、ヘッドレスト等）が起動される。上述したように、衝突緩和は、物体タイプ、衝突速度、衝突位置等のようなデータに基づく。

[0042]図５のステップ５３及び図６のステップ９２において実行される対応計算の複雑度に起因して、画像データは処理される前にデジタルマッピングされる。図７は、画像データアレイに対して実行されるデジタルマッピングを視覚的に示している。カメラ２２及び２４はそれぞれ異なる視点を有し、その結果、ゾーンが均一に構成されないこととなる。このため、画像データに対しデジタルマッピングが実行され、該画像データがより構造化された形式に変換される。デジタルマッピングは、画像の或るエリアを伸張又は圧縮してピクセルデータの使用を正規化する等の画像変換を記述する。デジタルマッピングのいくつかの例は、画像歪み補正、視点変換、及び投影である。画像データ内の或るエリアは、他のエリアよりも重要であるか又は有用であると見なされる場合がある。重要なエリアは、デジタル化ピクセル解像度を高めるように変更することができ、より重要でないエリアは、ピクセル解像度を減らすように変更することができる。平面図におけるデジタルマッピングは、不均一問題を解消することも可能にする。不均一問題は、結果として過度に多くのピクセルを近距離に生じさせるピッチ角を有するカメラビューに起因する。デジタルマッピングの後、撮像される空間は均一に知覚される。図７に示すように、画像データはデータブロックに再構成され、より高速な対応計算を可能にする。

[0043]図１に示すように、右カメラ２２は車両２８の右側３０に取り付けられ、車両２８の左側３２に向かって照準を合わせられる。図７において、右カメラ２２から取得される画像データがアレイ１３６として概略的に示される。アレイ１３６内の画像データは左側３２に対応し、Ｌ（ゾーン１）、Ｌ（ゾーン２）、及びゾーン５を含む。同様に、左カメラ２４から取得される画像データがアレイ１３８として概略的に示される。アレイ１３８内の画像データは右側３０に対応し、Ｒ（ゾーン１）、Ｒ（ゾーン３）、及びゾーン４を含む。対応計算をより迅速に実行することができるように、デジタルマッピングが実施され、アレイ１３６及び１３８のデータが対応するセクション又はデータブロックに均等に配分される。より詳細には、アレイ１３６内のゾーン１に対応する画像データは、アレイ１４０内のゾーン１にマッピングされ、アレイ１３６内のゾーン２に対応する画像データはアレイ１４０内のゾーン２にマッピングされ、アレイ１３６内のゾーン５に対応する画像データは無視される。右カメラ２２は、ゾーンに対応する画像データを含まない視野を有する。このため、前回のデータセットからのゾーン３に対応する画像データが、ゾーン３のためのデータとしてアレイ１４０に加えられる。同様のデジタルマッピングがアレイ１３８について実行される。マッピングされたアレイ１４２は、アレイ１３８のゾーン１及びゾーン３に対応するマッピングされたデータを含む。アレイ１３８のゾーン４内の画像データは無視される。左カメラ２４は、ゾーン２に対応するデータを含まない視野を有する。このため、ゾーン２のための前回のデータセットが、ゾーン２のためのデータとしてアレイ１４２に加えられる。各アレイ１４０及び１４２は、異なるデータバッファー内に格納される。

[0044]図８は、ハードウェアによって加速される対応計算１４４のためのロジックを示している。ロジックは、図７に関して検討したように、デジタルマッピング及びデータ位置合わせ（ステップ１５０及び１５２）を含む。データ位置合わせは、画像データアレイの、対応するデータブロックへの再構築であり、該データブロックは各対応計算において使用される。対応計算は、再マッピングされたアレイ１４０及び１４２内の情報を使用して深度マップ及び視覚用フローを計算するのに使用される。図示されるように、ゾーン２のための前回のデータ（ステップ１５４）及びゾーン２のための現在のデータ（ステップ
１５６）がゾーン２のための対応計算（ステップ１５８）において使用される。各アレイ１４０及び１４２からのゾーン１に対応するデータ（ステップ１６０及び１６２）は、ゾーン１の対応計算（ステップ１６４）のために使用される。ゾーン３のための前回のデータに対応するデータ（ステップ１６８）及びゾーン３のための現在のデータ（ステップ１６６）は、ゾーン３のための対応計算（ステップ１７２）において使用される。

[0045]対応計算は大量であり、高い正確度及びロバスト性が所望される場合、長い計算時間がかかる。このため、対応計算の速度をさらに加速するために、計算装置において特別に設計された構造化要素による機械を使用するか、又はフィールド・プログラマブル・ゲートアレイ（設計者等が現場でプログラム可能な集積回路）（「ＦＰＧＡ」）及び特定用途向け集積回路（「ＡＳＩＣ」）のような並列ハードウェアアーキテクチャを使用して、対応計算が並列に実行される。当然ながら、計算を加速するために他のハードウェアを使用することができる。

[0046]本発明は、特に、様々な衝突緩和システム及び衝突回避システムを提供する複数機能の後方視野用カメラシステムを提供する。本発明の様々な特徴及び利点を以下の特許請求の範囲において示す。

Claims (16)

1. 車両の後方側面に隣接する物体を検出する方法において、
   第１のカメラを用いて、前記車両の前記後方側面に隣接して位置する第１の空間に対応する第１の画像データセットを取得するステップと、
   第２のカメラを用いて、前記車両の前記後方側面に隣接して位置する第２の空間に対応する第２の画像データセットを取得するステップとを備えており、
   電子処理ユニット内において、
   第１のピクセルアレイに前記第１の画像データセットをマッピングするステップと、
   第２のピクセルアレイに前記第２の画像データセットをマッピングするステップと、
   前記第１のピクセルアレイと前記第２のピクセルアレイ内のいずれのピクセルが前記第１の空間と前記第２の空間の同じ３次元の点に対応するかを計算するステップであって、第３の画像データセットを作成する、計算するステップと、
   前記車両の予測される動き経路に対応する運転ルートを計算するステップと、
   前記第３の画像データセットにおいて前記物体の存在を判断するステップと、
   前記物体が前記運転ルートに入りそうであるか否かを判断するステップと、
   前記物体が前記運転ルートに入りそうであると判断した場合のみ、衝突までの時間を計算するステップとを含む、方法。
2. 前記第１の画像データセットを前記マッピングするステップ及び前記第２のデータセットを前記マッピングするステップは、特定用途向け集積回路及びフィールド・プログラマブル・ゲートアレイのうちの一方によって実行される、請求項１に記載の方法。
3. 前記車両が逆方向モードで動作しているか否かを判断するステップと、
   前記車両が前記逆方向モードで動作している場合、前記第３の画像データセット前記第１の空間及び前記第２の空間に対応するパノラマ画像を生成すると共に、該パノラマ画像を前記車両の操作者に表示するステップとをさらに含む、請求項１に記載の方法。
4. 前記パノラマ画像内の前記物体を強調表示するステップをさらに含む、請求項３に記載の方法。
5. ユーザー入力に応じて前記パノラマ画像の視角を変更するステップをさらに含む、請求項３に記載の方法。
6. 前記第３の画像データセットは、前記車両の前記後方側面の真後ろに位置する空間に対応する画像データを含む、請求項１に記載の方法。
7. 前記車両の前記後方側面の真後ろに位置する前記空間に対応する前記画像データのための深度マップを計算するステップと、
   前記第３の画像データセットの隣接画像データのための運動マップを計算するステップであって、前記隣接画像データは、前記車両の前記後方側面の真後ろに位置する前記空間に隣接する空間に対応する、運動マップを計算するステップとを含む、請求項６に記載の方法。
8. 前記衝突見込みが判断される場合、前記車両の操作者に警報するステップをさらに含む、請求項１に記載の方法。
9. 前記操作者に警報するステップは、可聴警報を提供するステップ、可視警報を提供するステップ、触角警報を提供するステップのうちの１つを含む、請求項８に記載の方法。
10. 前記操作者が前記警報に応答し損ねたことを検出するステップ、及び該応答し損ねたこ
    とに応じて前記衝突の回避を試みるべくアクティブブレーキを行うステップをさらに含む、請求項８に記載の方法。
11. 前記操作者が前記警報に応答し損ねたことを検出するステップと、前記衝突までの時間を閾値と比較するステップと、前記衝突までの時間が前記閾値未満である場合、衝突緩和及びアクティブブレーキのうちの少なくとも一方を提供するステップとをさらに含む、請求項８に記載の方法。
12. 前記電子処理ユニットによって生成された情報に基づいて、死角警報及び車線変更インジケーターのうちの少なくとも一方を提供するステップをさらに含む、請求項１に記載の方法。
13. 前記衝突見込み及び前記衝突までの時間に基づいて、前記電子処理ユニットから差し迫った後方衝突情報を前方監視衝突検出システムに提供するステップと、
    差し迫った前方衝突を検出するステップと、
    前記差し迫った後方衝突情報、及び前記差し迫った前方衝突の検出の双方に基づいて、前記前方監視衝突検出システムからブレーキシステムに制御信号を提供するステップとをさらに含む、請求項１に記載の方法。
14. 前記第１の画像データセット及び前記第２の画像データセットを取得するステップは、可視スペクトル及び赤外スペクトルにおいて画像ストリームを捕捉するステップを含む、請求項１に記載の方法。
15. 第１の視野及び第２の視野を赤外光で照射するステップをさらに含む、請求項１に記載の方法。
16. 前記第３の画像データセットにおいて前記物体の存在を判断するステップは、
    前記車両の前記後方側面に隣接する空間を含み前記第１の空間が前記第２の空間と重なる第１のゾーン内に物体が存在するか否かを判断するステップと、
    前記第１のゾーンに物体が存在しないと判断した場合のみ、第２のゾーンまたは第３のゾーン内に物体が存在するか否かを判断するステップであって、前記第２のゾーンは前記第１のゾーンと隣接するとともに前記第２の空間と重ならない前記第１の空間の一部を含み、前記第３のゾーンは前記第２のゾーンの反対側の前記第１のゾーンに隣接するとともに前記第１の空間と重ならない前記第２の空間の一部を含む、ステップとを含む、請求項１に記載の方法。

Images