JP7485612B2 - 衝突前アラートを提供するためのマルチスペクトルシステム - Google Patents

Description

本発明は、交通安全の分野に関する。より具体的には、本発明は、最小車間距離（headway）の保持違反、居眠り、または集中力の欠如から結果として生じる、自動車事故を回避するためにアラートを提供するための装置に関する。

移動している車両と前方の次の車両との間に安全な車間距離を保持することは、重大な認知的タスクである。不十分な車両車間距離に起因するクラッシュは、すべてのクラッシュのかなりの部分を占めている（米国では２９％を超えている）。多くのケースでは、最小車間距離の保持違反は、玉突き衝突を引き起こし、玉突き衝突では、多くの車両が巻き込まれる。通常、停止することを決定したドライバーは、ブレーキペダルを踏んで車両にブレーキをかけ始めた後に初めて、ブレーキライトを起動させるので、そのような玉突き衝突が起こる。結果として、後方の車（「後続の車両」）の中のドライバーは、（運転速度に応じて）比較的に遅過ぎる状態で視覚的なアラートを得る。その理由は、ドライバーの反応時間（アラートを得てからブレーキペダルを踏んで後続の車両をブレーキさせ始めるまでに要する時間）が約０．７５秒であるからである。たとえば、車速度が９０Ｋｍ／ｈである場合には、反応時間の間に、後続の車両は１８．７５ｍ移動する。この距離は、当然のことながら、合計のブレーキ距離から差し引かれ、したがって、衝突は回避することができない。

また、多くの事故は、移動車線の中央からドリフトし、他の車線に進入し、路肩までも通過するドライバーによって引き起こされる。したがって、そのような危険なシナリオを識別して防止することができるシステムが非常に望まれている。

米国特許出願公開第２０１５／０３０２６０６号明細書は、車両と物体との間の起こり得る衝突のインディケーションを提供するためのシステムを開示しており、それは、処理デバイスを含み、処理デバイスは、カメラから複数の画像を受け取り、複数の画像の中の物体および車線マーキングを識別するように構成されている。複数の画像が、物体の移動および物体に関連付けられる車線位置を示す情報を決定するために使用される。処理デバイスは、物体の移動を示す情報に基づいて、および、物体に関連付けられる車線位置に基づいて、車両および物体が衝突コースの上にあるかどうかを決定する。

しかし、上記に説明されているすべての方法は、悪い天候条件および照明条件の下でも車両同士の間のまたは車両と物体（それは障害物であると考えられる）との間の差し迫った衝突の危険なシナリオを検出するという問題に対して、満足のいく解決策をまだ提供していない。

したがって、本発明の目的は、最小車間距離の保持違反に起因する、または、無認識に起因する、車両同士の間のまたは車両と物体との間の差し迫った衝突の危険なシナリオを連続的におよび自動的に検出するための方法および装置を提供することである。

したがって、本発明の目的は、非常に限られた視界の状態においても、ならびに／または、悪い天候条件および照明条件の下で、危険なシナリオを連続的におよび自動的に検出するための方法および装置を提供することである。

本発明の他の目的および利点は、説明が進むにつれて明らかになるであろう。

衝突前アラートシステムを提供するためのマルチスペクトル車両システムであって、マルチスペクトル車両システムは、
ａ． ２対の立体視用赤外線（ＩＲ）センサおよび可視光（ＶＬ）センサ（たとえば、ＣＭＯＳ可視光カメラなど）であって、これらのセンサのそれぞれは、相互視野からの獲得された画像ストリームを提供し、獲得された画像ストリームは、立体視を提供するために同期される、２対の立体視用赤外線（ＩＲ）および可視光（ＶＬ）センサと、
ｂ． データ融合モジュールであって、
ｂ．１） 視野内の物体を検出するために、データストリームを相互に処理し、
ｂ．２） 検出される物体までの距離を計算する
ためのデータ融合モジュールと、
ｃ． センサと車両の携帯電話／インフォテインメントシステムとの間の通信を可能にするためのセルラーベースの通信モジュールであって、このモジュールは、専用のアプリケーションを実行し、専用のアプリケーションは、
ｃ．１） 同様のシステムを有する他の車両を検出するために、車両の付近を監視し、
ｃ．２） 他の車両のそれぞれの速度および進行方位角を計算し、
ｃ．３） 計算および車両の速度に基づいて、同様のシステムを有する他の車両が車両との衝突の経路の中にあるときにはいつでも、車両のドライバーにアラートを提供する
ように適合されているバックグラウンドアプリケーションである、セルラーベースの通信モジュールと
を備える、マルチスペクトル車両システムである。

１つの態様では、マルチスペクトル車両システムは、
ａ． ＩＲおよびＶＬステレオ検出モジュールであって、ＩＲおよびＶＬステレオ検出モジュールのそれぞれは、両方のセンサの光軸が平行である間に、視差計算およびエピポーラ幾何に基づいて、立体視の３Ｄ深度マップを再構築するための自動キャリブレーションモジュールから構成されている、ＩＲおよびＶＬステレオ検出モジュールと、
ｂ． 視差モジュールであって、視差モジュールは、２つの歪められていない（半径方向および接線方向）、修正された（適当なホモグラフィーによる変換後の）、および同期された画像を受け取り、稠密かつ精緻な視差マップを生成する、視差モジュールと、
ｃ． 視差マップを受け取り、ピクセル毎の距離を提供するための距離測定モジュールと、
ｄ． グランド推定器（GroundEstimator）モジュールであって、グランド推定器モジュールは、キャリブレートされ、同期された画像とともに、稠密かつ精緻な視差マップを受け取り、稠密なグランド平面セグメンテーションを提供する、グランド推定器モジュールと、
ｅ． クラスタリングモジュールであって、クラスタリングモジュールは、稠密かつ精緻な視差マップ、Ｖ－視差マップ、およびグランド平面フィッティングを受け取り、画像ストリームから障害物を抽出する、クラスタリングモジュールと、
ｆ． トラッキングモジュールであって、トラッキングモジュールは、稠密かつ精緻な視差マップ、障害物のリスト、ジャイロ座標、および車両速度を受け取り、すべてのトラッキングされる障害物を含有する構造体のアレイを提供する、トラッキングモジュールと、
ｇ． 障害物検出モジュールであって、障害物検出モジュールは、障害物のリストおよび速度、ジャイロ座標、車速度、およびグランド平面フィッティングを受け取り、物体ＩＤおよび特質、ならびに、衝突までの推定時間を提供し、障害物が重大な経路の中に見出されるときにはいつでも、および、相関される速度にしたがったブレーキ距離が障害物までの範囲よりも短い場合には、重大な障害物インディケーションを提供する、障害物検出モジュールと、
ｈ． ステレオ融合モジュールであって、ステレオ融合モジュールは、方向指示器ステータス、ＩＲ画像ＢＩＴステータス、ＶＬ画像ＢＩＴステータス、前方の障害物に関する距離測定（ＩＲセットによって計算される）、前方の障害物に関する距離測定（ＶＬセットによって計算される）、障害物座標およびサイズ（ＩＲおよびＶＬセットによって計算される）を受け取り、方向指示器ステータス、障害物座標、および境界ボックスサイズ、ならびに、障害物までの距離のデータを、カメラモノモジュールのそれぞれに出力する、ステレオ融合モジュールと、
ｉ． 聴覚的な／視覚的な／触覚的なインディケーションをユーザに提供するための決定モジュールと
を備える（以下、精緻を高密度ともいい、精緻を洗練ともいう）。

マルチスペクトル車両システムは、
ａ． ＩＲセンサからの距離、障害物分類、車線逸脱インディケーション、およびラインタイプを受け取ることによって、ならびに、カメラによって計算される距離を平均することによって、分類タスクの信頼性のレベル、および、車線逸脱インディケーションの信頼性のレベルを増加させるためのＩＲモノ比較モジュールと、
ｂ． ＶＬセンサからの距離、障害物分類、車線逸脱インディケーション、およびラインタイプを受け取ることによって、ならびに、カメラによって計算される距離を平均することによって、分類タスクの信頼性のレベルおよび車線逸脱インディケーションの信頼性のレベルを増加させるためのＶＬモノ比較モジュールと
をさらに備え得る。

マルチスペクトル車両システムは、モノ＋ステレオ融合モジュールをさらに備えてもよく、モノ＋ステレオ融合モジュールは、ステレオ融合モジュールから、方向指示器ステータス、障害物座標、ステレオセットに応じたサイズおよび境界ボックス、障害物までの距離、カメラ／画像ステータスを受け取り、ステレオ融合モジュールおよびモノ比較モジュールからの結果を集計し、すべてのインディケーションからの平均距離、車線逸脱決定、および障害物検出決定を出力する。

カメラのそれぞれは、セットの中の他のカメラが故障している場合、冗長的であるように適合され得る。

カメラのそれぞれは、車両の中のカメラモジュールの独立した設置を可能にする自動キャリブレーションモジュールを有し得る。

マルチスペクトル車両システムは、非線形フィッティングおよび適応的グランドティルティングに依存するグランド推定器をさらに備え得る。

画像獲得周波数は、車両の速度に相関し得る。

マルチスペクトル車両システムは、画像ビルトインテスト（ＢＩＴ）モジュールをさらに備えることが可能であり、画像ビルトインテスト（ＢＩＴ）は、少なくとも、
ａ． 画像獲得（不合格／合格）
ｂ． ＧＬヒストグラム（画像ブライトネス／画像ダークネス）
ｃ． 部分的な閉塞（フロントガラス上の染みを検出する）
ｄ． カラーヒストグラム（異常なチャネルを検出する）
ｅ． 同期を検証するためのタイムスタンプ検証
のテストを実施することができる。

マルチスペクトル車両システムは、それぞれのフレーム毎の車両の正確な進行方位（heading）を取得するためのジャイロをさらに備えてもよく、それによって、車両の前に存在しない障害物を無視する。

車両は、
－ 速度、
－ 車線逸脱を検出するための方向指示器状態
の入力うちの１つまたは複数を提供することが可能である。

専用のアプリケーションは、両方のセンサの光軸が平行である間に使用され得るエピポーラ幾何に依存し、視差計算に基づいて、深度マップを提供し得る。

障害物までの距離は、２つの立体セット間の平均として計算され得る。

センサのうちの１つが故障している場合には、残りのモノモジュールが、ワーキングセットにしたがって、距離を受け取り得る。

本発明によって提案されるシステムのアーキテクチャを示す図である。

本発明は、事故を回避するシステムおよび方法に関する。最小車間距離の保持違反に起因する、または、無認識に起因する、車両同士の間のまたは車両と物体との間の差し迫った衝突の危険なシナリオが、非常に限られた視界の状態においても、任意の条件の下で、および／または、厳しい天候条件の下で、自動的におよび正確に検出される。システムは、カメラなどのような２対のセンサを使用する。一方の対は、可視光（ＶＬ）センサを含み、他方の対は、赤外線（ＩＲ）センサを含む。両方の対から獲得される画像が、立体視を取得するために相互に処理され、立体視は、はるかに良好な距離推定および検出能力を可能にする。

本発明によって提案されるシステムは、２つの重要な特徴を有しており、それらは、運転安全を増加させるために必須であり、それは、視線検出能力および視界外衝突前アラートを提供する能力である。

視線検出
提案されるシステムは、マルチスペクトルビジョン層を含み、マルチスペクトルビジョン層は、４つのカメラからデータストリームを受け取り、４つのカメラは、１対の立体視用（熱）赤外線（ＩＲ）カメラおよび１対の可視光（ＶＬ）カメラから構成されている。それぞれの対は、人工モジュールとして動作し、人工モジュールは、人間の奥行き知覚の生物学的なメカニズムを模倣および強化する。両方の対から受け取られたデータストリームは、データのシームレス融合を提供するように処理され、最大精度が取得されるようになっている。赤外線カメラおよび可視光カメラの両方の組み合わせは、システムがすべての天候条件および照明条件（たとえば、真っ暗闇、雨、ヘイズ、霧、およびグレアなど）の下で完全に動作的になることを可能にする。

視界外衝突前アラート
また、提案されたシステムは、２対のセンサと携帯電話／インフォテインメントシステム（ＩｏＳ／Ａｎｄｒｏｉｄ）との間のセルラーベースの通信を含む。システムは、専用のアプリケーションを実行し、専用のアプリケーションは、車の速度に関してそれぞれの車の付近を監視し、それぞれの車両の計算された速度および進行方位角にしたがって、他の車両が特定の衝突に向かう経路の中にあることが見出されるときにはいつでも、アラートを提供する。

提案されたシステム１００は、視界外検出を実施するように適合されており、ＳＩＭカードおよび専用のアプリケーションを含み、専用のアプリケーションは、インストールされ、連続的にバックグラウンドで実行される。アプリケーションは、車移動を識別し、高い周波数で車の場所をメインサーバーに送る。車の場所は、「ジャイロ、ＧＰＳ、速度」インディケーションのデータ融合に基づいて、および、道路スナッピング（roads snapping）に基づいて計算される。アプリケーションは、高い周波数でメインサーバーをサンプリングし、車の近くのユーザに関する更新情報を受け取る。最も頻度の高い更新情報に基づいて、アプリケーションは、エリアの中のユーザのそれぞれの方位角および速度を計算し、潜在的な衝突を推測する。潜在的な衝突を検出するケースでは、システムは、視覚的なアラートおよび聴覚的なアラートを提供する。

図１は、本発明によって提案されたシステム１００のアーキテクチャを図示している。

システム１００は、１対のＩＲセンサ１０１ａおよび１０１ｂを含み、それらは、２つの長波熱赤外線（ＩＲ）カメラであることが可能である。ＩＲカメラは、車両の速度に対応する周波数で、および、最大で４５フレーム毎秒（すなわち、ダイナミックフレーム毎秒（ＦＰＳ））で画像を獲得する－画像獲得周波数は、車の速度に相関する（より高い速度＝最大で４５ＦＰＳまでのより高い周波数）。獲得されたフレームは、３つのＩＲモジュール：ステレオ検出ＩＲモジュール７、左ＩＲモノモジュール１１ａ、および右ＩＲモノモジュール１１ｂに並列に転送される。

また、システムは、１対のＶＬセンサ１０２ａおよび１０２ｂを含み、それらは、２つのＣＭＯＳ可視光（ＶＬ）カメラであることが可能であり、それは、車両の速度に相関する周波数で、および、最大で４５フレーム毎秒（「ダイナミックＦＰＳ」）で画像を獲得する。獲得されたフレームは、３つのＶＬモジュール：ステレオ検出ＶＬモジュール８、左ＶＬモジュール１０ａ、および右ＶＬモジュール１０ｂに並列に転送される。

立体視を取得するために、２つの同期された画像が必要とされる。２セットの画像（ＩＲおよびＶＬ）のそれぞれは、２つの対応する同期ユニット３ａおよび３ｂに接続されており、同期ユニット３ａおよび３ｂは、同じクロックを２つのセンサに提供し、獲得される画像が正確に同じタイムスタンプを伴うことを確実にする。

適当な品質を備えた画像を有するようにするために、２つの画像ビルトインテスト（ＢＩＴ）ユニット４ａおよび４ｂが、それぞれの対によって用いられる。それぞれのＢＩＴユニットは、画像をカメラから受け取り、同様に、車両速度を（車両のＯＢＤ６から）受け取り、車両の向きに関するジャイロインディケーションをジャイロユニット５から受け取る。提案されたシステムは、すべての天候条件および照明条件の下ですべての障害物を検出することができるので、システムは、ジャイロデータを使用し、それぞれのフレーム毎の車両の正確な進行方位を取得する。車両の進行方位が既知であるときには、システムは、車両の前に存在しない障害物を無視することが可能である。

画像品質が所定のセットの閾値にしたがって良好である限り、ＢＩＴユニットからのインディケーションは存在しない。画像品質が不十分であり、要求される閾値を満たしていない場合には、ＢＩＴユニットは、機能不良の画像のＩＤをステレオ融合モジュール１４（それは、後に説明される）に転送する。速度またはジャイロが異常を示している場合には、重大な警告メッセージがステレオ融合モジュールに送られる。

車両の速度は、適当なアラートを提供するために、車ブレーキ距離を計算するために必須である。「車線逸脱警告」アルゴリズムは、車両の方向指示器のステータスに基づいて、車線逸脱を検出するために起動される。方向指示器がオンになっている限り、車線逸脱に関するアラートは存在しない。

提案されるシステム１００は、２つのメイン検出モジュール：ＩＲステレオ検出モジュール７およびＶＬステレオ検出モジュール８を含む。両方のモジュールは、立体映像技術を使用し、立体映像技術は、現実の深度シーンマップを取得することができ、それは、正確な物体分類および距離推定を助ける。

ＩＲステレオ検出モジュール
ＩＲステレオ検出モジュール７は、以下のサブモジュールを含む：
第１のサブモジュールは、自動キャリブレーションモジュール７ａであり、自動キャリブレーションモジュール７ａは、両方のカメラの光軸が平行である間に使用され得る視差計算およびエピポーラ幾何に基づいて、立体視の３Ｄ深度マップを再構築する。自動キャリブレーションは、車両の中のカメラモジュールの独立した設置を可能にする。

キャリブレーションは、両方のカメラから受け取られた同期された画像を使用して実施され、それらは、同じシーンに向けられており、既知の拡大係数を伴う整合された画像で終わる。システム１００は２つの独立したカメラを含むので、それは、３自由度（左カメラおよび右カメラの両方のＸ／Ｙ／Ｚ軸線の周りの回転）を有する。したがって、計算された変換は、ホモグラフィーの非一意的な解決策を提供し、それは、距離計算において不安定な結果および大きい誤差を引き起こす可能性がある。システム１００は、後に議論されるエピポーラ幾何に基づいて、新しい修正プロセスを使用する。

初期キャリブレーションが、異なる距離において異なる回転に関して設置されている事前決定された物体（たとえば、事前決定されたサイズの正方形を備えたチェス盤）を伴うパターンの上で実施される。このプロセスは、それぞれのカメラに関して内因性のパラメーター（たとえば、主点、焦点距離、放射状歪み、および接線歪み）のセットを計算する。それぞれの対のカメラのステレオビジョンキャリブレーションは、たとえば、Ｂｕｒｇｅｒ－Ｚｈａｎｇのカメラキャリブレーションアルゴリズム（公知の座標によって空間の中に十分に定義されたポイントに基づくカメラキャリブレーションのためのアルゴリズム）を使用して行われ得る。

キャリブレーション方法は、いくつかのステップを含む。第１のステップは、指定されたターゲットに対する（第１の）手動の（粗い）キャリブレーションを含み、ターゲットは、車両の前に設置されており、２つの独立したカメラが車両の上に据え付けられている。２つの独立したカメラは、たとえば、フロントガラスまたは車のビーム、ヘッドライト、車のグリルの後ろなどに据え付けられ得る。第２のステップにおいて、２つの外因性のパラメーターが計算される：それぞれのカメラの光軸および向きに関するそれぞれのカメラの向き（すなわち、回転および並進）。次のステップにおいて、マッチングポイントが、加速ロバスト特徴（ＳＵＲＦ：Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）アルゴリズム（それは、物体認識、画像位置合わせ、分類、または３Ｄ再構築などのようなタスクのために使用され得るローカル特徴検出器および記述子である）を使用して見出される。次のステップにおいて、マッチングポイントのセットからの異常値が洗練され、初期の基礎行列（ステレオビジョンにおけるマッチングのための手段：画像化するときに、それぞれのピクセル（たとえば、左カメラの中の）は、右カメラの中に対応するピクセルを有しており、このマトリックスは、マッチングを作製している）推定が実施される。次のステップにおいて、反復基礎行列推定が最小化によって実施される。

次のステップにおいて、左ホモグラフィーおよび右ホモグラフィーの初期計算（射影幾何学において、ホモグラフィーは、射影空間の同型写像であり、それは、ベクトル空間（射影空間はベクトル空間に由来する）の同型写像によって誘発される。それは、ラインをラインにマッピングする双射（１セットのポイント同士の間の１対１の対応、このケースでは、ステレオマッチング）であり、したがって、コリネーションである。一般的に、いくつかのコリネーションは、ホモグラフィーではなく、射影幾何学の基礎的な定理は、少なくとも２次元の現実の射影空間ではそのようになっていないことを主張する。）が、エピポーラ幾何を使用して実施される（エピポーラ幾何は、ステレオビジョンの幾何である。２つのカメラが２つの別個の位置から３Ｄシーンを見るときには、３Ｄポイントと２Ｄ画像の上のそれらの投影との間に複数の幾何学的関係が存在しており、それは、画像ポイント同士の間の制約につながる）。

次のステップにおいて、カメラの内因性のパラメーター、中心ポイント修正、Ｗオフセット（センサの中心と光学系の中心との間の距離偏差）修正を使用することによって、最良のホモグラフィーが反復して計算される。次のステップにおいて、ホモグラフィーに関して最良にフィットした内因性のパラメーターが推定され、それは、フレームの完全なセットの上で有効である。ミスアライメント誤差は視差値の２次関数として増大するので、また、カメラは統一されたリジッドの構造体の上には置かれていないので、システム１００は、揺れの結果として取得され得るミスアライメントをリアルタイムで修正することができる。この能力は、自動キャリブレーション方法と称され、それは、最後に計算された自動キャリブレーションにしたがって内因性のパラメーターおよび外因性のパラメーターを計算する。次のステップにおいて、左カメラおよび右カメラによってキャプチャーされる重複エリアの上のマッチングポイントのセットが計算される。次のステップにおいて、両方のカメラの画像空間を変換するホモグラフィー（修正プロセス）が、重複したマッチングポイントを使用して計算される。このプロセスは、車両が移動していない（速度＝ゼロ）たびに定期的に繰り返される。

マッチングＦＯＶ
ＩＲおよび可視範囲カメラは、異なるセンサを使用している（サイズ、ピッチ（ピクセルサイズ）、および、当然のことながら、スペクトル範囲の感度が異なる）。カメラの焦点距離は、両方のセンサに関して同じではなく、２つのチャネルのそれぞれが、基本的にそれ自身の視野（ＦＯＶ）を有するようになっている。キャリブレーションプロセスは同じ向きを保証するが、ＦＯＶオーバーラップがさらなるシステム動作のために選択される。オーバーラップマッチングモジュールが、自動的な方式でこの特徴を実施する。

第２のサブモジュールは、視差モジュール７ｂであり、視差モジュール７ｂは、２つの（半径方向および接線方向に）歪められていない修正された（適当なホモグラフィーによる変換の後に）および同期された画像を受け取り、以下のステップにしたがって、高密度の洗練された視差マップを生成する。第１のステップにおいて、初期コスト関数（初期視差に関する）が、Ｃｅｎｓｕｓ相関関係（テクスチャーを追加する）を使用して計算される。次のステップにおいて、セミグローバルブロックマッチング（ＳＧＢＭ）アルゴリズムが、キャリブレーション結果に基づいて、低減された度数で使用される。次のステップにおいて、画像は、垂直方向のストライプにスプリットされ、ストライプ毎にＳＧＢＭアルゴリズムを計算する。次のステップにおいて、すべてのストライプからのグローバルフィットが実施され、グローバル視差マップを生成する。次のステップにおいて、ステレオセグメンテーションが、平均化適応的メジアンフィルター（averaging adaptive median filter）を適用しながら、（Ｃｅｎｓｕｓ変換を使用することによって）テクスチャーマップフィッティングを追加する左ステレオ画像（左視差）の上で計算される。

第３のサブモジュールは、距離測定モジュール７ｃであり、距離測定モジュール７ｃは、視差マップを受け取り、計算の標準的な方法を使用して、ピクセル毎の距離を提供する（ピクセル毎の距離＝（フォーカルレンズ＊ベースライン／視差）。

第４のサブモジュールは、グランド推定器モジュール７ｄであり、グランド推定器モジュール７ｄは、キャリブレートされたおよび同期された画像とともに、高密度の洗練された視差マップを受け取り、以下のステップにしたがって、高密度のグランド平面セグメンテーションを提供する。第１のステップにおいて、Ｖ－視差マップ（Ｖ－視差画像のそれぞれの列は、視差マップの中のその列に出現した視差のさまざまな値のヒストグラムである。正しく行われたときには、グランド平面の上のポイントの視差は、Ｖ－視差マップの中の強力なラインとして出現する）が計算され、ここで、Ｖ－視差画像のそれぞれの列は、コンピューター計算された視差マップの中の適当な列に出現したさまざまな視差値のヒストグラムである。グランド平面の上のポイントの視差は、ｖ－視差マップの中に強力な（非垂直方向の）ラインとして出現する。障害物に属するポイントの視差は、ｖ－視差マップの中に垂直方向のラインセグメントとして出現する。次のステップにおいて、グランド平面ポイントの初期クラスターが、ｖ－視差を使用して見出される（平坦な道路幾何学形状の道路のケースでは、純粋な平面で十分であり得る）。次のステップにおいて、グランド平面ポイントのクラスターの非線形フィッティング（平坦でない道路幾何学形状の一般のケース）が実施される。

次数２の表面へのフィッティング（統計的観察によって十分であることが見出される）が、スプラインによって実施される。グランドは、初期グランドポイントクラスター（グランド推定器を定義するために、グランドの上に選択される異なるポイント）をサブエリアに分割することによってタイル化される。サブエリアの上で実施される（ローカル）フィッティングおよびそれに続くグローバルフィットは、消失点制約を含む（舗装されていない道路または構造化された道路の中のグランド推定器に関して、車線境界は、消失を推定することによって設定される：水平線、または、２つの平行線が当然のことながら遠近法で接合されるポイント）、それは、結果を最適化するために実装される。サブエリアが適応的に計算され、ポイントが近ければ近いほどサブエリアは大きくなることとなり、一方、ポイントが遠ければ遠いほどサブエリアが小さくなるようになっている。

第５のサブモジュールは、クラスタリングモジュール７ｅであり、クラスタリングモジュール７ｅは、高密度の洗練された視差マップ、Ｖ－視差マップ、およびグランド平面フィッティング（視差マップに基づいて、すべてのピクセルに関してマッピングする範囲を推定する）を受け取り、それに応答して、（たとえば、境界ボックスを追加することおよび２Ｄ座標を提供することによって）画像ストリームから障害物を抽出する。第１のステップにおいて、ｖ－視差マップが、グランド平面クラスターを抽出するために、および、物体の初期セグメンテーションを実施するために使用され、物体は、道路の上にない。障害物に属するポイントの視差は、垂直方向のラインセグメントとして出現する。次のステップにおいて、視差マップの上の同じ物体に属する視差が、局所的に蓄積される。次のステップにおいて、境界ボックスが、障害物を抽出するために、障害物の周りに構築される。

第６のサブモジュールは、トラッキングモジュール７ｆであり、トラッキングモジュール７ｆは、高密度の洗練された視差マップ、障害物のリスト、ジャイロ座標、および車両速度を受け取り、すべてのトラッキングされる障害物を含有する構造体のアレイを提供する。このプロセスは、たとえば、Ｋａｌｍａｎフィルター予測を使用することによって行われ得る。

第７のサブモジュールは、障害物検出モジュール７ｇであり、障害物検出モジュール７ｇは、障害物のリストおよび速度、ジャイロ座標、車速度、およびグランド平面フィッティングを受け取り、物体ＩＤおよび特質（たとえば、サイズ、速度など）、ならびに、衝突までの推定時間を提供する。障害物が重大な経路の中に（ジャイロマスクの下ではなく）見出される場合には、および、相関される速度（自己速度マイナス障害物速度）にしたがったブレーキ距離が、障害物までの範囲よりも短い場合には、モジュールは、重大な障害物インディケーションを提供する。

ＶＬステレオ検出モジュール
ＶＬステレオ検出モジュール８は、ＩＲステレオ検出モジュール８のものと同じサブモジュール８ａ～８ｇを含む。同じ処理が実施されるが、ＶＬ画像に対して実施される。

ステレオ融合モジュール
ステレオ融合モジュール９は、以下の入力：方向指示器ステータス９ａ、ＩＲ画像ＢＩＴステータス９ｂ、ＶＬ画像ＢＩＴステータス９ｃ、前方の障害物に関する距離測定（ＩＲセットによって計算される）、前方の障害物に関する距離測定（ＶＬセットによって計算される）、障害物座標およびサイズ（ＩＲセットによって計算される）、障害物座標およびサイズ（ＶＬセットによって計算される）を、データバス９ｄおよび９ｅを介して受け取る。処理の後に、融合モジュール９は、以下のデータ：方向指示器ステータス、障害物座標、および境界ボックスサイズ、ならびに、障害物までの距離を、カメラモノモジュール１１ａ、１１ｂ、１０ａ、および１０ｂのそれぞれに出力する。すべての４つのセンサ（カメラ）１０１ａ、１０１ｂ、１０２ａ、１０２ｂが（画像ＢＩＴユニット４ａおよび４ｂにしたがって）利用可能である場合には、距離は、２つの立体セット間の平均として計算される。センサのうちの１つが故障している場合には、システムは、機能不良のカメラについてのインディケーションを提供することとなり、他のモノモジュールは、ワーキングセットにしたがって、距離を受け取る。

提案されたシステム１００は、いくつかの融合レベルを適用するように適合されている。可視光チャネルとＩＲチャネルの間のデータ融合が、いくつかの方式で実施され得る。最も簡単な方式は、チャネル同士の間で切り替えることであり、また、事前決定された基準（たとえば、画像品質、ＳＮＲ／ＳＢＲ）にしたがって「最良のチャネル」を選択することである。別の方式は、それらの両方を起動させること、および、検出結果を融合させることである。最新式のモジュールは、より早いレベルにおいてチャネルを融合させることが可能である：視差マップ。物体検出に関して単一のマップだけを取り扱うために、（位置合わせの後に）２つのマップの間で融合させることが可能である。

ＢＩＴユニット４ａおよび４ｂにしたがって、すべての４つのセンサ（カメラ）が利用可能である場合には、物体までの距離が、２つの立体セットの間の平均として計算される。センサのうちの１つが故障している場合には、他のモノモジュールが、ワーキングセットにしたがって、距離を受け取る。このアーキテクチャは、システムが４レベルの冗長性を有することを可能にする。完全な動作セットでは、２つのＩＲカメラ（ステレオ）＋２つのＶＬカメラ（ステレオ）がアクティブになっている。

カメラ機能不良
単一のカメラ機能不良に関して、以下の組み合わせが可能である：
１ＩＲカメラ（モノ）＋２ＶＬカメラ（ステレオ）
２ＩＲカメラ（モノ）＋１ＶＬカメラ（ステレオ）
２つのカメラ機能不良に関して、以下の組み合わせが可能である：
ＩＲカメラ（動作していない）＋２ＶＬカメラ（ステレオ）
２ＩＲカメラ（モノ）＋０ＶＬカメラ（動作していない）
１ＩＲカメラ（モノ）＋１ＶＬカメラ（モノ）
３つのカメラ機能不良に関して、単一のカメラだけが動作しており、以下の組み合わせが可能である：
１つのＩＲカメラ（モノ）＋ＶＬカメラなし（動作していない）
ＩＲカメラなし（動作していない）＋１つのＶＬカメラ（モノ）
このケースでは、それぞれのカメラは、以下の動作を実施する「モノビジョン」カメラとして作用する：
ａ） 物体分類－ディープラーニング方法論による。モジュールは、センサによって獲得される完全な画像および障害物の境界ボックス（ステレオ層から入手可能であるケースにおいて）を受け取ることによって、たとえば、「車」／「歩行者」／「サイクリスト」を識別することが可能であり、処理の後に、（障害物が車／歩行者／サイクリストである場合には）物体分類を実施し、単一のカメラからのデータにしたがった物体距離推定に基づいて、障害物までの距離を計算する；
ｂ） 車線逸脱警告（ＬＤＷ）－センサによって獲得される完全な画像および方向指示器ステータスを受け取り、車線識別、ラインのタイプの識別、車線の中心からの偏差のパーセンテージを実施し、偏差のパーセンテージが定義された閾値よりも高いケースでは、アラートのためのインディケーションを提供する。これは、ハフ変換（画像処理検出直線の中で使用される数学的なツール）および適応的ＧＬ閾値（現実のラインとノイズとの間を区別するために、ＧＬ（グレーレベル）の上に閾値を設定することによる）に基づいて、車線検出のための従来の方法を使用することによって行われる；
ｃ） 交通標識認識（ＴＳＲ－可視光カメラの中でのみ利用可能である）－センサによって獲得される完全な画像を受け取り、交通標識識別を実施し、それに続いて、以下の場合のうちの１つにおいてアラートインディケーションを提供する：
・ 車速度が特定の許容速度よりも高くなっている
・ 車速度は、識別された「停止」標識の前でドライバーが停止することを可能にしないであろう
・ 「進入禁止」標識識別
物体認識は、ディープラーニング方法論を使用して行われ得る。

ＩＲモノ比較モジュール
ＩＲモノ比較モジュール１２は、分類タスク（車／歩行者／サイクリスト／その他）の信頼性のレベル、および、車線逸脱インディケーションの信頼性のレベルを増加させる。また、このモジュールは、カメラによって計算される距離を平均する。ＩＲモノ比較モジュール１２は、ＩＲセンサからの距離、障害物分類、車線逸脱インディケーション、およびラインタイプを受け取る。障害物分類の間に、両方のセンサが同じ分類について示す場合には、この分類が「モノ＋ステレオ融合」モジュール１４へ送られる。両方のセンサが車線逸脱について示す場合には、車線逸脱インディケーションが「モノ＋ステレオ融合」モジュール１４へ送られ、そうでなければ、警告インディケーションが「モノ＋ステレオ融合」モジュール１４へ送られる。両方のセンサが同じラインタイプについて示す場合には、このラインタイプが「モノ＋ステレオ融合」モジュール１４へ送られ、そうでなければ、「実線」インディケーションが「モノ＋ステレオ融合」モジュール１４へ送られる。

ＶＬモノ比較モジュール
ＶＬモノ比較モジュール１３の機能性は、ＩＲモノ比較モジュール１２の機能性と同様であり、交通標識認識を使用した許容速度の追加を伴い、それは、標識の上の最大速度を検出する。両方のセンサが同じ交通標識を示す場合には、許容速度（検出される標識）が「モノ＋ステレオ融合」モジュール１４へ送られ、そうでなければ、それらの両方によって検出された最低速度が「モノ＋ステレオ融合」モジュール１４へ送られる。

モノ＋ステレオ融合モジュール
モノ＋ステレオ融合モジュール１４は、ステレオ融合モジュール９ならびにモノ比較モジュール１２および１３からの結果を集計する論理ユニットである。モノ＋ステレオ融合モジュール１４は、ステレオ融合モジュール９から、方向指示器ステータス、障害物座標、ステレオセットにしたがったサイズおよび境界ボックス、障害物までの距離、（画像ＢＩＴユニット４ａおよび４ｂにしたがった）カメラ／画像ステータスを受け取る。モノ＋ステレオ融合モジュール１４は、モノ比較ユニット１２および１３から、距離、障害物分類、および車線逸脱入力を受け取り、受け取られたデータを処理した後に、すべてのインディケーションからの平均距離、車線逸脱決定、および障害物検出決定を出力する。

決定モジュール
決定モジュール１５は、ユーザへの出力であり、聴覚的な／視覚的な／触覚的なインディケーションであることが可能である。

また、本発明によって提案されるシステムは、予測的な衝突警告を提供するように適合されている。先進運転支援システム（ＡＤＡＳ）は、運転プロセスにおいてドライバーを助けるためのシステムである。ＡＤＡＳシステムは、それらのＦＯＶの中の道路の上の物体（たとえば、歩行者、サイクリストなど）を検出するように設計されており、また、運転している車線の中の潜在的な障害物が前方衝突につながる可能性のあるときには、アラートを出すように設計されている。しかし、別の危険が、仮想経路の外側の物体から生じる可能性がある。可能性のある交差する速度ベクトルを考慮すると、衝突が起こる可能性がある（典型例は、移動している車に対して何らかの角度で道路を渡ろうとしている歩行者であり、危険な道路事故につながる可能性がある）。相対速度ベクトルにしたがってＦＯＶの中のすべての物体に関して潜在的な衝突ポイントを予測するためのモジュールは、帰納的な方式で、必要とされる情報をそのような予測に提供する。

天候条件は（主に、冬において）、道路の上の雪、マスキング分離ライン、または、ドライバーを誤らせる可能性のある水たまなどのような障害物を導入する。また、本発明によって提案されるシステムは、（主に、物体境界を強化することおよび深度変化を強調することによって）Ｒａｎｓａｃアルゴリズムに基づいて、そのような氷および水たまりを検出するように適合されている。

また、本発明によって提案されるシステムは、深い穴、陥没穴、および、他の種類の道路の不連続を検出するように適合されている。プラスの／マイナスの視差（マップからの）が、移動している車両が障害物または深い穴もしくは陥没穴の前にいるかどうかを推論するために使用され得る。

本発明の実施形態は、実例として説明されてきたが、本発明は、特許請求の範囲を超えることなく、多くの変形例、修正例、および適合例によって実施され得ることが理解されるであろう。

３ａ、３ｂ 同期ユニット
４ａ、４ｂ 画像ビルトインテスト（ＢＩＴ）ユニット
５ ジャイロユニット
６ ＯＢＤ
７ ステレオ検出ＩＲモジュール
７ａ 自動キャリブレーションモジュール
７ｂ 視差モジュール
７ｃ 距離測定モジュール
７ｄ グランド推定器モジュール
７ｅ クラスタリングモジュール
７ｆ トラッキングモジュール
７ｇ 障害物検出モジュール
８ ステレオ検出ＶＬモジュール
８ａ 自動キャリブレーションモジュール
８ｂ 視差モジュール
８ｃ 距離測定モジュール
８ｄ グランド推定器モジュール
８ｅ クラスタリングモジュール
８ｆ トラッキングモジュール
８ｇ 障害物検出モジュール
９ ステレオ融合モジュール
９ａ 方向指示器ステータス
９ｂ ＩＲ画像ＢＩＴステータス
９ｃ ＶＬ画像ＢＩＴステータス
９ｄ、９ｅ データバス
１０ａ 左ＶＬモジュール
１０ｂ 右ＶＬモジュール
１１ａ 左ＩＲモノモジュール
１１ｂ 右ＩＲモノモジュール
１２ ＩＲモノ比較モジュール
１３ ＶＬモノ比較モジュール
１４ モノ＋ステレオ融合モジュール
１５ 決定モジュール
１００ システム
１０１ａ、１０１ｂ ＩＲセンサ
１０２ａ、１０２ｂ ＶＬセンサ

Claims (12)

1. 衝突前アラートを提供するためのマルチスペクトル車両システムであって、
   ａ． 立体視用赤外線（ＩＲ）センサの第１の対および可視光（ＶＬ）センサの第２の対であって、前記第１および第２の対のそれぞれのセンサは、相互視野から獲得された対応する画像ストリームを提供し、同期されて立体視を提供する、立体視用赤外線（ＩＲ）センサの第１の対および可視光（ＶＬ）センサの第２の対と、
   ｂ． ステレオデータ融合モジュールであって、
   ｂ．１） 前記相互視野内の物体を検出するために、２つの前記対のために前記同期された画像ストリームに関連するデータストリームを相互に処理し、
   ｂ．２） 前記相互に処理されたデータに基づいて、前記検出された物体までの推定距離を計算するためのデータ融合モジュールと、
   ｃ． 異なる位置から三次元シーンを見る前記第１の対及び前記第２の対によりキャプチャーされる重複エリア上のマッチングポイントのセットを計算し、前記計算されたマッチングポイントを用いて、第１の前記２つのセンサの投影画像空間を第２の前記２つのセンサの投影画像空間に変換するホモグラフィーを計算するように構成された自動キャリブレーションモジュールと、
   ｄ． 前記センサの２つの対と、前記システムが取り付けられた車両に設けられた携帯電話またはインフォテインメントシステムとの間の通信を可能にするためのセルラーベースの通信モジュールであって、前記携帯電話またはインフォテインメントシステムのプロセッサは専用のアプリケーションを実行し、前記専用のアプリケーションはバックグラウンドアプリケーションであり、前記通信モジュールは、
   ｄ．１） ステレオデータ融合システムおよび前記自動キャリブレーションモジュールと共に他の車両を検出するために、前記車両の付近を監視し、
   ｄ．２） 前記車両に対する前記他の車両のそれぞれの速度および進行方位角を計算し、
   ｄ．３） 前記車両の速度、および前記他の車両のそれぞれの前記計算された速度および進行方位角に基づいて、１以上の前記他の車両が前記車両との衝突の経路の中にあるときにはいつでも、前記車両のドライバーにアラートを提供するように構成されている、
   マルチスペクトル車両システム。
2. 前記自動キャリブレーションモジュールは、異なる位置から三次元シーンを見る両方のセンサの光軸が平行である間に、前記計算されたマッチングポイントに関連する視差計算およびエピポーラ幾何に基づいて、前記立体視の３Ｄ深度マップを再構築するように構成される、請求項１に記載のマルチスペクトル車両システム。
3. 前記センサの各対に対して、前記センサの前記対から画像を受け取るように構成される、対応するビルトインテスト（ＢＩＴ）ユニットであって、前記対応するビルトインテスト（ＢＩＴ）ユニットは、前記受け取った画像の品質が既定の閾値未満であるかを決定し、前記既定の閾値未満の画像品質を有する前記センサのインジケータを前記ステレオデータ融合モジュールに転送する、対応するビルトインテスト（ＢＩＴ）ユニットをさらに備える、請求項１に記載のマルチスペクトル車両システム。
4. 前記センサのそれぞれに対して、モノ比較モジュールをさらに備えるマルチスペクトル車両システムであって、前記モノ比較モジュールは、
   ｉ． 前記ステレオデータ融合モジュールから出力された処理データと、対応する獲得した画像ストリームに関連するデータとを比較して、第１の比較データインジケータを生成するステップと、
   ｉｉ． 同じ対のセンサの他のセンサに関連づけられた前記モノ比較モジュールにより生成された第１の比較データインジケータと、前記ステップｉにおいて生成された第１の比較データインジケータとを比較して、第２の比較データインジケータを生成するステップと、を実行可能である、
   請求項３に記載のマルチスペクトル車両システム。
5. 前記ステレオデータ融合モジュールから出力された処理データを、モノ比較モジュールの各々により生成された前記第２の比較データインジケータと集計するように構成された追加データ融合モジュールをさらに備える請求項４に記載のマルチスペクトル車両システム。
6. 前記検出された物体までの平均距離の出力を表す出力を前記追加データ融合モジュールから受け取り、１以上の前記他の車両が前記車両との衝突の経路の中にあるときにはいつでも、前記通信モジュールを介して応答してアラートを出力するように構成された決定モジュールをさらに備える請求項５に記載のマルチスペクトル車両システム。
7. 歪められていない、適当なホモグラフィーによる変換の後に修正された、および同期された２つの画像を前記自動キャリブレーションモジュールから受け取り、視差マップを生成するように構成された視差モジュールをさらに備える請求項２に記載のマルチスペクトル車両システム。
8. ａ． 前記視差マップを受け取り、ピクセル毎の距離を提供するための距離測定モジュールと、
   ｂ． グランド推定器モジュールであって、前記グランド推定器モジュールは、キャリブレートされ、同期された画像とともに、前記視差マップを受け取り、グランド平面セグメンテーションを提供する、グランド推定器モジュールと、
   ｃ． クラスタリングモジュールであって、前記クラスタリングモジュールは、前記視差マップおよびグランド平面フィッティングを受け取り、前記画像ストリームから障害物を抽出する、クラスタリングモジュールと、
   ｄ． トラッキングモジュールであって、前記トラッキングモジュールは、前記視差マップ、障害物のリスト、ジャイロから出力された値であるジャイロ座標、および車両速度を受け取り、すべてのトラッキングされる障害物のための構造体のアレイを提供する、トラッキングモジュールと、
   をさらに備える、請求項７に記載のマルチスペクトル車両システム。
9. 前記ステレオデータ融合モジュールは、方向指示器ステータス、ＩＲ画像ＢＩＴステータス、ＶＬ画像ＢＩＴステータス、前方の障害物に関する距離、ならびに障害物座標および大きさを受け取り、次の処理されたデータ、すなわち方向指示器ステータス、障害物座標、および境界ボックスサイズ、ならびに前記障害物までの距離のデータを、前記モノ比較モジュールのそれぞれに出力する、請求項４に記載のマルチスペクトル車両システム。
10. 前記ＢＩＴユニットは、少なくとも以下のテスト：
    ａ． 前記受け取った画像の質
    ｂ． ＧＬヒストグラムを用いる前記受け取った画像のブライトネス
    ｃ． 前記車両のフロントガラス上の染みによる部分的な閉塞を識別
    ｄ． カラーヒストグラムを用いる異常なチャネルの検出
    ｅ． 同期を検証するためのタイムスタンプ検証
    を実行可能である、請求項３に記載のマルチスペクトル車両システム。
11. キャリブレーションが、
    ａ） 指定されたターゲットに対して初期キャリブレーションを実施するステップであって、前記指定されたターゲットは、車両の前に設置されており、２つの独立した左及び右カメラが前記車両の上に据え付けられている、ステップと、
    ｂ） それぞれの前記カメラの光軸および向きに関してそれぞれの前記カメラの向きを計算するステップと、
    ｃ） 加速ロバスト特徴（ＳＵＲＦ）アルゴリズムを使用して前記マッチングポイントを見出すステップと、
    ｄ） マッチングポイントのセットからの異常値、および初期基礎行列を精緻にするステップと、
    ｅ） 反復基礎行列推定を最小化によって実施するステップと、
    ｆ） エピポーラ幾何を使用して、左ホモグラフィーおよび右ホモグラフィーの初期計算を実施するステップと、
    ｇ） 前記カメラの内因性のパラメーター、中心ポイント修正、Ｗオフセットを使用することによって、最良のホモグラフィーを反復して計算するステップと、
    ｈ） フレームの完全なセット上で有効な、前記ホモグラフィーに対する最良にフィットした内因性のパラメーターを推定するステップと、
    ｉ） 前記左カメラおよび右カメラによってキャプチャーされる重複エリア上の前記マッチングポイントのセットを計算するステップと、
    ｊ） 重複した前記マッチングポイントを使用して、両方の前記カメラの画像空間を変換する前記ホモグラフィーを計算するステップと、
    ｋ） 前記車両が移動していないたびに、キャリブレーションプロセスを定期的に繰り返すステップと、
    によって実施され、
    前記Ｗオフセットは、それぞれの前記カメラにおける、それぞれのカメラのセンサの中心とそれぞれのカメラの光軸との間の距離偏差である、
    請求項１に記載のマルチスペクトル車両システム。
12. 前記視差モジュールは、
    ａ） Ｃｅｎｓｕｓ相関関係を使用して初期コスト関数を計算するステップと、
    ｂ） キャリブレーション結果に基づいて、低減された度数でセミグローバルブロックマッチング（ＳＧＢＭ）アルゴリズムを実施するステップと、
    ｃ） 前記画像を垂直方向のストライプにスプリットし、ストライプ毎に前記ＳＧＢＭアルゴリズムを計算するステップと、
    ｄ） すべてのストライプからのグローバルフィットを実施して、グローバル視差マップを生成するステップと、
    ｅ） 平均化適応的メジアンフィルターを適用しながら、前記左ステレオ画像の上でステレオセグメンテーションを計算し、テクスチャーマップフィッティングを追加するステップと、
    によって、視差マップを生成する、請求項７に記載のマルチスペクトル車両システム。

Images