JPWO2019135246A5

JPWO2019135246A5 -

Info

Publication number: JPWO2019135246A5
Application number: JP2020557022A
Authority: JP
Publication date: 2023-05-22
Anticipated expiration: 2039-01-07

Description

１つの態様では、マルチスペクトル車両システムは、
ａ．ＩＲおよびＶＬステレオ検出モジュールであって、ＩＲおよびＶＬステレオ検出モジュールのそれぞれは、両方のセンサの光軸が平行である間に、視差計算およびエピポーラ幾何に基づいて、立体視の３Ｄ深度マップを再構築するための自動キャリブレーションモジュールから構成されている、ＩＲおよびＶＬステレオ検出モジュールと、
ｂ．視差モジュールであって、視差モジュールは、２つの歪められていない（半径方向および接線方向）、修正された（適当なホモグラフィーによる変換後の）、および同期された画像を受け取り、稠密かつ精緻な視差マップを生成する、視差モジュールと、
ｃ．視差マップを受け取り、ピクセル毎の距離を提供するための距離測定モジュールと、
ｄ．グランド推定器（GroundEstimator）モジュールであって、グランド推定器モジュールは、キャリブレートされ、同期された画像とともに、稠密かつ精緻な視差マップを受け取り、稠密なグランド平面セグメンテーションを提供する、グランド推定器モジュールと、
ｅ．クラスタリングモジュールであって、クラスタリングモジュールは、稠密かつ精緻な視差マップ、Ｖ－視差マップ、およびグランド平面フィッティングを受け取り、画像ストリームから障害物を抽出する、クラスタリングモジュールと、
ｆ．トラッキングモジュールであって、トラッキングモジュールは、稠密かつ精緻な視差マップ、障害物のリスト、ジャイロ座標、および車両速度を受け取り、すべてのトラッキングされる障害物を含有する構造体のアレイを提供する、トラッキングモジュールと、
ｇ．障害物検出モジュールであって、障害物検出モジュールは、障害物のリストおよび速度、ジャイロ座標、車速度、およびグランド平面フィッティングを受け取り、物体ＩＤおよび特質、ならびに、衝突までの推定時間を提供し、障害物が重大な経路の中に見出されるときにはいつでも、および、相関される速度にしたがったブレーキ距離が障害物までの範囲よりも短い場合には、重大な障害物インディケーションを提供する、障害物検出モジュールと、
ｈ．ステレオ融合モジュールであって、ステレオ融合モジュールは、方向指示器ステータス、ＩＲ画像ＢＩＴステータス、ＶＬ画像ＢＩＴステータス、前方の障害物に関する距離測定（ＩＲセットによって計算される）、前方の障害物に関する距離測定（ＶＬセットによって計算される）、障害物座標およびサイズ（ＩＲおよびＶＬセットによって計算される）を受け取り、方向指示器ステータス、障害物座標、および境界ボックスサイズ、ならびに、障害物までの距離のデータを、カメラモノモジュールのそれぞれに出力する、ステレオ融合モジュールと、
ｉ．聴覚的な／視覚的な／触覚的なインディケーションをユーザに提供するための決定モジュールと
を備える（以下、精緻を高密度ともいい、精緻を洗練ともいう）。

マルチスペクトル車両システムは、モノ＋ステレオ融合モジュールをさらに備えてもよく、モノ＋ステレオ融合モジュールは、ステレオ融合モジュールから、方向指示器ステータス、障害物座標、ステレオセットに応じたサイズおよび境界ボックス、障害物までの距離、カメラ／画像ステータスを受け取り、ステレオ融合モジュールおよびモノ比較モジュールからの結果を集計し、すべてのインディケーションからの平均距離、車線逸脱決定、および障害物検出決定を出力する。

モノ＋ステレオ融合モジュール
モノ＋ステレオ融合モジュール１４は、ステレオ融合モジュール９ならびにモノ比較モジュール１２および１３からの結果を集計する論理ユニットである。モノ＋ステレオ融合モジュール１４は、ステレオ融合モジュール９から、方向指示器ステータス、障害物座標、ステレオセットにしたがったサイズおよび境界ボックス、障害物までの距離、（画像ＢＩＴユニット４ａおよび４ｂにしたがった）カメラ／画像ステータスを受け取る。モノ＋ステレオ融合モジュール１４は、モノ比較ユニット１２および１３から、距離、障害物分類、および車線逸脱入力を受け取り、受け取られたデータを処理した後に、すべてのインディケーションからの平均距離、車線逸脱決定、および障害物検出決定を出力する。

Claims

衝突前アラートを提供するためのマルチスペクトル車両システムであって、
ａ．立体視用赤外線（ＩＲ）センサの第１の対および可視光（ＶＬ）センサの第２の対であって、前記第１および第２の対のそれぞれのセンサは、相互視野から獲得された対応する画像ストリームを提供し、同期されて立体視を提供する、立体視用赤外線（ＩＲ）センサの第１の対および可視光（ＶＬ）センサの第２の対と、
ｂ．ステレオデータ融合モジュールであって、
ｂ．１）前記相互視野内の物体を検出するために、２つの前記対のために前記同期された画像ストリームに関連するデータストリームを相互に処理し、
ｂ．２）前記相互に処理されたデータに基づいて、前記検出された物体までの推定距離を計算するためのデータ融合モジュールと、
ｃ．異なる位置から三次元シーンを見る前記第１の対及び前記第２の対によりキャプチャーされる重複エリア上のマッチングポイントのセットを計算し、前記計算されたマッチングポイントを用いて、第１の前記２つのセンサの投影画像空間を第２の前記２つのセンサの投影画像空間に変換するホモグラフィーを計算するように構成された自動キャリブレーションモジュールと、
ｄ．前記センサの２つの対と、前記システムが取り付けられた車両に設けられた携帯電話またはインフォテインメントシステムとの間の通信を可能にするためのセルラーベースの通信モジュールであって、前記携帯電話またはインフォテインメントシステムのプロセッサは専用のアプリケーションを実行し、前記専用のアプリケーションはバックグラウンドアプリケーションであり、前記通信モジュールは、
ｄ．１）前記ステレオデータ融合システムおよび前記自動キャリブレーションモジュールと共に他の車両を検出するために、前記車両の付近を監視し、
ｄ．２）前記車両に対する前記他の車両のそれぞれの速度および進行方位角を計算し、
ｄ．３）前記車両の速度、および前記他の車両のそれぞれの前記計算された速度および進行方位角に基づいて、１以上の前記他の車両が前記車両との衝突の経路の中にあるときにはいつでも、前記車両のドライバーにアラートを提供するように構成されている、
マルチスペクトル車両システム。
前記自動キャリブレーションモジュールは、異なる位置から三次元シーンを見る両方のセンサの光軸が平行である間に、前記計算されたマッチングポイントに関連する視差計算およびエピポーラ幾何に基づいて、前記立体視の３Ｄ深度マップを再構築するように構成される、請求項１に記載のマルチスペクトル車両システム。
前記センサの各対に対して、前記センサの前記対から画像を受け取るように構成される、対応するビルトインテスト（ＢＩＴ）ユニットであって、前記対応するビルトインテスト（ＢＩＴ）ユニットは、前記受け取った画像の品質が既定の閾値未満であるかを決定し、前記既定の閾値未満の画像品質を有する前記センサのインジケータを前記ステレオデータ融合モジュールに転送する、対応するビルトインテスト（ＢＩＴ）ユニットをさらに備える、請求項１に記載のマルチスペクトル車両システム。
前記センサのそれぞれに対して、モノ比較モジュールをさらに備えるマルチスペクトル車両システムであって、前記モノ比較モジュールは、
ｉ．前記ステレオデータ融合モジュールから出力された処理データと、対応する獲得した画像ストリームに関連するデータとを比較して、第１の比較データインジケータを生成するステップと、
ｉｉ．同じ対のセンサの他のセンサに関連づけられた前記モノ比較モジュールにより生成された第１の比較データインジケータと、前記ステップｉにおいて生成された第１の比較データインジケータとを比較して、第２の比較データインジケータを生成するステップと、を実行可能である、
請求項３に記載のマルチスペクトル車両システム。
前記ステレオデータ融合モジュールから出力された処理データを、モノ比較モジュールの各々により生成された前記第２の比較データインジケータと集計するように構成された追加データ融合モジュールをさらに備える請求項４に記載のマルチスペクトル車両システム。
前記検出された物体までの平均距離の出力を表す出力を前記追加データ融合モジュールから受け取り、１以上の前記他の車両が前記車両との衝突の経路の中にあるときにはいつでも、前記通信モジュールを介して応答してアラートを出力するように構成された決定モジュールをさらに備える請求項５に記載のマルチスペクトル車両システム。
半径方向および接線方向に歪められていない、適当なホモグラフィーによる変換の後に修正された、および同期された２つの画像を前記自動キャリブレーションモジュールから受け取り、視差マップを生成するように構成された視差モジュールをさらに備える請求項２に記載のマルチスペクトル車両システム。
ａ．前記視差マップを受け取り、ピクセル毎の距離を提供するための距離測定モジュールと、
ｂ．グランド推定器モジュールであって、前記グランド推定器モジュールは、キャリブレートされ、同期された画像とともに、前記視差マップを受け取り、稠密なグランド平面セグメンテーションを提供する、グランド推定器モジュールと、
ｃ．クラスタリングモジュールであって、前記クラスタリングモジュールは、前記稠密かつ精緻な視差マップを受け取り、前記画像ストリームから障害物を抽出する、クラスタリングモジュールと、
ｄ．トラッキングモジュールであって、前記トラッキングモジュールは、前記視差マップ、障害物のリスト、ジャイロから出力された値であるジャイロ座標、および車両速度を受け取り、すべてのトラッキングされる障害物のための構造体のアレイを提供する、トラッキングモジュールと、
をさらに備える、請求項７に記載のマルチスペクトル車両システム。
前記ステレオ融合モジュールは、方向指示器ステータス、ＩＲ画像ＢＩＴステータス、ＶＬ画像ＢＩＴステータス、前方の障害物に関する距離、ならびに障害物座標および大きさを受け取り、次の処理されたデータ、すなわち方向指示器ステータス、障害物座標、および境界ボックスサイズ、ならびに前記障害物までの距離のデータを、前記モノ比較モジュールのそれぞれに出力する、請求項４に記載のマルチスペクトル車両システム。
前記ＢＩＴユニットは、少なくとも以下のテスト：
ａ．前記受け取った画像の質
ｂ．ＧＬヒストグラムを用いる前記受け取った画像のブライトネス
ｃ．前記車両のフロントガラス上の染みによる部分的な閉塞を識別
ｄ．カラーヒストグラムを用いる異常なチャネルの検出
ｅ．同期を検証するためのタイムスタンプ検証
を実行可能である、請求項３に記載のマルチスペクトル車両システム。
キャリブレーションが、
ａ）指定されたターゲットに対して初期キャリブレーションを実施するステップであって、前記指定されたターゲットは、車両の前に設置されており、２つの独立したカメラが前記車両の上に据え付けられている、ステップと、
ｂ）それぞれのカメラの光軸および向きに関してそれぞれのカメラの向きを計算するステップと、
ｃ）加速ロバスト特徴（ＳＵＲＦ）アルゴリズムを使用してマッチングポイントを見出すステップと、
ｄ）マッチングポイントのセットからの異常値および初期基礎行列を精緻にするステップと、
ｅ）反復基礎行列推定を最小化によって実施するステップと、
ｆ）エピポーラ幾何を使用して、左ホモグラフィーおよび右ホモグラフィーの初期計算を実施するステップと、
ｇ）前記カメラの内因性のパラメーター、中心ポイント修正、Ｗオフセットを使用することによって、最良のホモグラフィーを反復して計算するステップと、
ｈ）前記フレームの完全なセット上で有効な、ホモグラフィーに対する最良にフィットした前記内因性のパラメーターを推定するステップと、
ｉ）前記左カメラおよび右カメラによってキャプチャーされる重複エリア上の前記マッチングポイントのセットを計算するステップと、
ｊ）重複した前記マッチングポイントを使用して、両方のカメラの画像空間を変換するホモグラフィーを計算するステップと、
ｋ）前記車両が移動していないたびに、前記プロセスを定期的に繰り返すステップと、
によって実施され、
前記Wオフセットは、センサの中心と光学系の中心との間の距離偏差である、
請求項１に記載のマルチスペクトル車両システム。
前記視差モジュールは、
ａ）Ｃｅｎｓｕｓ相関関係を使用して初期コスト関数を計算するステップと、
ｂ）キャリブレーション結果に基づいて、低減された度数でセミグローバルブロックマッチング（ＳＧＢＭ）アルゴリズムを実施するステップと、
ｃ）前記画像を垂直方向のストライプにスプリットし、ストライプ毎に前記ＳＧＢＭアルゴリズムを計算するステップと、
ｄ）すべてのストライプからのグローバルフィットを実施して、グローバル視差マップを生成するステップと、
ｅ）平均化適応的メジアンフィルターを適用しながら、前記左ステレオ画像（左視差）の上でステレオセグメンテーションを計算し、前記テクスチャーマップフィッティングを追加するステップと、
によって、視差マップを生成する、請求項７に記載のマルチスペクトル車両システム。