JP5506745B2 - イメージ獲得ユニット、方法及び連関付けられた制御ユニット｛ｉｍａｇｅａｃｑｕｉｓｉｔｉｏｎｕｎｉｔ、ａｃｑｕｉｓｉｔｉｏｎｍｅｔｈｏｄａｎｄａｓｓｏｃｉａｔｅｄｃｏｎｔｒｏｌｕｎｉｔ｝ - Google Patents

Description

本発明は、車両用仮想ビジョンシステムの分野に関し、更に詳しくは、危険感知と係るイメージ獲得及びデータ保存に関する。

仮想ビジョンシステムは、従来から知られていたが、車両に適用することを妨げる様々な制限があった。よって、車両分野への仮想ビジョンシステムの適用に係って解決しなければならない要求があった。

本発明は、前記のような従来技術の問題点を解決するためのものであって、ビデオカメラから獲得したビデオデータ及びライダー（ＬＩＤＡＲ）から獲得した範囲又は深さデータを結合使用することを開示する。これらの２つのソースは、それぞれの限界を有しており、これらの結合使用は、補償的情報を提供することができる。例えば、商用中のライダーの分解能は商用中のビデオカメラの分解能に比べて劣り、典型的に車線表示、道路表示及び信号灯の色のような物体の色を認識することができない。その一方、例えば、ビデオカメラからの信号は、カメラ前方のキャプチャーされた物体の距離を直接測定できないという制限があり、夜間、霧、スモッグ、雨、雪、直射光線、向かってくる車両からの直接的なヘッドライトのような光や天気状態によって信頼性が左右され、更に、トンネルに進入する時のような光状態の変化に対して露出調整遅延がある。一方の信号の使用は、他方から獲得した情報を完全なものとすることができ、又は少なくとも有用なリダンダンシーを提供することができる。例えば、ライダー信号は、車線表示が消されたり、何かによって覆われている場合のように、車線表示がビデオカメラから獲得できない場合、道路カーブ又はバリアの位置を決めるために分析される深さ情報を提供することができる。よって、両信号を用いることは、車線表示情報の他に、若しくは、これの代わりに、道路カーブ情報を用いて有用な車両位置情報が提供できるようにする。更に、予めコ・レジストレートされた（ｃｏ−ｒｅｇｉｓｔｅｒｅｄ）ビデオ及びライダーデータ信号を有するイメージ獲得ユニットを提供することは、制御モジュールの観点から、とても実用的なビデオソースになり得る。

適用が可能なのは、車線離脱警告システム、スマートクルーズ制御システム、物体及び歩行者検知システム、表示及び信号灯認識、夜間走行及び悪天候走行助けシステムを含む。

前記課題を解決するための本発明は、車両運行を助けるために、カラービデオソース及びライダーソースの両方からのビデオデータを解釈する車両仮想ビジョンシステムを提供する。カラービデオソース及びライダーソースからのデータは、データ獲得ステップで結合され、データ解釈の第２ステップで結合された形態で受信される。

本発明の更に他の観点から、イメージ獲得ユニットにおいて、前記ユニットは、ハウジング、少なくとも１つのビデオカメラを含み、前記少なくとも１つのビデオカメラを通じて獲得したビデオアレイデータに対するビデオ出力を含むビデオカメラシステム、少なくとも１つのライダーエミッタ（レーザーソース）及びライダー受信機を含み（３Ｄ ＬＩＤＡＲ）、前記ライダー受信機から獲得したライダーアレイデータに対するライダー出力を含むライダーシステム、前記ビデオ出力及び前記ライダー出力に連結されており、前記ビデオアレイデータ及び前記ライダーアレイデータを受信するための融合積分器として、前記ビデオアレイデータ及び前記ライダーアレイデータを結合アレイデータでコ・レジストレーション（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）するためのコ・レジストレーション機能を有する融合積分器、及び前記ハウジングから前記結合アレイデータを出力するための出力を含むことを特徴とする。

本発明の更に他の観点から、少なくとも１つのビデオカメラからビデオアレイデータを獲得するステップ；受信した反射されたライダー信号からライダーアレイデータを獲得するステップ；及び前記ビデオアレイデータを前記ライダーアレイデータと共に１つの結合アレイデータ信号でコ・レジストレーションするステップを含むことを特徴とするイメージ獲得方法が提供される。

本発明の更に他の観点から、ビデオ信号獲得器、前記獲得したビデオ信号を処理するためのビデオプロセッサ、前記処理されたビデオ信号又は他のソースから危険を感知できる危険分析器及びメモリ保存デバイス（ブラックボックス）を含むことを特徴とする制御ユニットが提供される。

本発明の更に他の特徴及びこれらの組合が、以下に記述する詳しい説明により、当業者にとって明確になる。

本発明は、従来技術の問題点を解決するためのものであって、ビデオカメラから獲得したビデオデータ及びライダー（ＬＩＤＡＲ）から獲得した範囲又は深さデータを結合使用することにより、これらの２つのソースのそれぞれが有する限界を乗り越えて補償的な情報を提供することができる。

イメージ獲得ユニットの第１実施例の図解図 図１のイメージ獲得ユニットの正面図 クロッピング（ｃｒｏｐｐｉｎｇ）を示す図解図 コ・レジストレーション（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）の例を示す図解図 イメージ獲得ユニットの他の実施例を示す図 図５のイメージ獲得ユニットが車両の後方ミラー及びフロント間に装着されたものを示す図 イメージ獲得ユニットの更に他の例を示す図 制御モジュールと結合したイメージ獲得ユニットのブロック図 制御モジュールと結合したイメージ獲得ユニットのブロック図 信号の例を示す図 信号の例を示す図 レーザー拡散を示す図解図

図１は、ビデオカメラシステム及びライダーシステムを共に含むイメージ獲得ユニットの例を示している。本実施例において、イメージ獲得ユニットは、単一ハウジングに独立型ユニットとして提供され、ビデオアレイデータ及びライダーアレイデータを結合されたアレイデータ信号でコ・レジストレーションする融合積分器を有している。イメージ獲得ユニットは、ハウジングの外部で前記結合信号出力がアクセスできるように、結合信号出力を有する。図２は、図１のイメージ獲得ユニットの正面図を示す。正面は、ライダーエミッタ、ライダー受信機及びビデオカメラレンズを含むことができる。

この特定の実施例において、ハウジングは、後方ミラーと車両のフロントガラスの間で用いられる制限された領域に合うようにサイズを調節することができる。これは、典型的に、車両のフロントガラスの傾きに合うように斜めの正面と制限された全体のサイズを求める。

必ず、ライダーとビデオデータの結合は、例えば、独立的制御モジュールによって第２ステージで行われる結合されたデータ分析に対して、例えば、イメージ獲得ハウジング内のような第１ステージで行われなければならないことを理解すべきである。

ビデオカメラシステムは、具体的な適用により、多様に変化することができ、ＣＭＯＳやＣＣＤカメラ（例えば、オムニビジョンやマイクロンモバイルアイＣＭＯＳカメラ社のＷＸＨＡ（１２８０Ｘ８００）高動的範囲及び高画質イメージセンサー）であり得る。ビデオカメラシステムは、典型的に、所定のビデオピクセルの２Ｄアレイ形態でビデオアレイデータ出力を提供し、それぞれのビデオピクセルは、ＲＧＢ連関データを有する。

ライダーシステムは、具体的な適用により、多様に変化することができる。それは、必要であれば、（ＡＳＣ社の）３Ｄフラッシュライダータイプであることができ、目及び皮膚に安全な１５３０〜１５７０ｎｍレーザーダイオードに基づいたエミッタ（例えば、ニュージャージーエジソン所在のＭ／Ａ−Ｃｏｍ社のモデル番号ＣＶＬＭ５７ｍｆｇ）、１２８Ｘ１２８ＩｎＧａＡｓ ＡＤＰ検出器（アドバンスド・サイエンティフィック・コンセプト社の）又は大きいアレイＩｎＧａＡｓ ＡＰＤタイプレーザーレンジファインダ受信機（例えば、フロリダロングウッド所在のアナログモジュールインコーポレーテッド社により製造されたモデル番号７５００又はパーキンエルマーオプトエレクトロニクス社のモデルＣ３０６５９）を有することができ、所定数のライダーピクセルの２Ｄアレイ形態でデータ信号を提供することができる。典型的に、それぞれのライダーピクセルは、それと連関付けられた深さ（Ｄ、ｄｅｐｔｈ）データを有し、強度（Ｉ、ｉｎｔｅｎｓｉｔｙ）データも更に有するはずである。ライダーは、前方の物体や車両の正確な距離を測定することができる。距離は、特にスマートクルーズ制御への適用のために測定され得る。車両への適用において、１ｍ乃至１５０ｍ又は２００ｍまでの距離測定は好ましいことである。

フラッシュライダーのようなライダーを適用する場合において、エミッター側光レンズは、光経路の一部として、拡散器及び／又はフィルタを用いる。フィルタは、更に受信機光経路上で用いられる。拡散器は、レーザービームを取り、前記光をどのような形態でレーザー出力を収容して集中させるために、所定のパターンで前記光を再分配することができる屈折光学器の形態であり、拡散器の受信機側で光学レンズの受信機側上の形状と同じ形状を有しなければならない。光形成拡散器による拡散は、視野角を拡張することができる。方向転換フィルムは、フレネル／プリズムビームシフティング構造を有する光形成拡散器の各分配特性及び拡散を結合することができる。これらの光ベンディングフィルムは、直接的な視野線が不可能な時、流入するビームの軸から外れた整列を可能にする。適用は、ＬＥＤライティング、飛行ディスプレイ、交通信号、ディスプレイ及びＬＣＤバックライトを含む。これらは、更に、光ビーム方向を壁、歩道及び他の照明ターゲットを照明するように変化させることにも用いられる。拡散器は、単純な２０°方向転換フィルム又は光形成拡散器角と結合されて用いられる。一般的な変形が可能である。帯域通過フィルタのような光学フィルタ、減衰又は偏光フィルタが、必要としない信号の拒否及び受信機で必要としないノイズを最小化するために用いられる。

３Ｄフラッシュライダーは、飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を計算することによって距離を測定する（レーザー放射と前記物体から受信機光学レンズに前記レーザーの反射との間の時間周期）。従来のレーザーレンジファインダ（ｌａｓｅｒ ｒａｎｇｅ ｆｉｎｄｅｒ）の適用において、（軍事用レーザーレンジファインダに用いられる、アナログモジュール社によって製造されたレーザーレンジファインダ受信機モジュール７５００シリーズ。これは、高正確性を有して１メートル乃至１キロメートルを範囲とし、最大２５５ターゲット、すなわち、目及び皮膚に安全な１５３０〜１５５９ｎｍ波長でカメラ前方の物体の２５５他のパラメータ測定を行うことができる）、レーザーは、繊細かつ正確な距離測定をし、道路と縁石との間の高さの差を認識することにより、道路の縁及びカーブを識別することに用いられる。車線表示のヒストグラム演算は、表示の強度を測定することによって識別される。これは、車両を道路の中央に位置させるために、左右側の車線表示の間に車両を維持させることに非常に重要である。レーザーは、道路と縁石との間の高さの差を測定することにより、縁石を正確に測定することができる。このような重要な情報は、道路と関連して、使用者の車両の位置と姿勢と解釈され得る。車線表示が見えないか、又は非常に薄い場合、縁石測定は車両がどこにあるか、車両を安全に道路上に維持させることに非常に重要である。これは道路上の車両位置と関連して、参照位置になるはずである。車線表示が薄いか、及び／又は消されている場合、ビデオカメラ及び／又はレーザーを介した車線表示強度の判読は不可能ではないかもしれないが、かなり難しくなる。レーザーは、車線表示の強度（ｉｎｔｅｎｓｉｔｙ）を測定することができ、前記道路上の車線表示を識別するためにイメージ解釈アルゴリズムと結合してヒストグラムを用いる。

レーザーレンジファインダ能力と重なったカメラ前方の物体や車両の従来のビデオイメージは、車線表示認識能力を向上させることができる。

融合積分器は、必ず、ビデオカメラシステムからのピクセルのＲＧＢ色データを深さ（Ｄ）及び選択的にライダーシステムの対応ピクセルの強度（Ｉ）データとマッチし、コ・レジストレーションというプロセスでＲＧＢＩＤ情報を有する２Ｄアレイのピクセルを獲得する。

複数の場合、ビデオカメラシステムは、ライダーシステムより更に大きい分解能、異なる視野角、そして異なる光学受信特性を有しており、これらはビデオカメラピクセルとライダーピクセルとを直接マッチングすることを防止する。

垂直及び水平クロッピングのサポートを失わずに適当に一致させるために、ビデオデータ及びライダーデータのアスペクト比をスケーリング及び／又はクロッピングすることに注意をすべきである。図３は、イメージのクロッピングを図解している。

受信光学機器で差を収容するために、適当なスケーリング、クロッピング及び可能な後続の補正が行われると、それぞれのライダーピクセルは、１つ以上のビデオピクセルを含むビデオピクセルの「領域」と連関付けられる。

概略的に、コ・レジストレーションは、典型的に、特定のライダーピクセルの値に依存して深さ又は範囲値をそれぞれのビデオピクセルと連関付けることが求められる。これを行う方法は、与えられたライダーピクセルのデータ値をそれと連関付けられたすべてのビデオピクセル、すなわち、連関付けられた領域内のすべてのビデオピクセルと単純にマッチングすることによって行われる。非線形光学変更のないいくつかの実施例において、これは単に図４に示されたような行列によってピクセルアレイ構造をマッチングすることによって行われる。しかし、他の実施例で、より好ましく適用できる他の方法があるかもしれない。例えば、ライダーピクセルデータを領域内のすべてのビデオピクセルのビデオデータと連関付ける代りに、隣接するライダーピクセルの間にそれぞれの介在するビデオピクセルに対する線形的にフェーディングする値を計算することにより、或いは、空になるライダーデータを直接的に満たすのではなくて補間し、計算された、平均化された及び／又は近似化されたライダーピクセル値を介在するビデオピクセルに連関付けることが更に好ましい。

いずれの場合には、コ・レジストレーションによって行われたマッチの正確性を評価するために、初期キャリブレーションが必要な場合もあるはずである。このような負担は、共通のフレームに、そして共通のハウジングの一部としてライダー及びビデオシステムの光学機器を緊密に位置させることによって減少される。これ以降、振動などにはビデオシステムとライダーシステムが共通に晒されるはずであり、ビデオカメラ及びライダー光学機器が車両の別の部分として提供されている場合より、更にコ・レジストレーションへの影響は少なくなるはずである。

一実施例において、フレームは、３０ｆｐｓで単一連続ビデオ出力に併合され得る。

図５Ａ及び５Ｂを参照すると、他のイメージ獲得ユニットの例が示される。サイズは、例えば、３〜６インチになり得る。図６で、図５のイメージ獲得ユニットが車両の後方ミラー及びフロントガラスの間に装着されたものを示す。ユニットのハウジングは、軽量、温度処理されたプラスチック物質で製造され、受信光学レンズのために２つの分離された窓とレーザー出力のための１つの窓を含む。ハウジングの前面は、傾いたフロントガラスに完全に合うように傾けられており、フロントガラス及び光学レンズ内に発生することができる湿気を除去し、空気調和を提供するための空気孔を有し、３／４インチの厚さより小さいゴムバンパーガスケットによって囲まれている。これは、カメラへの衝撃や振動の影響を減らす。これは、更に、カメラ整列を正確にし、（運転者の観点から）２５°以上の全体視野角が見えるようにデザインされる。

図７を参照すると、イメージ獲得ユニットの更に他の例が示される。この実施例において、ライダーシステムは、維持費を減らすことによって全体的な価値を向上することになるバックアップエミッタを更に有している。更に、この実施例は、１つ以上のカメラ、更に正確には２つの広角カメラ及び２つの望遠／ズームカメラを含む４つのビデオカメラを用いる。この実施例において、カメラは、指向されることができるように作られ、特に、望遠／ズームカメラが広角カメラによって捉えられた特定の特質でズームが可能になるように作られる。更に、それは図示した延長可能なアームに位置させることによって移動可能に作られることもある。更に、それはワイヤーで延長可能に構成されることもできる。

上述した実施例で、イメージ獲得ユニットは、色及び深さアレイデータを有する３Ｄ信号を所定通りデータを分析して介入するように求められる機能を有する制御モジュールに供給することができる。制御モジュールは、車両ＣＰＵの一部として、又は他のユニットとして提供されることができ、イメージ獲得ユニットは、コ・レジストレーションされたライダー及びビデオ信号（結合信号）を制御モジュールに対する様々な入力の１つとして提供することができる。イメージ獲得ユニットによって提供されていた結合されたデータは、制御モジュールが運転者の安全助けプログラムのためのアルゴリズムを具現することに有用かつ強力な道具となる。

制御モジュールは、次のような安全運転助けプログラムを含むことができる：車線離脱警告システム、夜間運転、霧、陽光やヘッドライト光のような悪天候運転及びスマートクルーズ制御システム（運転者車両と前の車両との間の安全距離を維持するようにする）。これは、更に、オーディオサウンドが危険警告をするようにしたり、可視的な光で警告したり、又は衝突危険性がある場合、ハンドルやシートを振動させるような多くの他の手段で運転者に警告するように作ることができる。これは、更に、運転者が介入せずに速度を下げるような自己診断及び自己作動を行うように作ることができる。このシステムは、多数の予め決まった安全パラメータ要求を行うことができ、所定の条件において、キャンバス通信プロトコルを介して車両が自動に操作できるようにする。この応急安全対策は、他の車両や歩行者との衝突を避けるために求められる。これは衝突を避けるために車両を止めたり、事故を予防するために左側や右側に方向を転換できるように操作され得る。

運営システムが物体のデータベースライブラリを検索して連関付け、ＣＭＯＳやレーザーコンポーネントによって捉えられた実際のイメージとデータベースライブラリにインベードされたイメージを比較することにより、即刻に感知された物体を確認することができるため、歩行者、車線表示、車両などの他の物体を区別して識別することができる。「ピーピーピー」のような従来のオーディオサウンド警告に比べ、本システムは次のような特定物体の音声警告を提供することができる：「左／右側の近距離に自転車の運転者がいる」、「左／右側の車線を越えている」、「前方に歩行者がいる」、「左／右側の車線の車両と近すぎる」。運営システムが物体を区別して識別できない場合、「左／右／前方に物体が近すぎる」のようなデフォルト警告を提供することができる。他のコンポーネントとインターフェースすると、運転物にハンドルやシートの振動を通じて警告することもできる。これは、運転者がうるさい音楽を聞いていたり、居眠り運転をしている場合に、補助的な安全警告方法として作動する。

上述したイメージ獲得ユニットを用いることは、結合された信号を制御モジュールで利用可能にし、よって制御モジュールは、カメラ前方（１ｍ乃至１５０、２００ｍ、或いは、更に遠く）の物体の距離を正確に測定し；ゲートモードを用いて飛行時間を計算して、霧、スモッグ、降雨又は雪のような天気環境でも見られるようにし；夜間ビジョン、例えば、夜間及びトンネル内で用いることができ；直射光線、ヘッドライト光下でも見ることができ；鳥瞰図だけでなく３次元ポイントクラウドイメージを提供するために「ｚ」深さ（ｄｅｐｔｈ）を測定することができ；正確かつ詳細な距離を提供して、物体の深さ及びこれらの正体を正確に検知し、道路上の他の車両を区別して区分することができる、３次元ポイントクラウドイメージを有する高画質リアルタイムビデオイメージを提供することができ；信号灯信号（ＲＧＢ）、標識認識を提供し；他の色の車線表示を判別することができ；運転者が周辺状況を更に正確に認識するために用いられる高画質リアルタイムビデオイメージを出力することができる。

アルゴリズムとソフトウェアが結合された信号を用いる制御モジュールの適用例は以下の通りである。

車線離脱警告システム：車線表示を検知し、車両の前の両側の車線内で車両を中央に維持するようにし、運転者が無意識的に車線表示を越えて左側や右側に運転する場合に警告を提供する。ビデオカメラは、車線表示認識機能を有して車両の前方をモニタリングし、運転者に指定された領域、すなわち、車線分離表示内で運転するようにガイドし、もし車両が方向指示信号の指示なしで車線表示を越えると、ソフトウェアは可能な不注意な運転行為又は他の運転者にも危険を与える可能性がある、他の車線への無意識的な移動を検出して運転者に警告するようにプログラムされる。運転パターンをモニタリングする間、このシステムは、ＣＭＯＳカメラビデオイメージを介して、ある安全領域モニタリングパリメータ違反に対してモニタリングする。車両が適切な方向指示信号なしに車線表示を越える場合、ソフトウェアは運転者に直ちに警告する。

スマートクルーズ制御システム：運転者が前方の他の車両からの安全距離を越える場合、システムは所定の警告基準に従い、音を出すか又は視覚的な警告のような、決まったレベルの警告を与えることができ、もし事故につながる可能性がある安全距離違反になった場合、自動ブレーキシステムを起動させることができる。

物体及び歩行者感知システム：物体が歩行者、車両、電柱又は感知するようにプログラムされている他の物体であるかを感知する。

標識及び信号灯認識：停止表示を認識し、信号灯が緑色か赤色かを検知し、必要な場合に適切な警告を提供する。

夜間運転及び悪天候運転の助け：霧、スモッグ、降雨及び雪でも作動し、感知システムは向かい合ったヘッドライトにも影響を受けない。

図８を参照すると、制御モジュールの様々な入力の中で１つとして用いられるイメージ獲得ユニットの他の例が示される。

イメージ獲得ユニットは、システムの光学モジュールが２つの個別的なイメージングシステムを用いて情報を獲得していることを示す：ビデオカメラシステム及びライダーシステム。ペルティエ−エフェクトクーラ（ＴＥ−Ｃｏｏｌｅｒ）システムが更にコンポーネントに適した作動温度を提供するためにこの特定実施例に含まれている。

ビデオカメラシステムは、１つ以上のＣＭＯＳ基盤カメラで構成され、カメラによって要求される視野角及びアパーチャが提供できる適切なレンズで構成される。安価で具現する場合は、単一の広角カメラが用いられ、より複雑な具現では、単一望遠レンズが高精密度を有して直接カメラの前方をカバーし、２つの広角カメラは、例えば、低分解能で側面ビューを提供するはずである。それぞれのカメラは、偏光レンズを有することができ、（例えば、ＵＶフィルタのような）追加のフィルタを有することができる。

光線レーダー（ライダー）システムは、レーザーパルスの放射及び反射されたビームが検出システムに更に戻る飛行時間の計算に基づいている。この実施例において、１５５０ｎｍ目に安全なソースが用いられる。レーザーソースが出力の精密な周波数特性の観点で好ましい。

ソースは、短いバーストでパルスされる。「パルス」は、外部ソースにより、本実施例では、パルス発生器により、イメージ獲得モジュールセクションに記述されたライダーイメージングサブシステムによって「認識できる」パターンに変調され得る。本実施例において、出力ビームは、適したレンズによって、例えば、スキャニングレンズとは異なり、単一パルスで関心領域をカバーするように拡散されることができる。光学「分離器」は、出力ビームの一部を検知器に伝達することに用いられる。第２レーザーエミッタは、「バックアップ」デバイスとして本システムに装着することができる。バックアップデバイスの使用は、ライダーサブシステムの使用年限を延長することができ、それによってメンテナンスへの要求を減らすことができる。パワーオン・セルフテスト（ＰＯＳＴ）で、イメージ獲得モジュールは、主エミッタの故障を判断することができ、代りに第２エミッタを用いるようにプログラムされ得る。これを行うために、両エミッタ出力ビームは、適した光学機器で共に整列することができる。

好ましい実施例において、検知器はＦＰＡ ＩｎＧａＡｓ検知器であり、エミッタの周波数に敏感である。ＦＰＡの分解能は、特定応用に適用することができる。他のカメラと類似な方法で、適した光学機器が反射されたビームをＦＰＡの平面で焦点合わせするように位置されなければならない。光学フィルタがその他の周波数から流入するノイズを減少するために用いられる。

上述した通り、ＦＰＡは、エミッタ信号の一部を直接（アレイであると、その部分）受信する。エミッタ信号は、カウンタ或いは積分メカニズムをトリガーするために用いられ、放射されたパルスの「ゼロ時間（ｚｅｒｏ ｔｉｍｅ）」を識別する。この参照から、アレイのそれぞれの検知器に対し、反射されたパルスの飛行時間は、下記する回路を用いて計算することができる。

イメージ獲得モジュールは、ＲＧＢイメージをＲＧＢピクセルレベルで、深さ及び赤外線強度情報を有する単一ストリームに融合されたＲＧＢイメージ（本明細書において、ＲＧＢイメージ又はイメージストリームという）を出力することに求められる積分メカニズムだけでなく、光学セクションに対するあらゆる制御ロジックを含んでいる。イメージ獲得モジュールは、ＣＭＯＳ及びライダーエミッタを制御することに用いられるサブシステムをインターフェースすることに求められる制御及び獲得ロジックを更に含んでいる。複数ユニットで構成されるサブシステムは、ライダーのＦＰＡアレイ入力を獲得して解釈することに用いられる。

ＣＭＯＳカメライメージ及びライダーイメージはメモリに保存され、サブシステムは、コーヒアラントＲＧＢＩＤアレイでＲＧＢ及び強度−深さデータの積分を担っている。

温度調節モニターは、（サーミスタを用いることにより）レーザーエミッタから温度情報を獲得することに用いられ、ＴＥクーラサブシステムを制御し、レーザーエミッタハウジングの予め設定された温度を維持することを保証する。

通信及び制御ロジックサブシステムは、後端及び外部サブシステムとインターフェースすることに用いられ、更に、イメージ獲得モジュール内のあらゆるサブシステムに対する制御ロジックを提供する。

カメラ制御−獲得サブシステムは、ビデオデータをＲＡＭに獲得し、制御サブシステムによって設定されたパラメータに従ってＣＭＯＳカメラ パラメータ（利得及び敏感度のような）を制御する。サブシステムは、全体フレームが常に融合プロセッサによってプロセシングされ得ることを保証するために、ダブル−バッファリング技法を用いることができる。

パルス発生器／コード機サブシステムは、エミッタがコード化されたパターンのパルスを発生するように制御し、それぞれのパターンは、所定の時間間隔で分離された複数のパルスで構成されるはずである。パターンの例が図９に示されている。レーザーの最大反復周波数に基づき、パルスのパターンがバイナリシーケンス（パルスオン／パルスオフ）でデザインされ得る。次の特徴は、特定適用において好ましい：少なくとも秒当たり１５パターン（ｐｐｓ）；少なくとも１０２４（或いはそれ以上）異なるパターンが選択され得る；パターン内のそれぞれのパルスの間の時間は２００ｍ以上離れたところの反射されたビームから復帰を積分することに十分である。パルスコード検証サブシステムと結合したパルスパターンの使用は、周辺の他の赤外線エミッタからの放出されたパターンを区別できるようにする。パターンはプログラムされることができ、干渉が検知されると、制御モジュールレベルで任意に変更され得る。

ライダー獲得システムは、ＦＰＡデータを獲得し、これをラムに保存される強度−深さアレイに変形するために３ステージ処理を具現することができる。

図１０を参照すると、第１ステップは、フォト検知器から、それぞれのＦＰＡ「ピクセル」に対して、受信されたアナログ信号を獲得することである。信号は、もともと放出された信号（Ｔ０）の受信の強度で第１増加を示す。反射が戻ってくると、信号は戻ってくるビームに対応する強度の第２増加を示す。両刺激間の時間は「飛行時間」に当る。第１反射された信号の強度は上位情報として保存される。当業者に知られている回路を用いて、それぞれの「ピクセル」に対して、飛行時間及び第１復帰の強度は「範囲／強度獲得モジュール」によって獲得され、「パターン」のバイナリシーケンスの「ビット」の数を上回るある数のパルス（「Ｎ」）に対して保存される。ＦＰＡ分解能に対応する２次元アレイであると、最終データは２つのＮｘＦＰＡ＿垂直ｘＦＰＡ＿水平アレイになるはずであり、１つは深さで１つは強度である。

このレベルで、獲得されたデータは、プログラムされた「パルスパターン」との関連を保証するために分析される。パターンがある程度の可能性と認識されなければ、データは拒否されて、制御モジュールに通知される。一連の拒否後で、制御モジュールは放射パターンを変更することができる。

ライダー獲得の最終ステージは、単一ＦＰＡ＿垂直ｘＦＰＡ＿水平アレイの（強度、深さ）ポイントで組合することができ、ラムに二重バッファリング技法を用いて保存されるはずである。Ｎ次元のあらゆる情報を単一「ピクセル」深さ及び強度値で積分することは実験的に決定されなければならないプロセシングを求めるはずである。単純には、平均化も充分なはずである。

融合積分器モジュールは、カメラからのＲＧＢデータ及びライダーからのＩＤデータを単一アレイ又はＲＧＢＩＤポイントで積分することに用いられる。

両イメージングソースの整列、分解能及び視野角は同一ではない。前記パラメータは、キャリブレーション過程で決定されるはずであり、パラメータフラッシュストーリッジに選択的に保存されるはずである。

コ・レジストレーション（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）アルゴリズムは、それぞれのＲＧＢピクセルを可能な深さ値でタグする。

最終ＲＧＢＩＤイメージは、制御ロジックモジュールによって、後続ストリームのために保存される。

制御ロジックモジュールは、出発／停止という外部命令が入力され、ビデオ獲得のためのパラメータを調節する。

外部モジュールで用いられるために、（キャンバス上に、ディスプレイされない）ＲＧＢＩＤデータだけでなく状態情報を出力する。

制御ロジックモジュールは、パラメータを供給し、イメージ獲得モジュール内のあらゆるサブシステムに命令を制御する。

制御モジュールは、獲得されたイメージングデータの解釈を担当し、車両の利用可能なサブシステムに適した応答の提供を担当する。

この作業を行うために、制御モジュールは、車両状態情報を外部システム、例えば、方向指示灯、方向、速度などから獲得する。制御モジュールは、継続的に、「ローリングベース」で、複数の獲得情報及び関連イメージングデータ及び解釈を事故発生時の「ブラックボックス」で用いることができるフラッシュメモリモジュールに保存する。フラッシュメモリモジュールに仮保存された獲得情報及びイメージングデータは、事故発生時、前記仮保存されたデータが削除されず、ＳＤメモリカードに永久保存される。すなわち、あらゆる獲得情報及びイメージングデータは、１〜２分間で一時的にフラッシュメモリモジュールに保存された後、フラッシュメモリから継続的に１〜２分の間隔で削除されるが、もし事故発生時、予め決めておいた危険／事故パラメータ命令が感知されると、１〜２分のフラッシュメモリが削除されず、ＳＤメモリカードに永久保存される。保存されたデータ獲得情報は、例えば、日付、時間、車両速度、他の車両／物体との距離などが含まれる。

解釈及び応答は、下記の「ビデオプロセッサ」、「危険分析モジュール」及び「応答／使用者インターフェースモジュール」の３ステージサブシステムであり得る。

ビデオプロセッサ／融合されたイメージ獲得は、ＲＧＢＩＤイメージングデータをイメージ獲得モジュールから獲得し、選択的に補助カメラからＲＧＢイメージングデータを獲得する。ビデオプロセッサは、イメージングデータから識別された特質のそれぞれに対して、次のような情報を提供するために特質（ｆｅａｔｕｒｅ）を抽出する：イメージの特質サイズと位置を識別する（ｂｌｏｂ）；特質位置及び軌跡を計算する；及びできれば特質（形態：すなわち、自転車、歩行者、標識）を分類する。この作業を行うために、入力として、ビデオプロセッサは、外部変数獲得モジュールから得られる車両速度及び方向情報を持たなければならない。

最終情報は、後続処理のために危険分析モジュールに伝達することができる。

危険分析モジュールは、ビデオプロセッサモジュールによって提供されたデータを使用することができ、危険分析モジュールは、危険レベル及びそれぞれの物体に対して決められる情報レベルの評価を行うことができる。物体のサイズ、軌跡及び位置情報が、例えば、衝突の可能性を評価するために用いられる。識別された標識及び道路表示は、プログラムされる運転者助けモードの観点からこれらの関連性を判断するために評価することができる。情報及び識別された危険は、応答／使用者インターフェースモジュールに提供され得る。

応答／使用者インターフェースモジュールは、危険及び情報特質を入力し、あらゆる他の外部変数を用いて、危険を緩和するために要求される行動を決定して、運転者に通知する。行動は、車両の特定性能（装備、オプション）によって優先順位化され得る。使用者インターフェース行動及び提案された緩和方法は、キャンバスを介して車両に放送され得る。

放送メッセージに基づき、提案された方法を作動させることは、プラットホームの責任である。

応答／使用者インターフェースモジュールは、特定プラットホームへの適応に従属的であり、あらゆる他のモジュールは本質的に一般的である。

ブラックボックスロギングは、必ず、例えば、ビデオを再生することと同様、以後用いられる可能性があるデータを保存するメモリ保存機能を提供する。この目的で、例えば、仮フラッシュメモリ保存装置を有する。

制御モジュール内で移動するビデオデータは、先入先出に基づき、過ぎたイベントはフラッシュメモリに１分以上保存することができ、あらゆる以前のデータはＳＲＡＭ及びフラッシュメモリから除去される。事故や衝突或いはエアーバックが作動した場合、フラッシュメモリに保存された１分の長さの保存データは、後で検索されて再生できるように自動にブラックボックスロギングで保存される。他のデータは、前方車両との距離履歴、車線表示、カーブ及び／又はバリアと係った車両位置履歴、衝突時間などのようなある条件でブラックボックス内に自動に保存され得る。

保存装置は、継続的に、ある時間ウィンドウの間、次のようなデータを保存することに用いられる：ビデオ融合イメージング、サウンド（マイクロフォンを利用）、外部変数、危険識別、提案された行動など。エアーバック作動、衝撃感知、激しい振動、エンジン停止、運転中のドアオープンなどのような重要イベントの場合に、別のメモリ領域に転換されてもブラックボックスロギングは続けることができる。この方法は、一連のイベントの場合、保存されなければならない単一ブラックボックスイベントログを許容する。

サブシステムは、キャンバスから関連プラットホーム変数を獲得することに転用され得る。予想されるデータは、速度、進行方向、方向指示灯信号、エンジンの状態、ドアオープン／クローズ、デイライト、ハイビーム、ロービーム、エアーバックの作動などを含む。データは、ブラックボックスにロギングされることができ、制御モジュールシステム内の他のモジュールに用いられることも可能である。

最後に、図１１は、ライダーの放出レーザーの拡散パターンを示す。

上述の様々な実施例を開示したように、上述して図示した例は、単に例示である。発明の範囲は、添付した請求の範囲によって決まる。

Claims (23)

1. 少なくとも１つのビデオカメラからビデオアレイデータを獲得するステップ；
   ライダーシステムからライダーアレイデータを獲得するステップ；及び
   ビデオデータ及びライダーデータのアスペクト比をスケーリング及び／又はクロッピングして特定ライダーピクセルの値をそれと係わる領域のビデオピクセルとマッチングして、前記ビデオアレイデータと前記ライダーアレイデータを１つの結合アレイデータ信号でコ・レジストレーションするステップを含み、
   前記コ・レジストレーションステップは、隣接するライダーピクセルの間にそれぞれの介在するビデオデータピクセルに対して線形的にフェーディングする値を計算して近似化されたライダーピクセル値をビデオピクセルと連関付けるステップを含み、
   前記少なくとも１つのビデオカメラ及び前記ライダーシステムは共通の１つのハウジング内に位置され、
   前記ビデオアレイデータは、２Ｄアレイの所定数のビデオピクセルを有し、それぞれのビデオピクセルは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）データを有しており、前記ライダーアレイデータは、２Ｄアレイの所定数のライダーピクセルを有し、それぞれのライダーピクセルは、強度（Ｉ）及び深さ（Ｄ）データを有しており、前記結合アレイデータは、複数の結合ピクセルを有し、それぞれの結合ピクセルは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、強度（Ｉ）及び深さ（Ｄ）データを有していることを特徴とするイメージ獲得方法。
2. ビデオピクセルの数は、ライダーピクセルの数より多く、前記コ・レジストレーションするステップは、前記それぞれのライダーピクセルの強度（Ｉ）及び深さ（Ｄ）データを１つ以上のビデオピクセルの赤（Ｒ）、緑（Ｇ）、青（Ｂ）データに関連付けるステップを含むことを特徴とする請求項１に記載のイメージ獲得方法。
3. 前記ライダーアレイデータを獲得するステップは、ライダー信号を放出し、反射されたライダー信号を受信するステップを含むことを特徴とする請求項１に記載のイメージ獲得方法。
4. 前記ライダー信号を放出することは、パルスパターンを獲得し、繰り返される方法によって前記パルスパターンに基づいてライダー信号を放出し、前記受信することは、前記受信された信号を前記パルスパターンと比較し、前記反射されたライダー信号が前記パルスパターンとマッチしないと、前記反射されたライダー信号を拒否することを特徴とする請求項３に記載のイメージ獲得方法。
5. 複数の連続的の拒否された反射ライダー信号をモニタリングし、前記パルスパターンを、前記連続的の拒否された反射ライダー信号の数が所定の閾値に到達すると判断すると、前記パルスパターンを変更することを特徴とする請求項４に記載のイメージ獲得方法。
6. 前記結合アレイデータ信号を分析のために車両の制御モジュールに提供するステップを更に含むことを特徴とする請求項１に記載のイメージ獲得方法。
7. イメージ獲得ユニットにおいて、前記ユニットは、
   ハウジング、
   少なくとも１つのビデオカメラを含み、前記少なくとも１つのビデオカメラを通じて獲得したビデオアレイデータに対するビデオ出力を含むビデオカメラシステム、
   少なくとも１つのライダーエミッタ及びライダー受信機を含み、前記ライダー受信機から獲得したライダーアレイデータに対するライダー出力を含むライダーシステム、及び
   前記ビデオ出力及び前記ライダー出力に連結されており、前記ビデオアレイデータ及び前記ライダーアレイデータを受信し、前記ビデオアレイデータ及び前記ライダーアレイデータを結合アレイデータでコ・レジストレーション（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）し、前記結合アレイデータを出力する融合積分器を含み、
   前記融合積分器は、ビデオデータ及びライダーデータのアスペクト比をスケーリング及び／又はクロッピングして特定ライダーピクセルの値をそれと係わる領域のビデオピクセルとマッチングさせ、隣接するライダーピクセルの間にそれぞれの介在するビデオデータピクセルに対して線形的にフェーディングする値を計算して近似化されたライダーピクセル値をビデオピクセルと連関付け、
   前記ビデオカメラシステム及び前記ライダーシステムは共通に前記ハウジング内に装着され、
   前記ビデオアレイデータは、２Ｄアレイの所定数のビデオピクセルを有し、それぞれのビデオピクセルは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）データを有しており、前記ライダーアレイデータは、２Ｄアレイの所定数のライダーピクセルを有し、それぞれのライダーピクセルは、強度（Ｉ）及び深さ（Ｄ）データを有しており、前記結合アレイデータは、複数の結合ピクセルを有し、それぞれの結合ピクセルは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、強度（Ｉ）及び深さ（Ｄ）データを有していることを特徴とするイメージ獲得ユニット。
8. 前記ビデオカメラシステムは、ＣＭＯＳ及びカメラ制御器を含むことを特徴とする請求項７に記載のイメージ獲得ユニット。
9. 前記ライダーシステムは、パルス発生器、範囲／強度獲得器、及び強度／深さアレイ構築器を含むことを特徴とする請求項７に記載のイメージ獲得ユニット。
10. 前記パルス発生器は、コーダを含み、パルスコードが確認されないと、獲得した範囲／強度データを拒否するための範囲／強度獲得器と、強度／深さ構築器との間のゲートとして作動するパルスコード検証器を更に含むことを特徴とする請求項９に記載のイメージ獲得ユニット。
11. 前記ビデオカメラは、広角カメラ及び望遠／ズームカメラのうち１つであり、前記ビデオカメラシステムは、広角カメラ及び望遠／ズームカメラのうち他の１つを更に含むことを特徴とする請求項７に記載のイメージ獲得ユニット。
12. 前記望遠／ズームカメラは、指向され得ることを特徴とする請求項１１に記載のイメージ獲得ユニット。
13. 前記ビデオカメラは、移動可能であることを特徴とする請求項７に記載のイメージ獲得ユニット。
14. 前記ビデオカメラは、延長可能なアームに装着され、前記延長可能なアームの延長によって移動可能であることを特徴とする請求項１３に記載のイメージ獲得ユニット。
15. 前記ライダーシステムは、協同整列光学機器によって結合された少なくとも２つのレーザーエミッタを含むことを特徴とする請求項７に記載のイメージ獲得ユニット。
16. 前記ビデオカメラシステム、前記ライダーシステム及び前記融合積分器は、共通のＦＰＧＡの電子の部分を有することを特徴とする請求項７に記載のイメージ獲得ユニット。
17. 前記ビデオカメラシステム、前記ライダーシステム及び前記融合積分器は、前記ハウジング内に装着されることを特徴とする請求項７に記載のイメージ獲得ユニット。
18. 請求項７に記載のイメージ獲得ユニットから出力された結合アレイデータ信号がビデオ信号として入力されるビデオ信号獲得器、前記獲得したビデオ信号を処理するためのビデオプロセッサ、前記処理されたビデオ信号又は外部変数獲得モジュールから提供された外部変数から危険を感知できる危険分析器及びメモリ保存デバイス（ブラックボックス）を含むことを特徴とする制御ユニット。
19. それぞれのビデオ信号獲得器、ビデオプロセッサ及び危険分析器及びブラックボックスが装着されている共通のハウジングを更に含むことを特徴とする請求項１８に記載の制御ユニット。
20. ビデオ信号獲得器からのデータを所定時間仮保存するメモリを更に含み、前記仮保存されたデータは、危険感知の際に、前記ブラックボックス内に保存されることを特徴とする請求項１８に記載の制御ユニット。
21. マイクロフォン、前記マイクロフォンを介して獲得したオーディオデータに対するオーディオ出力及び前記オーディオデータを所定時間仮保存するメモリを更に含み、前記仮保存されたデータは、危険感知の際に、前記ブラックボックス内に保存されることを特徴とする請求項１８に記載の制御ユニット。
22. 前記ビデオ信号は、複数の結合ピクセルを有する結合アレイデータを含み、前記それぞれの結合ピクセルは、少なくとも赤（Ｒ）、緑（Ｇ）、青（Ｂ）及び深さ（Ｄ）データを有することを特徴とする請求項１８に記載の制御ユニット。
23. 危険感知の際に、前記ブラックボックス内に自動的に保存され得る衝突時間データ、相対的車両位置及び速度データの少なくとも１つを有することを特徴とする請求項１８に記載の制御ユニット。