JP5096836B2 - 車両の周囲を画像化する方法およびそのためのシステム - Google Patents

Description

本発明は、車両の周囲を画像化する方法に関する。本発明は、コントロールユニットが車両のドライビングパラメータを制御する自動速度制御システム（ｃｒｕｉｓｅ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ）にも関する。

画像センサ、例えばカメラの使用が、車両において広がっている。例として、画像センサが障害物を感知するために、および車両の背後の周囲をドライバに見せるために、車両の背後を画像化する駐車制御システムにおいて、カメラが使用される。追加的に、オブジェクト、例えば他の車両を探すために車両の前方が調査される自動速度制御システムが開発された。これらの自動速度制御システムにおいては、車両の前方を動いているオブジェクトと車両との間の相対距離が決定されなければならない。オブジェクトが車両にあまりにも接近しすぎていると決定されるとき、ドライバは知らされるか、または自動速度制御システムが減速などによってモータを能動的に制御さえし得る。従来の画像センサ、例えばＣＣＤまたはＣＭＯＳ画像センサは、その場の輝度を測定するが、その場の立体情報に欠ける。従来は、３次元情報が、２つの２次元画像センサ、例えばＣＣＤカメラを使用することによって、および数学を使用することによって得られた。

追加的に、３次元画像センサが開発され、これらのセンサは、商業的に入手可能な２次元センサによって直面される欠点を克服した。そのような３次元の光学的測定は、オブジェクトの表面反射、センサからのオブジェクトの距離および照明状態から大きく独立しているオブジェクトの絶対的な３次元的形状を伝える。３次元カメラの一例は、ＰＭＤ（フォトニックミキサデバイス）センサであり、ＰＭＤセンサは、光信号を発することによって、および反射された光信号の飛翔時間を計算することによって、距離を測定する。これらの３次元画像センサは、半導体要素である。３次元画像は、異なる画素の測定、従って完全な画像の測定を可能にするマトリックスに、いくつかの３次元センサ要素を配置することによって得られる。

画像センサの信号が、車両に近づくオブジェクトを感知することによって、または画像センサの前方の車両を追跡することによってドライバを補佐するシステムに使用されるとき、画像データは、早い速度で更新されなければならない。画像信号が、ハイウエイにおいて速い速度で使用されるとき、フレームレート（時間当たりの画像）、例えば１００ｆｒａｍｅｓ／ｓが必要である。完全な２次元画像が、１秒間に１００回計算されるとき、高い計算能力が、画像を処理するために、および画像における関係情報を感知するために必要とされる。

従って、計算能力が減ぜられ得、なおかつオブジェクトの感知が保証される車両の周囲を画像化する方法、およびそのためのシステムを提供する必要性が存在する。

本発明の一局面によると、車両の周囲を画像化する方法が提供され、該方法は、周囲の一連の２次元画像を取るステップを包含する。追加的に、周囲の一連の３次元画像が取られ、該３次元画像は立体情報を含む。さらに、関心領域におけるオブジェクトは、一連の画像のうちの１つにおいて決定され、該関心領域における該オブジェクトは、追跡される。追加的に、他の一連の画像も、該他の一連の画像からオブジェクト情報を取り出すために処理される。該一連の画像において追跡されるオブジェクトは、他の一連の画像を処理することから受信されるオブジェクト情報に従って、調節される。一連のうちの１つにおける関心領域のみを処理することによって、計算能力は減ぜられ得る。完全な画像が処理されるのではないという事実のために、処理は、画像のいくつかの関心領域に集中され得る。画像の残りは処理されないので、画像の非処理部分におけるオブジェクトは、感知され得ない。車両に近づく新しいオブジェクトを画像の中で確実に感知するために、他の一連の画像が処理される。他の一連の画像において、オブジェクトが感知された場合、情報が画像化ユニットに送信され、画像化ユニットでは、オブジェクトが関心領域で追跡される一連の画像が取られる。他の一連の画像を処理することによって感知されるオブジェクトは、一連の画像において追跡される。標準的な２次元カメラが距離測定センサと融合することにより、画像化システムの複雑さが減ぜられ得る。追加的に、オブジェクト感知の質および結果の待ち時間は最適化され得る。

本発明の別の局面は、一連の２次元画像を生成する２次元画像センサ、および車両の周囲の３次元画像を生成する３次元画像センサを備える車両の周囲を画像化するシステムを提供する。画像処理ユニットが提供され得て、追跡される画像におけるオブジェクトを感知するために、２次元および３次元画像のうちの一方を処理する。追加的に、画像処理ユニットはまた、他の画像におけるオブジェクト情報を取り出すために、２次元および３次元のうちの他方も処理する。処理ユニットは、他の画像を処理することから受信されたオブジェクト情報に従って、該２次元および３次元画像のうちの一方において、追跡されるオブジェクトを調節し得る。

本発明の別の局面に従って、車両のための自動速度制御システムが提供される。自動速度制御システムは、車両のエンジンを制御するための自動速度制御ユニットを備える。一実施形態によると、車両のエンジンは、一連の２次元および３次元画像のうちの一方または両方を処理することから受信されるオブジェクト情報に基づいて制御される。

さらに、車両における機能を制御する方法が提供される。該方法は、一連の２次元および３次元画像の感知、一連の画像のうちの１つにおいてオブジェクトを見つけかつ追跡すること、および一連の画像の両方を処理してオブジェクト情報を取り出すことを包含する。一連の画像において追跡されるオブジェクトは、他の一連の画像を処理することから取り出されたオブジェクト情報に従って調節され得る。例えば、追跡されるオブジェクトが、追加または除去され得る。取り出されたオブジェクト情報に基づいて、車両の機能は、制御される。一実施形態によると、機能の制御は、乗客および／または歩行者保護装置の配備を含み、さらに別の実施形態によると、機能の制御は、車両の加速または減速の制御を含む。

本発明の他の目的、特徴、および利点が、添付の図面を参照する次の記述の途上で明らかとなる。詳細な説明および図面は、制限するものではなくむしろ本発明の単なる例示であり、本発明の範囲は添付の特許請求の範囲およびその均等物によって定義される。

本発明は、さらに以下の手段を提供する。

（項目１）
車両の周囲を画像化する方法であって、該方法は、
周囲の一連の２次元画像を取るステップと、
周囲の一連の３次元画像を取るステップであって、該画像は立体情報を備えている、ステップと、
一連の画像のうちの１つにおける関心領域において少なくとも１つのオブジェクトを決定し、該関心領域において該オブジェクトを追跡するステップと、
他の一連の画像からオブジェクト情報を取り出すために、該一連の画像のうちの他のものを処理するステップと、
他の一連の画像を処理することから受信されるオブジェクト情報に従って、該一連の画像において追跡されるオブジェクトを調節するステップと
を包含する、方法。

（項目２）
上記２次元画像および上記３次元画像は、処理されて、該画像の所定の観察領域においてオブジェクトをローカライズし、該オブジェクトの距離は車両に対して変化する、項目１に記載の方法。

（項目３）
上記車両に対する位置および速度は、ローカライズされたオブジェクトに対して決定される、項目１に記載の方法。

（項目４）
上記関心領域は、上記オブジェクトの動きが追跡される上記一連の２次元画像において決定される、項目１に記載の方法。

（項目５）
上記車両に対する上記オブジェクトの距離は、上記３次元画像で決定される、項目１に記載の方法。

（項目６）
上記３次元画像は、上記車両に対する距離の変化が所定の値よりも大きいオブジェクトを感知するために処理される、項目１に記載の方法。

（項目７）
３次元画像から取り出された感知されたオブジェクトの位置情報およびサイズ情報は、２次元画像ユニットへ送信され、該２次元画像において追跡される該オブジェクトは、該３次元画像から受信された情報に適合される、項目６に記載の方法。

（項目８）
上記オブジェクトが、上記３次元画像において感知される追加的な関心領域が、上記２次元画像において加えられる、項目６に記載の方法。

（項目９）
オブジェクトは、上記車両に対する該オブジェクトの位置および速度と共に、上記３次元画像において識別かつ追跡される、項目１に記載の方法。

（項目１０）
オブジェクトは、２次元画像において、それらの位置で識別され、該位置に対し、上記車両に対する距離の変化は、所定の距離変化よりも大きいと考えられる、項目９に記載の方法。

（項目１１）
上記オブジェクトの位置を、３次元画像ユニットへ送信するステップと、
上記オブジェクトの上記車両との相対的な距離の決定を要求するステップであって、該オブジェクトの位置は送信された、ステップと、
該オブジェクトの相対距離を決定するステップであって、該オブジェクトの位置は、上記２次元画像で決定された、ステップと、
上記３次元画像においても、該オブジェクトを追跡するステップと
をさらに包含する、項目１０に記載の方法。

（項目１２）
上記２次元画像は、５０ｆｒａｍｅｓ／ｓと１００ｆｒａｍｅｓ／ｓとの間のフレームレートで取られ、上記３次元画像は、１０ｆｒａｍｅｓ／ｓと１００ｆｒａｍｅｓ／ｓとの間のフレームレートで取られる、項目１に記載の方法。

（項目１３）
上記画像におけるオブジェクトは、画像データに適用される異なるフィルタアルゴリズムを使用することによって感知される、項目１に記載の方法。

（項目１４）
上記２次元画像に対して、第１のフレームレートが、追跡されるオブジェクトを有する関心領域の画像獲得のために使用され、第２のフレームレートは、２次元画像全体の画像獲得のために使用される、項目１に記載の方法。

（項目１５）
上記第２のフレームレートは、上記第１のフレームレートよりも１０〜５０倍小さい、項目１４に記載の方法。

（項目１６）
オブジェクトが追跡されるとき、記録された画像における位置ベクトルおよび一連の画像を考慮する速度ベクトルは、追跡されるオブジェクトに対して決定される、項目１に記載の方法。

（項目１７）
一連の画像のうちの１つにおいて、オブジェクトが所定の相対速度で車両に近づくと決定されるとき、警告信号が生成される、項目１に記載の方法。

（項目１８）
上記警告信号は、上記車両の自動速度制御ユニットに送信される、項目１７に記載の方法。

（項目１９）
オブジェクトが、所定の距離よりも上記車両に近いとき、ドライバはその事実を知らされる、項目１７に記載の方法。

（項目２０）
上記一連の画像は、上記車両の運転方向を考慮に入れて処理される、項目１に記載の方法。

（項目２１）
車両の周囲を画像化するシステムであって、該システムは、
車両の周囲の一連の２次元画像を生成する２次元画像センサと、
車両の周囲の、立体情報を有する３次元画像を生成する３次元画像センサと、
該画像において追跡されるオブジェクトを感知するために、２次元画像と３次元画像とのうちの一方を処理する画像処理ユニットであって、該画像処理ユニットはまた、該２次元画像と３次元画像とのうちの他方におけるオブジェクト情報を取り出すために該２次元画像と３次元画像とのうちの他方を処理し、該処理ユニットは、他方の画像を処理することから受信されたオブジェクト情報に従って、該２次元画像と３次元画像とのうちの一方において追跡されるオブジェクトを調節する、画像処理ユニットと
を備える、システム。

（項目２２）
上記２次元画像センサは、ＣＭＯＳまたはＣＣＤ画像センサであり、上記３次元画像センサは、ＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）画像センサである、項目２１に記載のシステム。

（項目２３）
２次元画像化ユニットをさらに備え、該２次元画像化ユニットは、２次元画像センサを備え、２次元センサ制御ユニットを備える、項目２１に記載のシステム。

（項目２４）
３次元画像化ユニットをさらに備え、該３次元画像化ユニットは、３次元画像センサを備え、３次元センサ制御ユニットを備える、項目２１に記載のシステム。

（項目２５）
車両のための自動速度制御システムであって、該システムは、車両のエンジンを制御する自動速度制御ユニットを備え、
車両の周囲の一連の２次元画像を生成する２次元画像センサと、
車両の周囲の、立体情報を有する３次元画像を生成する３次元画像センサと、
該画像において追跡されるオブジェクトを感知するために、２次元画像と３次元画像とのうちの一方を処理する画像処理ユニットであって、該画像処理ユニットはまた、該２次元画像と３次元画像とのうちの他方におけるオブジェクト情報を取り出すために該２次元画像と３次元画像とのうちの他方を処理し、該処理ユニットは、他方の画像を処理することから受信されたオブジェクト情報に従って、該２次元画像と３次元画像とのうちの一方において追跡されるオブジェクトを調節する、画像処理ユニットと
をさらに備える、システム。

（項目２６）
上記２次元画像センサは、ＣＭＯＳまたはＣＣＤ画像センサであり、上記３次元画像センサは、３次元カメラまたはＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）画像センサである、項目２５に記載のシステム。

（項目２７）
車両の周囲を画像化するシステムであって、該システムは、
車両の周囲の一連の２次元画像を感知する手段と、
車両の周囲の、立体情報を含む一連の３次元画像を感知する手段と、
一連の２次元画像および３次元画像のうちの一方において追跡されるオブジェクトを見つけるための手段と、
該一連の２次元画像および３次元画像のうちの一方において該オブジェクトを追跡する手段と、
追跡されるオブジェクトについての情報を取り出すために、一連の２次元画像および３次元画像のうちの他方を処理する手段と、
一連の２次元画像および３次元画像のうちの他方を処理することから得られた情報に従って、該一連の２次元画像および３次元画像のうちの一方において追跡されるオブジェクトを調節する手段と
を備えている、システム。

（項目２８）
一連の３次元画像を感知する手段は、一連の３次元画像を感知する手段によって感知される発された光信号の飛翔時間を決定する手段を備える、項目２７に記載のシステム。

（項目２９）
一連の２次元画像および３次元画像のうちの他方を処理する手段によって引き出されたオブジェクト情報は、オブジェクトタイプについての情報および／またはオブジェクト位置情報および／または追跡されるオブジェクトと車両との間の距離についての情報を備えている、項目２７に記載のシステム。

（項目３０）
上記引き出されたオブジェクト情報に基づいて、上記車両の機能を制御する手段をさらに備えている、項目２９に記載のシステム。

（項目３１）
車両における機能を制御する方法であって、該方法は、
車両の周囲の一連の２次元画像を感知するステップと、
車両の周囲の、立体情報を含む一連の３次元画像を感知するステップと、
追跡されるオブジェクトを見つけるために一連の画像のうちの一方を処理するステップと、
該一連の画像のうちの一方においてオブジェクトを追跡するステップと、
両方の一連の画像を処理してオブジェクト情報を取り出すステップと、
他方の一連の画像を処理することから取り出された該オブジェクト情報に従って該一連の画像のうちの一方において追跡されるオブジェクトを調節するステップと、
該取り出されたオブジェクト情報に基づいて車両の機能を制御するステップと
を包含する、方法。

（項目３２）
上記両方の一連の画像の処理は、
上記一連の２次元画像において追跡される少なくとも１つのオブジェクトを含む少なくとも１つの関心領域を処理して、オブジェクト位置および／またはオブジェクトタイプを含む情報を取り出すことと、
一連の３次元画像を処理して、少なくとも１つの追跡されるオブジェクトについての距離情報を含む情報を取り出すことと
を含む、項目３１に記載の方法。

（項目３３）
上記機能の制御は、上記車両の加速または減速の制御を含む、項目３１に記載の方法。

（項目３４）
上記機能の制御は、乗客および／または歩行者保護装置の配備を含む、項目３１に記載の方法。

（摘要）
本発明は、車両の周囲を画像化する方法に関し、該方法は、
周囲の一連の２次元画像を取るステップと、
周囲の一連の３次元画像を取るステップであって、該画像は立体情報を備えている、ステップと、
一連の画像のうちの１つにおける関心領域において少なくとも１つのオブジェクトを決定し、該関心領域において該オブジェクトを追跡するステップと、
他の一連の画像からオブジェクト情報を取り出すために、該一連の画像のうちの他のものを処理するステップと、
他の一連の画像を処理することから受信されるオブジェクト情報に従って、該一連の画像において追跡されるオブジェクトを調節するステップと
を包含する。

２次元および３次元の一連の画像が、画像の所定の観察領域において、オブジェクトをローカライズするために、処理され得、該画像の所定の観察領域の距離は、車両に対して変化する。車両の周囲を画像化する画像化システムの重要な局面の一つは、別の車両、または道を横断している人、またはその他任意のオブジェクトであり得る車両に近づくオブジェクトの感知である。本発明の一実施形態において、オブジェクトが一連の画像で感知された場合に、画像内のオブジェクトの位置と車両に対するオブジェクトの速度とが決定される。次に、これらのデータは、反応することが必要であるかどうかを決定するために使用され得る。衝突前制御の場合に、感知されたオブジェクトの速度と位置とは、オブジェクトが車両にぶつかるようであるかどうかを決定されなければならない。自動速度制御システムの場合に、感知されたオブジェクトとの接触を避けるために、または前の車両との距離を維持するために、ブレーキを作動させること、あるいは加速または速度を抑えることが必要であるかどうかが決定されなければならない。

二つの異なる画像センサが提供されるときに、以下の基本的なシナリオが考えられる。第１のシナリオにおいて、関心領域は、オブジェクトの移動が追跡される一連の２次元画像で決定される。この場合、２次元画像は、画像の一部分のみを考慮に入れて、処理することによって処理され、該一部分において、感知されたオブジェクトは存在する。計算上の理由で、画像の他の部分に関するデータを読取らないことさえ考えられる。２次元画像が異なるオブジェクトを追跡するために使用されるときに、車両に対するオブジェクトの距離は、３次元画像を使用して決定され得る。３次元画像センサは、通常、画像センサの全画素に対する距離を決定する。従って、３次元画像化ユニットは、車両に近づくオブジェクトに対する全視野を制御し得る。この場合、３次元画像は、車両に対する距離の変化が所定の値よりも大きいオブジェクトを感知するために処理され得る。２次元画像および３次元画像が、同じ視野をカバーするときに、２次元画像の処理は、特定の関心領域に集中され得、該領域において、オブジェクトはすでにローカライズされている。画像の他の部分を処理する必要性はない。一連の３次元画像を取得する３次元画像化ユニットが、追跡されなければならないオブジェクトを感知するときに、３次元画像から引き出された感知されたオブジェクトの位置およびサイズの情報は、２次元画像化ユニットに転送され得、２次元画像で追跡されたオブジェクトは、３次元画像から受信された情報に適応される。一連の画像のうちの一つの不完全な画像が、処理される場合であっても、二つの画像化システムは共に、車両の周囲の監視を可能にする。２次元画像センサにおける画素の数が、約６００ｘ８００であり得ることを考慮に入れ、かつ、約１００ｉｍａｇｅｓ／ｓで処理されることが必要であることを考慮に入れると、異なる関心領域への集中が、計算能力を考慮すると、常に完全な画像を処理するために必要であるということが明らかになる。３次元画像化センサは、通常、画素の解像度がさらに低い。例として、画像化センサは、４８ｘ６４画素の解像度を使用し得る。この解像度は、車両に近づいている新たなオブジェクトの感知をするには充分である。次に、３次元画像化センサによって感知されたオブジェクトを含む情報は、さらなる関心領域が追跡される２次元画像化ユニットに転送される。

２次元の画像は、５０〜１００ｆｒａｍｅｓ／ｓのフレームレートで取得され得、３次元画像もまた、１０〜１００ｆｒａｍｅｓ／ｓのフレームレートで取得され得る。理解されるべきは、２次元および３次元の画像に対するその他任意のフレームレートが、考えられるということである。上記のように、所定の関心領域は、不完全な画像が、処理のために使用され得るように、２次元画像から処理され得る。本発明の別の実施形態に従って、２次元画像、すなわち、２次元画像の関心領域は、第１のフレームレートで記録され、第２のフレームレートが、完全な２次元画像の獲得のために使用され得る。完全な２次元画像の視野が、３次元画像センサによってもまた観察されるときに、第１のフレームレートの１０〜５０分の１である第２のフレームレートを使用することがあり得る。このことは、追跡される関心領域の１００画像が、１秒ごとに取得されるときに、完全な２次元画像が、０．５秒ごとまたは１秒ごとに取得されるということを意味する。上記の数字は、計算能力が非常に低減され得ることを示している。該第１のシナリオにおいて、関心領域が画像化されるたびに、完全な２次元画像を取得する必要はない。２次元画像が関心領域を追跡し、３次元（３Ｄ）センサから距離情報を受信するのみである上記のこの第１のシナリオは、例えば、子供が遊んでいる路上で生じ得る。この環境において、オブジェクトが、画像化センサの視野内に突然に現われ得、３次元センサは、新たに感知されたオブジェクトの距離を決定する。

２次元および３次元の画像を使用する別の基本的なシナリオに従って、オブジェクトは、車両に対するオブジェクトの位置および速度と共に、３次元画像で識別されて、追跡される。３次元画像センサは、所定のオブジェクトを追跡し、相対的距離を決定する。理解されるべきは、３次元画像化センサは、画像の全画素に対する距離を決定し得るが、しかしながら、異なるオブジェクトに集中し、さらに処理するために、これらのオブジェクトの距離を処理ユニットに転送することもあり得るということである。３次元画像センサに関して、オブジェクトの追跡は、距離が、全画素に対して決定されるが、一部のオブジェクトに関して、それらの位置および相対的速度が、さらなる処理のために決定され、使用されるということを意味する。

さらに、所定の関心領域は、２次元画像で観察され得る。２次元画像が処理されるときに、距離の変化は、観察された領域の２次元（２Ｄ）画像におけるオブジェクトのサイズが変化するという事実から理解され得る。例えば、２次元画像で追跡されたオブジェクトが、非常に速く大きくなるときに、車両に対する距離が小さくなっていくということが理解され得る。

２次元画像の処理により、オブジェクトの位置がさらに詳細に決定されなければならないときに、２次元画像で感知されたオブジェクトの位置は、３次元画像ユニットに転送され、車両に対する該オブジェクトの相対的距離が要求され、その距離は、３次元画像を使用して決定される。さらに、この新たに感知されたオブジェクトはまた、次に、一連の３次元画像を使用して追跡され得る。要約すると、この第２のシナリオにおいて、２次元画像の処理は、さらなるオブジェクトを追跡するためのヒントを他の画像化ユニットに与え、上記の第１のシナリオにおいて、３次元画像の処理は、２次元画像でさらなる関心領域を観察するためのヒントを与える。

画像化が、衝突前ユニットまたは自動速度制御ユニットと共に使用される場合、オブジェクトが、車両に対して、所定の相対的速度および相対的距離で車両に接近するということが、一連の画像の一つにおいて決定されたときに、警告音が生成され得る。それから、車両のドライバは、オブジェクトが車両に対する考えられる脅威とみなされるという事実を伝えられ得る。

車両に対して考えられる危険となり得るオブジェクトを決定するために、車両の運転方向が、考慮され得る。これは、車両に対する有力な危険要素とみなされる道路の傍の交通標識に接近するという状況を回避することを助ける。

画像のうちの一つの処理が、他の一連の画像の処理に対してさらなる情報を提供する上記の二つのシナリオは、二つの異なるシナリオとして記述された。しかしながら、両方のシナリオが共に使用されることもあり得る。これは、別の実施形態において、画像処理は、上記のシナリオのうちの一つに処理が限定されるような方法で、制限されないということを意味する。両方のシナリオまたは両方の画像化技術が混在して、同時に使用されることもあり得、このことは、３次元画像化センサが、新たな関心領域が観察されるように、２次元画像処理に対して距離情報を提供し、かつ、２次元画像または２次元画像の処理が、別の領域のオブジェクトが３次元画像で追跡される３次元画像処理にヒントを与えるということを意味する。交通状況に依存し、かつ、どの道路を車両が走っているかに依存して、上記の両方の処理方法は、組合せて使用され得る。

一実施形態において、２次元画像センサは、標準的なＣＭＯＳまたはＣＣＤ画像センサであり、３次元画像センサは、ＰＭＤ画像センサである。しかしながら、画素ベースの立体情報を提供するその他任意の２次元画像センサまたは３次元画像センサが、使用され得る。さらに、３次元画像化ユニットは、３次元画像センサを備え、かつ、３次元センサ制御ユニットを備えて提供され得、該センサ制御ユニットは、画像内のどの領域が、処理されるか、または追跡されるかを決定する。さらに、２次元画像化ユニットは、２次元画像センサおよび２次元センサ制御ユニットを備えて提供され得、該センサ制御ユニットは、２次元画像のどの部分が処理されるかを制御する。

図１において、車両の環境を画像化するシステムを有する車両が、概略的に示されている。車両１０は、２次元画像センサ１１と３次元画像センサ１２とを備えている。２次元画像センサは、２次元センサ制御ユニット１３に接続され、３次元画像センサは、３次元センサ制御ユニット１４に接続される。制御ユニット１３および１４の両方は、２次元および３次元の画像を処理する中央処理ユニット１５に接続される。理解されるべきは、異なる制御ユニット１３および１４と処理ユニット１５とは、単一のユニットに組込まれ得るということである。さらに、異なる処理ユニットが、各画像センサに提供されることがあり得る。示された例において、二つの画像化センサが、フロントガラス１６の後ろに置かれている。しかしながら、二つのセンサをラジエタグリルの後ろに設置することもあり得る。さらに、画像化センサは、車両のフロント部分だけでなく、図１に示されている位置に提供され得る。２次元の画像センサは、ＣＣＤまたはＣＭＯＳカメラであり得、画像データは、最大１００ｆｒａｍｅｓ／ｓのフレームレートで生成される。車両が高速で走っているときに、この高いフレームレートは、新たなオブジェクトを確実に感知するために必要である。２次元画像センサとして、約５０〜１００ｆｒａｍｅｓ／ｓのフレームレートで２次元画像でータを提供する任意の画像センサが、使用され得る。３次元画像センサは、ＰＭＤ画像センサであり得る。ＰＭＤ画像センサにおいて、光が発せられ、オブジェクトから反射した光が、センサによって感知される。本発明の一実施形態に従って、二つの異なる画像センサが、同じ視野が、両方の画像センサによってカバーされることを確実にするために、互いに近接して設置される。しかしながら、車両内の一つの位置に一つの画像センサを置き、車両の別の位置に他の画像センサを置くこともあり得る。例えば、一つの画像センサが、フロントガラスの後ろに提供され得、他のセンサが、車両のフロント部分のラジエタグリルに提供され得る。しかしながら、本発明は、画像センサの上記の二つの位置に制限されない。車両の前の視野が維持され得る車両内のどこにでも、画像センサを配置することがあり得る。

図２において、画像化方法の考えられる一例が、さらに詳細に示されている。図２ａ〜図２ｃにおいて、２次元センサと３次元センサとによって取得された画像の例示的な実施形態が示されている。図２において、画像２１は、ＰＭＤセンサのような３次元画像化センサによって取得された画像を示す。図２Ａにおいて示されている斜線の領域２２は、３次元センサが全視野を観察し、完全な画像が、考えられるオブジェクトを感知するために処理されるということを示す。画像２５は、ＣＣＤまたはＣＭＯＳカメラのような２次元画像センサによって取得された画像を示す。図２ａにおいて示されている実施形態において、二つの異なる関心領域２６および２７が観察される。これは、画像２５において、関心領域２６および２７のデータのみが、処理されるということを意味する。画像２８の他の部分は、読取られず、さらに処理されない。関心領域の観察は、画像の処理を非常に低減させる。一例において、２次元画像が、１００分の１秒ごとに取得されている。ほとんどの場合に、関心領域の信号のみが、該画像領域に含まれるオブジェクト（示されていない）を追跡するために処理される。

画像内のオブジェクトは、画像データに適用される異なるフィルタアルゴリズムを使用することによって感知され得る。例えば、エッジディテクタフィルタが、画像内のオブジェクトを感知するために使用され得るか、またはカラー画像の場合に、カラーフィルタが使用され得る。当該分野において、様々な異なるフィルタアルゴリズムが、オブジェクト感知に関して公知である。通常、これらのフィルタの一部は、画像に適用され、異なるフィルタが、画像内に示された異なるオブジェクトを感知することを助ける。関心領域が、１００ｆｒａｍｅｓ／ｓのようなフレームレートで更新されるときに、完全な画像２５は、第１のフレームレートの約２０〜５０分の１であるフレームレートで取得され得る。これは、全画像を処理して新たなオブジェクトを捜すために、時には、完全な画像が取得されて、処理されるということを意味する。関心領域が第１のフレームレートで感知され、全画像が第２のフレームレートで取得され、画像処理ユニットが他に存在しない場合に、システムは、車両アプリケーションに対して充分速い新たなオブジェクトを感知することができない。しかしながら、本発明において、図２において示されている他の画像センサの場合に、２次元画像センサと同じ視野を感知している３次元画像センサが、提供される。従って、２次元画像における関心領域の処理よりもかなり低いフレームレートで、完全な２次元画像を処理することがあり得る。

図２ｂにおいて示されるように、３次元画像センサが、図２ｂにおいて示される矢印によって示される新たなオブジェクト２３を認識するということが起こり得る。このオブジェクト２３は、車両に対する相対的距離が変化するという事実によって感知され得る。次に、３次元センサ制御ユニットは、２次元センサ制御ユニットに、別のオブジェクトが、画像の特定の位置における特定の距離で感知されたということを伝える。次に、２次元センサ制御ユニットは、２次元画像２５において、図２ｃにおいて見ることができるような３次元センサによって感知されたオブジェクト２３を追跡するために、新たな関心領域２８が生成されるような方法で、反応し得る。次に、２次元画像の処理は、関心領域２６および２７に加え、新たな関心領域が、観察され、該エリアにおけるオブジェクトが追跡されるような方法で適応される。図２ａ〜図２ｃから見られるように、処理および計算能力上の理由で、画像のうちの一つにおいて、不完全な画像が観察され、処理されるときでさえも、そのような画像化システムは、視野内の新たなオブジェクトを確実に感知し得る。通常、２次元画像センサの解像度はもっと高く、もっと多くの数の画素を意味している。図２ａ〜図２ｃにおいて示される実施形態は、制限された関心領域の画像処理を可能にし、計算能力を非常に低減させる。完全な２次元画像２５は、もっと低いフレームレートでサンプリングされ得る。

図３において、本発明の別の実施形態が、さらに詳細に示されている。図３において示されている実施形態において、左側の図は、３次元画像センサの図、３１をやはり示している。図３ａにおいて示されているように、二つの異なるオブジェクト、すなわち、第１のオブジェクト３２および第２のオブジェクト３３は、３次元画像で観察される。この観察は、距離の値と位置および速度のベクトルとは、図に示されているオブジェクトの該領域に関して感知されるだけでなく、これらの値はまた、どのように受信された情報に反応するかを決定する制御システム（示されていない）に転送されるということを意味する。右側の図は、２次元画像をやはり示している。図３ａにおいて示されている実施形態において、関心領域３６が、２次元画像でさらに詳細に観察されている。この関心領域において、オブジェクト３７が感知された。図３ｂにおいて示されているように、領域３６におけるこのオブジェクト３７は、急速に大きくなる。この大きいサイズのオブジェクト３７は、オブジェクト３７が、急速に車両に接近しているということを想定させ得る。しかしながら、２次元画像でオブジェクト３７の正確な距離を決定することは困難である。従って、オブジェクト３７の位置は、３次元画像センサに転送され、該３次元画像センサは、車両に対するオブジェクトの距離を出力する。ここで、３次元画像センサは、別のオブジェクト３４を使用して、該オブジェクトを追跡し、相対的距離および速度を決定する。次に、３次元センサは、車両と該オブジェクト３４の衝突が、近いうちに発生するかどうかを確実に決定し得る。

図３において示される実施形態において、３次元センサは、新たなオブジェクト３４を他のオブジェクト３２および３３に加える。

図３において示される実施形態において、２次元画像の処理は、３次元センサにさらなる情報を提供し、該３次元センサは、この新たなオブジェクトを観察リストに組込む。

図２および図３の二つにおいて、二つの異なるシナリオが、異なる例として示されている。しかしながら、図２および図３において示されている二つのシナリオは、オブジェクトが車両にとって危険であるとみなされた場合に、各画像センサが、他の画像センサに情報を提供するように、組合されるということもあり得る。

処理ユニット１５は画像を処理し、衝突が予測される場合に、警告信号が、制御ユニットに転送され得、このことは、図１において示されている矢印によって示されている。二つの異なる画像センサを組合わせて使用することは、以下の利点がある。処理能力が節約される必要があるときに、２次元画像が、より低いフレームレートで処理され得る。時には、やはり全画像が、関心領域を定義することの利点を低減させて、計算される必要がある。次に、３次元 ＰＭＤセンサのような他の画像センサは、現在の観察エリアにおける新たなオブジェクトに関する情報を送信し得る。従って、２次元画像センサにおいて全画像を計算する頻度は、非常に低減され得る。

２次元画像センサによって感知された疑わしいオブジェクトの場合には逆に、システムは、このオブジェクトの距離を常に報告することを３次元画像センサに求め得る。

計算能力が余り必要でないと、計算能力は、異なるフィルタを画像に適用することによって、画像内のオブジェクトを確実に感知するために使用され得る。いったん、オブジェクトが感知されると、該オブジェクトの追跡は、容易であり、かつ、単純である。しかしながら、新たなオブジェクトの感知は、困難なタスクであり、多くの計算能力を必要とする。

本発明を用いて、計算能力が節約され得るという事実のために、もっと多くの計算能力が、オブジェクトの感知のために使用され得る。従って、感知の速度が高められ得る。

本明細書において開示された本発明の実施形態は、ここでは、好適であるとみなされているが、様々な変更および改変が、本発明の意図および範囲を逸脱することなく行われ得る。本発明の範囲は、添付の特許請求の範囲において示され、均等物の意味および範囲内である全ての変更は、そこに包含されることを意図されている。従属請求項の内容は、本発明の範囲内にある新たな均等物を形成するために組合され得る。

図１は、２つの異なる画像センサを使用して、車両に備えられている画像ユニットの該略図を示す。 図２ａ〜図２ｃは、３次元画像の処理が、２次元画像のどの部分が処理されるべきかについて、２次元画像処理へ情報を提供するシナリオに対する画像処理における異なるステップを示す。 図３ａ〜図３ｃは、２次元画像の処理が、３次元画像処理へオブジェクト情報を提供するシナリオにおいて処理された画像の例を示す。

符号の説明

１０ 車両
１１ ２次元画像センサ
１２ ３次元画像センサ
１３ ２次元センサ制御ユニット
１４ ３次元センサ制御ユニット
１５ 処理ユニット
１６ フロントガラス
２１ 画像
２２ 領域
２３ オブジェクト
２５ 画像
２６、２７、２８ 関心領域

Claims (32)

1. 車両の周囲を画像化する方法であって、該方法は、
   周囲の一連の２次元画像を取るステップと、
   周囲の一連の３次元画像を取るステップであって、該画像は立体情報を備えている、ステップと、
   一連の画像のうちの１つにおける関心領域において少なくとも１つのオブジェクトを決定し、該関心領域において該オブジェクトを追跡するステップであって、
   オブジェクトは、該車両に対する該オブジェクトの位置および速度と共に、該３次元画像において識別かつ追跡され、
   該車両に対する距離の変化が所定の距離の変化よりも大きいと考えられるオブジェクトは、該２次元画像において、それらの位置を用いて識別される、ステップと、
   他の一連の画像からオブジェクト情報を取り出すために、該一連の画像のうちの他のものを処理するステップと、
   他の一連の画像を処理することから受信されるオブジェクト情報に従って、該一連の画像において追跡されるオブジェクトを調節するステップと
   を包含する、方法。
2. 前記２次元画像および前記３次元画像は、処理されて、該画像の所定の観察領域においてオブジェクトをローカライズし、該オブジェクトの距離は車両に対して変化する、請求項１に記載の方法。
3. 前記車両に対する位置および速度は、ローカライズされたオブジェクトに対して決定される、請求項１に記載の方法。
4. 前記関心領域は、前記オブジェクトの動きが追跡される前記一連の２次元画像において決定される、請求項１に記載の方法。
5. 前記車両に対する前記オブジェクトの距離は、前記３次元画像で決定される、請求項１に記載の方法。
6. 前記３次元画像は、前記車両に対する距離の変化が所定の値よりも大きいオブジェクトを感知するために処理される、請求項１に記載の方法。
7. ３次元画像から取り出された感知されたオブジェクトの位置情報およびサイズ情報は、２次元画像ユニットへ送信され、該２次元画像において追跡される該オブジェクトは、該３次元画像から受信された情報に適合される、請求項６に記載の方法。
8. 前記オブジェクトが、前記３次元画像において感知される追加的な関心領域が、前記２次元画像において加えられる、請求項６に記載の方法。
9. 前記オブジェクトの位置を３次元画像ユニットへ送信するステップと、
   前記オブジェクトの前記車両との相対的な距離の決定を要求するステップであって、該オブジェクトの位置は送信された、ステップと、
   該オブジェクトの相対距離を決定するステップであって、該オブジェクトの位置は、前記２次元画像で決定された、ステップと、
   前記３次元画像においても、該オブジェクトを追跡するステップと
   をさらに包含する、請求項１に記載の方法。
10. 前記２次元画像は、５０ｆｒａｍｅｓ／ｓと１００ｆｒａｍｅｓ／ｓとの間のフレームレートで取られ、前記３次元画像は、１０ｆｒａｍｅｓ／ｓと１００ｆｒａｍｅｓ／ｓとの間のフレームレートで取られる、請求項１に記載の方法。
11. 前記画像におけるオブジェクトは、画像データに適用される異なるフィルタアルゴリズムを使用することによって感知される、請求項１に記載の方法。
12. 前記２次元画像に対して、第１のフレームレートが、追跡されるオブジェクトを有する関心領域の画像獲得のために使用され、第２のフレームレートは、２次元画像全体の画像獲得のために使用される、請求項１に記載の方法。
13. 前記第２のフレームレートは、前記第１のフレームレートよりも１０〜５０倍小さい、請求項１２に記載の方法。
14. オブジェクトが追跡されるとき、記録された画像における位置ベクトルおよび一連の画像を考慮する速度ベクトルは、追跡されるオブジェクトに対して決定される、請求項１に記載の方法。
15. 一連の画像のうちの１つにおいて、オブジェクトが所定の相対速度で車両に近づくと決定されるとき、警告信号が生成される、請求項１に記載の方法。
16. 前記警告信号は、前記車両の自動速度制御ユニットに送信される、請求項１５に記載の方法。
17. オブジェクトが、所定の距離よりも前記車両に近いとき、ドライバはその事実を知らされる、請求項１５に記載の方法。
18. 前記一連の画像は、前記車両の運転方向を考慮に入れて処理される、請求項１に記載の方法。
19. 車両の周囲を画像化するシステムであって、該システムは、
    車両の周囲の一連の２次元画像を生成する２次元画像センサと、
    車両の周囲の、立体情報を有する３次元画像を生成する３次元画像センサと、
    該画像において追跡されるオブジェクトを感知するために、２次元画像と３次元画像とのうちの一方を処理する画像処理ユニットであって、
    該画像処理ユニットはまた、該２次元画像と３次元画像とのうちの他方におけるオブジェクト情報を取り出すために該２次元画像と３次元画像とのうちの他方を処理し、
    オブジェクトは、該車両に対する該オブジェクトの位置および速度と共に、該３次元画像において識別かつ追跡され、
    該車両に対する距離の変化が所定の距離の変化よりも大きいと考えられるオブジェクトは、該２次元画像において、それらの位置で識別され、
    該処理ユニットは、他方の画像を処理することから受信されたオブジェクト情報に従って、該２次元画像と３次元画像とのうちの一方において追跡されるオブジェクトを調節する、画像処理ユニットと
    を備える、システム。
20. 前記２次元画像センサは、ＣＭＯＳまたはＣＣＤ画像センサであり、前記３次元画像センサは、ＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）画像センサである、請求項１９に記載のシステム。
21. ２次元画像化ユニットをさらに備え、該２次元画像化ユニットは、２次元画像センサを備え、２次元センサ制御ユニットを備える、請求項１９に記載のシステム。
22. ３次元画像化ユニットをさらに備え、該３次元画像化ユニットは、３次元画像センサを備え、３次元センサ制御ユニットを備える、請求項１９に記載のシステム。
23. 車両のための自動速度制御システムであって、該システムは、車両のエンジンを制御する自動速度制御ユニットを備え、
    車両の周囲の一連の２次元画像を生成する２次元画像センサと、
    車両の周囲の、立体情報を有する３次元画像を生成する３次元画像センサと、
    該画像において追跡されるオブジェクトを感知するために、２次元画像と３次元画像とのうちの一方を処理する画像処理ユニットであって、該画像処理ユニットはまた、オブジェクト情報を取り出すために該２次元画像と３次元画像とのうちの他方を処理し、
    オブジェクトは、該車両に対する該オブジェクトの位置および速度と共に、該３次元画像において識別かつ追跡され、
    該車両に対する距離の変化が所定の距離の変化よりも大きいと考えられるオブジェクトは、該２次元画像において、それらの位置を用いて識別され、
    該処理ユニットは、他方の画像を処理することから受信されたオブジェクト情報に従って、該２次元画像と３次元画像とのうちの一方において追跡されるオブジェクトを調節する、画像処理ユニットと
    をさらに備える、システム。
24. 前記２次元画像センサは、ＣＭＯＳまたはＣＣＤ画像センサであり、前記３次元画像センサは、３次元カメラまたはＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）画像センサである、請求項２３に記載のシステム。
25. 車両の周囲を画像化するシステムであって、該システムは、
    車両の周囲の一連の２次元画像を感知する手段と、
    車両の周囲の、立体情報を含む一連の３次元画像を感知する手段と、
    一連の２次元画像および３次元画像のうちの一方において追跡されるオブジェクトを見つける手段と、
    該一連の２次元画像および３次元画像のうちの一方において該オブジェクトを追跡する手段と、
    追跡されるオブジェクトについての情報を取り出すために、一連の２次元画像および３次元画像のうちの他方を処理する手段であって、
    該見つける手段および該追跡する手段は、それぞれ、該車両に対する該オブジェクトのそれぞれの位置および速度と共に、該３次元画像においてオブジェクトを識別かつ追跡するように構成されており、
    該見つける手段および該追跡する手段は、該車両に対する距離の変化が所定の距離の変化よりも大きいと考えられるオブジェクトを該２次元画像においてそれらの位置を用いて識別するようにさらに構成されている、手段と、
    一連の２次元画像および３次元画像のうちの他方を処理することから得られた情報に従って、該一連の２次元画像および３次元画像のうちの一方において追跡されるオブジェクトを調節する手段と
    を備えている、システム。
26. 一連の３次元画像を感知する手段は、一連の３次元画像を感知する手段によって感知される発された光信号の飛翔時間を決定する手段を備える、請求項２５に記載のシステム。
27. 一連の２次元画像および３次元画像のうちの他方を処理する手段によって引き出されたオブジェクト情報は、オブジェクトタイプについての情報および／またはオブジェクト位置情報および／または追跡されるオブジェクトと車両との間の距離についての情報を備えている、請求項２５に記載のシステム。
28. 前記引き出されたオブジェクト情報に基づいて、前記車両の機能を制御する手段をさらに備えている、請求項２７に記載のシステム。
29. 車両における機能を制御する方法であって、該方法は、
    車両の周囲の一連の２次元画像を感知するステップと、
    車両の周囲の、立体情報を含む一連の３次元画像を感知するステップと、
    追跡されるオブジェクトを見つけるために一連の画像のうちの一方を処理するステップと、
    該一連の画像のうちの一方においてオブジェクトを追跡するステップと、
    両方の一連の画像を処理してオブジェクト情報を取り出すステップであって、
    オブジェクトは、該車両に対する該オブジェクトの位置および速度と共に、該３次元画像において識別かつ追跡され、
    該車両に対する距離の変化が所定の距離の変化よりも大きいと考えられるオブジェクトは、該２次元画像において、それらの位置を用いて識別される、ステップと、
    他方の一連の画像を処理することから取り出された該オブジェクト情報に従って該一連の画像のうちの一方において追跡されるオブジェクトを調節するステップと、
    該取り出されたオブジェクト情報に基づいて車両の機能を制御するステップと
    を包含する、方法。
30. 前記両方の一連の画像の処理は、
    前記一連の２次元画像において追跡される少なくとも１つのオブジェクトを含む少なくとも１つの関心領域を処理して、オブジェクト位置および／またはオブジェクトタイプを含む情報を取り出すことと、
    一連の３次元画像を処理して、少なくとも１つの追跡されるオブジェクトについての距離情報を含む情報を取り出すことと
    を含む、請求項２９に記載の方法。
31. 前記機能の制御は、前記車両の加速または減速の制御を含む、請求項２９に記載の方法。
32. 前記機能の制御は、乗客および／または歩行者保護装置の配備を含む、請求項２９に記載の方法。

Images