JP5841049B2 - 自動車用ビジョンシステムおよびビジョンメソッド - Google Patents

Description

本発明は、自動車用ビジョンシステムに関し、同システムは、自動車周辺領域からの画像を検出するように構成された少なくとも１つの撮像装置と、この撮像装置により提供された画像データを処理する電子処理手段とを備える。この撮像装置は、画像センサを備える。さらに本発明は、上記システムに相当するビジョンメソッドに関する。

このようなシステムは広く知られていて、例えば米国特許第７１５８６６４号を参照されたい。自動車の処理資源およびメモリ資源は制限されていることから、検出効率とコストとの間で妥協点を見つける必要がある。

本発明は、信頼性がありコスト効率の高い自動車用ビジョンシステムを提供することを目的とする。

本発明は、独立請求項の特徴によって、この目的を解決する。本発明によれば、撮像装置の画像センサ内という早期に、画像領域全域からウィンドウを切り出す。そして、切り出したウィンドウのみを電子（前）処理手段に送信し、他の画像処理およびデータ処理に用いる。したがって、転送、処理および記憶する必要があるデータ量が、信号生成の開始時点で既に減少する。

本文中、画像センサとは、検出された放射線を電気信号に変換する電子装置を意味する。画像センサ内という早い段階でウィンドウを実行することによって、本発明は、画像センサの後に実行される画像処理手順での、周知の画像ウィンドウ使用方法とは区別される。画像センサは、赤外線センサまたはＣＭＯＳ装置であることが好ましい。

ウィンドウ・パラメータは、撮像装置の相対的な方向に応じて個別に設定することが好ましい。相対的な方向とは、すなわち、車両または他の撮像装置に対する撮像装置の方向である。この特徴によって、本発明は、撮像装置の方向に関係なくセンサ領域全体に配置された固定ウィンドウを切り出すものとは区別される。

撮像装置の相対的な方向に応じてウィンドウ・パラメータを個別に設定することは、ステレオ・ビジョンシステムに本発明を好適に適用する際、特に有益である。ステレオ・ビジョンシステムは、通常、各々画像センサを備える赤外線カメラまたはＣＭＯＳカメラなどの２つの撮像装置を含む。本発明では、ウィンドウ・パラメータは、好ましくは、各画像センサとは独立して設定することが好ましい。対応する撮像装置の方向に応じて個々の画像ウィンドウを切り出すことは、ステレオ画像を互いに対して位置合わせする第一段階とみなしてよい。このようにして、下記の電子（前）処理手段でのステレオ画像の位置合わせおよびマッチング処理を、より速く、またより少ないメモリ消費量で実行することが可能である。

撮像装置のウィンドウ・パラメータは、電子処理手段によって設定し、追加のパラメータ設定手段を不要な状態にすることが好ましい。

ビジョンシステムは、ウィンドウ・パラメータを記憶する記憶手段を備えることが好ましい。これにより、例えば自動車製造業者またはサービスステーションによる測定手順で、ウィンドウ・パラメータを予め設定し、それらを記憶手段に事前に記憶することが可能になる。あるいは、撮像手段からの画像データの分析に基づいて、走行中にウィンドウ・パラメータを決定することも可能である。

以下、本発明は、添付された図面を参照して好ましい実施形態に基づいて説明される。

自動車用ビジョンシステムの概略図である。 ステレオ・ビジョンシステムにより検出されたステレオ画像の一例を示す図である。

発明の詳細な説明

ビジョンシステム１０は、自動車に搭載されていて、撮像手段１１を備える。撮像手段１１は、自動車周辺領域、例えば自動車の前方領域の画像を検出する。撮像手段１１は、赤外線装置であることが好ましく、１またはそれ以上の光学および／または赤外線カメラ１２ａ、１２ｂを備える。赤外線は、５ミクロン以下の波長を有する近赤外線、および／または、５ミクロンを越える波長を有する遠赤外線をカバーすることがより好ましい。撮像手段１１は、ステレオ撮像手段１１を形成する２つのカメラ１２ａ、１２ｂを備えることが好ましい。あるいは、撮像手段１１は、モノラル撮像手段を形成する１つのカメラだけを用いてもよい。

各カメラ１２ａ、１２ｂは、光学装置２０ａ、２０ｂと二次元の画像センサ２１ａ、２１ｂとを備える。特に、赤外線センサまたは光学センサは、カメラ１２ａ、１２ｂを介して送信された入射した赤外線または可視光線を、検出された場面の画像情報を含む電気信号に変換するために提供される。

カメラ１２ａ、１２ｂは、画像前処理装置１３に結合されている。画像前処理装置１３は、カメラ１２ａ、１２ｂによる画像キャプチャを制御するように構成されていて、画像センサ２１ａ、２１ｂからの画像情報を含む電気信号を受信し、左／右ペアの画像のアライメントをずらし、視差画像を作成する。これは、本技術分野で実質的に周知である。画像前処理装置１３は、専用のハードウェア回路により実現してよい。あるいは、前処理装置１３またはその機能部分は、電子処理手段１４で実現してもよい。

前処理された画像データは、つぎに、電子処理手段１４に提供し、対応するソフトウェアによりさらなる画像およびデータ処理を実行する。特に、処理手段１４での画像およびデータ処理は、以下の機能を備える。自動車の前方に出現することが予想される、他の自動車、歩行者、自転車走行者、もしくは大きな動物などの物体を識別および分類する機能。検出した画像で識別した対象物体の位置をある期間にわたって追跡する機能。物体検出および追跡処理の結果に応じて、車両安全手段１７、１８、１９．．．を作動または制御する機能。

車両安全手段１７、１８、１９．．．は、警告手段１７を備えてよい。警告手段１７は、適切な視覚的、聴覚的および／または触覚的な警告信号により、運転者に衝突の警告を提供するように構成されている。また、車両安全手段は、識別された物体と関連する情報を表示する表示手段１８、乗員用エアバッグもしくは安全ベルトテンショナ、歩行者用エアバッグ、フードリフターなどの１つまたはそれ以上の拘束システム１９、さらに／あるいは、ブレーキなどの動的な操縦系統を備えてよい。

電子処理手段１４は、好都合に、記憶手段１５へのアクセス権を有する。

電子処理手段１４は、好ましくは、プログラム化され、またはプログラム可能であり、マイクロプロセッサまたはマイクロコントローラを備えてよい。画像前処理装置１３、電子処理手段１４および記憶手段１５は、好ましくは、オンボードの電子制御ユニット（ＥＣＵ）１６によって実現し、また、好ましくは分離ケーブルまたは車両のデータバスを介して、カメラ１２ａ、１２ｂに接続するとよい。他の実施形態では、ＥＣＵおよびカメラ１２ａ、１２ｂは、単一ユニットに統合することが可能である。撮像、画像前処理、安全手段１７，１８，１９．．．を起動または制御する画像処理が提供しているすべての工程は、走行中にリアルタイムで自動的および継続的に実行される。

各画像センサ２１ａ、２１ｂは、ウィンドウ入力部２２ａ、２２ｂを備える。ウィンドウ入力部２２ａ、２２ｂは、各画像センサ２１ａ、２１ｂに対する個々のウィンドウ・パラメータを指定する。ウィンドウ・パラメータは、記憶手段１５に記憶され、図１に例示するように、処理手段１４によって画像センサ２１ａ、２１ｂに送信することが好ましい。ただし、ウィンドウ・パラメータは、前処理装置１３または電子制御ユニット１６内の他の適した装置によって、画像センサ２１ａ，２１ｂに送信してもよい。

画像領域全域から個々のウィンドウ画像部分を切り出す工程については、図２に示す典型的な画像３０ａ、３０ｂを用いて説明する。画像３０ａがカメラ１２ａにより検出されたと仮定する。画像領域３０ａは、画像センサ２１ａの、感知領域全域またはセンサアレイ全体に対応する。同様に、画像３０ｂがカメラ１２ｂにより検出されたと仮定する。画像領域３０ｂは、画像センサ２１ｂの、感知領域全域またはセンサアレイ全体に対応する。

図２の例では、カメラ１２ａおよび１２ｂは、僅かにずれている。特に、左のカメラ１２ａは、中心が右下に僅かにずれた方向に向けられていて、画像３０ａのコンテンツ、例えば歩行者画像３１ａが、僅かに左上に移動している。また、右のカメラ１２ｂは、中心が左上に僅かにずれた方向に向けられていて、画像３０ｂのコンテンツ、例えば歩行者画像３１ｂが、僅かに右下に移動している。

仮に、画像領域３０ａ、３０ｂ全域が前処理装置１３に送信された場合、同等の画像コンテンツは、ステレオ画像３０ａ、３０ｂ内の異なる位置に表示される。例えば、歩行者３１の上部は、右の画像３０ｂよりも左の画像３０ａの方で先に、数行および数列表示される。このことにより、前処理装置１３での画像３０ａ、３０ｂのステレオマッチングのための待ち時間およびメモリ消費量が拡大する。例えば、仮に、ステレオマッチングが前処理装置１３により行毎に実行される場合、左の画像３０ａ内の歩行者３１ａの上部を含む行のマッチングは、この行が相当な時間の経過後に右の画像３０ｂ内に表示されるまで開始できず、中間のすべての行は、メモリにバッファしなければならない。

本発明によれば、より小さいウィンドウ画像部分３２ａ、３２ｂを、画像領域３０ａ、３０ｂ全域から個別に切り出す。この切り出しは、ウィンドウ画像部分３２ａ、３２ｂの画像コンテンツを綿密にマッチングし、カメラ１２ａ、１２ｂのあらゆるミスアライメントを補正する方法で行う。データ量を減少させたことによる利益を可能な限り早期に得るため、ウィンドウイング工程は、画像センサ２１ａ、２１ｂで早期に実行する。カメラ１２ａ、１２ｂから電子制御ユニット１６に送信してそこに記憶する必要があるのは、減少した画像データ量のみである。

画像センサ２１ａ、２１ｂのウィンドウ入力部２２ａ、２２ｂに適用される個々のウィンドウ・パラメータは、例えば、ウィンドウ領域３２ａ、３２ｂの予め定められた点のｘ，ｙ座標を備えてよい（図２中、左上のウィンドウの隅のｘａ，ｙａおよびｘｂ，ｙｂ座標）。ウィンドウ入力部２２ａ、２２ｂに適用されるウィンドウ・パラメータはまた、ウィンドウの行数および列数などのウィンドウサイズについての情報も備えてよい。あるいは、ウィンドウサイズは、画像センサ２１ａ、２１ｂに予め設定されてもよい。

上述のウィンドウイングにより、同等の画像コンテンツは、ウィンドウ画像３２ａ、３２ｂの中でほぼ等しい垂直の位置に表示される。これにより、前処理装置１３でのウィンドウ画像３２ａ、３２ｂのステレオマッチングのための待ち時間およびメモリ消費量が減少する。例えば、仮に、ステレオマッチングが前処理装置１３で行毎に実行される場合、左の画像ウィンドウ３２ａ内の歩行者３１ａの上部を含む行のマッチングは、大幅な遅延なしに開始可能である。なぜならば、この行は、右の画像ウィンドウ３２ｂ内に、同じ行に表示されるか、または、いずれにしても行のオフセットはかなり小さく表示されるからである。

画像センサ２１ａ，２１ｂに適用されるウィンドウ・パラメータは、例えば自動車製造業者またはサービスステーションによる、車両のカメラ１２ａ、１２ｂのアライメントを決定する測定手順で、予め設定可能であり、また、走行中に使用する記憶手段１５に記憶することが可能である。しかし、例えば画像領域３０ａ、３０ｂの中心から消失点３３ａ、３３ｂのオフセットを決定することにより、走行中に車両のカメラ１２ａ、１２ｂのアライメントを決定することも可能である。また、決定された（ミス）アライメントから、個々のウィンドウ・パラメータを計算することも可能である。

Claims (11)

1. 自動車用ビジョンシステムにおいて、
   自動車周辺領域からの画像を検出するように構成された複数の撮像装置と、
   前記撮像装置により提供された画像データを処理する電子処理手段とを備え、
   前記撮像装置は、画像センサを備え、
   当該ビジョンシステムは、前記画像センサにウィンドウ・パラメータを入力するように構成されていて、前記画像センサの画像領域全域から前記ウィンドウ・パラメータにより定められたウィンドウ画像部分を切り出し出力し、
   前記ウィンドウ・パラメータは、車両または他の撮像装置に対する前記撮像装置の相対的な方向に応じて、各画像センサに対して個別に設定されていて、該画像センサの画像領域全域の中心から消失点のオフセットに基づいて走行中に決定された前記画像センサのアライメントから計算されることを特徴とする自動車用ビジョンシステム。
2. 請求項１に記載のビジョンシステムにおいて、前記ビジョンシステムは、ステレオ・ビジョンシステムであることを特徴とするビジョンシステム。
3. 請求項１または２に記載のビジョンシステムにおいて、前記撮像装置は、赤外線カメラまたはＣＭＯＳカメラであることを特徴とするビジョンシステム。
4. 請求項１から３のいずれか１項に記載のビジョンシステムにおいて、前記画像センサは、赤外線センサまたはＣＭＯＳセンサであることを特徴とするビジョンシステム。
5. 請求項１から４のいずれか１項に記載のビジョンシステムにおいて、前記ウィンドウ・パラメータは、前記電子処理手段により、前記画像センサに入力されることを特徴とするビジョンシステム。
6. 請求項１から５のいずれか１項に記載のビジョンシステムにおいて、前記ウィンドウ・パラメータを記憶する記憶手段を備えることを特徴とするビジョンシステム。
7. 請求項６に記載のビジョンシステムにおいて、前記ウィンドウ・パラメータは、前記撮像装置のアライメントを決定する測定手順で予め設定され前記記憶手段に事前に記憶されることを特徴とするビジョンシステム。
8. 請求項１から７のいずれか１項に記載のビジョンシステムにおいて、前記画像センサにより提供された前処理されたウィンドウ表示の画像データに適合した画像前処理装置を含むことを特徴とするビジョンシステム。
9. 請求項８に記載のビジョンシステムにおいて、前記前処理装置は、ステレオマッチングの前に、前記ウィンドウ表示の画像データのアライメントをずらすように構成されることを特徴とするビジョンシステム。
10. 請求項１から９のいずれか１項に記載のビジョンシステムにおいて、前記ウィンドウ・パラメータは、画像ウィンドウの特定の像点の座標を備えることを特徴とするビジョンシステム。
11. 自動車用ビジョンメソッドにおいて、
    車両に搭載されていて各々画像センサを備えた複数の撮像装置を用いて自動車の前方領域からの画像を検出する工程と、
    車両に搭載された電子処理手段で前記撮像装置により提供された画像データを処理する工程とを備え、
    当該自動車用ビジョンメソッドは、
    前記画像センサにウィンドウ・パラメータを入力し、
    前記ウィンドウ・パラメータにより定められたウィンドウ画像部分を前記画像センサの画像領域全域から切り出し、
    前記画像センサから前記ウィンドウ画像部分を出力し、
    前記ウィンドウ・パラメータを各画像センサに対して個別に調整し、車両または他の撮像装置に対する前記撮像装置の相対的な方向を補正し、
    前記ウィンドウ・パラメータは、前記画像センサの画像領域全域の中心から消失点のオフセットに基づいて走行中に決定された前記画像センサのアライメントから計算されることを特徴とする自動車用ビジョンメソッド。

Images