JP6062609B1 - 車両の外側寸法を監視するための方法ならびに装置 - Google Patents

Abstract

本発明は、外側寸法、特に、外部車両積載に起因する車両の外側寸法の変化を監視するための方法ならびに装置に関する。

Description

本発明は、車両の外側寸法を、特に、外部車両積載に起因する車両の外側寸法の変化に関して監視するための方法ならびに装置に関する。

ここ数年、車両に光学的センサーシステム、特に車両周辺を捕捉するためのカメラが採用されることが増えている。特別な電子的装置やソフトウェアを用いることにより、これらのシステムは、様々なドライビングをサポートする機能を担うことができるため、これらの装置は、アシスタント・システム、或いは、ドライバー・アシスタント・システムとしても知られている。これらのアシスタント・システムは、既に、例えば、駐車マヌーバ、及び/或いは、駐車スペースから出るマヌーバ(以下、発車マヌーバと略する)など、自律的、乃至、部分自律的運転マヌーバを実施できるようになっている。

駐車サポート用のシステムは、例えば、ドイツ公開特許公報DE 10 2009 057 837 A1より既知である。このシステムは、車両用ガレージの駐車スペースへの駐車の際にドライバーをサポートする役割を担っている。即ち、カメラ・システムが、車両の周辺を捕捉する。そして、周辺の複数の写真を、車両用ガレージのガレージ入口を認識するために、画像認識方法によって評価する。ガレージ入口が認識されたら、その周辺画像を、キャラクター認識方法によって、ガレージ後壁上に配置されている少なくとも一つのマークに関して評価する。続いて、ガレージ入口と該マークに対する車両の位置を割出し、割出された車両の位置に応じて、駐車スペースへ車両を操縦するために必要な舵角を示すための制御シグナルが発生される。該制御シグナルは、ドライバーに操舵アドバイスとして示される、或いは、半自動的に、或いは、全自動的に駐車スペースへ車両を動かすことを実施するために、少なくとも一つの制御システムに送られる。

自律的、乃至、部分自律的運転マヌーバを実施するためのアシスタント・システム用としては、今日既に、車両周辺部全域、即ち、360°視野として、或いは、車両周辺のパノラマとして捕捉することができるセンサーシステムを採用することができる。

これに関して、ドイツ公開特許公報DE 10 2006 036 933 A1には、少なくとも二枚の重なり合う個別画像から全体像を作成する方法が開示されているが、ここでは、該個別画像は、車両に搭載されたカメラによって捕捉され、画像処理手段によって全容画像に合成される。

DE 10 2006 036 933 A1に開示されているようなシステムは、トップヴュー・システム(TopView-System)、或いは、サラウンドヴュー・システム(SurroundView-System)と呼ばれるものである。典型的なサラウンドヴュー・システムは、車両に、或いは、車内に配置された、これらによって車両周辺部の様々な領域の画像データが得られる(リアルな)撮影用カメラを包含している。該画像データは、電子的画像データ処理手段において、様々な変換処理に具され、車両周辺部全体の合成画像が作成される。これにより、例えば、車両の屋根から見た(鳥瞰図的な)視点の車両の周辺の画像、即ち、車両より上(車両上空)にある(バーチャルな)カメラの視野から見た画像を得ることができる。該全容画像は、操車マヌーバ、或いは、駐車マヌーバを容易にするために、表示手段上で車両のドライバーに連続的に示すことができる、或いは、該全容画像は、自律的、乃至、部分自律的運転マヌーバを実施するためのアシスタント・システムによって、例えば、オブジェクトを認識するため、或いは、それから、制御命令を割出すために、処理、或いは、評価される。

自律的、乃至、部分自律的運転マヌーバを実施するためのアシスタント・システムにおいては特に、該システムのプロセス責任は、非常に大きい。特に、自律的、乃至、部分自律的運転マヌーバの実施中は、確実に、他の交通参加者に危険が及ぶことがないように、或いは、自車両、乃至、他の車両に損傷がおこらないようにされなければならない。

自律的、乃至、部分自律的運転マヌーバの、並びに、本質的にマニュアルで実施される運転マヌーバの安全性、並びに、実施性を確保するためには、車両の外側寸法は、常に、既知でなければならない。特に、車両の高さ、長さ、幅に関しては既知でなければならない。これらは、例えば、被牽引車両上、リア積載面上、ルーフ・キャリア上、リヤ・キャリア上などへの積載などと言った車両積載に伴い、変化し得る。

よって本発明が解決しようとする課題は、それによって、車両の寸法、特に、車両のリアルタイムな外側の寸法の変化を監視できる方法、並びに、装置を提供することである。

この課題は、請求項1の特徴を持つ方法、並びに、請求項10の特徴を持つ装置によって解決される。本発明の更なる実施形態、並びに、発展形態は、従属請求項から得られるが、各特徴を組み合わせること、更には各特徴の更なる発展形態も考え得る。

本発明の基本的なアイデアは、車両の少なくとも一つの外側寸法を、少なくとも一つの車両に配置されたカメラを用いて監視することである。この際、特に、車両の少なくとも一つの外側寸法に、外部車両積載による変化があるか否かが監視される、即ち、変化の存在、及び/或いは、寸法、乃至、その変化の大きさが割り出される。該カメラは、外部車両積載に対して配置されることにより、車両の該領域を直接捕捉することができる、及び/或いは、少なくとも外部車両積載の影が認識できる領域に配置されることもできる。

冒頭にも記した如く、今日、車両にはカメラが複数配置されており、好ましくは、一つの、或いは、複数の既に車両内に存在しているカメラを本発明に係る方法、乃至、本発明に係る装置の実施に採用することが可能である。尚、本発明の範囲においては、一つの、或いは、複数のカメラを車両に後付けすることも考え得る。

同様に、特に好ましくは、適した画像処理アルゴリズムを用いて、車両積載、並びに、好ましくは、その程度をカメラによって捕捉された画像データから割り出す能力を持った画像処理手段や方法も既知である。

本発明に係る車両の少なくとも一つの外側寸法を監視するための方法は、好ましくは、以下のステップを包含している：
-車両の一領域を少なくとも一つの車両に配置されたカメラによって捕捉するステップ；
-少なくとも一つのカメラが作成した画像データを外部車両積載に関して処理するステップ；
-画像データの処理に基づいて少なくとも一つの外側寸法を監視するステップ。

車両の少なくとも一つの外側寸法を監視する際には、外部車両積載に起因して車両の少なくとも一つの外側寸法が変化したか否か割り出されることが好ましい。この際、特に好ましくは、車両の最新の外側寸法が、前に測定された寸法に対して、及び/或いは、初期測定、例えば、車両の基本寸法に対して、外部車両積載の配置に起因して変化したか否かが、割り出される。更には、最新の外側寸法が、前に測定された寸法に対して大きくなったのか、或いは、小さくなったのかを割り出すことも可能である。車両の外側寸法の監視においては、更に好ましくは、外側寸法の大きさ、乃至、変化の大きさを求める、即ち、最新の、乃至、車両の変化した外側寸法の値、乃至、程度も割り出される。

本発明に係る方法のある好ましい実施形態によれば、少なくとも一つのカメラによって、そこに外部車両積載が配置されている可能性のある、要するに、カメラによって捕捉された画像データ内にそれが認識可能な車両の領域が捕捉される。この際、例えば、後進カメラ、乃至、後方領域カメラによって、そこに車両の積載が、例えば、被牽引車両上に、リア積載面上に、或いは、（例えば、荷物用、或いは、自転車用の）リヤ・キャリア上に配置されている可能性がある車両の後方領域が捕捉される。更に例えば、車両の側方に配置され、斜めに向けられているカメラによって、即ち例えば、ミラー代替システムによって、車両積載が、例えば、ルーフ・キャリア上に配置されている可能性がある車両のルーフ領域が捕捉される。

少なくとも一つのカメラによって、外部車両積載が配置され、認識され得る車両の領域が捕捉される場合には特に、即ち、本発明の方法の範疇において車両積載の直接的捕捉が想定される場合は、画像データの処理には、画像データ内における外部車両積載の典型的な特徴のサーチが包含されることが好ましい。

代案的、乃至、付加的には、該画像データの処理は、光学的フローメソッドによる動きのある画像領域のサーチを包含していても良い。

本発明に係る方法のある好ましい更なる実施形態によれば、少なくとも一つのカメラによって、そこに少なくとも一つの外部車両積載の影、乃至、投影が認識される可能性がある車両の領域、及び/或いは、車両の周辺領域が捕捉される。この際、例えば、外部車両部品、例えば、ボンネット、トランクルーム・ハッチ、或いは、側方車両部品、及び/或いは、車両周辺部の特定領域、例えば、道路表面、乃至、車線表面を、少なくとも一つのカメラによって捕捉することができる。

少なくとも一つのカメラによって、外部車両積載の影が認識され得る車両の領域が捕捉される場合には特に、即ち、本発明の方法の範疇において車両積載の間接的捕捉が想定される場合は、画像データの処理には、画像データ内における外部車両積載の影、乃至、投影のサーチが包含されることが好ましい。

本発明によれば、車両の少なくとも一つの外側寸法の監視は、少なくとも一つのカメラによる外部車両積載の直接的な捕捉によっても、外部車両積載の影、乃至、投影を捕捉する間接的な捕捉によっても実施可能である。尚、該方法は、直接的、或いは、間接的捕捉の何れか一方のみの採用に限定されるものではなく、双方のメソッドを組み合わせて採用することも可能である。

本発明に係る方法の範疇においては、少なくとも一つの外側寸法の監視、特に、その大きさの割り出しは、好ましくは、少なくとも一つのカメラの既知の取り付け位置、及び/或いは、向けられた方向を考慮して実施される。この際、特に車両に外部車両積載が配置されていることが認識された場合、カメラの取り付け位置、並びに、向けられている方向を考慮して、画像データから車両積載の程度が割り出され、これを基に、車両の外側寸法、乃至、その変化が割り出される。

車両の少なくとも一つの外側寸法を監視するための本発明に係る装置は、少なくとも一つの、該車両に配置され、且つ、該車両のある領域、及び/或いは、該車両の周辺部のある領域の画像データを得るカメラを包含している。該装置は更に、該少なくとも一つのカメラが捕捉した画像データを、外側車両寸法に関して処理するための手段、並びに、少なくとも一つの外側車両寸法を画像データの処理を考慮して割り出すための手段も包含している。

尚、本発明に係る装置は、上記のうち一つの形態に係る方法を実施するために構成されていることが好ましい。

本発明の更なる長所と応用例は、以下の図に示されている例に基づいた説明によりそれぞれ開示される。

図1は、本発明に係る車両の少なくとも一つの外側寸法をカメラベースで監視する方法の一つの実施例のフローチャートを示している。

本発明においては、外部車両積載が配置されている、及び/或いは、その少なくとも一つの影が認識し得る車両の領域が、少なくとも一つのカメラによって捕捉される、乃至、監視されることが想定されている（図1のステップS1）。

尚、「車両の領域」と言う定義には、特に好ましくは、「車両の周辺領域」と言う意味も含まれる。また、該カメラは、例えば、車両の内部空間、或いは、外部領域に取り付けられ、対応する領域の画像データを作成するために、対応する領域に向けられているものであることができる。尚、該少なくとも一つのカメラは、特に好ましくは、車両内に既に存在しているドライバー・アシスタント・システムのカメラ、例えば、サラウンドヴュー・システムの一つ、或いは、複数のカメラであることができる。本発明に係る方法の範疇においては、サラウンドヴュー・システムの全容画像を処理することも可能である。原理的には、車両積載、或いは、その影が、少なくとも部分的に存在し得る、乃至、認識され得る領域を捕捉すれば十分である。言うまでもなく、車両積載全体を捕捉できるような大きな範囲を捕捉することも可能である。更には、捕捉された領域は、車両積載が車両に配置されていない場合には、特に好ましくはカメラによって捕捉された画像内において動きを認識可能なように、該車両の周辺領域の少なくとも一部を捕捉できるように、選択されることも可能である。

本発明においては更に、少なくとも一つのカメラによって作成された画像が、外部車両積載に関して処理されることも想定されている（図1のステップS2）。

画像データの処理には、特に、少なくとも一つのカメラによって捕捉された画像データ内における外部車両積載に関する処理には、本発明では、特に該カメラによって車両積載が画像データ内において直接的に認識され得る該車両の領域が捕捉される場合においては、外部車両積載の典型的な特徴のサーチも包含される。ここでは特に、例えば、外部車両積載の輪郭を画像データ内においてサーチする、従来の技術でも基本的には既知な所謂「パターン認識、乃至、パターン比較方法」を採用することが可能である。

車両積載の認識は、更には、車両積載において典型的、例えば、キャリア・バーやキャリア・ロッドの長いまっすぐなエレメントと言った典型的なストラクチャーなどの認識をベースに実施されることができる。

このためには、最新の捕捉された画像データと、車両に車両積載が配置されていない時点に該カメラによって捕捉された保存されている画像データの比較を実施することができる。この様な画像データの比較は、特に好ましくは、継続的に実施される。

更には、多数の車両積載やそのバリエーションの画像によってトレーニングされた分級手段を用いることも可能である。該トレーニングによって、該分級手段は、車両積載の典型的な特徴を「学習」する。これらの特徴は、分級するために該分級手段に保存される。

画像データの処理の範疇においては更に、動きのある画像領域のサーチも実施することができる。これは、所謂「光学的フロー・メソッド」によって実施可能である。画像領域に内に動きが存在することは、その部分が、車両に固定されているものによって隠されていないことを示している。車両積載を認識するために、該画像は、その際、部分領域に区分され、各部分領域において、該領域に動きが存在するか否かが認識されることができる。この様にすることで、輝度ではなく、動きの程度を値として有する更なる画像を作成することが可能である。この画像上においては、外部車両積載の実質的な認識が実施可能である。そのためには、動きの程度を包含する画像における動きのない領域が認識され、該認識された動きのない領域は、積載が無い、或いは、有る車両の対応する領域の典型的な特徴に基づいて、分級されることができる。

例えば、カメラを、車線表面或いは外部車両部品の領域の少なくとも一部を捕捉できるように配置し、向きを定めることによって、外部車両積載の影が認識され得る車両の領域が該カメラによって捕捉されている場合は、該カメラによって作成された画像データも、該画像内の外部車両積載の典型的特徴に関して処理されることができる。

特に好ましくは、外部車両積載に関しての画像データの処理には、外部車両積載の影に関する、乃至、投影、即ち、例えば、道路表面、及び/或いは、外部車両部品上への投影に関するサーチが包含されていることが好ましい。

影、乃至、投影に関するサーチにおいては、一つの、或いは、複数の、直接的捕捉のための、既に説明した方法を採用することが可能である、即ち、パターン、ストラクチャー、輪郭を認識するための画像処理方法、並びに、適切な分級手段、或いは、光学的フローメソッドを採用することができる。

本発明においては更に、車両の少なくとも一つの外側寸法の監視が、画像データの処理に基づいて実施される（図1のステップS3）。ここにおいて「車両の少なくとも一つの外側寸法」は、例えば、車両の最新の、及び/或いは、最大の高さ、幅、或いは長さ、乃至、その変化であると定義することができる。

よって、車両の少なくとも一つの外側寸法の監視における最も簡単なケースは、「外側寸法に変化が有ったか否かを割り出すこと」と定義できる。この際、特に、該処理において車両への外部車両積載の配置が認識された場合は、画像データの処理に基づいて、車両の外側寸法に変化が有ったと言う情報が作成され、例えば、ドライバー、或いは、他のシステムに提供される。更には、車両の高さ、長さ、及び/或いは、幅に変化が有ったのか否かに関する情報も作成されることができる。

少なくとも一つの外側寸法の監視の範疇においては更に、対応する寸法の大きさ、即ち、新しい、乃至、その時点における寸法の値、乃至、大きさも割り出すことができる。その際、例えば、車両の最大幅、長さ、高さを計算する、及び/或いは、車両の一つの、或いは、複数の特定領域の、例えば、前方、乃至、後方の車軸に対する対応する寸法を割り出すことができる。これら対応する寸法は、車両を基準とする座標系を基に割り出すことも可能である。この際特に、車両の詳細な三次元モデルを作成することも可能である、即ち例えば、車両の配置グリッド、或いは、高さ、幅、及び/或いは、長さプロファイルを、車両を基準とした座標系の各々の軸に対して作成することができる。

好ましくは継続的に割り出される車両の寸法は、特に好ましくは、例えば、自律的、乃至、部分自律的運転マヌーバ、特に、軌道を計算し、該運転マヌーバの実施の安全性を確保するためのシステムなど、一つの、或いは、複数のドライバー・アシスタント・システムにおいて使用することができる、乃至、これらのシステムに対して提供されることができる。

車両の少なくとも一つの外側寸法の大きさの監視及び割り出しは、本発明の範疇においては、好ましくは、本方法の範疇において使用される一つの、或いは、複数のカメラの既知の取り付け位置、並びに、向けられた方向に基づいて実施されることが好ましい。

車両の、乃至、車両積載の影、乃至、投影をサーチすることによる車両の外側寸法の監視においては、その認識において、例えば、場所、日付、時間、太陽の位置、並びに、車両の向き、特に、車両のローリング、ピッチング、ヨーイング、ロール角など付加的情報を考慮することも可能である。

上記の方法は、該方法の図1に示したステップを実施するコンピューターによって実行可能なコンピュータープログラムとして実装されていることができる。該コンピューターには、インプットとして、少なくとも一つのカメラによって捕捉された画像データが、該方法による更なる処理のために供給される。該コンピューターは、車両の、或いは、一つのドライバー・アシスタント・システムの制御装置として実装されていることも可能である。本発明に係る方法は、ドライバー・アシスタント・ソフトウェアの一部として実装されていても良い。図1にフローチャートとして示されている方法プロセスは、実践において、サイクル的、或いは、周期的、或いは、一回の走行につき一回、或いは、二回実行されることができる。

S1 （ステップ1）車両の一領域を少なくとも一つの車両に配置されたカメラによって捕捉する
S2 （ステップ2）少なくとも一つのカメラが作成した画像データを外部車両積載に関して処理する
S3 （ステップ3）画像データの処理に基づいて少なくとも一つの外側寸法を監視するステップ

Claims (11)

1. 以下のステップを包含していることを特徴とする車両の少なくとも一つの外側寸法を監視するための方法：
   -車両の一領域を少なくとも一つの車両に配置されたカメラによって捕捉するステップ、
   -少なくとも一つのカメラが作成した画像データを外部車両積載に関して処理するステップ、
   -画像データの処理に基づいて車両の少なくとも一つの外側寸法を監視するステップ。
2. -少なくとも一つの外側寸法を監視する際に、車両の少なくとも一つの外側寸法の変化が有るか否かが割り出されることを特徴とする請求項1に記載の方法。
3. -少なくとも一つの外側寸法を監視する際に、該少なくとも一つの外側寸法の大きさが割り出されることを特徴とする請求項1又は2に記載の方法。
4. -少なくとも一つのカメラによって、そこに外部車両積載が配置されている可能性のある車両の領域が捕捉されることを特徴とする請求項1から3のうち何れか一項に記載の方法。
5. -画像データの処理に、画像データ内における外部車両積載の典型的な特徴のサーチが包含されることを特徴とする請求項1から4のうち何れか一項に記載の方法。
6. -画像データの処理に、光学的フローメソッドによる画像データ内における動きのある画像領域のサーチが包含されることを特徴とする請求項1から5のうち何れか一項に記載の方法。
7. -少なくとも一つのカメラによって、そこに少なくとも一つの外部車両積載の影が認識される可能性がある車両の領域、及び/或いは、車両の周辺領域が捕捉されることを特徴とする請求項1から6のうち何れか一項に記載の方法。
8. -画像データの処理に、外部車両積載の影のサーチが包含されることを特徴とする請求項1から7のうち何れか一項に記載の方法。
9. 少なくとも一つの外側寸法を監視が、少なくとも一つのカメラの既知の取り付け位置、及び、向けられた方向を考慮して実施されることを特徴とする請求項1から8のうち何れか一項に記載の方法。
10. 以下を包含していることを特徴とする車両の少なくとも一つの外側寸法を監視するための装置：
    -車両に配置され、車両の一領域から画像データを捕捉するための少なくとも一つのカメラ、
    -少なくとも一つのカメラが捕捉した画像データを外部車両積載に関して処理するための手段、並びに、
    -画像データの処理に基づいて少なくとも一つの外側車両寸法を監視するための手段。
11. 請求項1から9のうち何れか一項に記載の方法を実施するために構成されていることを特徴とする請求項10に記載の装置。

Images