JP6383661B2 - 自動車の運転時にドライバーをサポートする又は自動車を自律的に運転するための装置 - Google Patents

Description

本発明は、車両（自動車）の運転時にドライバーをサポートする又は車両を自律的に運転するための装置に関する。

受動的安全に対する要求に基づき、今日の車両では、煩雑さが増している。これが、例えば、狭い屋内駐車場内での駐車マヌーバなど、運転マヌーバを困難にしたり、むしろ、危険にさらしている。

このような傾向に歯止めをかけるため、状況の概要をよりわかりやすくドライバーに伝えるために採用されるセンサー類が増え続けている。初期のころは、障害物があると音声信号によって間隔をドライバーに伝える単純な超音波センサーであった。

ナビゲーション・システムが採用されるようになり、車両内にはモニターが装備されるようになった。これは、例えば、ドライバーに、車両を上から見た映像を示し、物体と車両の間隔を見せるために用いることもできる。

当該ディスプレーは、バック走行用カメラの画像を映し出すために用いることもできる。ここで採用されるものは、車両後方全体を捕捉できるフィッシュアイ・カメラである。

付加的に、カメラ画像上に、実際の車幅や走行軌道に関する情報をオーバーレイすることも可能である。また、超音波センサーによって認識された駐車可能な空きスペースを表示することも可能である。なかには、認識された空きスペースに車を止めるために、ドライバーが運転すべき軌道を示すシステムすらある。

車両周辺部全体用に複数のカメラを備えたシステムも少なくとも計画されている。画像データを転換することにより、ドライバーに、車両周辺全体のフォトリアル（写実的）描画を示すことが可能である。

特許文献１には、車両の主四方向を捉える四台のカメラと複数の間隔センサーを包含した、車両用の駐車アシスタントシステムが開示されている。

欠点としては、このシステムでは、カメラデータが、ディスプレーへの表示のためのみに用いられ、物体情報が、間隔センサーのデータのみから算出されているため、物体を常に確実に認識できないことが挙げられる。レーダーや超音波センサーを間隔センサーとして用いる場合、物体の高さを測定できない、又は非常に不正確にしか測定できないことも問題点である。

欧州特許公開第２１８１８９２号明細書

よって、本発明の課題は、従来の技術において既知の装置の上記欠点を解消することにある。

この課題は、
自動車の運転時にドライバーをサポートするための、又は自動車を自律的に運転するための、複数の間隔センサーと複数のカメラセンサーと１つの評価ユニットと１つの制御ユニットとを有する装置であって、
前記間隔センサーが、前記自動車の前方の離間した物体と、前記自動車の横の物体と、前記自動車の直ぐ前又は直ぐ後の物体とを検出でき、
前記カメラセンサーが、前記自動車の周りの領域を捕捉し、
前記評価ユニットが、前記間隔センサーと前記カメラセンサーのデータから当該捕捉領域の３次元復元を実行し、
前記制御ユニットが、自動車制御に介入する当該装置において、
前記評価ユニットが、オプティカルフローを用いて少なくとも１つのカメラセンサーのデータから３次元復元を実行すること、及び
前記自動車が動いている間に、動いている物体に対応するカメラデータが、前記３次元復元の実行時に無視されることによって解決される。
本課題は、車両を運転する際にドライバーをサポートする、又は車両を自律的に運転する装置によって解決される。当該装置は、複数の間隔センサーとカメラセンサー、評価ユニット、並びに、制御ユニットを包含している。

当該間隔センサーは、車両の直接前後、例えば、車両のバンパーのセンチメートルから数メートルの領域内にある物体を検出する。尚、車両の多少横の斜め前や後ろにある物体も、当該間隔センサーによって検出される。当該間隔センサーは、車両が直接走行可能な全ての方向をカバーする捕捉領域を有していることが好ましい。

当該カメラセンサーは、車両の周りの領域一周を捕捉する、よって、その捕捉領域が隣接するカメラの領域と一部オーバーラップするような広角カメラとして構成されていることが好ましい。

当該評価ユニットは、当該間隔センサーとカメラセンサーのデータから、捕捉領域、即ち、少なくとも車両の前後を取り巻く領域の、好ましくは、車両を３６０°取り巻く領域の３次元復元を実行する。

当該制御ユニットは、当該３次元復元を考慮しつつ、ドライバーにアドバイスを提供する、又は車両制御に介入する。

よって、既存のセンサーシステムを、特に好ましくは、車両を運転するタスクの一部を担うために、又は完全に自立的に走行するために用いることが可能になる。

本発明は、物体を信頼性高く、確実に認識すると言う長所を持っている。車両の直接的周辺部の３次元復元は、カメラのデータと間隔センサーのデータを考慮しているため、非常に堅牢である。

よって、運転マヌーバは、非常に緻密に計画される、又は実行されることができる。

好ましい実施形態では、当該評価ユニットは、少なくとも一台のカメラセンサーのデータから、オプティカルフローを用いて、３次元復元を実行する。即ち、２Ｄカメラ画像のシーケンス内の物体の動きから、カメラ自体の移動を考慮した上で、当該物体の３Ｄ情報が再現されるのである。

再現により得られた車両周辺部に関する３Ｄ情報は、間隔センサーのデータと共に、定置格子（英語：ＳＴＡＴＩＯＮＡＲＹ ＧＲＩＤ）に融合することができる。

好ましい実施形態では、当該評価ユニットは、車両が動いている間、少なくとも一つの間隔センサーのデータから、捕捉されている領域内の物体が、静止している車両周辺部に対して動いたか、否かも認識する。動いている物体は、例えば、超音波センサーやレーダー・センサーによって容易に認識できる。

好ましくは、この情報は、カメラデータの３次元復元にも用いることができる。自車両が動いている場合、当該動いている物体が、このような復元性を損なわせる。動いている物体に対応するカメラデータは、好ましくは、当該３次元復元の実行時に考慮されない。

しかし、動いている物体は、間隔センサーから直接認識される。

一方、静止している物体は、好ましくは、カメラデータから認識された上、少なくとも一つの間隔センサーのデータによって、再確認される。

好ましくは、車両が停止中は、動いている物体は、少なくとも一台のカメラセンサーのデータから検出される。

ある好ましい実施形態では、カメラは、車両の前後の領域を捕捉するカメラが、車両の長手方向に対してずらされた視線方向を有するように車両に、又は車両内に配置されている。

好ましくは、間隔センサーとしては、超音波センサーのみが、又は少なくとも超音波センサーが、設けられている。

代案的に又は補足的に、レーダー・センサー及び／又はライダー・センサーが、間隔センサーとして設けられている。

好ましくは、車両の左右の領域用としては、それぞれ少なくとも一つの間隔センサーが設けられている。

本発明のある好ましい実施形態によれば、制御ユニットが、車両に自律的な走行を指示する最高速度は、車両のために制御ユニットが算出した軌道の方向を向いているカメラセンサーと間隔センサーの作動範囲に依存する。

以下、本発明を、実施例と図面に基づいて詳しく説明する。

様々な捕捉領域（１−５）を有する様々な周辺センサー類のシステム構成の模式図

図は、様々な捕捉領域（１−５）を有する様々な周辺センサー類のシステム構成（コンフィグレーション）を模式的に示している。考え得るセンサー・コンフィグレーションは、非常に多種であり、これらは、主にセンサーの開口角や作動範囲、車両の形状に依存しているが、運転タスクの自動化のためには、車両がそこへ進入し得る領域の十分な監視が実施されなければならないことは、常に、注意されなければならない。

ここに示されているコンフィグレーションでは、個々の捕捉領域（１、実線の境界線）によって、中距離、例えば、約１００メートルまでの車両の周囲３６０°の周辺部をカバーする複数のカメラが、車両に又は車両内に配置されている。このようなカメラ配置は、パノラマ・ビュー・システム、別名、トップ・ヴュー・システムにおいて採用されている。トップ・ヴュー・システムでは、典型的に、鳥瞰的に車両とその周辺を表すことができる。

車両が動いている時は、各々のカメラの画像データから、オプティカルフローの方法に基づいて、車両の撮影された周辺の３次元復元を実行できる。カメラ自体の動きは、静止している物体に起因する画像内のオプティカルフローの全容を知ることで算出すことが可能である。車両内での、又は車両への取付状態の、車両の動きの、特に、車両センサー類（例えば、速度センサー、操舵角センサー、ハンドルセンサー、ヨーイング角／レート、ピッチング角／レート、ローリング角／レート・センサーなど）のデータを自らの動きを算出するために用いることにより、計算を容易にすることができる。オプティカルフローでは、連続する画像内の独特な特徴的点を追跡（トラッキング）する。カメラは、車両と共に動くため、当該特徴的点が、車両周辺部の静止している物体に相当する場合、三角測量を用いて、当該特徴的点の三次元情報を得ることができる。

このような帰属は、間隔センサーが、当該物体とその車両に対する相対的な動きを捉えれば簡単かつ信頼性高く実施できる。車両固有運動を考慮すれば、間隔センサーによって、ある物体が、静止している車両周辺部に対して動いているか、否か、又は静止している物体であるか、否かを認識することができる。動いている物体は、例えば、超音波センサーやレーダー・センサーによって容易に認識できる。この情報は、カメラデータの３次元復元を実行するために用いられる。自車両が動いている場合、通常、当該動いている物体が、このような復元性を損なわせる。よって、動いている物体は、間隔センサーから直接認識される。

静止している物体が、先ず、カメラによる３次元復元の情報によって、捕捉され、続いて、少なくとも一つの間隔センサーによって、「乗り越えることができない」と再確認される。

走行方向（即ち、車両の長手方向）に設けられているカメラのデータの３次元復元の難しさは、画像の中心では、所謂「ｃｅｎｔｒｅ ｏｆ ｅｘｐａｎｓｉｏｎ」では、画像情報の変化が少ないか又は全く無く、よって、物体に関する情報が、全く得られないため、３次元復元をするのに必要な情報が無いことにある。尚、物体が、画像から下方へと出ていくような近距離領域においては、例外的に３Ｄ情報を得ることも可能である。

よって、確実な認識を実現するためには、カメラは、真っ直ぐに走行方向に向けられるのではなく、しかし他のセンサーと共同で車両周辺部を完全に捕捉できるように取付けられていなければならない。示されているセンサー・コンフィグレーションでは、捕捉領域（１）が前方に向けられている双方のカメラは、それぞれ車両の長手方向／走行方向に対して左右に約３０度ずらして取付けられている。車両後方の領域は、長手方向に配置されているテールカメラによって監視されているが、更には、それぞれ捕捉領域が広いため双方を合わせると車両後方の領域を略完全に捉えることのできる斜め後方に向けて取り付けられたカメラも、二台設けられている。尚、これら斜め後方に向けられたカメラの視線方向は、車両の長手方向／後進方向に対して、それぞれ約６０度左・右にずらされている。

ずらしたカメラ配置の代案としては、他のセンサー類を走行方向に設けることも可能である。例えば、ライダー・センサーやステレオ・カメラを、更なる信頼性の向上と、物体認識の作動範囲を延ばす目的で、採用することができる。

一台のカメラでも、車両が停止している間、動いている障害物を容易に認識できる。これも、オプティカルフローによって、又は画像内容の変化を測定するための方法（画像差異法）によって実施可能である。このような状況では、ドライバーに、仮に発車すれば、衝突の可能性がある歩行者、自転車又は他の車両に関しての情報を提供することができる。

遠距離領域用レーダー、典型的には、周波数７９ＧＨｚのものは、車両の前方のかなりの距離（例えば、数百メートル）の捕捉領域（２、点線の境界線）を有している。このようなレーダー・センサーは、ＡＣＣシステム（車間調整クルーズコントロール）の構成部品として頻繁に用いられている。

ステレオ・カメラは、車両前方の中距離に至る領域（３、点棒線の境界線）を監視し、この領域内の物体の空間的情報を提供する。

二つの近距離領域用レーダー・センサーは、車両横の捕捉領域（４、短棒線の境界線）を監視し、典型的には、２４ＧＨｚである。これらは、頻繁に死角監視（Ｂｌｉｎｄ Ｓｐｏｔ Ｄｅｔｅｃｔｉｏｎ）も担っている。

超音波センサーは、車両のバンパー近傍の捕捉領域（５、斜線領域）を監視している。このような、超音波センサーは、駐車サポートとして頻繁に採用されている。尚、この捕捉領域（５）は、車両が直接的に移動可能な全ての方向をカバーしていると言う長所を持っている。一方、この捕捉領域は、縦方向には、あまり伸びていないため、低い車両速度範囲においてのみ十分である。しかし、近距離領域用レーダー・センサー（４）、ステレオ・カメラ（３）、ライダー・センサー（図示されていない）、及び／又は、遠距離領域用レーダー・センサー（２）のデータを考慮することにより、より遠く離れた物体も算出し、自律的な車両制御においてこれらを考慮することができるため、安全的制限を受けることなくより高い速度も実現可能である。

このように、センサー類から車両周辺部に関する信頼おける情報がそろえば、発展した車載機能を示すことができる。例えば、自律的に制動や操舵に介入することも可能になる。これにより、自動的な駐車スペース探索、及び、自動駐車も可能になる。即ち、操舵へのサポートだけでなく、縦方向制御への介入も可能になる。

このようなセンサー・コンフィグレーションによる車両周辺部の信頼性の高い、高度な空間的認識と評価方法は、更なる、サポートの可能性を生み出す。

例えば、車両は、自律的に駐車スペースを探しに行くことが可能になる。即ち、ドライバーは、駐車している車両の横に平行に、車両を止める。その後、システムが、低速で、空きスペースを発見して停車するまで、駐車している車両の横を通過していく。停車したら、ドライバーは、従来のオートマチック・トランスミッションでは、バックギヤに入れるだけで、その空きスペースに駐車させることができる。

更には、仮に名づけるとすれば「屋内駐車場モード」と呼べるであろうモードがあれば、屋内駐車場内では、車両に、自動的に駐車スペースを探させることも可能であろう。

フロア上のラインマークは、駐車カメラによって認識可能である。走行レーン認識の対応するアルゴリズムをこの目的にも用いることができる、又はこの目的に合わせて変更できる。優先通行権や進入／出口ルールを示す標識又は一方通行路などの標識も、前方遠方部に向けられた、図では、例えば、当該ステレオ・カメラと言ったカメラによって認識できる。これは、交通標識認識に加えて付加的なアルゴリズムが実行できるタイプの、並びに、前方を走行中の車両又は対向車両の車両ランプを認識することによって自動前照灯制御を実施するタイプの一般的な単眼のドライバー・アシスタント・カメラでも実施可能である。

物体認識は、原理的には、既に高い信頼性に達しているので、例えば、屋内駐車場の入り口で車を降りて車両だけを駐車スペースを探すために送り込むことも可能である。所謂、「Ｃａｒ−ｔｏ−Ｘ」コミュニケーション（Ｃ２Ｘ、車両とインフラストラクチャー間のコミュニケーション）を介せば、最寄りの空いている駐車スペースを車両に直接伝えることも可能である。

ドライバーが戻ってきた時には、ＬＴＥなど携帯電話の通信方式やＷＬＡＮが内蔵された特別な無線キーによって、屋内駐車場から出させるために、作動させることも可能であろう。また、屋内駐車場の料金も、例えば、携帯電話会社から請求されるモバイル・サービス精算として支払うことができる。

更には、屋内駐車場のＣ２Ｘユニットが、システムによる走行を容易にするために、屋内駐車場のマップ・データを、伝達することも可能であろう。このマップには、全ての、即ち、駐車している車両も含む、物体の位置情報を包含させることができる。そうすれば、物体を分類する必要は無くなる。

センサーの詳細精度と信頼性が十分であれば、車両を（ドライバーが乗っていない状態で）自律的に市内の駐車場を探させることも考え得る。

この際、車両は、好ましくは、駐車している車両に沿って走行し、空いている駐車スペースを探す。ある道路区画内において空いている駐車スペースが見つからなかった場合、システムは、ナビゲーション・データのサポートにより、他の道路区画内において駐車スペースを探すことも可能である。これを実現する前提としては、信号や優先通行権を表す標識の信頼性高い認識、並びに、駐車禁止標識の認識が必要となる。

このモードにおいて、当該車両は、アクティブに交通に参加しない。即ち、この際車両はゆっくりと道路脇を走行するため、他の車両によって、追い越されることが可能である

Claims (7)

1. 自動車の運転時にドライバーをサポートするための、又は自動車を自律的に運転するための、複数の間隔センサーと複数のカメラセンサーと１つの評価ユニットと１つの制御ユニットとを有する装置であって、
   前記間隔センサーが、前記自動車の前方の離間した物体と、前記自動車の横の物体と、前記自動車の直ぐ前又は直ぐ後の物体とを検出でき、
   前記カメラセンサーが、前記自動車の周りの領域を捕捉し、
   前記評価ユニットが、前記間隔センサーと前記カメラセンサーのデータから当該捕捉領域の３次元復元を実行し、
   前記制御ユニットが、自動車制御に介入する当該装置において、
   前記評価ユニットが、オプティカルフローを用いて少なくとも１つのカメラセンサーのデータから３次元復元を実行すること、及び
   前記自動車が動いている間に、動いている物体に対応するカメラデータが、前記３次元復元の実行時に無視される当該装置。
2. 前記自動車が動いている間に、前記評価ユニットは、前記捕捉領域内の１つの物体が静止している自動車周辺部に対して動いているか否かを少なくとも１つの間隔センサーのデータから認識する請求項１に記載の装置。
3. 前記自動車の前又は後の領域を捕捉する前記カメラが、前記自動車の長手方向に対してずらされた視線方向を有するように、前記カメラは配置されている請求項１又は２に記載の装置。
4. 超音波センサーが、間隔センサーとして設けられている請求項１〜３のいずれか１項に記載の装置。
5. レーダーセンサー及び／又はライダーセンサーが、間隔センサーとして設けられている請求項１〜４のいずれか１項に記載の装置。
6. それぞれ少なくとも１つの間隔センサーが、前記自動車の横の領域に対して設けられている請求項１〜５のいずれか１項に記載の装置。
7. 前記制御ユニットが前記自動車に自律的な走行を許容する最高速度は、前記制御ユニットが前記自動車のために算出した軌道方向の前記カメラセンサーと前記間隔センサーとの作動範囲に依存する請求項１〜６のいずれか１項に記載の装置。

Images