JP6138130B2 - 自律的、乃至、部分自律的運転マヌーバを実施するための車載アシスタント・システム用の方法、並びに、装置 - Google Patents

Description

本発明は、車両の自律的、乃至、部分自律的運転マヌーバを実施する役割を担うアシスタント・システム、例えば、車載されている駐車アシスタント・システムなど用の方法、並びに、装置に関する。

ここ数年、車両に光学的センサー・システム、特に車両周辺を捕捉するためのカメラが採用されることが増えている。特別な電子的装置やソフトウェアを用いることにより、これらのシステムは、様々なドライビングをサポートする機能を担うことができるため、これらの装置は、アシスタント・システム、或いは、ドライバー・アシスタント・システムとしても知られている。これらのアシスタント・システムは、既に、例えば、駐車マヌーバ、及び／或いは、駐車スペースから出るマヌーバ（以下、発車マヌーバと略する）など、自律的、乃至、部分自律的運転マヌーバを実施できるようになっている。

駐車サポート用のシステムは、例えば、特許文献１より既知である。ここでは、このシステムは、車両用ガレージの駐車スペースへの駐車の際にドライバーをサポートする役割を担っている。即ち、カメラ・システムが、車両の周辺を捕捉する。そして、周辺の複数の写真を、車両用ガレージのガレージ入口を認識するために、画像認識方法によって評価する。ガレージ入口が認識されたら、その周辺画像を、キャラクター認識方法によって、ガレージ後壁上に配置されている少なくとも一つのマークに関して評価する。続いて、ガレージ入口と該マークに対する車両の位置を割出し、割出された車両の位置に応じて、駐車スペースへ車両を操縦するために必要な舵角を示すための制御シグナルが発生される。

該制御シグナルは、ドライバーに操舵アドバイスとして示される、或いは、半自動的に、或いは、全自動的に駐車スペースへ車両を動かすことを実施するために、少なくとも一つの制御システムに送られる。

自律的、乃至、部分自律的運転マヌーバを実施するためのアシスタント・システム用としては、現今、車両周辺全域、即ち、３６０°の視野で、言い換えれば、車両の周りをパノラマ・ビューで捕捉して、該車両周辺で検知されたオブジェクトをアウトプット・シグナルとして用いることで、ドライバー・アシスタント機能を実施できるセンサー・システムが既に実用されている。これに関して、特許文献２には、少なくとも二枚の重なり合う個別画像から全体像を作成する方法が開示されているが、ここでは、該個別画像は、車両に搭載されたカメラによって捕捉され、画像処理手段によって全容画像に合成される。

特許文献２に開示されているようなシステムは、トップヴュー・システム（ＴｏｐＶｉｅｗ−Ｓｙｓｔｅｍ）、或いは、全方向性（オムニレンジ）カメラシステムと呼ばれるものである。典型的なトップヴュー・システムは、車両に、或いは、車内に配置された、これらによって車両周辺部の様々な領域の画像データが得られる（リアルな）撮影用カメラを包含している。該画像データは、電子的画像データ処理手段において、様々な変換処理に具され、車両周辺部全体の合成画像が作成される。これにより、例えば、車両の屋根から見た（鳥瞰図的な）視点の車両の周辺の画像、即ち、車両より上（車両上空）にある（バーチャルな）カメラからの画像を得ることができる。該全容画像は、操車マヌーバ、或いは、駐車マヌーバを容易にするために、表示手段上で車両のドライバーに連続的に示すことができる、或いは、該全容画像は、自律的、乃至、部分自律的運転マヌーバを実施するためのアシスタント・システムによって、例えば、オブジェクトを認識するため、或いは、それから、例えば、車両のハンドル、アクセル、ブレーキを操作するための制御命令を割出すために、処理、或いは、評価される。

自律的、乃至、部分自律的運転マヌーバを実施するための、例えば、駐車マヌーバ、乃至、発車マヌーバなどのアシスタント・システムにおいては特に、該システムのプロセス責任は、非常に大きい。特に、自律的、乃至、部分自律的運転マヌーバの実施中は、確実に、他の交通参加者（例えば、歩行者）に危険が及ばないように、或いは、自車両、乃至、他の車両に損傷がおこらないようにされなければならない。

ドイツ特許公報第１０２００９０５７８３７号明細書 ドイツ特許公開第１０２００６０３６９３３号明細書

よって本発明の課題は、自律的、及び、部分自律的運転マヌーバを実施するためのアシスタント・システム用の、アシスタント・システムのプロセス責任に関する高い要求を満足し、特に、人、物、環境への危害を、可能な限り排除できる方法、及び、装置を提供することである。

この課題は、請求項１の特徴を持つ方法、並びに、請求項９の特徴を持つ装置によって解決される。本発明の更なる実施形態、並びに、発展形態は、従属請求項から得られるが、各特徴を組み合わせること、更には各特徴の更なる発展形態も考え得る。

本発明の重要なアイデアは、アシスタント・システム、特に、自律的、乃至、部分自律的運転マヌーバを実施するために、複数の個別画像から合成された車両周辺部の全容画像を用いるトップヴュー・システムを採用しているアシスタント・システムにおいて、運転マヌーバ用の制御命令を割出すための処理にだけではなく、少なくとも一つの制限を割出し、少なくとも一つの制限が存在する場合には、該アシスタント・システムを、安全な状態に移行させることにも用いると言うことである。ここで言う「制限」とは、基本的には、全容画像の画像データから割り出される、自律的、乃至、部分自律的運転マヌーバの実施を難しくする、或いは、危うくする条件、或いは、シチュエーションであると解釈することができる。代案的には、車載センサーからの更なる情報も少なくとも一つの制限を割出すために用いることができる。本発明の主な長所は、特に、本発明に係る方法を実施する、或いは、トップヴュー・システムを備えた本発明に係る装置のある実施形態を使用する場合、車両周辺部の全容画像から、制限がベター且つより迅速に認識されることができることである。トップヴュー・システムの画像データを用いることにより、ダイナミック且つフレキシブルに環境条件や重大なシチュエーションに反応できるようになる。

本発明に係る方法は、車両の自律的、乃至、部分自律的運転マヌーバを実施するためのアシスタント・システムにおいて採用されることが好ましい。
ここで言う「自律的、乃至、部分自律的運転マヌーバ」とは、基本的に、それを実施する際に、複数の、或いは、全ての制御任務、及び、帰還制御任務を、即ち、それぞれの運転マヌーバをマニュアルに実施する場合は、ドライバーが実施しなければならないはずの任務も、アシスタント・システムが担当する車両の運転マヌーバのことであり、特に、車両内にドライバーが座っていない状態であっても、完全に自動的に行われる運転マヌーバも含まれる。尚、本発明に係る方法は、車両の自律的、乃至、部分自律的な駐車マヌーバ、乃至、発車マヌーバを実施するためのアシスタント・システムにおいて採用されることが特に好ましい。またここで言う「部分自律的運転マヌーバ」とは、アシスタント・システムが、例えば、車両ブレーキ、及び、操舵の制御、及び、帰還制御など、一つの、或いは、複数の帰還制御任務、及び、制御任務を請け負って行われる、駐車マヌーバ、乃至、発車マヌーバであると解釈することができる。更にここで言う「自律的運転マヌーバ」とは、現在位置（ＩＳＴ−Ｐｏｓｉｔｉｏｎ）から目的位置（ＳＯＬＬ−Ｐｏｓｉｔｉｏｎ、例えば、駐車位置）に車両を動かすのに必要な、好ましくは車両の加速（アクセル）の帰還制御／制御も含む、全ての制御任務、及び、帰還制御任務をアシスタント・システムが請け負って行われる運転マヌーバであると解釈することが好ましい。

本発明に係る方法が採用されるアシスタント・システムは、好ましくは、車両周辺部の画像データを作成し、これを運転マヌーバの実施のために処理するカメラ・システムを包含している。画像データの作成は、この際、車両周辺部の異なる領域へ向けられている複数のカメラによって実施されることが好ましい。続いて、該画像データには、運転マヌーバを実施するために、各・画像処理ユニットによって適宜、即ち、例えば、該画像データから他の車両などのオブジェクトや障害物を認識する、認識されたオブジェクトまでの距離を求める、駐車スペースの長さや奥行きを計算する、そして、これらの情報から、必要な操舵角などを含む必要な運転マヌーバを割出すなどの処理が施される。尚、オブジェクトや障害物を認識するため、並びに、駐車スペースの長さや奥行きを計算するためには、カメラ・システムに加え、他のセンサー類、例えば、超音波センサー、レーダー・センサー、ライダー・センサー、並びに、レーザー・センサーなども使用することができる。

本発明では、自律的、乃至、部分自律的運転マヌーバの実施中、該アシスタント・システムは、カメラ・システムによって得られ、画像処理ユニットによって処理された画像データに、少なくとも一つの制限の存在が認識された時に、安全な状態に移行されることが好ましい。ここで言う「制限」とは、アシスタント・システムによる各々の自律的、乃至、部分自律的運転マヌーバの安全かつ正しい実施が阻害される、特に、カメラ・システムに対する視覚的制限、及び／或いは、アシスタント・システム、乃至、運転マヌーバに対する制限などのあらゆる制限であると解釈できる。ここで言う「安全な実施」とは、特に、車両の損傷や、人と環境への、特に、人への危害を、可能な限り排除した運転マヌーバの実施を意味している。また、ここで言う「正しい実施」とは、計算された制御任務、及び、帰還制御任務を厳守した運転マヌーバの実施を意味している。ここで言う「カメラ・システムの視覚的制限」とは、特に、カメラ・システムが制限を受け、オブジェクト（車両、障害物、人など）の信頼性の高い認識が確実に実施できない状況にあることと解釈できる。尚、該少なくとも一つの制限は、カメラ・システムによって得られた画像データの画像処理によって認識される以外に、代案的、或いは、付加的に、車載センサー類の情報からも認識されることができる。

このアシスタント・システムにおける該カメラ・システムは、複数のカメラによって、車両周辺部の異なる領域の個別画像を捉え、画像処理ユニットによって、車両周辺部の全容画像を合成するために適切な変換を実施するシステムであることが好ましい。即ち、該カメラ・システムは、トップヴュー・システムであることが好ましい。

本発明の方法の好ましい実施形態では、自律的、乃至、部分自律的運転マヌーバの実施のために、即ち、運転マヌーバ用に制御値、及び、帰還制御値を割出すためにだけではなく、少なくとも一つの制限を認識するためにも、トップヴュー・システムによって合成された車両周辺部の全容画像が処理される。方法の該実施形態の長所は、車両周辺部の全容画像から、車両の周り全域を、存在する制限に関して調べることができ、合成されたパノラマ・ビューから、運転マヌーバの実施前、或いは、実施中に起こりる様々なシチュエーションに対してベター且つ迅速、ダイナミック且つフレキシブルに、反応できることである。

本発明に係る方法においては、特に、カメラ・システムによって捕捉さえた車両周辺部の少なくとも一つの領域において、照明がなされていない、或いは、特定の輝度閾値以下の照明しかなされていない場合に、制限があるとされる。車両周辺部の領域の照明が無い、或いは、不十分となるケースは、例えば、夕方や夜、及び／或いは、ガレージ内において運転マヌーバを実施する際に起こり得る。本発明に係る方法においては、先ず、車両の照明手段によって、例えば、車両照明を制御すること、或いは、車体に設けられている付加的な照明を点灯することにより、狙いを定めて対象の領域を照明することが試みられる。しかし該制限が、狙いを定めた照明をもってしても存在する場合、本発明では、該アシスタント・システムは、安全な状態に移行される。

本発明の方法における制限には更に、アシスタント・システムのカメラ・システムの少なくとも一台のカメラの向けられている方向が、定義されている方向（カメラが向いているべき方向）からずれていることも含まれる。定義された方向とは、好ましくは、カメラの工場出荷時のデフォルト、或いは、カメラ・システムが、正確にアジャストされている場合の通常の向きであると解釈できる。

特に、車両周辺部のそれぞれ異なる領域に向けられた複数の個別カメラを備えたトップヴュー・システムでは、カメラの向きが正しく調整されていないと、合成される車両周辺部の全容画像に見えない角（かど）／場所、或いは、死角が出来てしまう場合がある。死角内では、オブジェクトを信頼性高く認識できなくなり、各々の自律的、乃至、部分自律的運転マヌーバの安全かつ正しい実施を、十分に保障できなくなる。アシスタント・システムのカメラ・システムの少なくとも一台のカメラの向きが、定義された向きからずれた場合、アシスタント・システムは、安全な状態に移行される。そのずれは、合成された車両周辺部の全容画像から直接認識されることができる。

本発明の方法における制限には更に、特に、カメラ・システムの画像データから、以下のうち少なくとも一つの作動条件の成立が認識されることも含まれる：
− 車両のドアが開いている
− トランクルームが開いている
− ボンネットが開いている
− 車両ミラーが開いている
− 車両ミラーが閉じている
− 車内に搭乗者がいる
− 車両の間近に人がいる

一枚の、或いは、複数枚の開かれた車両ドア、開いたトランクルーム、及び／或いは、開いたボンネットによりカメラ・システムの一つの、或いは、複数のカメラの視野が妨げられることがある。一枚の、或いは、複数枚の開かれた車両ドア、開いたトランクルーム、及び／或いは、開かれた車両ミラーは、自律的、乃至、部分自律的運転マヌーバ中、該車両部品が、車両周辺部のオブジェクトにぶつかり、特に、自車両に損害を及ぼす原因となり得る。一方、カメラ・システムの一つ、或いは、複数のカメラが、車両の車両ミラーに内蔵されている、或いは、カメラ・システムのカメラが、車両の（両）サイドミラー近傍に配置されている場合は、サイドミラーが閉じられていると、カメラ・システムのカメラの向きが、正しい向きではない、或いは、カメラの視野が、ミラーによって邪魔される、或いは、覆われる可能性もある。車両の間近にいる人、即ち、例えば、車両の移動空間内、或いは、予定されている走行軌道内に人がいること、或いは、自律的、乃至、部分自律的運転マヌーバの実施中に、車内にいる人も、運転マヌーバの安全な実施を邪魔する可能性を有している。よって、上記全ての作動条件が、自律的、乃至、部分自律的運転マヌーバが、安全に実施できない要因となり得る。本発明に係る方法のある好ましい実施形態によれば、アシスタント・システムは、上記の作動条件のうち少なくとも一つ、特に、これが、車両周辺部の合成された全容画像から直接認識された場合、安全な状態に移行される。これに対しては、車両周辺部の全容画像が、対応した画像処理ユニットによって適宜、例えば、画像認識法、パターン比較／パターン認識法などの方法で処理される。オプション的実施形態では、車載センサー情報からも少なくとも一つの制限の成立を認識できる。本発明において制限が存在し得る上述の作動条件用としては、例えば、車載センサー、特に、いずれにせよ車載されているセンサーのシグナル、例えば、車両ドア、トランクルームの開閉状態や、エンジンルームのボンネットのロックの状態を示すシグナル、及び／或いは、シート着席状況センサーやシートベルト・ロックからのシグナルと言った情報を活用することができる。

アシスタント・システムを安全な状態に移行させることは、アシスタント・システムが、好ましくは、車両ブレーキを制御することにより、車両を停止させる事につながる。

アシスタント・システムの安全な状態への移行は、特に、アシスタント・システムを、及び／或いは、車両を、ある定義されたイニシャル状態へ移行させることも包含している。この際、車両は、例えば、出発ポジジョン、特に、自律的、乃至、部分自律的運転マヌーバの開始前のイニシャル・ポジションに戻されることもできる。該アシスタント・システムの安全な状態への移行は、例えば、カメラ・システムの一つの、或いは、複数のカメラが、定義された向き（通常の向き）にセットされる、或いは、カメラ・システムのカメラを自動的に（再）アジャストすることであってもよい。更に、車両、及び／或いは、アシスタント・システムを定義されたイニシャル状態へ移行させる場合には、車両のミラーを該運転マヌーバが必要としているポジションへセットする、或いは、車両ドア、及び／或いは、車両のトランクルームを自動的に閉じることも可能である。

本発明に係る方法のある好ましい実施形態においては、車両のドライバーに、制限の存在、及び／或いは、アシスタント・システムの安全な状態への移行が通達される。該通達は、例えば、聴覚的、視覚的、或いは、触覚的シグナルで実施できるが、これらには、車両に既存のシグナル手段、例えば、クラクション、（ハザード）ウインカー・ランプ、或いは、付加的に車体／車内に配置されるシグナル手段を用いることができる。

本発明に係るアシスタント・システムは、好ましくは、車両に搭載され、自律的、乃至、部分自律的運転マヌーバ、特に、駐車マヌーバ、及び／或いは、発車マヌーバを実施する役割を担う。該アシスタント・システムは、複数のカメラによって車両周辺部の様々な領域の個別画像を捉え、画像処理ユニットによってこれらを適切に変換し、車両周辺部の全容画像を合成するカメラ・システムを包含していることが特に好ましい。尚、該カメラ・システムは、トップヴュー・システムであることが好ましい。本発明では、運転マヌーバの実施、並びに、制限の割出しの際に、車両周辺部の全容画像が処理される。更に、本発明では、該アシスタント・システムは、自律的、乃至、部分自律的運転マヌーバ（即ち、運転マヌーバの前、及び／或いは、実施中）の際、制限が存在すると、該アシスタント・システムが、安全な状態に移行できるように、構成されている。

Claims (8)

1. アシスタント・システムが、ブレーキ制御、操舵制御及び加速制御を含む、現在位置から目的位置に車両を動かすのに必要な全ての制御任務を請け負って、駐車操縦又は発車操縦を含む、車両の自律的運転操縦を実施する役割を果たし、カメラ・システムによって、車両周辺部から画像データが作成され、運転操縦を実施するために処理されるアシスタント・システム用の方法であって、
   画像データによって、アシスタント・システムによる自律的運転操縦の安全かつ正しい実施を阻害する制限が存在すると認識された場合に、該アシスタント・システムを安全な状態に移行させる措置が実施され、
   車両のドアが開いている、
   トランクルームが開いている、
   ボンネットが開いている、
   一つ又は複数のカメラが車両ミラーに内蔵されている場合に車両ミラーが閉じている、
   との作動条件の中の少なくとも一つが成立する場合に、該制限が存在するとされることと、
   アシスタント・システムのカメラ・システムが、複数のカメラによって、車両周辺部の異なる領域の個別画像を捉え、画像処理ユニットによって、車両周辺部の全容画像を合成するために適切な変換を実施するシステムであり、
   全容画像が、運転操縦の実施のため、並びに、制限を割出すために処理されることと、
   を特徴とする方法。
2. 車両周辺部の少なくとも一つの領域が、照明されていない、或いは、特定の輝度閾値以下の照明しかなされていない場合に、該制限が存在するとされることを特徴とする請求項１に記載の方法。
3. カメラ・システムの少なくとも一台のカメラの向きが、定義されている向きからずれている場合に、該制限が存在するとされることを特徴とする請求項１又は２に記載の方法。
4. 少なくとも一つの作動条件の成立がカメラ・システムによって得られた画像データの処理によって認識されることを特徴とする請求項３に記載の方法。
5. アシスタント・システムを安全な状態に移行させるために、車両が停止状態に移行されることを特徴とする請求項１〜４のうち何れか一項に記載の方法。
6. アシスタント・システムを安全な状態に移行させるために、車両とアシスタント・システムの中の一つ以上がイニシャル状態に移行されることを特徴とする請求項１〜５のうち何れか一項に記載の方法。
7. 車両のドライバーに、該制限の存在とアシスタント・システムの安全な状態への移行の中の一つ以上が通達されることを特徴とする請求項１〜６のうち何れか一項に記載の方法。
8. アシスタント・システムが、ブレーキ制御、操舵制御及び加速制御を含む、現在位置から目的位置に車両を動かすのに必要な全ての制御任務を請け負って、駐車操縦又は発車操縦を含む、車両の自律的運転操縦を実施し、複数のカメラにより車両周辺部の様々な領域の個別画像を捕捉して、画像処理ユニットにより、車両周辺部の全容画像を合成するために適宜変換するカメラシステムを備えた、車両用のアシスタント・システムにおいて、
   運転操縦を実施するため、並びに、自律的運転操縦の安全かつ正しい実施を阻害する制限を認識するために車両周辺部の全容画像が処理され、
   該自律的運転操縦の実施中に制限が存在する場合、該アシスタント・システムを安全な状態に移行させる措置が実施され、
   車両のドアが開いている、
   トランクルームが開いている、
   ボンネットが開いている、
   一つ又は複数のカメラが車両ミラーに内蔵されている場合に車両ミラーが閉じている、
   との作動条件の中の少なくとも一つが成立する場合に、該制限が存在するとされる、
   ことを特徴とするアシスタント・システム。