JP7317967B2 - 自動車の遠隔制御におけるユーザの支援方法、コンピュータプログラム製品、遠隔制御装置および自動車の運転支援システム - Google Patents

Description

本発明は、遠隔制御装置による自動車の遠隔制御においてユーザを支援するための方法であって、自動車の少なくとも１つの環境センサによって提供されるセンサデータに基づいて、自動車の周囲の少なくとも１つの部分の周囲画像が、決定された視野から提供され、第１の周囲画像が遠隔制御装置によって表示される方法に関するものである。また、本発明は、コンピュータプログラム製品、遠隔制御装置、および自動車の運転支援システムを含む。

自動車を遠隔制御するための様々な遠隔制御システムが従来技術から知られている。まず、自動車を遠隔制御するためには、ユーザが自動車の所定の位置にいなければならず、特に、自動車がユーザの視覚範囲内にあるようなシステムがある。このようなシステムは、主に、自動車によって自動的に行われる駐車プロセスに関連して使用され、自動車の外にいるユーザが遠隔制御によってそのような自動駐車プロセスを開始し、監視することができる。

これに関連して、US 2016/0096549 A1には、トレーラを備えた自動車を遠隔制御するための方法が記載されている。その場合、ユーザは、自動車／トレーラの構成を遠隔制御で駆動することができる。そのために、例えばアクセルペダル、ブレーキペダル、ギアセレクターレバーなどを遠隔制御するために、対応する制御要素を、特にそのような制御要素の仮想表示として、遠隔制御によって提供することができる。さらに、その場合には、自動車の３６０度全方位ビューシステムのビデオストリームをユーザに表示することもできる。

さらに、DE 10 2009 041 587 A1には、自動車の自律的な駐車プロセスを監視するためにドライバーを支援する方法が記載されており、監視しているユーザは、自律的な駐車プロセスの間、同様に自動車の外に位置することができる。その場合にも、自動車の少なくとも１つのカメラによって、自動車の周囲の領域に関する画像データを取得し、これらの画像データまたはそれから算出された画像データを、表示のためにユーザの遠隔制御装置に伝達することができる。また、複数のカメラが設けられている場合には、ユーザが遠隔制御によって複数のカメラのうちの１つを選択し、選択されたカメラの画像データを遠隔制御によってユーザに表示することができる。また、異なるカメラの映像を、所定の時間差で自動的に表示することも可能である。さらに、遠隔制御によって、自動車の周囲の領域を鳥瞰図のようにドライバーに表示することも可能である。

さらに、ユーザが自動車の所定の近さに位置する必要はなく、むしろ自動車から非常に遠く離れた場所、例えば別の都市、あるいは別の国にいることも可能な遠隔制御システムもある。このようなシステムは、例えば「CES 2018:Phantom Auto Demonstrates First Remote-Controlled Car on Public Roads」（Mark Harris著、2018.01.10公開、https://spectrum.ieee.org/cars-that-think/transportation/self-driving/ces-2018-phantom-auto-demonstrates-first-remotecontrolled-car-on-public-roads）という記事に記載されている。その場合も、自動車のカメラで記録した周囲の映像を、遠隔制御で自動車をコントロールする遠方のユーザにライブストリームとして表示することができる。

正確には、最後に述べたケース、すなわち、ある状況下では、ユーザが遠隔制御される自動車から非常に遠くにいることができるケースでは、ユーザが遠くからこの自動車を遠隔制御しなければならない場合には、自動車の周囲に関する包括的な情報をユーザに提供することが特に重要である。

さらに言えば、一般的に、高度な自動化レベルで走行する自動車が、先行技術からすでに知られている。これに関連して、様々な自律性レベルの自動車が試験されているのが現状である。しかし、ステージ５の自律性レベル、すなわち、運転者や監視者がもはや全く存在しなくてもよいレベルは、少なくとも近い将来には実現できないことが予測される。現在、非常に高い自律性を持つ自動車であっても、ユーザによる手動操作が必要な状況に遭遇することがある。このような状況は、例えば、高速道路の出口、車線の合流、事故、救急隊の車両のための通路の提供、道路工事などの重要な操作、あるいは、駐車場の隙間や立体駐車場に駐車するためのより単純なドライバーの引き継ぎなどが考えられる。このような、自動運転車のユーザによる手動での引き継ぎは、ユーザによる自動運転車の制御を遠隔地で行うことも可能にする。この場合、このような引き継ぎは、自動車が停止しているときや、例えば駐車操作中などの低速走行時に必要となることがあるが、一方で、自動車が高速で走行しているとき、例えば高速道路上などの極めて重要な状況でも必要となる。したがって、ユーザにとって、このような引き継ぎをできるだけ簡単に、かつ全体的にできるだけ安全に行うことが望ましい。

したがって、本発明の目的は、自動車の外部にいて、離れた場所に位置するユーザによる自動車の遠隔制御を最も安全に行うことができる、遠隔制御装置による自動車の遠隔制御においてユーザを支援する方法、コンピュータプログラム製品、遠隔制御装置および自動車の運転支援システムを提供することである。

この目的は、それぞれの独立特許項に基づく特徴を有する、自動車の遠隔制御においてユーザを支援する方法、コンピュータプログラム製品、遠隔制御装置、および運転支援システムによって達成される。本発明の有利な構成は、従属請求項、明細書および図の主題である。

遠隔制御装置による自動車の遠隔制御においてユーザを支援するための本発明による方法では、自動車の少なくとも１つの環境センサによって提供されるセンサデータに基づいて、自動車の周囲の少なくとも１つの部分の第１の周囲画像が、決定された視野から提供され、第１の周囲画像が遠隔制御装置によって表示される。さらに、決定された視野は、ユーザによって行われ、遠隔制御装置によって検出されたユーザ入力に基づいて、少なくとも１つの環境センサの位置に依存しない視野として、複数の選択可能な視野の中から選択される。

言い換えれば、遠隔制御装置によってユーザが選択可能であり、自動車の周囲の対応する周囲画像をユーザに表示することができる視野は、自動車の１つ以上の環境センサの位置によって提供される視野に限定されるものではなく、例えば、原理的には３次元空間において自由に選択可能である。選択された視野からの周囲の景色や表現は、少なくとも１つの環境センサから提供されるセンサデータから既知の方法で算出することができる。その結果、ユーザは、自動車の周囲の視野の選択に関して、有利にはかなりの柔軟性を得ることができ、その結果、まさに、非常に危機的な運転状況において、ユーザが遠くから自動車を遠隔制御しなければならない遠隔制御システムとの組み合わせにおいて、特定の状況下で、安全性を非常に高めることができる。視野の選択が非常に柔軟になった結果、ユーザに表示されるのは、状況の要件に適切に適合された方法でユーザによって選択されることができる周囲の画像である。この場合、特に自動車センサの位置によって予め決められた、定義された数の所定の視野に制限されないため、安全性を非常に高めることができる。

この場合、自動車の遠隔制御とは、自動車が自動的に行うべき機能を遠隔制御で作動させることと、自動車を手動で遠隔制御して運転することの両方を意味すると理解できる。好ましくは、遠隔制御される自動車は、特に自律性レベル２、３または４の自動運転自動車である。好ましくは、ユーザによる自動車の遠隔制御は、引き継ぎの状況でのみ行われる。つまり、現在運転している自動車が、ユーザに運転機能の引き継ぎを自動的に要求する場合である。これは、冒頭で説明したような状況の場合である。

本発明に関連して、自動車の遠隔制御の際に、ユーザは自動車に、あらかじめ定められた近さで位置する必要はなく、むしろ自動車から任意の距離にいることができる。さらに、自動車は、ユーザの視覚範囲内にある必要はない。この場合、自動車と遠隔制御装置との間の通信は、原則として任意の通信規格、好ましくは移動体無線規格によって行うことができる。現時点では、主にモバイル無線規格の４ＧまたはＬＴＥ（Long Term Evolution）、特にＬＴＥ－ａｄｖａｎｃｅｄがこれに適している。現時点では、最高のデータ転送速度を実現し、その結果、遅延を最小限に抑えることができる。将来的には、自動車と遠隔制御装置の間のデータ転送に、例えば、計画中のモバイル無線規格５Ｇなど、さらに改善された他のモバイル無線規格を使用することも可能になるであろう。

さらに、遠隔制御装置は、任意の形態をとることができる。例えば、スマートフォンなどの移動体通信機器として構成することができ、また、例えば、デスクトップコンピュータやユーザのホームコンピュータなどの非移動体通信機器として構成することもできる。少なくとも１つの第１の周囲画像を表示するために、遠隔制御装置は、少なくとも１つの表示装置またはディスプレイを備える。

少なくとも１つの環境センサは、好ましくは少なくとも１つのカメラとして具現化される。環境の検出やセンサデータの提供には、代替的または追加的に他のタイプのセンサを使用することもできる。例えば、ＬＩＤＡＲ（Light Detection And Ranging）センサ、レーダーセンサ、超音波センサ、およびこれらの任意の組み合わせが挙げられる。

ユーザが望む任意の視野から周囲の状況を表現できるようにするためには、後に詳しく説明するように、検出されたセンサデータに基づいて自動車の周囲の３Ｄ全方位ビューを提供できることが好ましい。これは、単一の環境センサまたは複数の環境センサのいずれかによって可能になる。例えば、自動車のルーフに３６０度カメラおよび／または３６０度ＬＩＤＡＲセンサを設置して、自動車の周囲の環境をペリゴン（perigon）で検出することができる。センサデータは、複数の環境センサ、特に複数のカメラを使用して提供されることが好ましい。これらのカメラは、自動車の周囲の外装に配置され、例えば、自動車の前部にあるフロントカメラ、自動車の後部にあるリアカメラ、また、例えば、自動車の左外装ミラーの領域にある左ミラーカメラ、自動車の右外装ミラーの領域にある右ミラーカメラなどが挙げられる。これらのカメラのうちの１つは、広角カメラ、特に魚眼カメラとして具現化されることが好ましい。それぞれのカメラは、水平方向に１８０度の開口角を持つ視野を提供するように設計することができる。このような配置により、共通の検出タイムステップに割り当てられたそれぞれのカメラのカメラ画像データを統合して融合させることにより、自動車の周囲のペリゴンで自動車の周囲を検出し、それに基づいて自動車の周囲の３Ｄ全方位ビューを生成することも可能になる。

この場合、視野には、まず、周囲の環境を見るための視点、特に仮想的な視点、および見る方向を割り当てることができる。さらに、少なくとも１つの環境センサの位置に依存しない視野とは、その割り当てられた視点が少なくとも１つの環境センサの位置とは異なる可能性がある視野を意味すると理解すべきである。例えば、ユーザは、それぞれの自動車用カメラが周囲を記録する視野に対応しない視野を選択することもできる。

さらに、視野を選択するために検出されたユーザ入力は、視野を選択するためだけに提供されるユーザ入力を構成することができる。言い換えれば、ユーザは、自動車自体の位置および／または向きをこの目的のために遠隔制御で変更することなく、視野を選択または変更することができる。このようにして、自動車座標系内の決定された視野は、ユーザ入力によって選択または変更することができる。

本発明の１つの有利な構成では、選択された視野に基づいて、定義された投影面上のビューウィンドウが決定され、第１の周囲画像が、自動車の周囲の３Ｄ全方位ビューの一部として算出され、前記３Ｄ全方位ビューは、定義された投影面上の決定されたビューウィンドウに基づいて、センサデータから提供されることができ、第１の周囲画像は、選択された視野からのビューウィンドウ内にある周囲の部分を表すようになっている。

この点に関して、例えば、選択された視野の視点から提供されたセンサデータは、定義された投影面に投影することができ、その結果、周囲の画像は、有利には、決定されたビューウィンドウ内で自動車の周囲に提供可能な３Ｄ全方位ビュー全体の一部として提供することができる。投影面は、例えば、車両の垂直軸に対して垂直に延び、車両の垂直軸に対して自動車の下方に位置する平面を構成することができる。このような投影面は、鳥瞰図や自動車の平面図で周囲を表現するのに特に適している。

投影面が曲面を構成していると、特に有利である。投影面は、例えば、半球状またはシェル状に具現化することができる。さらに、投影面を、円形の平面とその周囲に広がるシェル状の面とからなる構成として提供することもできる。これにより、原理的に３次元空間の任意の位置で視野を選択することができ、選択された視野から周囲の３次元画像を３Ｄ全方位ビューの一部として提供することができるため、柔軟性が格段に向上する。

例えば、決定された視野に割り当てられる仮想的な視点は、予め定められた１つまたは複数のライン上、あるいは３次元空間上で自由に選択することができる。これにより、遠隔制御装置が検出したユーザの入力によって、ユーザは自由に視野を選択し、任意に、特に動的に、かつ連続的に変更することができる。その結果、原理的には無数の異なる視野、特に無限の視野を、それぞれの状況に合わせて適切に選択することができる。

特に、この場合、決定された視野に割り当てられた仮想視点は、自動車の内部だけでなく、自動車の外部でも選択可能である。これにより、例えば、自動車に乗っているドライバーが周囲を見るような視野と、自動車の外側で自動車の隣、後ろ、前、上にいる観察者が見るような視野を、必要なだけ選択することが可能となる。このように、自動車によって検出された環境情報をユーザに包括的に表示することができる可能性が有利に提供される。

本発明のさらに有利な構成では、第１の周囲画像において、自動車の自動車表現の少なくとも１つの部分が、選択された視野から表現される。前記自動車表現は、例えば、２Ｄビットマップ画像の形態で提供することができ、また、代替的に３Ｄコンピュータ生成自動車モデルとして提供することができる。その結果、ユーザの臨場感が大幅に向上する。主に、ユーザは、それによって、第１の周囲画像に表された周囲および当該周囲に位置する物体を自動車の位置に直接関連付けることができ、例えば、距離、サイズの関係、現在の進行方向などを登録することができ、その結果、安全性をさらに向上させることができる。

本発明のさらに有利な構成では、第１の周囲画像は、センサデータから自動車によって算出され、遠隔制御装置に伝達される。これにより、遠隔制御装置側の演算能力を節約することができ、例えば、遠隔制御装置をモバイル機器として特にコンパクトに構成することができるという大きな利点がある。さらに、この構成では、上述したように、決定されたビューウィンドウの外側にあるセンサデータや周囲のデータなどではなく、周囲の画像の画像データのみが遠隔制御装置に伝達されるため、自動車から遠隔制御装置に伝達されるデータを最小限に抑えることができるという大きな利点がある。これにより、自動車から遠隔制御装置へのデータ通信を大幅に高速化することができる。これにより、待ち時間を最小限に抑えることができる。この場合、視野を選択するためのユーザ入力が遠隔制御装置によって検出され、例えば、対応する選択情報として遠隔制御装置から自動車に伝達されると有利である。自動車は、検出されたセンサデータに基づいて、選択された視野に基づいて周囲の画像を算出し、遠隔制御装置に伝達することができる。このプロセスは、ここでは特に連続的に繰り返され、選択された視野からの繰り返し更新された第１の周囲画像が、遠隔制御装置上でライブビデオの形でユーザに表示されるようになっている。

本発明のさらに有利な構成では、センサデータが自動車から遠隔制御装置に伝達され、遠隔制御装置によってセンサデータから第１の周囲画像が算出される。これにより、詳細は後述するが、例えば、遠隔制御装置に伝達されたセンサデータから、異なる視野からの周囲の画像を同時に算出して表示することが可能となる。原理的には、これらの異なる周囲の画像、つまり異なる視野からの画像を、センサデータに基づいて自動車内で直接算出し、遠隔制御装置に伝達することも考えられるが、自動車内の計算能力は、特に自動車内で利用可能な構造的スペースが限られていることを理由に、一般的に大きく制限されている。対照的に、遠隔制御装置にはそのような制限は適用されない。遠隔制御装置は、例えば、高い演算能力を有するホームコンピュータとして具現化することもできる。その結果、例えば、ユーザが選択した視野からの最初の周囲の画像の他に、他の視野からの更なる周囲の画像を同時に表現することが可能となり、自動車側の計算能力を必要としない。また、この場合、視野を選択するためのユーザの入力を、遠隔制御装置で検出して、選択情報の形で自動車に伝える必要もない。

本発明の特に有利な構成の１つでは、センサデータから第１の周囲画像を自動車で算出するか、遠隔制御装置で算出するかが、自動車と遠隔制御装置との間の通信接続の種類、および／または、自動車と遠隔制御装置との間のデータ転送の帯域幅および／またはデータ転送速度に基づいて決定される。つまり、上述した２つの変形例は、自動車と遠隔制御装置との間の通信接続の現在の接続品質に基づいて、状況に応じた方法で実施することができる。少なくとも自動車は動くので、時々、通信接続が良くなったり悪くなったりすることがある。例えば、現在高いデータ転送速度が利用可能であれば、自動車によって検出された生のセンサデータ全体を遠隔制御装置に伝達することができ、遠隔制御装置は、これらのセンサデータから、第１の周囲の画像、好ましくはさらに別の視野からの周囲の画像を算出して、ユーザに表示することができる。対照的に、自動車と遠隔制御装置との間の通信接続が現状では貧弱であるか、または非常に低いデータ転送速度しか利用できない場合、代わりに、自動車は、検出されたセンサデータに基づいて、ユーザが選択した視野に基づいて第１の周囲画像を算出し、それを遠隔制御装置に伝達することができ、それにより、伝達されるデータの量は非常に減少することができる。その結果、現在の通信接続品質に適合した自動車と遠隔制御装置との間のデータ転送および通信が有利に可能となる。

したがって、本発明のさらに特に有利な構成では、通信接続の帯域幅および／または自動車と遠隔制御装置との間の通信接続のデータ転送速度が所定の制限値を下回った場合には、自動車によってセンサデータから第１の周囲画像が算出され、遠隔制御装置に伝達される。また、自動車と遠隔制御装置との間の通信接続の帯域幅および／またはデータ転送速度が所定の制限値を下回らない場合には、センサデータを遠隔制御装置に伝達し、遠隔制御装置がセンサデータから第１の周囲画像を算出する。

すでに述べたように、センサデータに基づいて、第２の視野からの少なくとも１つの第２の周囲画像が提供され、遠隔制御装置によって第１の周囲画像と同時に表示されると、さらに特に有利である。このようにして、異なる視野からの周囲の画像を同時にユーザに提示することが有利に可能となる。このようにして、ユーザは、それぞれの所定の時点で、さらに包括的な周囲の情報を提供することができる。この場合、第２の周囲の画像に割り当てられた視野は、同様に、ユーザによって選択または変更可能であるか、あるいは、固定的に規定されることができる。例えば、ユーザが選択した視野の第１の周囲画像に加えて、自動車および自動車周囲の鳥瞰図的な平面画像を第２の周囲画像として表現したり、運転者の視野からの第２の周囲画像をさらに表現したりすることができる。構成の可能性については、特に制限はありません。例えば、複数の周囲の画像が同時に表示される場合には、表示される周囲の画像に割り当てる視野を、ユーザが設定メニューを用いて最初から設定することも可能である。そして、個々の周囲の画像について、例えば、設定された視野をいつでも変更することができるようになっている。

すでに説明したように、本発明のさらに有利な構成によれば、自動車の遠隔制御は、遠隔制御装置と自動車との間の距離とは無関係に行われるか、または行うことができることがさらに好ましい。したがって、ユーザは、自動車に所定の近接した位置に位置する必要はなく、むしろ、自動車の遠隔制御のために、自動車の位置とは独立したユーザ位置に位置することができる。このような遠隔制御に関連して、特に、ユーザが自動車の所定の位置に位置し、自動車も常にユーザの視覚範囲内にあるような他の遠隔制御システムとは対照的に、ある状況下では、ユーザは自動車とその周辺を直接見ることができないため、ユーザに包括的な周辺情報を提供することが特に重要である。自動車の周囲に関するこのような包括的な情報提供は、本発明によって有利に提供することができ、これにより、距離に依存しないこのような遠隔制御システムに関して、安全性を正確に大幅に向上させることができる。

さらに、本発明は、電子制御装置のプロセッサによって実行されたときに、前記プロセッサに本発明またはその実施形態の１つによる方法を実行させる命令を含む、コンピュータプログラム製品にも関する。

さらに、本発明は、自動車の遠隔制御においてユーザを支援するための遠隔制御装置であって、遠隔制御装置は、決定された視野から自動車の周囲の少なくとも１つの部分の周囲画像を表示するように設計されており、前記周囲画像は、自動車の少なくとも１つの環境センサによって提供されるセンサデータに基づいて提供される。さらに、遠隔制御装置は、ユーザによって行われたユーザ入力を検出し、検出されたユーザ入力に基づいて、複数の選択可能な視野から、少なくとも１つの環境センサの位置に依存しない視野として、決定された視野を選択するように設計されている。

さらに、本発明は、遠隔制御装置による自動車の遠隔制御においてユーザを支援するための自動車の運転支援システムを含み、運転支援システムは、自動車の少なくとも１つの環境センサによって提供されるセンサデータに基づいて、決定された視野からの自動車の周囲の少なくとも１つの部分の第１の周囲画像を提供し、第１の周囲画像を表示するために、前記周囲画像を遠隔制御装置に伝達するように設計される。さらに、運転支援システムは、ユーザによって行われ、遠隔制御装置によって検出されたユーザ入力に依存する選択情報を遠隔制御装置から受信し、受信した選択情報に基づいて、複数の選択可能な視野から、少なくとも１つの環境センサの位置に依存しない視野として、決定された視野を選択するように設計されている。

本発明による方法およびその実施形態に関して述べた利点は、本発明によるコンピュータプログラム製品、本発明による遠隔制御装置、および本発明による運転支援システムにも同様に適用される。さらに、本発明による方法に関連して説明した好ましい実施形態は、さらなる対応する構成によって、本発明によるコンピュータプログラム製品、本発明による遠隔制御装置、および本発明による運転支援システムの開発を可能にする。

さらに、本発明は、本発明またはその構成の１つによる運転支援システムを含む自動車も含むと考えるべきである。したがって、本発明には、遠隔制御装置と自動車とを含むシステムも含まれ、このシステムは、本発明またはその実施形態の１つによる方法を実施するために設計されている。

本発明の例示的な一実施形態による、自動車と遠隔制御装置からなる遠隔制御システムの概略図である。 本発明の１つの例示的な実施形態に従って、自動車から提供されたセンサデータから自動車の周囲の３Ｄ全方位ビューを提供し、選択された視野に基づいて周囲の画像を算出することを示す概略図。 本発明の１つの例示的な実施形態に従った遠隔制御装置の概略図である。

図１は、本発明の１つの例示的な実施形態による、自動車２と遠隔制御装置３とからなる遠隔制御システム１の概略図である。この場合、自動車２は、少なくとも１つの環境センサ、この例では４つのカメラ５、６、７、８、即ち、例えばフロントカメラ５、リアカメラ６、左ミラーカメラ７、右ミラーカメラ８を含む運転支援システム４を有している。これらのカメラ５、６、７、８は、それぞれ広角カメラとして構成することができる。そのため、これらのカメラ５、６、７、８のそれぞれによって、非常に広い視野を検出することができる。このようにして、自動車２の周囲９を完全に、つまり、自動車２の周囲のペリゴンで検出することができる。これらの検出されたセンサデータに基づいて、図３を参照してさらに具体的に説明するように、決定された視野からの自動車２の周囲９の少なくとも１つの部分の周囲画像が算出され、遠隔制御装置３に表示されることができる。

有利なことに、これらの視野のそれぞれは、ユーザによって自由に選択可能である。この自由に選択可能な視野は、有利には、それぞれのカメラ５、６、７、８の位置に依存しない。言い換えれば，それぞれのカメラ５、６、７、８の視野に対応しない視野を選択することができる。所望の視野を選択できるようにするために、遠隔制御装置３は、対応する入力手段を有することができる。後者の方法により、ユーザによる視野の選択は、遠隔制御装置３によって検出することができる。

検出されたセンサデータに基づいて、周囲の画像を算出する方法はいくつかある。この算出は、一方では自動車によって実行され、他方では遠隔制御装置３によって実行されることができる。以下に説明する例では、自動車２と遠隔制御装置３の両方が、検出されたセンサデータに基づいて周囲の画像を算出するように設計されている。このため、運転支援システム４は、センサデータに基づいて、予め設定された視野に基づいて周囲の画像を算出するように設計された制御装置１０を有する。一方、本例では、遠隔制御装置３も対応する制御装置１１を有しており、この制御装置も同様に、提供されるセンサデータから所定の視野に基づいて周囲の画像を算出するように設計されている。

周囲の画像が自動車によって算出されるように意図されている場合、所望の視野を定義するためのユーザ入力は、対応する選択情報１２として、自動車２、特に自動車２の制御装置１０に伝達され得る。ユーザ入力は、遠隔制御装置３によって検出される。次に、制御装置１０は、それぞれの時間ステップでカメラ５、６、７、８から提供された画像データに基づいて、決定された視野から周囲の画像１３を算出し、それぞれの時間ステップで、この周囲の画像（ここでは１３で指定されている）を遠隔制御装置３に順次伝達し、遠隔制御装置３は、伝達された周囲の画像１３を表示する。それぞれの時間ステップにおいて、制御装置１０は、異なる視野を指定する新たな選択情報１２がユーザ御御装置３から受信されるまで、ユーザによって選択された同じ視野から、繰り返し、センサデータに基づいて周囲の画像１３を算出することができる。そして、自動車２の制御装置１０は、新たに指定された視野に基づいて周囲の画像１３を適宜算出し、当該周囲の画像を遠隔制御装置３に伝達することができる。

一方、前述したように、この周囲画像１３の算出は、遠隔制御装置３自身が行うことも可能である。この場合、選択情報１２は、遠隔制御装置３から自動車２に伝達される必要はない。代わりに、それぞれの時間ステップにおいて、自動車２の制御装置１０は、カメラ５、６、７、８によって検出された画像データを、特に生のセンサデータ１４として、遠隔制御装置３に伝達する。さらに、周囲の地図、現在の自動車の位置、現在の走行速度など、さらに多くの周囲および自動車のデータを自動車から遠隔制御装置に伝達することもできる。遠隔制御装置は、ユーザが選択した視野に基づいて周囲の画像１３を算出し、当該周囲の画像を表示する。

周囲の画像１３が自動車２によって算出されることが意図されているか、遠隔制御装置３によって算出されることが意図されているかの判断が、自動車２と遠隔制御装置３との間の通信接続が現在どの程度良好であるかに基づいて行われると、ここでは特に有利である。例えば、データ転送のために非常に高い帯域幅が現在利用可能である場合、および／または、高いデータ転送速度が現在可能である場合、自動車２、特に制御装置１０が、生のカメラデータ１４を遠隔制御装置３に伝達し、周囲の画像１３の算出が遠隔制御装置３によって実行されることが好ましい。これには、例えば自動車２の制御装置１０のように、遠隔制御装置３の演算能力が構造的な空間に支配されて制限されないという大きな利点がある。これにより、有利なことに、遠隔制御装置３に伝達された生のカメラデータ１４に基づいて、ユーザが選択した視野に基づいて単一の周囲画像１３を表示するだけでなく、例えば、他の視野からのさらに別の周囲画像を算出し、それらを同時に表示することも可能になる。

一方、現在、データ通信に高い帯域幅が利用できない場合や、低いデータ転送速度しか利用できない場合には、自動車２自身が、ユーザが指定した視野に基づいて周囲の画像１３の算出を行い、算出された周囲の画像１３を遠隔制御装置３に伝達し、遠隔制御装置３がそれを表示することが好ましい。これにより、自動車２から遠隔制御装置３への周囲の画像１３の伝達のために生じるデータ量は、生のカメラデータ１４全体を伝達する場合に比べて大幅に小さくなるという利点がある。その結果、低いデータ転送速度であっても高速にデータ転送を行うことができる。

さらに、遠隔制御装置３の側で追加的に、遠隔制御装置３を介してユーザが入力した遠隔制御コマンド１５を、遠隔制御装置３から自動車２に、特に順番に、当該コマンドを実行する制御装置１０に伝達することもできる。このような遠隔制御コマンドは、特に自動車２に対する運転コマンドを構成し、特に自動車２の操作を制御するため、および／または自動車２の加速および／または制動を制御するためのものである。特に、遠隔制御装置３による自動車２の遠隔制御の間、ユーザは、自動車２の周囲９に関する包括的な周囲情報を追加的に提供され、これにより、自動車２の遠隔制御の間の安全性が大幅に向上する。

図２は、自動車２の周囲の３Ｄ全方位ビューの一部として、提供されたセンサデータに基づいて周囲の画像を算出する様子を示す模式図である。特に、図２は、この例では球状またはシェル状の投射面１５として具現化されている投射面を、自動車表現１７の一例としての自動車２の３次元モデルとともに示している。自動車カメラ５、６、７、８によって検出された周囲９の画像は、この球体の表面１６にマージして投影することができる。さらに、決定されたビューウィンドウ１８が定義され、これは、選択された視野１９の位置に依存し、ここでは視野１９に割り当てられた仮想視点によって表される。この例では、視野１９は、自動車２の背後からの眺めを提供するように選択されており、この自動車は、ここでは、自動車モデルまたは一般に自動車表現１７によって表されている。このようにして、選択された視野１９から、周囲２０の第１の部分を表す周囲画像を提供することが可能であり、当該第１の部分はビューウィンドウ内に位置する。異なる視野からの例示的な周囲の画像は、図３で見ることができる。

特に、図３は、ここでは、本発明の１つの例示的な実施形態による遠隔制御装置３の詳細を示す概略図である。遠隔制御装置３は、操作要素２１を有することができ、そのうちここでは例としてハンドルのみが図示されており、それによってユーザが遠隔制御された方法で自動車２を運転することができる。この場合、このようなハンドルまたは操作要素２１は、一般に、具体的な物体として提供される必要はなく、むしろ、ディスプレイデバイスおよび／またはタッチスクリーン上の仮想的な表現として表すこともできる。さらに、遠隔制御装置３は、同様にここでは明示的に図示されていない入力可能性も提供し、それによって、ユーザは、遠隔制御装置３によってユーザ自動車２の周囲９が表現されることを意図する視野を選択することができる。遠隔制御装置３は、この周囲の画像を表現するための少なくとも１つの表示装置を有する。

本実施例では、３つの表示装置２２が設けられている。この場合、それぞれの表示装置２２は、それぞれの周囲の画像１３ａ、１３ｂ、１３ｃを表示する。これらの周囲の画像１３ａ、１３ｂ、１３ｃは、代替的に、例えば、隣り合ったり、下に並んだりして、共通の表示装置２２に表示することもできる。表示された周囲の画像１３ａ、１３ｂ、１３ｃのうち、少なくとも１つの周囲の画像は、ユーザが指定した視野１９から表示される。この場合、他の２つの周囲の画像は、同様に、ユーザが積極的に選択した視野、および／または、予め定義された視野から表示することができる。この例では、第１の周囲画像１３ａは、自動車２の周囲９の１つの部分２０を示しており、ここでは、その割り当てられた視点が自動車２または自動車モデル１７の外側にある視野１９から、対応する自動車表現１７として順番に表現されている。第２の周囲画像１３ｂは、その割り当てられた視点が自動車２または自動車モデル１７の内側にある視野から、周囲９の部分２０を示している。第３の周囲画像１３ｃの場合、ビューウィンドウ１８内にある自動車の周囲９の部分２０は、鳥瞰図的な視野、すなわち、視点１９の視点が自動車２または自動車表現１７の真上に位置する視点で表現されている。第１の周囲画像１３ａの視野は、ユーザが所望する方法で自由に選択・変更することができる。また、２つの周囲画像１３ｂ、１３ｃは、予め定められた視野としてユーザに表示することができる。特に、第３の周囲画像１３ｃによる鳥瞰図は、通常、ユーザに包括的な周囲情報を提供することができるので、有利である。第２の周囲画像１３ｂによる視野は、自動車２に座っている運転者の視野を模擬するものであり、遠隔制御を行うユーザにとっては特に馴染みのある表現であるため、特に有利である。この周囲の情報は、ユーザ自身が自由に選択できる視野１９を持つ第１の周囲の画像１３ａによっても補完されることになる。遠隔制御のためにユーザにとって特に重要であるが、他の２つの表現からは収集できない周囲の情報については、ユーザは適宜、視野１９を適切に選択することにより、当該情報を前記第１の周囲の画像によって表示することができる。

その結果、自律走行車の遠隔制御において、プログラムに含まれていない不測の交通状況、例えば狭い路地など、人間の助けなしには脱出できない状況に置かれた場合の安全性を大幅に高めることができる。魚眼カメラを使用することで、３６０度の全方位映像を簡単に作成することができる。これにより、遠隔制御を行うユーザである遠隔制御者が任意の視野を選択することが可能となり、特に危機的な運転状況において、遠隔制御者によるナビゲーションが大幅に簡素化されるという利点がある。例えば自動車の上方や後方など、任意の観察者の位置を採用することができるため、遠隔制御者は現在の状況をより的確に把握することができ、遠隔制御をより簡単に、より安全に行うことができる。遠隔制御者は、最終的に、遠隔制御された自動車を３６０度完全に把握することができる。さらに、遠隔制御者は、仮想視点を、自動車の内部および外部の任意の好ましい観察位置に移動させることができ、これにより、事故状況からの自動車のナビゲーションや、駐車操作中の自動車２のナビゲーションが大幅に簡素化される。

Claims (14)

1. 遠隔制御装置（３）による自動車（２）の遠隔制御においてユーザを支援する方法であって、
   自動車（２）の少なくとも１つの環境センサ（５、６、７、８）によって提供されるセンサデータ（１４）に基づいて、自動車（２）の周囲（９）の少なくとも１つの部分（２０）の第１の周囲画像（１３）を、決定された視野（１９）から提供する工程と、
   前記遠隔制御装置（３）を用いて、第１の周囲画像（１３）を表示する工程と、を備え、
   前記方法は、ユーザによって行われ、前記遠隔制御装置（３）によって検出されたユーザ入力に基づいて、選択可能な複数の視野（１９）から、前記決定された視野（１９）を、少なくとも１つの環境センサ（５、６、７、８）の位置に依存しない視野（１９）として選択する工程と、を備え、
   検出された前記センサデータに基づいて、自動車の周囲の３Ｄ全方位ビューが提供され、
   前記選択された視野（１９）に基づいて、定義された投影面（１６）上のビューウィンドウ（１８）が決定され、前記第１の周囲画像（１３、１３ａ）が、自動車（２）の周囲の前記３Ｄ全方位ビューの一部として算出され、前記３Ｄ全方位ビューは、前記定義された投影面（１６）上の前記決定されたビューウィンドウ（１８）に基づいて、前記センサデータ（１４）から提供することができ、前記第１の周囲画像（１３、１３ａ）は、前記選択された視野（１９）からのビューウィンドウ内にある前記周囲（９）の前記部分（２０）を表すようになっており、
   遠隔制御される自動車（２）は、自律性レベル２、３または４の自動運転自動車であり、
   ユーザによる自動車（２）の遠隔制御は、引き継ぎの状況でのみ行われ、
   前記引き継ぎの状況は、現在運転している自動車（２）が、ユーザに運転機能の引き継ぎを自動的に要求するという状況である、方法。
2. 前記投影面（１６）は、曲面（１６）を構成している、請求項１に記載の方法。
3. 前記決定された視野（１９）に割り当てられた仮想的な視点（１９）が、３次元空間上で自由に選択可能である、請求項１又は２に記載の方法。
4. 前記決定された視野（１９）に割り当てられた仮想的な視点（１９）が、自動車（２）の内部および自動車（２）の外部で選択可能である、請求項１乃至３のいずれか一項に記載の方法。
5. 前記第１の周囲画像（１３、１３ａ）において、自動車（２）の自動車表現（１７）の少なくとも一部分が、前記選択された視野（１９）から表現される、請求項１乃至４のいずれか一項に記載の方法。
6. 前記第１の周囲画像（１３、１３ａ）が、前記センサデータ（１４）から自動車（２）によって算出され、前記遠隔制御装置（３）に伝達される、請求項１乃至５のいずれか一項に記載の方法。
7. 前記センサデータ（１４）が自動車（２）から前記遠隔制御装置（３）に伝達され、前記第１の周囲画像（１３、１３ａ）が前記センサデータ（１４）から前記遠隔制御装置（３）によって算出される、請求項１乃至６のいずれか一項に記載の方法。
8. 前記第１の周囲画像（１３、１３ａ）が、前記センサデータ（１４）から自動車（２）によって算出されるか又は前記遠隔制御装置（３）によって算出されるかが、前記自動車（２）と前記遠隔制御装置（３）との間の通信接続の種類、および／または、前記自動車（２）と前記遠隔制御装置（３）との間のデータ転送の帯域幅および／またはデータ転送速度に基づいて決定される、請求項１乃至７のいずれか一項に記載の方法。
9. 自動車（２）と前記遠隔制御装置（３）との間の通信接続の帯域幅および／または通信接続のデータ転送速度が所定の制限値を下回った場合に、前記第１の周囲画像（１３、１３ａ）が、前記センサデータ（１４）から自動車（２）によって算出されて前記遠隔制御装置（３）に伝達され、
   自動車（２）と前記遠隔制御装置（３）との間の通信接続の帯域幅および／または通信接続のデータ転送速度が所定の制限値を下回らない場合には、前記センサデータ（１４）が遠隔制御装置（３）へ伝達され、前記第１の周囲画像（１３、１３ａ）が、前記センサデータ（１４）から前記遠隔制御装置（３）によって算出される、請求項８に記載の方法。
10. 前記センサデータ（１４）に基づいて、第２の視野（１９）からの少なくとも１つの第２の周囲画像（１３ｂ、１３ｃ）が提供され、前記遠隔制御装置（３）によって前記第１の周囲画像（１３、１３ａ）と同時に表示される、請求項１乃至９のいずれか一項に記載の方法。
11. 自動車（２）の遠隔制御が、前記遠隔制御装置（３）と自動車（２）との間の距離とは無関係に行われる、請求項１乃至１０のいずれか一項に記載の方法。
12. 電子制御装置（１０、１１）のプロセッサによって実行されたときに、請求項１乃至１１のいずれか一項に記載の方法を前記プロセッサに実行させる命令を含む、コンピュータプログラム。
13. 自動車（２）の遠隔制御においてユーザを支援するための遠隔制御装置（３）であって、
    前記遠隔制御装置（３）は、決定された視野（１９）からの自動車（２）の周囲（９）の少なくとも１つの部分（２０）の周囲画像（１３、１３ａ）を表示するように設計されており、前記周囲画像は、自動車（２）の少なくとも１つの環境センサ（５、６、７、８）によって提供されるセンサデータ（１４）に基づいて提供され、
    前記遠隔制御装置（３）は、ユーザによるユーザ入力を検出し、検出されたユーザ入力に基づいて、選択可能な複数の視野（１９）の中から、前記決定された視野（１９）を、少なくとも１つの環境センサ（５、６、７、８）の位置に依存しない視野（１９）として選択するように設計されており、
    検出された前記センサデータに基づいて、自動車の周囲の３Ｄ全方位ビューが提供され、
    前記選択された視野（１９）に基づいて、定義された投影面（１６）上のビューウィンドウ（１８）が決定され、前記第１の周囲画像（１３、１３ａ）が、自動車（２）の周囲の前記３Ｄ全方位ビューの一部として算出され、前記３Ｄ全方位ビューは、前記定義された投影面（１６）上の前記決定されたビューウィンドウ（１８）に基づいて、前記センサデータ（１４）から提供することができ、前記第１の周囲画像（１３、１３ａ）は、前記選択された視野（１９）からのビューウィンドウ内にある前記周囲（９）の前記部分（２０）を表すようになっており、
    遠隔制御される自動車（２）は、自律性レベル２、３または４の自動運転自動車であり、
    ユーザによる自動車（２）の遠隔制御は、引き継ぎの状況でのみ行われ、
    前記引き継ぎの状況は、現在運転している自動車（２）が、ユーザに運転機能の引き継ぎを自動的に要求するという状況である、遠隔制御装置（３）。
14. 遠隔制御装置（３）による自動車（２）の遠隔制御においてユーザを支援するための、自動車（２）のための運転支援システム（４）であって、
    前記運転支援システム（4）は、自動車（２）の少なくとも１つの環境センサ（５、６、７、８）によって提供されるセンサデータ（１４）に基づいて、自動車（２）の周囲（９）の少なくとも１つの部分（９）の第１の周囲画像（１３、１３ａ）を、決定された視野（１９）から提供するように設計され、かつ、前記第１の周囲画像（１３）を表示するために、前記第１の周囲画像（１３）を遠隔制御装置（３）に伝達するように設計されており、
    前記運転支援システム（４）は、ユーザによって行われ、前記遠隔制御装置（３）によって検出されたユーザ入力に依存する選択情報を前記遠隔制御装置（３）から受信し、受信した前記選択情報に基づいて、複数の選択可能な視野（１９）から、前記決定された視野（１９）を、少なくとも１つの環境センサ（５、６、７、８）の位置に依存しない視野（１９）として選択するように設計されており、
    検出された前記センサデータに基づいて、自動車の周囲の３Ｄ全方位ビューが提供され、
    前記選択された視野（１９）に基づいて、定義された投影面（１６）上のビューウィンドウ（１８）が決定され、前記第１の周囲画像（１３、１３ａ）が、自動車（２）の周囲の前記３Ｄ全方位ビューの一部として算出され、前記３Ｄ全方位ビューは、前記定義された投影面（１６）上の前記決定されたビューウィンドウ（１８）に基づいて、前記センサデータ（１４）から提供することができ、前記第１の周囲画像（１３、１３ａ）は、前記選択された視野（１９）からのビューウィンドウ内にある前記周囲（９）の前記部分（２０）を表すようになっており、
    遠隔制御される自動車（２）は、自律性レベル２、３または４の自動運転自動車であり、
    ユーザによる自動車（２）の遠隔制御は、引き継ぎの状況でのみ行われ、
    前記引き継ぎの状況は、現在運転している自動車（２）が、ユーザに運転機能の引き継ぎを自動的に要求するという状況である、運転支援システム（４）。

Images