JP7236442B2 - 自動車における表示デバイスの制御方法 - Google Patents

Description

本発明は、自動車における表示デバイスの制御方法に関する。さらに、本発明は自動車に関する。

自動車では、運転者やその他の乗員のために大量の情報が提供される。その場合に、情報を簡単に把握できるようにする必要があるが、手動運転の際に運転者が交通状況から気をそらすことがないようにしなければならない。

特許文献１から、ヘッドアップディスプレイまたはデータ眼鏡に情報を表示することが知られている。このことで、情報がユーザの視野内で直接利用可能になるが、多くの場合、この情報を、直感的にこの情報に関連する対象または場所に割り当てることは、不可能である。

より直感的に情報を記録できるようにするために、関連する画像領域に追加情報を直接重ね合わせることが知られている。対応する拡張現実イメージングも、例えば特許文献２から知られている。この重ね合わせ表現を可能にするために、データ眼鏡に配置されたカメラによって周囲の状況が取り込まれる。

ドイツ特許出願公開第１０２０１５０１２３０９号明細書 ドイツ特許出願公開第１１２０１２００１０２２号明細書

自動車において拡張現実装置を使用するときの問題は、自動車における対応するヘッドセットまたは対応するデータ眼鏡の周囲の状況が非常に複雑である点にある。自動車の窓を通して、特定の状況下では急速に移動する環境を見ることが可能であるが、車両自体の構成要素は、ユーザの頭部の動きに対して、基本的に静止しているか、ゆっくりと移動する。さらに、自動車の窓の周囲領域は、汚れたり、反射したり、ステッカーなどで覆われたりする可能性があり、そのため、周囲についてのデータの評価がより困難になる。特に、視界が明確であっても、悪天候および、または暗闇の中では、従来の拡張現実メガネまたはヘッドセットを使用して、しっかりとした位置ベースの情報表示で車両の周囲の情報を豊かにすることはほとんど不可能である。

したがって、本発明は、自動車の周囲に関する情報の表現を改善するという目的に基づいている。この目的は、本発明によれば、最初に述べたタイプの方法によって達成され、この方法は以下のステップを含む。すなわち、
自動車の周囲の環境に属し、かつユーザの視野内にある、少なくとも１つの周囲領域に関連する環境データを自動車のセンサシステムによって検出し、
情報源によってユーザに出力される少なくとも１つの情報を提供し、
情報を反映する情報表示とユーザについての周囲領域とが少なくとも部分的に重ねられた表現を、表示デバイスによって可視化し、そのときに、情報表示の種類および／または情報表示が可視化される位置および／または方向を、前記環境データに依存させる。

したがって、本発明によれば、自動車のセンサシステムによって検出される情報表示のタイプ、または情報表示の位置および／または向きを、周囲データの関数として決定することが提案される。たとえば、拡張現実の表示のためにデータ眼鏡またはヘッドセットが使用されている場合に、環境に関する情報表示の登録は、表示デバイス側のセンサデバイスを介して取得された画像データのみに基づいて行われるのではなく、代わりにあるいは追加的に、使用する自動車のセンサデータに基づいて行われる。

これにはいくつかの利点がある。一方で、現代の自動車には複雑なセンサシステムが存在することが多く、これは拡張現実眼鏡に搭載されているセンサシステムをはるかに超えている。例えば、自動車は、可視光範囲および／または赤外線範囲で自動車の周囲を記録する１つまたは複数のカメラを含むことができる。ただし、自動車のセンサシステムは、物体までの距離や物体との相対速度を、直接検出することもできる。この検出は、たとえば、飛行時間カメラなどの３Dカメラや、レーダセンサや、レーザスキャナを使用して、可能である。したがって、利用可能な環境データの情報源がいくつか存在する可能性があり、それを使用して、たとえば拡張現実眼鏡における単一のカメラを用いて可能である場合よりも、優れた環境モデルを決定することができる。

既存のセンサシステムは、自動車についての環境を検出するためにすでに最適化されている。さらに、自動車についての環境データの処理は、相対速度が比較的高いにもかかわらず、堅牢な物体の検出を可能にするように、しばしば最適化される。前述の理由により、自動車センサシステムは、例えば、拡張現実眼鏡のセンサシステムによるよりも、車両環境についてのはるかに優れた画像を提供する。

同時に、本発明による方法は、しかしながら比較的少ない技術的努力で実施することができる。高品質の自動車センサシステムが、とにかく運転中の運転者をサポートするために、または自動車の部分的に自動化された動作または自動化された動作を可能にするために、自動車においてしばしば存在する。さらに、データ眼鏡などのユーザが携帯できる表示装置は、すでに無線通信用のインターフェースを備えていることが多く、これは、直接またはわずかな調整で自動車の通信装置と通信することもできる。たとえば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）または無線ＬＡＮを介して通信を行うことができる。通信プロトコルとしては、インターネットやネットワーク層で動作するインターネットプロトコルを利用できる。例えば、自動車通信装置は、「適応型インターネットプロトコル」（ＡＩＰ）を介して、別個に設計されたディスプレイ装置と通信することができる。この場合、情報視覚化のためのアプリケーションは、ディスプレイとして表示される情報を表示装置に供給する自動車側または自動車外部のサーバ上で実行することができる。データレートは、接続品質に動的に適合させることができる。ＡＩＰはまた、例えば、ユーザの頭部に着用されたディスプレイ装置の相対的な動きまたは位置を、自動車のサーバに伝達するために、ディスプレイ側からの入力をサポートする。

情報は、文字、記号、および／または数字の形式で提示できる。これは、２次元グラフィックにすることも、２次元グラフィックで構成することもできる。２次元グラフィックを、テキストパネルとして対応する位置に直接表示することができる。この場合に、グラフィックまたは英数字表現は透明にすることができるが、読みやすさや視認性を向上させるために、対応する背景を表すことができる。

情報が最初に３次元で表され、そして２次元の情報表示が、仮想カメラによる２次元画像によってのみ計算されることも可能である。ここで、情報は、例えばナビゲーション指示を与えるための矢印のような、３次元の形で表すことができる。しかしながら、情報が平面的に表現されることも可能であり、情報が表示される領域は、最初に仮想３次元空間において位置決めされるとともに、配向および／または湾曲され、次いで画像化される。

情報表示のタイプは、情報が表示される方法として理解される。例えば、情報および／または情報が表示される領域の形状を表す３次元の物体について、この３次元の物体の表現および／または背景および／または形状の少なくとも１つの色は、環境データに依存し得る。

本発明による方法では、潜在的に異なる情報を、表示することができる。たとえば、ナビゲーション情報を表示することができる。これは、周囲に重ねて表示される矢印の形で行うことができる。代替的にまたは追加的に、仮想情報ボードを、特定の位置または特定の物体に対して表示できる。これらは、すでに説明したように、２次元で直接表示するか、最初に座標系の３次元の面として配置してから投影することができる。たとえば、通りの名、家の番号、距離、他の道路利用者の相対速度を、情報として表示できる。しかしながら、特に少なくとも部分的に自動運転の状況において、または運転者ではない車両の乗客のために、運転に直接影響しない背景情報を提供することも可能である。たとえば、レストランおよび店舗、および／または観光スポットに関する情報を可視化することができる。

本発明による方法では、自動車とは分離するように設計され、頭部への取り付けのために、およびユーザの視野内となるように設計される表示デバイスを使用することができる。特に、これらは、拡張現実眼鏡、仮想現実眼鏡、または対応するヘッドセットとすることができる。それに代えて、自動車自体における表示デバイス、例えばディスプレイも、ここにいう表示デバイスとして使用することができる。また、表示デバイスとして、自動車とは別体の表示デバイスを用いて、これを、例えば、自動車のホルダーに保持したり、ユーザが手で保持したりすることも可能である。例えば、スマートフォンを表示デバイスとして利用することができる。

自動車によって設計された別個の表示デバイスが使用される場合において、特に、自動車に対する、したがって環境データを記録するために使用される自動車のセンサシステムに対する、この表示デバイスの相対位置が既知であると、特にユーザの視野に情報が表示される場合に有利である。したがって、表示デバイスは、位置検出装置であって、自動車に固定された基準位置および／または基準方向に対する表示デバイスの相対位置および／または相対方向が検出される、または相対位置および／または相対方向を決定する基準情報が検出される、前記の位置検出装置を有することが可能である。例えば、表示デバイスは、環境検出のための、カメラまたは別のセンサシステムを有することができる。スマートフォン、拡張現実眼鏡、仮想現実眼鏡、または対応するヘッドセットが表示デバイスとして使用される場合には、そのようなセンサシステムは、とにかくしばしば存在する。このさらなるセンサシステムのセンサデータ、例えばカメラの画像データを評価することにより、自動車に固定された基準位置および／または基準方向に対する表示デバイスの相対位置および／または相対方向を決定することができる。例えば、自動車の内部または自動車の車体の特定のマーキングおよび／または特徴的な静止要素は、さらなるセンサによって検出されることができるとともに、センサデータを評価することによって認識されることができる。センサシステムによって検出された特徴的なマーキングに対してセンサシステムの位置または方向を決定することは、原則的に先行技術において知られており、ここでは詳細には説明しない。相対的な位置または相対的な方向を決定するためのさらなるセンサデータは、表示デバイスの処理装置、自動車側の処理装置および／または車両外部の処理装置によって、評価することができる。

ビデオベースの表示デバイスをここに言う表示デバイスとして使用することができ、周囲領域を可視化するために、センサシステムまたは別のセンサシステムによって、周囲領域の画像が取得および表示される。あるいは、部分的に透明な表示デバイスを使用することができ、それによって、出力デバイスを通して、ユーザが周囲の領域を少なくとも部分的に見ることができる。仮想網膜ディスプレイを表示デバイスとして使用し、それを通して情報表示を網膜上に投影することも可能である。仮想網膜ディスプレイは、「virtual retinal display」とも呼ばれる。上記の表示デバイスは、原則として他の応用分野で知られている。このため、ここでは詳細には説明しない。

環境データを評価することにより、少なくとも１つの物体または少なくとも１つの位置を認識することができ、出力される情報は、認識された物体の特性の関数または位置の関数として利用可能とされる。したがって、表示される情報を、特に、環境内の固定位置または特定の物体が配置されている位置に割り当てることができる。情報表示は、ユーザが位置または物体に対して明確に割り当てることができるように視覚化されることが好ましい。

たとえば、物体の場合、その物体のクラスまたはその物体のＩＤを決定し、そして追加情報を情報ソースとしてデータベースから読み取ることができる。あるいは、１つまたは複数の車両側センサ、車両間通信、または車両からインフラストラクチャへの通信なども、物体のための情報源として機能することができる。例えば、他の道路利用者に関する情報や、信号機などのインフラ施設に関する情報が表示されると有利である。

自動車の運転モードに応じて、ユーザがドライバーであるかどうかに応じて、および／またはユーザが指定した構成に応じて、どの情報が表示されるか、またはどの物体情報または位置情報が提供されるかが考えられる。例えば、手動運転中は、運転者に運転に関する情報のみを表示することができる。他の乗員の場合や完全自動運転中などにおいては、例えば、特定の場所や建物などの興味深い情報や、そのエリア内で車両が認識された知人の連絡先などを表示することができる。

情報表示を視認することができる物体の位置および／または向き、情報表示のタイプおよび／または位置、および／または方向に応じて、環境データを評価することによって、物体を認識することができる。例えば、ユーザのための情報表示が物体の上に浮き上がっているように見えるか、またはその情報表示があたかも物体上に投影されたように見えるか、または物体に貼られた一種のステッカーのように見えるような方法で、情報表示を行うことができる。その結果、情報と物体への割り当てとを特に直感的に記録することができる。

周囲領域を記述する３次元環境モデルは、環境データから決定できる。３次元または２次元の情報表示を、情報および環境モデルの関数として生成するとともに、環境モデルに関連した座標系において位置決めおよび／または方向付けし、その後に物体に情報を投影することによって、情報表示が生成される。仮想カメラを投影に使用できる。仮想カメラは、その検出領域がユーザの視点に対応するように、またはユーザの視点から環境モデルを表示するように、環境モデルに配置される。環境モデル自体は、示されないことが好ましい。表示は、対応する視点から見た情報表示のみを示すことが好ましい。情報表示の位置は、上記の投影法によって事前に決定することもできる。

周囲領域が透けて見える部分的に透明な表示デバイスの場合には、またはユーザの目へ情報表示を投影する場合には、ユーザの視野において前述のように決定された情報表示を表示するか、またはデータを投影するだけで十分である。一方、ビデオベースの表示デバイスが使用されている場合には、周囲領域の画像も表示する必要がある。このような画像は、例えば表示デバイスのカメラなどのセンサシステムによって、または自動車の別のセンサシステムによって、検出することができる。

すでに説明したように、情報自体を２次元で表示することが可能である。しかし、この２次元の表示を周囲の３次元表面に適合させることができる。物体またはその表面は、環境モデルにおいて選択することができ、フラットな情報はこの表面に配置される。これは、たとえばピクセルまたはベクトル画像としてフラットな情報を提供し、それを対応する領域にテクスチャとして適用することによって行うことができる。表面は平坦面でも曲面でもかまわない。領域は、特に、対応する情報が提供される物体の領域であってよい。上記した手順を用いて、家の壁や自動車などの物体に、情報を仮想的に投影したり貼り付けたりすることができる。

環境データまたは環境モデルは、情報表示の種類と、情報表示が可視化される位置および／または方向とのうちの少なくともいずれかを特定する、自動車の外部のデバイスに提供することができる。自動車の外部のデバイスへの通信は、好ましくは無線による。デバイスは、出力すべき情報を提供することもできる。つまり、情報源として機能する。例えば、自動車の外部にあるデバイスは、情報が提供される環境データ内の位置や物体を識別でき、適切な情報を選択でき、情報表示のタイプ、位置および／または方向を指定でき、そして対応する情報表示に、位置情報または方向情報または自動車の周囲を表す全体像を提供し、それに情報表示を重ね合わせて自動車に提供することができる。しかしながら、他の多くの代替案も可能である。例えば、自動車の外部の別の装置または自動車の内部の装置、例えば自動車の地図データベースや、自動車の内部センサシステムなどを、情報源として使用することができる。この場合、情報はまた、自動車の外部の装置で処理されるために、この装置に環境データとともに送信されることが可能である。あるいは、自動車の外部の装置は、自動車にパラメータを提供することができる。このパラメータによって、情報表示の形状、および／または情報表示の位置および／または向きが、予め決定される。

自動車の外部にある装置の使用は、自動車および表示装置で必要とされる処理労力を低減するために有利なものとすることができる。無線通信でも短い応答時間を実現できるようになったため、この方法を実行するための技術的支出をさらに削減することができる。

本発明による方法に加えて、本発明は、周囲領域を検出するためのセンサシステムを備え、本発明による方法を実行するように設定された、自動車に関する。自動車は、好ましくは、自動車とは別となるように設計された表示装置および／または自動車外部の装置と通信するための通信装置を備える。この通信装置は、情報を提供し、および／または情報表示の種類、位置、および／または方向を指定する。自動車は、処理装置を含むことができる。この処理装置は、情報表示の種類、位置、および／または方向を、環境データの関数として決定することができる。および／または、情報から情報表示を決定することができる。

本発明による方法の実施形態が本発明による自動車の実施形態によって実行されるところの交通状況を示す図である。 図1に示される交通状況における、情報の表示と周囲領域とを重畳表示した図である。 図1で使用されているディスプレイ装置を示す図である。

本発明のさらなる利点および詳細は、以下に記載される例示的な実施形態および関連する図面から生じる。

図１は、自動車１９において表示デバイス１、２の制御方法が使用される交通状況を示す。表示デバイス１は、自動車１９とは別体に形成され、ユーザ１７の視界を保ってユーザ１７の頭部１８に固定される。表示デバイス１は拡張現実眼鏡であり、これは図３を参照して後でより詳細に説明される。このような表示デバイスは、特に情報の直感的な表示を可能にする。しかしながら、代替的または追加的に、以下に記載される方法はまた、自動車１９に恒久的に配置される表示デバイス２に情報を表示するために使用され得る。

自動車１９の運転操作中、ユーザ１７の視野内にある周囲領域に関する環境データが記録される。環境データは、自動車のセンサシステム４によって記録される。自動車１９の前部領域におけるカメラ５およびレーダセンサ６が、例として示されている。カメラ５のみ、レーダセンサ６のみ、いくつかのカメラ５、いくつかのレーダセンサ６および、または例えばレーザスキャナなどのさらなるセンサを使用して環境データを記録することも可能である。

環境データは、自動車１９の周囲の関連位置７および物体８、９を認識するために、自動車の処理装置３によって処理され、その情報がユーザ１７に提供される。位置７は、計画されたルートに従って自動車１９が曲がるべき交差点の位置である。関連情報は、自動車１９のナビゲーションシステムである情報源１３によって提供される。物体８は、建物である。例えば、情報として物体８にアドレスを指定できる。代替的または追加的に、ビジネスの場合は販売申出情報または広告情報を提供でき、例えば、観光の場合は歴史についての情報を提供できる。対応する情報は、情報源１０、例えば自動車１９とは別個に形成されたバックエンドサーバーによって、提供することができる。

物体９は、別の自動車である。この自動車に関する情報、すなわちこの自動車が友人のものである場合は、例えば運転速度または連絡先の詳細は、車間の通信を介して情報源１１によって提供することができる。自動車は、車両外部の情報源１０、１１と通信するための通信装置１２を備える。

関連する情報の表示をユーザ１７が位置７と物体８、９とに直感的に割り当てることができるように、様々な情報をユーザ１７に提示する必要がある。そのような表現２７の例が図２に示されている。３次元的な矢印は、位置７での曲がりを表す情報表示１４として示されるべきであり、これは、ユーザ１７の視野内において道路の少し上に浮いているはずである。一方、情報表示１５、１６は、物体８、９に接着または投影されているかのように表示される。

このタイプの表現を可能にするために、処理装置３は、最初に環境データを処理して、周囲領域の３次元環境モデルを計算する。この環境モデル内では、位置７と、自分の自動車１９および物体８、９の位置と方向とが既知である。したがって、情報表示１４は、この環境モデルにおいて、運転者自身の自動車１９から、位置７で方向転換されるべきレーン２０まで延びるように、３次元の矢印として形作られ、配置され、方向付けられることができる。

情報表示１５、１６は、最初は２次元の構成として生成される。それぞれの物体８、９に割り当てられている環境モデルから表面部が最終的に抽出され、それぞれの情報表示１５、１６が構成物としてこれらの表面部に配置される。

以下でより詳細に説明するように、ユーザ１７の視線方向、したがって表示装置１の位置および向きが決定される。この位置と向きは、対応する領域または3次元物体を投影して情報表示１４、１５、１６を生成するために、3次元環境モデルにおけるバーチャルカメラの位置および向きとして使用される。

他の例示的な実施形態では、環境データは、情報表示１４、１５、１６のタイプと、それらの情報表示の位置および、または向きとを決定するために、車両外部のデバイス２６によって処理することもできる。その結果、自動車における処理力を低減することができる。

図３は、表示デバイス１の詳細図を示す。表示されるべき画像は、自動車１９の処理装置３によって決定されることができ、そして、自動車の通信装置１２と表示デバイスの通信装置２１とを介して、表示デバイスの制御電子機器２２に送信されることができる。この場合に、情報表示１４、１５、１６を含み、かつ、さらなる画像領域について、表示デバイス１がこれらの領域において透明であるべきであることを示す画像を送信することができる。したがって、部分的に透明な表示要素２３は、対応する領域に情報表示１４、１５、１６を表示し、またそうでない場合は透明のままであるように制御される。これにより、ユーザ１７のために、透明な表示デバイスによって直接見られる周囲領域に情報表示１４、１５、１６が重ね合わされる。

あるいは、情報表示１４、１５、１６が、表示デバイス１によってユーザ１７の網膜上に直接投影されることが可能である。ビデオベースの表示デバイスを使用することも可能である。情報表示１４、１５、１６が表示されていない画像領域は、表示デバイス１におけるさらなるセンサ２４によって検出される背景画像から取得することができる。あるいは、車両のセンサシステム４によって背景画像を取得し、それを表示デバイス１に送信することも可能である。

上述の手順を可能にするために、自動車１９に対する、したがってセンサシステム４に対する、表示デバイス１の相対的な位置および向きは既知でなければならない。この位置および、または方向を決定するために、車両内部の特徴的要素および、またはマーキングを、さらなるセンサ２４によって検出することができる。対応する画像データは、自動車１９に対する表示デバイス１の相対的位置および、または相対的方向を決定することができる基準情報として役立つことができる。したがって、さらなるセンサ２４は、表示デバイス１のための位置検出装置２５として機能する。位置および向きは、例えば処理装置３によって決定することができる。

Claims (8)

1. 自動車（１９）の表示デバイス（１、２）を制御する方法であって、
   自動車（１９）の周囲の環境に属し、かつユーザ（１７）の視野内にある少なくとも１つの周囲領域に関連する環境データを、自動車のセンサシステム（４）によって検出し、
   情報源（１０、１１、１３）によってユーザ（１７）に出力される少なくとも１つの情報を提供し、
   前記情報を反映する情報表示（１４、１５、１６）とユーザ（１７）にとっての周囲領域とが少なくとも部分的に重ねられた表現（２７）を、表示デバイス（１、２）によって可視化し、そのときに、情報表示の種類および／または情報表示（１４、１５、１６）が可視化される位置および／または方向を、前記環境データに依存させ、
   周囲領域を記述する３次元環境モデルを環境データから決定し、３次元または２次元の情報表示を、前記情報および環境モデルの関数として生成するとともに、前記環境モデルに関連した座標系において位置決めおよび／または方向付けし、その後に物体に前記情報を投影することによって前記情報表示（１４、１５、１６）を生成し、
   そのときに、自動車などの他の道路利用者の距離または相対速度を前記情報として取得し、環境モデルにおいて、それぞれの自動車の表面などの物体（８、９）を選択し、そして前記２次元の情報表示をピクセルまたはベクトル表示として提供して対応領域にテクスチャとして適用することによって、前記２次元の情報表示を前記表面に配置し、
   かつ、そのときに、前記物体としての他の道路使用者である自動車（９）に関する情報を、自動車（１９）に備えられた通信装置（１２）を用いて、前記他の道路使用者である自動車（９）の前記情報源（１１）からの通信によって提供することを特徴とする自動車における表示デバイスの制御方法。
2. 自動車（１９）とは別個に設計され、かつユーザ（１７）の視野内となるように頭部（１８）に着用されるように設計された表示デバイス（１）を使用することを特徴とする請求項１記載の自動車における表示デバイスの制御方法。
3. 表示デバイス（１）が位置検出装置（２５）を有し、この位置検出装置（２５）によって、自動車に固定された基準位置および／または基準方向に対する、または相対的な位置および／または相対的な方向が決められる参照情報に対する、表示デバイス（１）の相対的な位置および／または相対的な方向を記録することを特徴とする請求項２記載の自動車における表示デバイスの制御方法。
4. ビデオベースの表示デバイス（１、２）を使用して、周囲領域の画像をセンサシステム（４）または別のセンサシステム（２４）により取り込んで表示するか、または
   部分的に透明な表示デバイス（１、２）を使用して、この表示デバイス（１、２）によって周囲領域をユーザに対して少なくとも部分的に可視化するか、または
   仮想網膜ディスプレイを表示デバイス（１、２）として使用して、情報表示を網膜に投影することを特徴とする請求項１から３までのいずれか１項記載の自動車における表示デバイスの制御方法。
5. 環境データを評価することにより、少なくとも１つの物体（８、９）または少なくとも１つの位置（７）を認識し、出力する情報を、認識した物体（８、９）の特性の関数または位置（７）の関数として提供することを特徴とする請求項１から４までのいずれか１項 記載の自動車における表示デバイスの制御方法。
6. 物体（８、９）を、環境データを評価することによって認識し、そのときに、その評価を、物体（８、９）の位置および／または方向と、情報表示（１４、１５、１６）の種類と、情報表示（１４、１５、１６）が可視化される位置および／または方向とのうちの少なくともいずれかに応じて行うことを特徴とする請求項１から５までのいずれか１項記載の自動車における表示デバイスの制御方法。
7. 環境データまたは環境モデルを、自動車の外部におけるデバイス（２６）に提供し、このデバイス（２６）によって、情報表示（１４、１５、１６）の種類と、情報表示（１４、１５、１６）が可視化される位置および／または方向とのうちの少なくともいずれかを特定することを特徴とする請求項１から６までのいずれか１項記載の自動車における表示デバイスの制御方法。
8. 周囲領域を検出するためのセンサシステム（４）と表示デバイスとを備えて、請求項１または請求項４から７までのいずれか１項に記載の方法を実行するように設定されていることを特徴とする自動車。

Images