JP6856750B2

JP6856750B2 - 方法および装置

Info

Publication number: JP6856750B2
Application number: JP2019528676A
Authority: JP
Inventors: ティールクリスティアン; バーナードポール; ガオビンタオ
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive GmbH
Priority date: 2016-11-29
Filing date: 2016-11-29
Publication date: 2021-04-14
Anticipated expiration: 2036-11-29
Also published as: JP2019537018A; CN109997052B; WO2018098635A1; CN109997052A; EP3548915A4; US20230138487A1; US11513211B2; CA3040599C; EP3548915A1; CN116147613A; CA3040599A1; US20210088648A1

Description

本発明は、環境のマッピングまたはスキャニングおよびこの環境内でのロケーションの決定に関する。

先進運転支援システムおよび自律走行車両のためには、道路および車両が走行可能な他のエリアについての高精度のマップが必要とされる。道路上の車両ポジションまたは道路の車線内での車両ポジションまでも、数ｃｍの精度で決定することは、従来の衛星ナビゲーションシステム、たとえばＧＰＳ、Ｇａｌｉｌｅｏ、ＧＬＯＮＡＳＳまたは三角測量法などといった他の既知のポジショニング技術を用いて、達成することはできない。ただし、自動運転車両が複数の車線を有する道路上で移動する場合には特に、車線内での縦方向および横方向のポジションを正確に決定する必要がある。

車両のポジションを高精度で決定するための１つの既知の手法は、道路マーキングのイメージを捕捉し、捕捉されたイメージ内の道路に沿った道路マーキングまたは物体のユニークなフィーチャを、データベースから取得された対応する参照イメージと比較する、１つまたは複数のカメラを必要とする。この参照イメージ内には、道路マーキングまたは物体の個々のポジションが提供されている。ポジションを決定するこの手法によって十分に正確な結果が得られるのは、データベースが高度に正確なポジションデータをイメージと共に提供し、かつそれが規則的にまたは適切な間隔で更新される場合だけである。道路マーキングを、走行中に道路のイメージを捕捉する専用車両によって捕捉し記録することができ、または空中写真または衛星画像から抽出することができる。後者のバリエーションを有利なものとみなすことができ、なぜならば、垂直方向ビューまたはトップビューのイメージによれば、実質的にフラットな平面上で道路マーキングおよびその他のフィーチャの歪みがほとんど示されないからである。しかしながら、空中写真および衛星画像は、道路マーキングおよび他の道路フィーチャの高精度のマップを生成するためには、十分なディテールを提供することができない。また、空中写真および衛星画像は、地表での視点から最もよく見える物体および道路フィーチャにおけるディテールを提供するためにはあまり適切ではない。

今日使用されているポジショニングのためのほとんどのシステム、たとえばSimultaneous Localization And Mapping (SLAM)および他のマシンビジョンアルゴリズムは、フィーチャポイントを生成し使用する。フィーチャポイントを、２Ｄセンサたとえばカメラにより生成された二次元イメージ内の、またはスキャニングセンサにより生成された環境の二次元表現内の、目立ったポイントまたは目立った領域とすることができる。これらの目立ったポイントまたは領域は、三次元に関する何らかの情報を伝えることはできるけれども、通常は二次元表現内で定義されて使用される。なぜなら、マシンビジョンまたはロボットビジョンは典型的に、二次元情報を提供するカメラを使用して実装されているからである。

所定の範囲内において、たとえば道路のある距離に沿って、ポジションを決定するために、複数のフィーチャポイントから成るセットを使用することができる。イメージベースのポジショニングの場合、または一般的には環境の表現の何らかの形状に基づくポジショニングの場合、環境の特定の部分に対するフィーチャポイントが、環境のその部分に対するいわゆるキーイメージ、キーフレームまたは参照フレーム内に提供されている。分かりやすくするため、環境の一部分の参照表現を引き合いに出すときには、本明細書全体をとおして「参照フレーム」という言い回しを用いることにする。

参照フレームを、画像平面およびこの平面内で識別される１つまたは複数のフィーチャポイントを含む二次元画像とすることができる。フィーチャポイントとして使用可能な適切なイメージ内容を見つける目的で、フィルタまたは他の光学的処理アルゴリズムによりカメライメージを処理することによって、フィーチャポイントを識別することができる。フィーチャポイントのために使用可能なイメージ内容を、イメージ内の物体およびマーキングに関連させることができるけれども、このことは必須要件ではない。フィーチャポイントとしての資格があるイメージの目立ったポイントまたは目立った領域は基本的に、使用される特定のイメージ処理アルゴリズムにとってみれば、たとえばその形状、コントラスト、カラーなどの点で、そのイメージ内の他のエリアまたはポイントとは異なり目立つものである。フィーチャポイントを、イメージ内の物体の形状または外見とは無関係なものとすることができ、それらを互いに独立したものとすることもできるが、認識可能な物体に対応させることもできる。したがって、この文脈において、目立ったものとは、人間の観察者にとっては目立っているように見える構造または構造の輪郭、色などだけを指すわけではない。むしろ、目立っているものとは、特定のタイプのセンサによって捕捉されたシーン表現に適用される特定のアルゴリズムが「見た」または識別した、シーンの一部分の任意の属性を指すことができ、この属性はその部分を、シーン表現の他の部分から十分に区別させるものである。

各々１つまたは複数のフィーチャポイントを含む複数の参照フレームから成るセットを、マシンの位置付けのために使用可能なマップと解釈することができる。たとえばロボットまたは自律車両がこれを使用して、その環境について学習し、複数のスキャニングパスの結果を結合することで結果を改善し、さらに参照フレームを使用することによってその環境内で自身の位置を定めることができる。

様々なタイプのセンサが様々なタイプのシーン表現を生成する。写真カメラによって、レーダセンサ、超音波センサアレイまたはスキャニングレーザセンサにより生成された表現とはまったく異なるイメージが生成される。環境内で見える物体またはフィーチャは、種々の分解能で出現する可能性があるが、センサが物体またはフィーチャを「見る」または捕捉する手法に応じて、それぞれ異なる形状を有する可能性もある。１つのカメライメージによって複数のカラーイメージを生成することも可能であるが、レーダセンサ、超音波センサアレイ、スキャニングレーザによっても、または他のカメラですら、このことは不可能である。これに加え、種々のカメラは種々の分解能、焦点距離、レンズ開口などを有する可能性があり、その結果、カメラごとに異なるフィーチャポイントが生じる可能性もある。

さらに、フィーチャポイントを識別するための種々のアルゴリズムが、種々のタイプのセンサによって生成された種々のシーン表現に適用される可能性がある。各アルゴリズムは、所定のタイプのセンサによって生成された固有の表現に対して最適化されている可能性がある。

このため、種々のセンサタイプおよびそれらの固有の処理の結果として、個々の参照フレーム内で見つけられたフィーチャポイントが、センサおよび／またはアルゴリズムに固有のものとなる可能性がある。マシンビジョン方法に従い種々のタイプのセンサにより生成されたシーンまたは環境の表現が、１つの表現内において別の表現内では見つからなかったフィーチャポイントを生成する可能性があるし、ポジショニングのために利用可能なそれぞれ異なる個数のフィーチャポイントが、種々のセンサに由来する複数の表現にわたって結果として生じる可能性もある。

自身のロケーションまたはポジションを決定する必要のあるマシンまたは車両が、想定可能なすべてのタイプのセンサを装備することはできず、たとえそれらが装備されていたとしても、種々のセンサが所定の環境条件に適していないイメージング属性を有する可能性がある。たとえばレーダセンサは、霧または雨のときでも制約なく十分に動作可能であるのに対し、カメラはこのような環境条件のもとでは有用な結果を生成できず、また、水中ロボットはソナーを用いることでいっそう良好に「見る」ことができる。かかる状況であると、有用なフィーチャポイントを提供するシーンまたは環境の表現の個数が少なくなる可能性があり、ポジションの決定にいっそう時間がかかり、精度が低くなるかまたは不可能になる場合もあり得る。

本発明の課題は、種々のタイプのセンサを用いたポジショニングを改善することである。本発明によってもたらされる改善は、いっそう多くの個数のセンサタイプにわたり、どのような所与のロケーションでも、いっそう多くの個数のフィーチャポイントを利用できるようにすることにあると言うことができるが、ポジショニングプロセス中、種々の表現におけるフィーチャポイントの識別を加速することにあるとも言える。上述の課題、その変形ならびに発展形態は、添付の特許請求の範囲において請求されている方法およびシステムによって達成される。種々のタイプのセンサには、上述の本発明の背景の説明で挙げたセンサタイプが含まれる。

本発明は、上述の問題に対し、第１の態様によれば、環境の包括的記述または環境参照モデルを生成することによって取り組むものであり、この記述またはモデルには、広範囲のセンサタイプおよび／または環境条件に関する複数のフィーチャポイントが含まれている。この包括的記述を環境の上位レベルの記述と解釈することができ、これを様々なセンサタイプおよび／または環境条件に関する参照フレームを導出するためのベースとして用いることができる。第２の態様によれば、包括的記述または環境モデルが、かかる参照フレームをたとえば車両またはロボットなど環境内を移動中の装置へ、この装置の位置付けおよびポジショニングの目的で供給するためのデータソースとして用いられる。参照フレームには、装置に対して使用可能な種々のタイプのセンサに由来する環境表現内で見つけることのできる複数のフィーチャポイントが含まれている。以下では、環境内を移動中の装置のことをモバイルエンティティと称する。

本発明によれば、環境の上位レベルの記述は、３Ｄフィーチャポイントを含む三次元ベクトルモデルである。３Ｄフィーチャポイントを、三次元ベクトルモデルにおける三次元の物体に関連させることができ、またはそれにリンク付けることができる。それらの３Ｄフィーチャポイントは、今日一般的に用いられている２Ｄフィーチャポイントに関連づけられた場合よりも、３Ｄフィーチャポイントに関連づけられたいっそう多くの情報を含む真の３Ｄポイントであり、つまりいっそう詳細な空間的記述であるので、それらの３Ｄポイントを、種々のタイプのセンサにより生成される多様な表現に対する参照ポイントとして用いることができる。換言すれば、各参照ポイントは、１つのセンサタイプに対する既知のフィーチャポイントからの属性に加えて、異なるセンサタイプおよびそれらの個々の処理のためにそれらのフィーチャポイントを特徴づける付加的な属性を伝えることができる。

上述のとおり、目立ったフィーチャポイントは、使用されるセンサおよび処理に依存して、同じシーンに対して異なるものとなる可能性がある。これによって個々のフィーチャポイントが、ある１つのセンサ表現にとっては役立つものとなるかもしれないが、別のセンサ表現にとっては役立たないものとなる可能性がある。本発明は以下のことを用いたものである。すなわち、物体をたとえばそれらの輪郭などによって定義可能であり、物体はそれらに関連づけられた属性をいっそう抽象的な手法で有しており、そのような物体を種々のセンサタイプに由来する種々の表現内においてかなり容易に識別することができる、というものである。かかる物体が識別されると、識別された物体と特定のセンサタイプとに関連づけられた１つまたは複数のフィーチャポイントを取得することができ、このフィーチャポイントを、物体についてローカルで生成された対応するセンサ表現内で識別することができ、物体に対し相対的なポジションを決定するために使用することができる。物体を識別することを、すでに物体のロケーションを含むことのできる３Ｄベクトルモデルを用いることによって容易にすることができる。このケースでは、センサ表現内のそれらのロケーションだけを分析すればよく、物体の形状が３Ｄベクトルモデルによって提供されるデータから事前に既知である場合、物体の形状もセンサ表現内においていっそう容易に識別することができる。ある物体において特定のセンサタイプに関するフィーチャポイントを識別することは、三次元ベクトルモデルにおいて物体と関連づけられたフィーチャポイントをいかにして見つけるのかについての指示を参照することを含むことができる。それらの指示は、フィーチャポイントを位置特定する目的で種々のタイプのセンサにより生成されたシーンの表現をフィルタリングまたは処理するためのフィルタまたは処理パラメータを含むことができ、またはある物体たとえば物体の輪郭に対するフィーチャポイントのポジションを含むことができる。物体またはその物体に関連づけられた１つまたは複数のフィーチャポイントの絶対ポジションが既知であれば、絶対ポジションを単純な手法で決定することができる。個々のフィーチャポイントを、ポジション決定のために用いることができる。ただし、１つの物体からの、複数の異なる物体からの複数のフィーチャポイント、または物体に関連していないフィーチャポイントが、固有のユニークなパターンを形成している場合、かかるパターンをポジション決定のために用いることができる。これによってたとえば、ユニークなパターンを形成する複数の道路マーキングに関連づけられたフィーチャポイントを用いて、ポジションを決定することができる。

本発明の第１の態様の１つの実施形態によれば、ポジショニングのために環境参照モデルを生成する方法は、スキャンされた環境を表現する複数のデータセットを受信することを含む。これらのデータセットを、複数のモバイルエンティティによって環境内を移動中に生成することができる。データは、スキャンされた環境内で識別された物体および／またはフィーチャポイントに関する情報および使用されるセンサタイプも含み、さらにセンサ属性およびこのデータによって表現されるフィーチャポイントおよび／または物体の絶対ポジションを決定するためのデータも含むことができる。フィーチャポイントおよび物体の絶対ポジションを決定するためのデータは、適切なフォーマットで表現された地理的ポジション、たとえば緯度および経度などを含むことができるが、単にある物体を記述するデータから成るようにしてもよい。後者のケースでは、物体のポジションは、その物体が識別されると、その物体のポジションについてデータベースから対応する情報を取得することによって決定される。その後、その物体のフィーチャポイントの絶対ポジションを、その物体およびセンサの既知の属性を用いて、その物体の既知のポジションから決定することができる。

この方法はさらに、参照座標系とアライメントされ物体および／またはフィーチャポイントが対応するロケーションのところに表現された、スキャンされた環境の三次元ベクトル表現を、受信したデータセットから生成することを含む。

受信したデータセットは、スキャンされた環境をローカルで生成された三次元ベクトルモデルの形態で表現することができ、このモデルは、そこにおいて対応するロケーションのところに少なくとも物体および／またはフィーチャポイントを含み、さらにその物体およびフィーチャポイントを決定するために使用されるセンサタイプに関する情報も含む。スキャンされた環境のかかる三次元ベクトルモデル表現を受信することによって、いっそう広い環境のうち受信した部分的な表現を、グローバルな環境参照モデルに容易に組み込むことができるようになる。データのソースにおいて何らかの処理能力が必要とされるという点は、少なくとも、ソースがいずれにせよ環境内の自身のポジションを決定するために三次元ベクトルモデルを生成するケースでは、無関係なものとすることができる。

受信した三次元ベクトルモデルを、物体および／またはフィーチャポイントのマッチングによって、環境参照モデルまたはその一部分の既存の三次元ベクトル表現とアライメントさせることができる。受信したデータセットが存在している環境参照モデルといかなる部分も共有してないケースでは、受信したデータセット内に提供されているロケーションおよび／または位置付けの情報を用いて、受信した三次元ベクトルモデルを既存の環境参照モデルの空白のエリア内に非隣接状態でアライメントすることができる。

しかしながら、受信したデータセットは、スキャンされた環境を別の形態で表現することもでき、以下に限定されるものではないがこれには、フィーチャポイントの表示により強調された環境の画像またはイメージまたは環境の他の画像状の表現を含むこともできる。さらに別の形態には、処理された抽象的な表現が含まれ、たとえば物体、物体のフィーチャ等または識別されたフィーチャポイントおよび環境内でのそれらのロケーションの機械読み取り可能な記述が含まれる。表現の１つまたは複数の形態は、送信中および記憶のために、低減されたデータ量を要求する場合があり、したがって他の形態よりも優先される場合がある。

この方法はさらに、物体および／またはフィーチャポイントをデータセット各々から抽出することを含む。受信したデータセットが、ローカルで生成された三次元ベクトルモデルの形態のスキャンされた環境を表現していないケースでは特に、抽出することは、物体および／またはフィーチャポイントを識別するために、またはデータセットから識別されたフィーチャポイントを用いるために、画像、イメージまたは抽象的表現を分析することを含むことができる。フィーチャポイントおよび／または物体が抽出されると、参照座標系内の物体および／またはフィーチャポイントのポジションが決定される。この場合、参照座標系を、絶対的な地理座標とアライメントすることができる。

データセットは、選択的に、データを生成するときに支配している環境条件に関する情報を含み、この情報は、たとえば信頼度値をデータに割り当てるために、またはフィーチャポイントを識別する際に適切なアルゴリズムを選択するために、有用なものとなる可能性がある。

この方法はさらに、三次元ベクトルモデル内の物体および／またはフィーチャポイントと、環境内でそれらを検出可能な少なくとも１つのセンサタイプとのリンクを生成すること、および三次元ベクトルモデル表現およびリンクを取り出し可能な手法で記憶することを含む。

本発明の第２の態様の１つの実施形態によれば、ポジショニングのために第１の環境の参照フレームを適応的に供給する方法は、第１の環境に対する参照フレームを求める要求を受信することを含む。この場合、第１の環境をいっそう大きい環境の一部分とすることができ、そこでは車両または他のモバイルエンティティが移動しており、さらにそれが自身のポジションの決定を必要としている。上述の要求は、環境のローカルな表現を生成するために使用可能な少なくとも１つのセンサタイプに関する情報も含む。参照フレームは好ましくは、複数の物体およびフィーチャポイントを含む３Ｄベクトルモデルであり、このモデルにおいて参照フレームに対するいずれの参照も、かかる３Ｄベクトルモデルを含む。

第１の環境の参照フレームを求める要求は、環境のロケーションの表示および／または視線方向または進行方向を含むことができ、これによって１つまたは複数の候補参照フレームを識別することができる。このことを、たとえば受信側において参照フレームのための記憶容量が制限されていることなどから、比較的小さい第１の環境に対する参照フレームを送信すべきケースにおいて用いることができる。受信側において記憶容量が著しく大きいケースでは、ある環境のいっそう大きい部分に対する参照フレームを送信することができる。環境のロケーションの表示は、衛星ナビゲーションシステムからの座標を含むことができるが、ロケーションを決定することのできる１つまたは複数の識別可能な物体を含むだけでもよい。ユニークな識別可能な物体が識別されたケースであれば、このユニークな識別可能な物体たとえばエッフェル塔を、ロケーションを大雑把に決定して適切な参照フレームを供給するのに十分なものとすることができる。

この方法はさらに、記憶装置からの第１の環境を含む三次元ベクトルモデル表現を受信すること、およびこの三次元ベクトルモデルから第１の参照フレームを生成することを含み、この第１の参照フレームは、少なくとも１つのセンサタイプとのリンクまたは関連づけが存在するフィーチャポイントを少なくとも含む。第１の参照フレームが、受信側で使用可能なセンサタイプとリンクされたそれらのフィーチャポイントだけしか含んでいなければ、送信すべきデータ量を削減することができ、たとえフィーチャポイントを記述するために必要とされるデータ量によっては、および特定の実装において使用される通信コネクションのデータレートによっては、このことは不要であるかもしれないにしても、このことが可能である。第１の参照フレームを、第１の環境の二次元のイメージまたはグラフィック抽象イメージとすることができるが、これを三次元表現として表現することもでき、たとえば第１の環境の立体イメージ、ホログラムデータまたは３Ｄベクトル表現の形態で表現することもできる。第１の参照フレームは、要求に対する応答として要求側エンティティに送信される。

上述の方法を、環境内を移動中のモバイルエンティティから遠く離れたサーバまたはデータベースによって実行することができる。このケースでは、受信および送信を、単にモバイルエンティティの種々の構成要素内での伝送とすることができる。それらの構成要素を、別個のハードウェア構成要素としてもよいし、または同じハードウェア上で実行される別個のソフトウェア構成要素としてもよい。

環境内でのモバイルエンティティのロケーションまたはポジションを決定するために、ローカルで生成された環境のセンサ表現内で見つけられた物体が、受信した第１の参照フレーム内で識別される。スキャンされた環境のセンサ表現内で物体を見つけて識別することを、受信した第１の参照フレーム内に提供される情報によってサポートすることができる。このことを、ローカルで使用可能なセンサタイプごとに実施することができる。参照フレームを、リモートのサーバまたはデータベースから、またはモバイルエンティティと共に提供されるサーバまたはデータベースから、受信することができる。物体が識別されると、１つまたは複数のフィーチャポイントに属するデータと、参照フレーム内に提供されている物体に対するその関係とが用いられて、環境のセンサ表現内で１つまたは複数のフィーチャポイントが位置特定される。参照フレームと共に受信することのできるデータは、フィルタ設定または処理パラメータを含むことができ、これによって環境の表現内でのフィーチャポイントの位置特定が容易になり、または単にフィーチャポイントをサーチするエリアが制限される。環境のセンサ表現内でフィーチャポイントが見つけられると、それらを使用して物体に対し相対的なポジションを決定することができ、これをたとえば参照フレームのフィーチャポイントとのマッチングによって行うことができ、その際にたとえば視野、方向付けなどといったセンサの特性が考慮される。１つまたは複数のフィーチャポイントの絶対ポジションが参照フレーム内に提供されている場合、環境内の絶対ポジションを決定することができる。なお、参照フレームも環境の３Ｄベクトル表現であり、ポジションを決定するために、受信した３Ｄベクトルモデルをローカルで生成された３Ｄベクトルモデルとマッチングすることによって、フィーチャポイントをマッチさせることができる、ということに留意されたい。参照フレームを、たとえば車両の先進運転支援システム（ＡＤＡＳ）に供給することができ、このシステムは、車両の現在ポジションを決定する目的で、ならびにたとえば加速度計、ブレーキシステムなど車両制御装置のための制御データを生成する目的で、参照フレーム内に提供されたデータを使用する。

２つまたはそれよりも多くのセンサが用いられている場合、それらはすべてが同じポジションにあるわけではなく、また、それらが同じ方向を向いているわけではない。さらに環境の表現を生成または更新するレートも、それぞれ異なる可能性がある。参照フレームを、またはたとえ真の３Ｄベクトルグラフィックモデルであっても、各センサのポジションに関する情報および各センサの個々のポジションおよび挙動を利用して、センサ各々について環境の表現を各々更新するために、レンダリングすることができる。このようにすれば、環境のそれぞれ異なる表現内で、物体つまりはフィーチャポイントを迅速にかつ低い処理オーバヘッドで識別することができる。

本発明の第２の態様の１つの実施形態によれば、環境が第１および第２のタイプのセンサによってスキャンされ、物体が、第１のタイプのセンサによりその物体とそのセンサとの間の第１の距離のところで生成された環境の表現内で識別される。識別された物体を含む環境の参照フレームが受信され、第１および第２のタイプのセンサにより検出可能な物体および識別された物体に関わるフィーチャポイントに関する情報が、参照フレームから抽出される。参照フレームは好ましくは、物体およびフィーチャポイントを含む３Ｄベクトル表現である。物体に接近すると、第１の距離よりも短い第２の距離のところで、抽出された情報を用い、第２のタイプのセンサによって生成された環境の表現内でも、やはりその物体が識別される。同様に抽出された情報を用いて、第２のセンサにより生成された環境の表現内のフィーチャポイントが識別され、第２のセンサにより生成された環境の表現内で識別された少なくともフィーチャポイントを用いて、その環境内でポジションが決定される。物体がすでに識別されており、センサタイプが既知であるので、第２のタイプのセンサにより生成された環境の表現内で、その物体に対するフィーチャポイントのロケーションをいっそう容易かつ高速に見つけることができる。その理由は、両方のセンサタイプについて物体に関わるフィーチャポイントのロケーションが、環境の参照フレーム内に提供されているからである。したがって、第２のタイプのセンサにより生成された環境の表現内で物体が識別されると、表現のうちフィーチャポイントを含むことがわかっている部分においてのみフィーチャポイントをサーチするために、センサデータの処理をまえもって用意すればよい。抽出された情報は、環境内のフィーチャポイントの絶対ポジションに関するデータを含むことができ、これによって環境内でのポジションを決定することができる。

第２のタイプのセンサによって、環境についていっそう高い分解能の表現が提供され、それによって環境内のロケーションをいっそう正確に決定できるケースでは、かかる高精度のロケーションをいっそう簡単かつ高速に手に入れることができる。他方、このことによって、安全性を犠牲にすることなくいっそう高速に環境内を移動可能とすることができる。

この実施形態は、第２のタイプのセンサがたとえば霧、霧雨、豪雨、雪などの環境条件によって損なわれている一方、第１のタイプのセンサは損なわれていないケースにおいても、有用なものとなり得る。たとえば、道路に沿って走行中の車両のレーダセンサは、やはり車両と共に提供されているカメラの視界が、たとえ霧雨によって損なわれていても、遠く離れた道路脇の物体を検出することができる。したがって、物体を、レーダセンサからのデータに基づき環境の参照フレーム内で見つけることができ、カメラがいまだ有用なイメージを提供していないにもかかわらず、レーダとカメラの双方についてフィーチャポイントのロケーションを識別することができる。車両が物体に近づくと、カメライメージは有用なイメージを提供する。物体のロケーションは参照フレームからわかっており、レーダイメージを用いてそれを追跡することができたので、参照フレーム内に提供された情報を参照することによって、フィーチャポイントをカメライメージ内でいっそう容易かつ高速に識別することができる。カメライメージはいっそう高い分解能を有することができるので、どこを注視するのかのヒントが何もなくカメライメージ内のどこかでフィーチャポイントを識別しなければならない状況と比べて、車両の高精度のポジショニングをいっそう容易かつ高速に手に入れることができる。換言すれば、環境の参照フレームとその中に提供されたデータとによって、それぞれ異なるタイプのセンサ間の一種の共働が可能となる。

ポジショニングのための環境参照モデルを生成する第１の装置は、スキャンされた環境を表現する複数のデータセットを受信するように適合された第１のモジュールを備えており、この場合、データセットには、使用されるセンサタイプに関する情報、およびこれらのデータセットにより表現される物体および／またはフィーチャポイントの絶対ポジションを決定するためのデータも含まれている。第１の装置はさらに、データセット各々から１つまたは複数の物体および／またはフィーチャポイントを抽出し、参照座標系内でのこれらの物体および／またはフィーチャポイントのポジションを決定するように適合された第２のモジュールを備えている。第１の装置はさらに、参照座標系とアライメントされ物体および／またはフィーチャポイントが対応するロケーションのところに表現された、スキャンされた環境の三次元ベクトル表現を生成するように適合された第３のモジュールを備えている。第１の装置は、三次元ベクトルモデル内の物体および／またはフィーチャポイントと、環境内でそれらを検出可能な少なくとも１つのセンサタイプとのリンクを生成するように適合された第４のモジュールと、三次元ベクトルモデル表現およびリンクを取り出し可能な手法で記憶するように適合された第５のモジュールも備えている。

ポジショニングのために第１の環境の参照フレームを適応的に供給する第２の装置は、第１の環境に対する参照フレームを求める要求を受信するように適合された第６のモジュールを備えており、上述の要求には、環境のローカルな表現を生成するために使用可能な少なくとも１つのセンサタイプが含まれている。第２の装置はさらに、記憶装置からの第１の環境を含む三次元ベクトルモデル表現を取り出すように適合された第７のモジュール、およびこの三次元ベクトルモデルから第１の参照フレームを生成するように適合された第８のモジュールを備えており、第１の参照フレームには、少なくとも１つのセンサタイプとのリンクが存在するフィーチャポイントが少なくとも含まれている。第２の装置はさらに、第１の参照フレームを要求側エンティティへ送信するように適合された第９のモジュールを備えている。

１つの環境内でのモバイルエンティティのポジションを決定する第３の装置は、第１のタイプのセンサを用いて１つの環境をスキャンするように適合された第１０のモジュールと、第１のタイプのセンサにより生成されたスキャンされた環境の表現内で、１つの物体を識別するように適合された第１１のモジュールとを備えている。第３の装置はさらに、上述の物体を含む環境に対する参照フレームを受信するように適合された第１２のモジュールを備えており、この参照フレームは、第１のタイプのセンサにより検出可能である環境内の物体および／またはフィーチャポイントに関する情報を含み、さらに第３の装置は、第１のタイプのセンサにより検出可能な物体および識別された物体に関わる少なくとも１つのフィーチャポイントに関する情報を、参照フレームから抽出するように適合された第１３のモジュールを備えている。第３の装置はさらに、参照フレームからの物体および／またはフィーチャポイントに関する情報を用いて、環境のセンサ表現内で少なくとも１つのフィーチャポイントを識別するように適合された第１４のモジュールと、環境のセンサ表現内で識別された少なくとも１つのフィーチャポイントと、参照フレームから抽出された少なくとも１つのフィーチャポイントの絶対ポジションに関する情報とを用いて、環境内でのポジションを決定するように適合された第１５のモジュールと、を備えている。

第３の装置の発展形態によれば、第１０のモジュールは、第１のタイプのセンサを用いることに加え、第２のタイプのセンサを用いて、環境をスキャンするように適合されており、さらに第１１のモジュールは、第１のタイプのセンサによりこのセンサと物体との間の第１の距離のところで生成された環境の表現内で、物体を識別するように適合されている。第１２のモジュールは、物体を含む環境に対する参照フレームを受信するように適合されており、この参照フレームには、第１のタイプのセンサと第２のタイプのセンサとにより検出可能である環境内の物体および／またはフィーチャポイントに関する情報が含まれている。第１３のモジュールは、第１のタイプのセンサと第２のタイプのセンサとにより検出可能な物体および識別された物体に関わる少なくとも１つのフィーチャポイントに関する情報を、参照フレームから抽出するように適合されている。第１４のモジュールは、抽出された情報を用いて、第２のタイプのセンサによりこのセンサと物体との間であって第１の距離よりも短い第２の距離のところで生成された環境の表現内で物体を識別し、かつ抽出された情報を用いて、第２のタイプのセンサにより生成された環境の表現内で１つまたは複数のフィーチャポイントを識別するように適合されている。第１５のモジュールは、第２のタイプのセンサにより生成された環境の表現内で識別された少なくとも１つのフィーチャポイントと、参照フレームから抽出されたこの少なくとも１つのフィーチャポイントの絶対ポジションに関する情報とを用いて、環境内でのポジションを決定するように適合されている。

第１の装置の第１から第５のモジュール、第２の装置の第６から第９のモジュール、および／または第３または第４の装置の第１０から第１５のモジュールのうちの１つまたは複数を、専用ハードウェアモジュールとすることができ、これら各々は、１つまたは複数のマイクロプロセッサ、ランダムアクセスメモリ、不揮発性メモリ、ならびにモジュール間通信およびシステムの一体化部分ではないデータソースおよびデータシンクとの通信のためのインタフェースを含む。データを受信または送信するモジュールへの言及について、たとえ上述の記載で別個のモジュールとして言及されているとしても、単一の通信ハードウェアデバイスとして実装することができ、モジュールの機能または役割を実行するように通信ハードウェアを制御するために使用されるシステムまたはソフトウェアにおいてそれらが実行する役割の点でのみ、別個のものとすることができる。

第１から第１５のモジュールのうちの１つまたは複数を、コンピュータ上で実行され、個々のモジュールの機能を提供するコンピュータソフトウェアプログラムとすることもできる。専用ハードウェアモジュールとコンピュータソフトウェアプログラムとの組み合わせも考えることができる。

本発明による方法および装置によれば、コンパクトなデータセットを用いて１つの環境内でのポジションまたはロケーションを決定することができ、それらの更新のために比較的少量のデータを送信および受信すればよい。このことに加え、イメージおよびデータの処理およびデータ融合の重要な部分は中央のサーバで実行され、これによってモバイル装置またはモバイルデバイスにおける処理能力に対する要求が低減される。さらに、単一の３Ｄベクトルグラフィックモデルを使用して、センサタイプを選択するための参照フレームをオンデマンドで生成することができ、これによれば、選択されたセンサタイプによっても検出できないフィーチャポイントが除外される。したがって、環境およびその中の物体をスキャニングするために使用されるセンサタイプに関係なく、３Ｄベクトルグラフィックモデルおよびそこに提供されている情報を参照することによって、スキャンされた環境内でフィーチャポイントをいっそう容易かつ迅速に見つけることができ、環境内でのポジションをいっそう簡単かつ迅速に決定することができる。

３Ｄベクトルモデルが予め生成されている環境内を車両が移動し、車両に提供される参照フレームが３Ｄベクトルモデルであり、スキャニング時に車両が３Ｄベクトルモデルをローカルで生成するケースでは、車両はローカルで生成された自身の３Ｄベクトルモデルを、参照フレームとして受信したモデルに容易にアライメントすることができる。環境参照モデルを生成および供給するサーバも、データセットにおいて受信したローカルで生成された３Ｄベクトルモデルを、識別されたフィーチャポイントを用いてサーバの環境参照モデルと容易にアライメントすることができる。

次に、添付の図面を参照しながら本発明について説明する。

本発明の１つまたは複数の態様による方法の例示的な簡略化されたフローチャートを示す図である。本発明の１つまたは複数の態様によるモバイルシステムの例示的な簡略化されたブロック図を示す図である。本発明の１つまたは複数の態様によるリモートシステムの例示的な簡略化されたブロック図を示す図である。

図中、同じ要素または類似の要素は、同じ参照符号によって表されている。

図１には、本発明の１つ態様による方法１００の例示的な簡略化されたフローチャートが示されている。ステップ１０２において、種々のタイプの１つまたは複数のセンサを用いて環境がスキャンされる。スキャニングは連続的に、または固定インターバルまたは可変インターバルで周期的に行われる。スキャニングにより生成された環境の表現が、物体および／またはフィーチャポイントを識別するためにステップ１０４において分析される。選択的なステップ１０４は、環境および識別された物体および／またはフィーチャポイントの三次元ベクトルモデルを生成することも含むことができる。ステップ１０２におけるスキャニングにより生成された環境の表現および／またはステップ１０４において実行された分析の結果が、ステップ１０６においてリモートサーバまたはデータベースに送信される。ステップ１０２からステップ１０６は、環境内を移動中のモバイルエンティティによって実行される。

ステップ１０８において、ステップ１０２におけるスキャニングにより生成された環境の表現および／またはステップ１０４において実行された分析の結果が、リモートサーバまたはデータベースによって受信され、選択的なステップ１１０においてさらにそれらを分析することができる。さらなる分析を実行するのか否かを、受信したデータに依存させることができ、すなわち物体および／またはフィーチャポイントを識別するために、それらのデータが分析を必要とするのか、または受信したものがすでに三次元ベクトルモデルの形態にあるため、かかる分析を必要としないのか、に依存させることができる。ステップ１１２において、物体および／またはフィーチャポイントおよびそれらのロケーションを含む環境の三次元参照モデルが生成される。これには、コヒーレントでグローバルな三次元参照モデルを取得する目的で、受信した三次元ベクトルモデルまたはステップ１１０において生成された三次元ベクトルモデルのマッチングまたはアライメントを含めることができる。ステップ１０８からステップ１１２は、リモートサーバまたはデータベースによって実行される。

再びモバイルエンティティの説明に戻ると、モバイルエンティティはステップ１１４において、たとえばローカルで利用可能な環境モデル、衛星ナビゲーションまたは同様のものを用いて、移動中に環境内での自身のポジションを決定する。ステップ１１６において、何らかの時点でモバイルエンティティは、自身のポジションを決定する目的で、このエンティティが目下移動している環境の参照フレームを要求する。参照フレームを要求することを、周期的に、またはたとえば前回の参照フレームが要求されてから辿った距離に依存させるといったようにイベントトリガで、実施することができる。ステップ１１８において、リモートサーバまたはデータベースはこの要求を受信し、ステップ１２０において、対応するポジションについて要求された参照フレームを生成する。要求された参照フレームは、ステップ１２２においてモバイルエンティティに送信され、モバイルエンティティはステップ１２４においてその参照フレームを受信し、ステップ１２６においてそれを使って、ローカルで生成されたスキャンデータおよび／またはローカルで生成された三次元ベクトルモデルを、参照フレーム内に提供されているデータと比較することにより、環境内での自身のポジションを決定する。

ステップ１０６とステップ１０２との間、ステップ１２６とステップ１１４との間、およびステップ１２６とステップ１０２との間の破線の閉ループは、この方法または個々のループの反復的または連続的な実行を示唆している。モバイルエンティティにおける要求および方法の実装次第では、その他のループも考えられる。

図２には、本発明の１つまたは複数の態様によるモバイルシステム２００の例示的な簡略化されたブロック図が示されている。この場合、モバイルシステムが移動中の環境をスキャンする第１のタイプのセンサを使用するスキャナ２０２、環境内でのポジションを決定する装置２０４、スキャンされた環境の表現内で物体を識別するモジュール２０６、物体を含む環境の３Ｄベクトルグラフィックモデルを受信するモジュール２０８、第１のタイプのセンサにより検出可能な物体および識別された物体に関わる少なくとも１つのフィーチャポイントに関する情報を、３Ｄベクトルグラフィックモデルから抽出するモジュール２１０、３Ｄベクトルグラフィックモデルからの物体および／またはフィーチャポイントに関する情報を用いて、環境のセンサ表現内で少なくとも１つのフィーチャポイントを識別するモジュール２１２、ならびに環境のセンサ表現内で識別された少なくとも１つのフィーチャポイントおよび３Ｄベクトルグラフィックモデルから抽出された少なくとも１つのフィーチャポイントの絶対ポジションに関する情報を用いて、環境内でのポジションを決定するモジュール２１４が、１つまたは複数のバスシステム２１６を介して通信可能に接続されている。

モジュール２０６、２０８、２１０、２１２および／または２１４は、１つまたは複数のマイクロプロセッサ、ランダムアクセスメモリ、不揮発性メモリ、ならびにソフトウェアおよび／またはハードフェアの通信インタフェースを含むことができる。不揮発性メモリは、ランダムアクセスメモリと共働して１つまたは複数のマイクロプロセッサにより実行されると、前述の方法の１つまたは複数の処理ステップを実施するコンピュータプログラム命令を記憶することができる。

図３には、本発明の１つまたは複数の態様によるリモートシステム３００の例示的な簡略化されたブロック図が示されている。この場合、スキャンされた環境を表現する複数のデータセットの受信、参照フレームを求める要求の受信および参照フレームの送信を含む通信をモバイルエンティティと行うモジュール３０２、データセット各々から１つまたは複数の物体および／またはフィーチャポイントを抽出し、参照座標系内での物体および／またはフィーチャポイントのポジションを決定するモジュール３０４、参照座標系とアライメントされ物体および／またはフィーチャポイントが対応するロケーションのところに表現された、スキャンされた環境の三次元ベクトルモデル表現を生成するモジュール３０６、三次元ベクトルモデル内の物体および／またはフィーチャポイントとそれらを環境内で検出可能な少なくとも１つのセンサタイプとのリンクを生成するモジュール３０８、三次元ベクトルモデル表現とリンクとを取り出し可能な手法で記憶するモジュール３１０、および参照フレームを求める要求に従い記憶装置から三次元ベクトルモデル表現を取り出し、少なくとも１つのセンサタイプとのリンクが存在するフィーチャポイントを少なくとも含む、第１の参照フレームを、三次元ベクトルモデルから生成するモジュール３１２が、１つまたは複数のバスシステム３１４を介して通信可能に接続されている。

モジュール３０２、３０４、３０６、３０８、３１０および／または３１２は、１つまたは複数のマイクロプロセッサ、ランダムアクセスメモリ、不揮発性メモリ、ならびにソフトウェアおよび／またはハードフェアの通信インタフェースを含むことができる。不揮発性メモリは、ランダムアクセスメモリと共働して１つまたは複数のマイクロプロセッサにより実行されると、前述の方法の１つまたは複数の処理ステップを実施するコンピュータプログラム命令を記憶することができる。

Claims

ポジショニングのために環境参照モデルを生成する方法であって、
スキャンされた環境を表現する複数のデータセットを受信することを含み、前記データセットは、使用されるセンサタイプに関する情報と、該データセットにより表現される物体および／またはフィーチャポイントの絶対ポジションを決定するためのデータとも含み、
前記データセット各々から１つまたは複数の物体および／またはフィーチャポイントを抽出し、参照座標系内での前記物体および／またはフィーチャポイントのポジションを決定し、
前記参照座標系とアライメントされ前記物体および／またはフィーチャポイントが対応するロケーションのところに表現された、スキャンされた前記環境の三次元ベクトルモデル表現を生成し、
前記三次元ベクトルモデルにおける前記物体および／またはフィーチャポイントと、該物体および／またはフィーチャポイントを前記環境内で検出可能な少なくとも１つのセンサタイプとのリンクを生成し、
前記三次元ベクトルモデル表現と前記リンクとを取り出し可能な手法で記憶する
ことを含む、ポジショニングのために環境参照モデルを生成する方法。
ポジショニングのために第１の環境の参照フレームを適応的に供給する方法であって、
前記第１の環境に対する参照フレームを求める要求を要求側エンティティから受信することを含み、前記要求は、前記環境のローカルな表現を生成するために使用可能な少なくとも１つのセンサタイプを含み、
前記第１の環境を有する三次元ベクトルモデル表現を記憶装置から取り出し、
前記少なくとも１つのセンサタイプとのリンクが存在するフィーチャポイントを少なくとも含む、第１の参照フレームを、前記三次元ベクトルモデルから生成し、
前記第１の参照フレームを前記要求側エンティティに送信する
ことを含む、ポジショニングのために第１の環境の参照フレームを適応的に供給する方法。
環境内でのモバイルエンティティのポジションを決定する方法であって、
前記環境に対する参照フレームを受信することを含み、前記参照フレームは、第１のタイプのセンサによって検出可能である前記環境内の物体および／またはフィーチャポイントに関する情報を含み、
前記第１のタイプのセンサにより検出可能な少なくとも１つの物体および少なくとも１つのフィーチャポイントに関する情報を、前記参照フレームから抽出し、
第１のタイプのセンサを用いて環境をスキャンし、
前記第１のタイプのセンサによって生成されたスキャンされた前記環境の表現内において、前記参照フレーム内に含まれている少なくとも１つの物体を見つけて識別することを含み、前記少なくとも１つの物体を見つけて識別するためのサーチエリアを、前記参照フレームにより提供される、物体に関する情報に基づき指定可能であり、
前記環境のセンサ表現内において、少なくとも１つのフィーチャポイントを見つけて識別することを含み、前記少なくとも１つのフィーチャポイントを見つけて識別するためのサーチエリアを、前記参照フレームにより提供される、フィーチャポイントに関する情報に基づき指定可能であり、
前記環境の前記センサ表現内で識別された前記少なくとも１つのフィーチャポイントと、前記参照フレームから抽出された前記少なくとも１つのフィーチャポイントの絶対ポジションに関する情報とを用いて、前記環境内でのポジションを決定することを含み、
前記参照フレームは、前記少なくとも１つの物体および少なくとも１つのフィーチャポイントを含む三次元ベクトル表現に対応し、前記少なくとも１つの物体および少なくとも１つのフィーチャポイントと前記第１のタイプのセンサとのリンクを含む、
環境内でのモバイルエンティティのポジションを決定する方法。
前記方法はさらに、
前記物体を含む前記環境の参照フレームを受信することを含み、前記参照フレームは、第１のタイプのセンサおよび第２のタイプのセンサにより検出可能である前記環境内の物体および／またはフィーチャポイントに関する情報を含み、
前記第１のタイプのセンサおよび前記第２のタイプのセンサにより検出可能な前記物体および識別された前記物体に関わるフィーチャポイントに関する情報を、前記参照フレームから抽出し、
前記第１のタイプのセンサに加え、第２のタイプのセンサを用いて前記環境をスキャンし、
前記第１のタイプのセンサにより該センサと前記物体との間の第１の距離のところで生成された前記環境の表現内において、前記参照フレーム内に含まれている少なくとも１つの物体を見つけて識別することを含み、前記少なくとも１つの物体を見つけて識別するためのサーチエリアを、前記参照フレームにより提供される、物体に関する情報に基づき指定可能であり、
抽出された前記情報を用いて、前記第２のタイプのセンサにより該センサと前記物体との間であって前記第１の距離よりも短い第２の距離のところで生成された前記環境の表現内において、前記物体を見つけて識別し、
抽出された前記情報を用いて、前記第２のタイプのセンサにより生成された前記環境の表現内において、１つまたは複数のフィーチャポイントを見つけて識別し、
前記第２のタイプのセンサにより生成された前記環境の前記表現内で識別された少なくともフィーチャポイントを用いて、前記環境内でのポジションを決定することを含み、抽出された前記情報は、前記環境における前記フィーチャポイントの絶対ポジションに関するデータを含む、
請求項３記載の方法。
前記参照フレームは、複数の物体および／またはフィーチャポイントを含む三次元ベクトル表現に対応する、請求項２から４までのいずれか１項記載の方法。
前記参照フレームは、複数の物体および／またはフィーチャポイントを含む三次元ベクトル表現に対応し、ポジションを決定することは、ローカルで生成された三次元ベクトル表現を受信した三次元ベクトル表現とマッチングさせることを含む、請求項３または４記載の方法。
ポジショニングのために環境参照モデルを生成する装置であって、
スキャンされた環境を表現する複数のデータセットを受信するように適合された第１のモジュールであって、前記データセットは、使用されるセンサタイプに関する情報と、該データセットにより表現される物体および／またはフィーチャポイントの絶対ポジションを決定するためのデータとも含む、第１のモジュールと、
前記データセット各々から１つまたは複数の物体および／またはフィーチャポイントを抽出し、参照座標系における前記物体および／またはフィーチャポイントのポジションを決定するように適合された第２のモジュールと、
前記参照座標系とアライメントされ前記物体および／またはフィーチャポイントが対応するロケーションのところに表現された、スキャンされた前記環境の三次元ベクトルモデル表現を生成するように適合された第３のモジュールと、
前記三次元ベクトルモデル内の前記物体および／またはフィーチャポイントと、該物体および／またはフィーチャポイントを前記環境内で検出可能な少なくとも１つのセンサタイプとのリンクを生成するように適合された第４のモジュールと、
前記三次元ベクトルモデル表現と前記リンクとを取り出し可能な手法で記憶するように適合された第５のモジュールと、
を備える、ポジショニングのために環境参照モデルを生成する装置。
ポジショニングのために第１の環境の参照フレームをモバイルエンティティに適応的に供給する装置であって、
前記第１の環境に対する参照フレームを求める前記モバイルエンティティからの要求を受信するように適合された第６のモジュールであって、前記要求は、前記環境のローカルな表現を生成するために使用可能な少なくとも１つのセンサタイプを含む、第６のモジュールと、
前記第１の環境を含む三次元ベクトルモデル表現を記憶装置から取り出すように適合された第７のモジュールと、
前記少なくとも１つのセンサタイプとのリンクが存在するフィーチャポイントを少なくとも含む、第１の参照フレームを、前記三次元ベクトルモデルから生成するように適合された第８のモジュールと、
前記第１の参照フレームを前記モバイルエンティティに送信するように適合された第９のモジュールと、
を備える、ポジショニングのために第１の環境の参照フレームをモバイルエンティティに適応的に供給する装置。
環境内でのモバイルエンティティのポジションを決定する装置であって、
第１のタイプのセンサを用いて環境をスキャンするように適合された第１０のモジュールと、
前記第１のタイプのセンサによって生成されたスキャンされた前記環境の表現内において、物体を識別するように適合された第１１のモジュールと、
前記物体を含む前記環境に対する参照フレームを受信するように適合された第１２のモジュールであって、前記参照フレームは、前記第１のタイプのセンサによって検出可能である前記環境内の物体および／またはフィーチャポイントに関する情報を含む、第１２のモジュールと、
前記第１のタイプのセンサにより検出可能な前記物体および識別された前記物体に関わる少なくとも１つのフィーチャポイントに関する情報を、前記参照フレームから抽出するように適合された第１３のモジュールと、
前記参照フレームからの物体および／またはフィーチャポイントに関する前記情報を用いて、前記環境のセンサ表現内において少なくとも１つのフィーチャポイントを識別するように適合された第１４のモジュールと、
前記環境の前記センサ表現内で識別された前記少なくとも１つのフィーチャポイントと、前記参照フレームから抽出された前記少なくとも１つのフィーチャポイントの絶対ポジションに関する情報とを用いて、前記環境内でのポジションを決定するように適合された第１５のモジュールと、
を備え、
前記参照フレームは、前記環境内の物体および／またはフィーチャポイントを含む三次元ベクトル表現に対応し、前記環境内の物体および／またはフィーチャポイントと前記第１のタイプのセンサとのリンクを含む、
環境内でのモバイルエンティティのポジションを決定する装置。
前記第１０のモジュールは、前記第１のタイプのセンサを用いることに加え、第２のタイプのセンサを用いて前記環境をスキャンするように適合されており、
前記第１１のモジュールは、前記第１のタイプのセンサにより該センサと前記物体との間の第１の距離のところで生成された前記環境の表現内において物体を識別するように適合されており、
前記第１２のモジュールは、前記物体を含む前記環境に対する参照フレームを受信するように適合されており、該参照フレームは、前記第１のタイプのセンサおよび前記第２のタイプのセンサにより検出可能である前記環境内の物体および／またはフィーチャポイントに関する情報を含み、
前記第１３のモジュールは、前記第１のタイプのセンサと前記第２のタイプのセンサとにより検出可能な前記物体および識別された前記物体に関わる少なくとも１つのフィーチャポイントに関する情報を、前記参照フレームから抽出するように適合されており、
前記第１４のモジュールは、抽出された前記情報を用いて、前記第２のタイプのセンサにより該センサと前記物体との間であって前記第１の距離よりも短い第２の距離のところで生成された前記環境の表現内において前記物体を識別するように、かつ抽出された前記情報を用いて、前記第２のタイプのセンサにより生成された前記環境の前記表現内において１つまたは複数のフィーチャポイントを識別するように適合されており、
前記第１５のモジュールは、前記第２のタイプのセンサにより生成された前記環境の前記表現内で識別された前記少なくとも１つのフィーチャポイントと、前記参照フレームから抽出された前記少なくとも１つのフィーチャポイントの絶対ポジションに関する情報とを用いて、前記環境内でのポジションを決定するように適合されている、
請求項９記載の装置。