JP7485749B2 - ビデオベースの位置決め及びマッピングの方法及びシステム - Google Patents

Description

本開示は、観察者、例えば道路網に沿って走行する車両の地理的位置および向きを判定するための方法およびシステムに関する。さらに、電子地図を生成および／または更新するための（すなわち、マッピングのための）方法およびシステムが提供される。実施形態では、視覚的な全地球測位およびマッピングシステムを提供することができる。

ナビゲーションおよび移動計画は、高度に自動化された自律的な運転の重要な構成要素である。自律車両は安全な動作方針を判定するために、世界において自身を自動的に位置特定することができる必要がある。一方では、全地球測位システムによって解決されるルート計画のためのグローバルスケールでの位置特定を可能にするために地図が必要とされる。他方では、レーン維持および交通標識への順守のような機能のために、直接的な環境の正確な幾何学的表現が必要とされる。従来、これは、単に、事前の地図なしの周囲のアドホックセンシングによって、または、高度に精密な事前構築地図のサポートによって解決される。アドホックセンシングは自律動作に必要な最小限の能力であり、最近のセンサデータからのオンザフライ地図生成によって拡張されることが多い。これは、同じエリアが直後に再訪される場合に特に有用である。しかし、環境のアドホックセンシングはエラーを起こしやすく、周囲に関する高品質の情報（すなわち、マップ）をすでに有することが非常に望ましく、このことは、それに対してマッチングすることによって直接センシングを検証し、サポートすることを可能にする。

任意選択で、理想的には、高品質の事前構築地図がすでに利用可能であり、これにより、センシングエラーがオンザフライ地図に入り込むことが防止され、したがって、移動計画および車両の安全性が改善される。しかし、事前構築地図は、実際の自律運転中に世界がどのようなものであるかとは対照的に、かつて世界がどのようなものであったかを反映している。このことは、事前構築地図が、安全なナビゲーションおよび移動計画を確実にするために最新の状態に維持される必要があることを意味する。

現在の領域の地図とは別に、車両内の計画システムは、その地図内のどこに位置しているかを知る必要がある。アドホックセンシングから作成されるオンザフライ地図の場合、これは自明であるが、事前構築地図への直接の接続はない。有用であるためには、事前構築地図の構造および含まれる情報が、その中の車両の正確な位置特定を可能にする必要がある。オンザフライで作成された地図を事前構築地図と比較して位置合わせする何らかの方法によって、事前構築地図内の車両の位置および向きを判定する必要がある。これは、アドホックセンサデータとの比較に適したデータ表現のような、事前構築地図の設計に特定の要件を課す。

自律運転のための地図は、用途の制限及び要件に適合する必要がある。自動車内の限られた資源は、計算時間、メモリ、および移動体帯域幅を経済的に使用するアルゴリズムおよびデータ構造を課す。これらの制約を尊重しながら、システムは、自律運転のための機能的要件を満たす必要がある。これらは、所与の地形の交通可能性、動的（例えば、他の自動車）および静的（例えば、道路建設、交通標識）オブジェクトの位置および動きなど、周囲に関するセマンティック情報を判定することを含む。

大規模な展開のために、地図は過剰な道路形状およびアーチファクトを組み込むのに十分に柔軟である必要があり、最新性および性能を犠牲にすることなく、グローバルサイズにスケーリングすることができる必要がある。データ構造は、追加の幾何学的層およびセマンティック層のために十分に拡張可能である必要がある。

自律運転は積極的な研究分野であり、毎年、自走車の充実に向けて大きな進展が見られる。しかし、完全な自律性のために必要とされる多くの課題は解決されておらず、研究コミュニティは安全な計画および運転のためのすべての前提条件をまだ決定していなかったが、明確な解決策が存在しない既知の問題さえ存在する。

自律運転プラットフォームには多くの提案および実施があるが、マッピングおよび位置特定の問題について受け入れられている標準的な解決策の状態は得られていない。また、アドホックデータをオンザフライ地図に集約するための標準的な解決策は存在せず、これは、即時の移動計画と、グローバルスケールで事前に構築された地図に対する追加の地図マッチング（すなわち、位置特定）とを同時に容易にする。

新しいオンザフライデータによる事前構築地図の更新も重要であり、一般的には解決されていない。これは、効率的な地図マッチング、自動オブジェクト検出（交通標識など）、ならびに手動データキュレーションのための人間のオペレータへの直感的な提示の問題を解決することを含む。

現在使用可能な地図
さらなる問題は、自律運転の要件に適合する事前に構築された地図データがないことである。ほとんどの地図データは頻繁でない間隔で収集され、したがって、しばしば古くなり、新しいデータを組み込むための容易な方法を提供しない。例として、地方自治体の従業員による航空写真および手動マッピングがある。また、利用可能な地図データの多くは、利用可能な構造データのない画素から構成される前述の航空写真のようなアルゴリズムアクセスのために構造化されていない。地図精度も十分ではないことが多く、自律運転に取り組む各研究グループによるカスタム地図作成が必要である。

自律運転のために明示的に作成された現在の最新技術の地図は、最適ではないことが最も多く、記録時と同じ時刻および気象条件を有する状況においてのみ適用可能である。さらに、頻繁に使用されるデータ構造は、真にグローバルな地図にとって非効率すぎることがしばしば証明される。これらの種類の地図は通常、構造化されていないセンサデータを含み、このセンサデータは、そのボリュームのためにセンサデータと位置合わせすることが困難である。さらに、ＧＩＳ座標系への正確な接続がないことが多く、その地図を他の地図と相互運用できないようにする。最近の自律運転のための地図はしばしば、長期記憶装置に記憶されたオンザフライ地図である。必要とされるのは、信頼性のある車両の位置特定のために、最初から特殊化された地図である。

不均一センサセットアップ
さらなる課題は特に生のセンサデータだけを保存する地図がわずかに異なるセンサによる位置特定に適用できないので、異なるセンサからのデータ、さらにはセンサタイプ（例えば、モノカメラ、ステレオカメラ、ライダ、レーダなど）からのデータの処理である。したがって、一般的な地図は環境のセマンティック情報を提供する必要があり、これは、すべてのセンサタイプで見つけることができる。

非機能要件
マッピングおよび位置特定システムはまた、非機能的要件に直面し、従来技術の方法のいずれも、前述の機能的要件と共にこれらを満たすことを達成しない。システムの設計は、実験室環境での作業を必要とするだけでなく、汎用ハードウェア上で実行可能であること、およびモバイルデータ接続の適度な容量の制限内で実行可能であることを含む、グローバルスケールでの実現可能性および実装コストの影響を受ける。

本発明の第１の態様によれば、道路網を走行する車両の地理的位置及び向きを判定する方法であって、
前記道路網を走行する前記車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得することであって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得することと、
前記取得された画像及び前記関連するカメラ位置の少なくともいくつかを用いて、前記車両が走行している前記道路網のエリアを表すローカル地図表現を生成することと、
前記生成されたローカル地図表現を、前記車両が走行している前記道路網の前記エリアをカバーする基準地図のセクションと比較することと、
前記比較に基づいて、前記道路網内の前記車両の前記地理的位置及び向きを判定することと、
を含む方法が提供される。

本発明はまた、本発明のこの態様による方法、または本明細書に記載されるその実施形態のいずれかを実行するためのシステムにも及ぶ。

従って、別の態様からは、道路網を走行する車両の地理的位置および向きを判定するシステムであって、
前記道路網を走行する前記車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得する手段であって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得する手段と、
前記取得された画像及び前記関連するカメラ位置の少なくともいくつかを使用して、前記車両が走行している前記道路網のエリアを表すローカル地図表現を生成する手段と、
前記生成されたローカル地図表現を、地図レポジトリから抽出された基準地図のセクションと比較する手段であって、前記基準地図のセクションは、前記車両が走行している前記道路網の前記エリアをカバーする、前記比較する手段と、
前記比較に基づいて、前記道路網内の前記車両の前記地理的位置および向きを判定する手段と、
を備えるシステムが提供される。

本発明のこのさらなる態様は必要に応じて、本発明の任意の他の態様または実施形態に関して本明細書に記載される本発明の好ましい特徴および任意選択の特徴のうちの任意の１つまたは複数またはすべてを含むことができ、好ましくは含む。例えば、明示的に述べられていなくても、本明細書に記載の方法に関連して説明した任意のステップを、その態様または実施形態のいずれにおいても実施するための手段を含むことができ、その逆もまた同様である。該方法または装置に関連して説明したステップのいずれかを実行するための手段は、１つ以上のプロセッサおよび／または処理回路を含むことができる。したがって、本発明は好ましくはコンピュータによって実施される発明であり、本発明の態様または実施形態のいずれかに関して説明されるステップのいずれかは、１つまたは複数のプロセッサおよび／または処理回路のセットの制御下で実行され得る。

実施形態では、本発明が道路網を走行する車両の地理的位置および向きを判定するための、すなわち、道路網内で車両を「位置特定」するための技法に関する。判定された地理的位置および向きまたは位置特定結果は、例えば、自律車両のナビゲーションおよび移動計画の目的のために使用されてもよい。例えば、位置特定結果は例えば、車両が取るべき次の動作を判定するために、車両の自律運転モジュールへの入力として提供されてもよい。本明細書で説明するように、少なくともいくつかの態様では、道路網内を走行している車両の地理的位置および向きは、車両に関連する１つ以上のカメラによって記録された画像のシーケンス（一連の画像、たとえば、ビデオシーケンス）から判定することができる。画像は、車両が走行している道路網のローカル環境に関連する画像コンテンツ、すなわち、カメラまたはカメラの視野内に捕捉されるオブジェクトを含む。したがって、画像のシーケンスは、道路環境を通る車両の動きを反映することになる。すなわち、画像のシーケンスは一般に、車両が道路網を通って移動するときのローカル環境の変化を反映する。従って、画像の各々は一般に、異なる位置で記録されている。したがって、異なる画像からの情報を集約して、車両が走行しているエリアの一貫したローカル地図表現を生成するためには、画像の関連するカメラ位置を知る必要がある。取得された画像のカメラ位置は、（例えば、オンボードオドメトリシステムおよび／または全地球測位システム（ＧＮＳＳ）のデータから）取得されるときに、既知であってもよく、または画像と共に提供されてもよい。あるいは、好ましい実施形態では、異なる画像のカメラ位置は、例えば、（以下でより詳細に説明するように）ビジュアルオドメトリを使用して、画像から視覚的に決定されてもよい。したがって、複数の画像および関連するカメラ位置を処理して、道路網の環境に関する情報を抽出することができ、この情報を、車両が走行している道路網のエリアを表すローカル地図表現に組み込むことができる。したがって、複数の画像を処理することによって得られるローカル地図表現は一般に、車両の周りのエリアの道路網の環境を示す。次いで、生成されるローカル地図生成は、例えば、基準地図に対する車両の自身の動きを判定することによって、道路網内の車両の地理的位置および向きを判定するために、車両が走行している（少なくとも）おおよそのエリアをカバーする基準地図セクションと比較（例えば、マッチング）することができる。理解されるように、基準地図は本発明の目的のためのグランドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）と考えられ、基準地図において表されるオブジェクトの位置および向きは現実世界におけるオブジェクトの位置および向きと一致する。このようにして、すなわち、記録された画像を処理して、対応する基準地図と比較（マッチング）することができるローカル地図表現を生成することによって、道路網内の車両の位置および向きを画像から正確に判定することができる。したがって、本発明の実施形態によれば、道路網内の車両の視覚的位置特定を得ることができる。次いで、位置特定結果は、所望に応じて、様々な方法で使用することができる。例えば、上述したように、位置特定結果は、入力として、自律車両の自律運転モジュールに、又は正確な位置特定が望まれる他の高度な運転者支援システムに提供されてもよい。

生成されるローカル地図表現はまた、順番に、基準地図セクションを更新する（または新しい基準地図セクションを生成する）ために使用されてもよい。例えば、ローカル地図表現が以前にコンパイルされた基準地図に含まれない、またはそうでなければ矛盾する特徴を含む場合、基準地図は、それに応じて更新されてもよい。したがって、少なくともいくつかの実施形態では、本明細書で提示する技法がオンザフライ（無線）で取得される新しいデータで事前構築基準地図を効率的に更新する方法も提供する。例えば、生成されたローカル地図表現を基準地図と比較することによって、基準地図内の１つ以上の誤差（エラー）を識別することができる。例えば、誤差は、基準地図から欠けている特徴、または基準地図から除去される必要があるか、または基準地図において修正される必要がある特徴のいずれかであり得る。そのような誤差（エラー）が識別されると、基準地図は、それに応じて更新されてもよい。例えば、そのようなエラーが識別されると、ローカル地図表現は、例えばローカル地図表現に基づいて基準地図に組み込まれるべき基準地図セクションを更新するか、または新しい基準地図セクションを生成することによって、基準地図を更新するために、リモートサーバに提供されてもよい。しかし、ローカル地図表現全体を必ずしもリモートサーバに提供する必要はなく、いくつかの実施形態では、ローカル地図表現を示すデータおよび／または識別された誤差を示すデータを、代わりにリモートサーバに提供して、基準地図セクションを更新（または新しい基準地図セクションを生成）することができることが理解されるだろう。例えば、ローカル地図表現からの１つ以上の特徴、または取得された画像の１つ以上をリモートサーバに提供し、それに応じて基準地図のセクションを更新（または生成）するために使用することができる。例えば、ローカル地図表現が車両に搭載されて生成される場合、これは、リモートサーバに送信される必要があるデータ量を低減することができる。

実施形態では、本技法が位置特定結果を出力することと、ローカル地図表現、またはそれを示すデータ、またはローカル地図表現との比較に基づいて識別された基準地図内の任意の誤差を示すデータを提供することとを含むことができる。場合によっては、位置特定結果は、基準地図セクションを更新する目的で、例えば、誤り訂正の目的で使用することもできる。しかし、少なくともいくつかの実施形態では、本技法が必ずしも位置特定結果を出力することなく、マッピング目的のために使用することもできると考えられる。すなわち、いくつかの実施形態によれば、１つ以上の車両から取得された画像データを使用して、電子地図を生成および／または更新することができる。

したがって、本発明の別の態様によれば、地図によって表される道路網を走行する車両によって得られるデータを使用して電子地図を更新及び／又は生成する方法であって、
前記道路網を走行する前記車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得することであって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得することと、
前記画像及び前記関連するカメラ位置の少なくともいくつかを用いて、前記車両が走行している前記道路網のエリアを表すローカル地図表現を生成することと、
前記生成されたローカル地図表現を基準地図のセクションと比較することと、
前記比較に基づいて、前記基準地図のセクション内の１つ以上のエラーを識別することと、
前記１つ以上のエラーが識別されると、前記ローカル地図表現、または前記ローカル地図表現を示すデータを、前記基準地図のセクションを更新するため、及び／又は新しい基準地図のセクションを生成するために、リモートサーバへ提供することと、
を含む方法が提供される。

本発明はまた、本発明のこの態様による方法、または本明細書に記載されるその実施形態のいずれかを実行するためのマッピングシステムにも及ぶ。

従って、別の態様からは、地図によって表される道路網を走行する車両によって得られるデータを使用して電子地図を生成及び／又は更新するシステムであって、
前記道路網を走行する前記車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得する手段であって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得する手段と、
前記画像及び前記関連するカメラ位置の少なくともいくつかを使用して、前記車両が走行している前記道路網のエリアを表すローカル地図表現を生成する手段と、
前記生成されたローカル地図表現を基準地図のセクションと比較する手段と、
前記比較に基づいて、前記基準地図のセクション内の１つ以上のエラーを識別する手段と、
１つ以上のエラーが識別されると、前記ローカル地図表現、又は前記ローカル地図表現を示すデータを、前記基準地図のセクションを更新するため、及び／又は新しい基準地図のセクションを生成するために、リモートサーバへ提供するための手段と、
を備えるシステムが提供される。

本発明のこのさらなる態様は必要に応じて、本発明の任意の他の態様または実施形態に関して本明細書に記載される本発明の好ましい特徴および任意選択の特徴のうちの任意の１つまたは複数またはすべてを含むことができ、好ましくは含む。例えば、明示的に述べられていなくても、本明細書に記載の方法に関連して説明した任意のステップを、その態様または実施形態のいずれにおいても実施するための手段を含むことができ、その逆もまた同様である。該方法または装置に関連して説明したステップのいずれかを実行するための手段は、１つ以上のプロセッサおよび／または処理回路を含むことができる。したがって、本発明は好ましくはコンピュータによって実施される発明であり、本発明の態様または実施形態のいずれかに関して説明されるステップのいずれかは、１つまたは複数のプロセッサおよび／または処理回路のセットの制御下で実行され得る。

本発明の実施形態によれば、ローカル地図表現、または少なくともそれを示すデータは、好ましくは（ローカル地図表現から使用して）基準地図内の１つ以上の識別された誤差を示すデータと共に、リモートサーバに提供され、上述のように、電子基準地図を更新または生成する目的で使用されてもよい。したがって、そのような情報がリモートサーバに提供されると、リモートサーバは提供されたローカル地図表現、またはそれを示すデータを使用して、新しい基準地図セクションを生成し、および／またはリモートサーバに格納された基準地図を更新することができる。更新された（または新しい）地図はその後、例えば第１の態様に関して説明したように、車両（ユーザ）による使用のためにダウンロードすることができる。すなわち、更新された、または生成された電子地図は、その後の位置特定プロセスのための基準地図として使用されてもよい。したがって、本発明は、様々な態様によれば、概して、以下でさらに説明するように、視覚的位置特定技法、ならびに関連する視覚的マッピング技法に関する。

本明細書で提示する技法は一般に、道路網内の車両の正確な位置特定を提供すること、および／または道路網のローカル環境に関する情報を含む正確な地図を生成することが望ましい任意の状況で使用することができる。しかし、実施形態は特に、自律車両、例えば、最小限の運転者対話を必要とする（または全く必要としない）車両を位置特定するための技法に関する。例えば、実施形態では、位置特定の結果がナビゲーションおよび移動計画、すなわち自動運転の目的のために、車両の自律運転モジュールに提供されてもよい。したがって、車両は自律車両、例えば、道路網を通って走行している自律自動車またはトラックなどを含むことができる。しかし、本技法は例えば、非自律車両または半自律車両に関連する様々な他の状況においても有用性を見出すことができることが理解されるのであろう。例えば、位置特定は一般に、例えば地図内の車両の正確な位置特定が望ましい任意の適切な高度運転者支援システムの一部として使用されてもよいことも企図される。また、マッピング結果は自律運転を容易にする目的のために使用される必要はなく（しかし、好ましくは、使用される）、例えば、従来のナビゲーション案内システムの一部として、任意の車両によって所望されるように使用されるナビゲーションのための改善された地図を生成するために使用されてもよいことが理解されるだろう。

道路網は一般に、車両によってナビゲート可能な複数の相互接続された道路を含むネットワークである。道路網は一般に、デジタル地図、または電子地図（または数学的グラフ）によって表されてもよい。その最も単純な形態では、電子地図は、事実上、ノードを表すデータ、最も一般的には道路交差点を表すデータ、およびそれらの交差点間の道路を表すそれらのノード間の線を含むデータベースである。より詳細なデジタル地図では、線が開始ノードおよび終了ノードによって定義されるセグメント（区分）に分割されてもよい。これらのノードは最低でも３つの線またはセグメントが交差する道路交差点を表す点で「リアル（実）」であってもよく、または、これらは実ノードによって一方または両方の端部で定義されていないセグメントのアンカとして提供され、とりわけ、特定の道路の区間の形状情報、またはその道路の何らかの特性、たとえば速度制限が変化する道路に沿った位置を識別する手段を提供する点で「人工的」であってもよい。実際には全ての現代のデジタル地図において、ノード及びセグメントはデータベース内のデータによって再び表される様々な属性によってさらに定義される。例えば、各ノードは典型的にはその実世界の位置、例えば、緯度及び経度を定義するための地理的座標を有する。ノードはまた、典型的には、交差点において、ある道路から別の道路に移動することが可能であるかどうかを示す、それに関連付けられた操作データを有する。従来のナビゲーション案内の目的のために、例えば、既知のポータブルナビゲーションデバイスによって提供され得るように、電子地図のセグメントは道路中心線に関する情報のみを含む必要がある（そして、典型的にはそれだけである）が、各道路セグメントは許容される最大速度、レーンサイズ、レーンの数、中間に仕切りがあるかどうかなどの属性で補足され得る。しかし、本発明の実施形態によれば、以下でさらに説明するように、レーン中心線およびレーン接続性（すなわち、レーンマーキング）、ならびに他の重要な要素、たとえば、地図に望ましく組み込むことができるランドマークオブジェクトなどの道路網の３次元幾何形状などを含む、道路プロファイルのより正確かつ現実的な表現を提供する電子地図を生成（または使用）することができる。このタイプの電子地図は、（レーン中心線ではなく道路中心線を含む従来の「ＳＤ」地図と比較して）「ＨＤ」地図と呼ぶことができる。ＨＤ地図に含まれる付加的な情報、および少なくともレーンマーキングは一般に、自律運転のために必要とされる。しかしながら、これらのＨＤ地図の使用は自律車両に限定されず、これらの地図は様々な高度運転者支援システム用途を含むが、これらに限定されない、道路プロファイルの改善されたより正確な表現を提供することが望ましい他の用途においても、適切な用途を見いだすことができる。したがって、ＨＤ地図は、ユーザに、または自律運転システム、または他の高度運転者支援システム（ＡＤＡＳ）に、適切かつ望ましく提示することができる任意の他の特徴を表すデータも含むことができる。

本発明の実施形態は、道路網を走行する車両と関連付けられた１つ以上のカメラから一連の画像を取得（および処理）することを含む。１つまたは複数のカメラによって記録される画像のシーケンス（一連の画像）は少なくとも１つのカメラから直接取得されてもよく、例えば、カメラから、ローカル地図表現を生成するように動作する車両のオンボードプロセッサへ直接ストリーミングされてもよい。しかし、他の実施形態では、画像が、受信された画像（または画像データ）を使用してローカル地図表現を生成するリモートプロセッサに送信されてもよい。実際、一般に、本明細書で説明する様々なプロセッサおよび処理ステップは、１つ以上のオンボードプロセッサとリモートサーバとの間で、必要に応じて分散させることができることが理解されるだろう。

１つ以上のカメラは一般に、道路網を通って走行している車両と関連付けられる。例えば、１つ以上のカメラが、車両上または車両内に適切に配置されてもよい。一般に、１つ又は複数のカメラは、本明細書に提示される技術に従って適切に処理され得る画像を得るために、車両上または車両内の任意の適切な所望の場所に配置され得る。例えば、典型的には、少なくとも１つのカメラが車両の前方の風景及び道路幾何形状の画像を取得する。しかし、１つ以上のカメラを使用して、車両を取り囲む風景の画像を取得することもできる。一般に、取得された画像は、ローカル地図表現に含めるために道路網の環境を示す情報を抽出するために適切に処理され得る、車両の周囲および前方のエリアにおける道路網のローカル環境に関連する画像コンテンツを含む。例えば、画像コンテンツは、典型的には画像が記録された地点で１つ又は複数のカメラの視野内に含まれる任意のオブジェクトを含み、その結果、画像は、道路及びレーンの幾何形状に関する情報だけでなく、例えば、建物、交通標識、交通信号、広告板等のようなローカル環境に関連するランドマークに関する情報、並びに道路網の現在の状態（及び交通可能性）に関する情報を含む、車両が走行しているエリア内の一般的な風景又は環境に関する情報も捕捉する。したがって、画像コンテンツは一般に、車両が走行している領域内の道路網の環境に関する情報（道路網自体に関する情報だけではなく）を含むことが理解されるだろう。ローカル地図表現を生成するために使用されるのは、基準地図を（グローバルに）更新または生成するために使用することができる画像コンテンツであるので、本明細書で提示する技法に従って生成された地図は、従来の電子地図、例えば、道路中心線に基づいて道路幾何形状を単に示すものよりもはるかに豊富であり、より有用な情報を含むことができることが理解されるだろう。

画像のシーケンスは、道路網を通る車両の動きを反映する。すなわち、シーケンス内の各画像は、特定の時点および特定のカメラ位置における道路網の環境を表す。好ましくは、画像のシーケンスはビデオシーケンスを含む。したがって、画像は、ビデオシーケンスのそれぞれのフレームに対応することができる。したがって、１つ以上のカメラは１つ以上のビデオカメラを含むことができ、好ましい実施形態では含む。

実施形態では、１つ以上のステレオカメラを使用して、複数の画像（のうちの少なくともいくつか）を取得することができる。しかし、ステレオカメラの使用は必要ではなく、いくつかの実施形態では、画像が（単に）１つ以上の単眼カメラまたは単一のカメラを使用して取得されてもよい。いくつかの好ましい実施形態では、１つ以上のカメラが１つ以上のステレオカメラおよび１つ以上の単一（単眼）カメラを含むことができる。例えば、実施形態では、以下に説明するように、ステレオカメラを使用して得られた複数のステレオ画像を、ビジュアルオドメトリの目的に有利に使用することができる。しかし、画像内のオブジェクトを識別し分類する目的のために、単一の（単眼）カメラから得られた画像を使用することが好ましい場合がある。

画像データは、所望に応じて、様々な他のセンサからのデータによって補足されてもよい。例えば、ＧＮＳＳデータなどの位置データを使用して、車両の粗い位置特定および画像の各々のタイムスタンプを提供することができる。

画像シーケンス内の画像は一般に、（例えば、道路網を通る車両、したがって、関連する１つまたは複数のカメラの動き（移動）を反映して）異なる位置で取得されるので、画像を一緒に処理して、車両が走行しているエリアの一貫したローカル地図表現を生成するために、画像のそれぞれに関連するカメラ位置を知る（または少なくとも判定することができる）ことが必要である。すなわち、各画像は、エリアのある部分の２次元ビューを表す。したがって、エリア全体の一貫したビューを生成するためには、異なる画像からの異なるビューを一緒に集約する必要がある。これは、画像が記録された位置の知識に基づいて行うことができる。例えば、オブジェクトは一般に、２次元点のセットとして任意の所与の画像に現れることが理解されるだろう。一連の画像が記録されると、同じオブジェクトが複数の画像に現れるが、異なる視点から見ることができる。これは、例えば、三角測量を使用して、オブジェクトを位置特定することを可能にするものである。しかし、一貫したローカル地図表現を生成するために、例えば道路網内のオブジェクトの相対的な位置および向きを示すために、オブジェクトを画像から所望の３次元座標フレームにマッピングすることができるように、異なる画像を取得するために使用されるカメラの位置および向き（一緒に、「ポーズ」）を考慮に入れなければならない。すなわち、異なる位置で記録された一連の画像から一貫したローカル地図表現を生成するためには、異なる画像のカメラ位置を知るか、または判定する必要がある。

画像が記録された位置（または「カメラ位置」）は、絶対位置として提供されてもよく、画像が配置された地点における道路網内のカメラの絶対位置および向き（姿勢）を表す。したがって、実施形態では、本技法は画像の絶対カメラ位置を取得することを含む。しかし、これは、常に利用可能であるとは限らない非常に高精度のセンサを必要とする場合がある。例えば、画像の各々は、例えば、ＧＮＳＳ又は他の位置データを使用して取得されるときに位置スタンプされてもよく、従って、絶対位置は例えば、高精度オドメータ及び／又はＧＮＳＳデータを使用することによって、そのような位置データを使用して直接取得されてもよい。多くの場合、そのようなＧＮＳＳまたは他の位置データの精度は、（特に、車両が非常に正確に位置特定されることが不可欠である自律運転のために）位置特定の十分に高度な判定を、位置特定のために信頼性を持って使用することを可能にしないことがある。したがって、（各）画像のカメラ位置がシーケンス内の１つ以上の他の画像に対して提供されるように、カメラ位置を相対位置として提供することができ、次いで、相対カメラ位置を使用して、画像を一緒に集約して、エリアのローカル地図表現を生成する。１つの画像から次の画像へのカメラ位置の相対変化は一般に、車両のオドメトリを使用して（すなわち、車両に関連する１つ以上のオドメトリセンサを使用して）判定することができる。例えば、シーケンス内の第１の画像に対する初期カメラ位置は、例えばＧＮＳＳ又は他の位置データから（比較的高い精度で）知ることができる。次いで、第１の画像と比較されたシーケンス内の後続の画像の相対位置は、車両のオドメトリに基づいて、すなわち、道路網を通る車両の移動の知識に基づいて判定され得る。したがって、実施形態では、本技法は、シーケンス内の第１の画像などの基準画像に対する画像のうちの少なくともいくつかの相対カメラ位置を判定することを含む。

異なる画像の（相対的な）カメラ位置は、任意の適切な所望の技法を使用して判定することができる。例えば、ステレオ画像が得られる場合、様々な既知のステレオ画像位置合わせ技術を用いて、例えば、連続する奥行き画像を位置合わせすることによって、画像の相対的なカメラ位置を導出することができる。しかし、好ましくは、画像の（相対的な）カメラ位置は、ビジュアルオドメトリのプロセスによって判定される。すなわち、画像の相対的なカメラ位置は、画像の処理から（例えば、純粋に）視覚的に判定されてもよい。例えば、ビジュアルオドメトリは、基準画像に対する画像の回転および位置（すなわち、画像またはカメラ「ポーズ」）を判定するために使用されてもよく、基準画像は、典型的にはカメラの初期位置が一般に知られていてもよい画像シーケンスの最初の画像である。したがって、実施形態では、シーケンス内の画像の画像ポーズが、第１（基準）画像を記録するために使用されるカメラの初期位置に対して判定される。ポーズは、一連の画像内の記録された画像毎に判定されてもよい。しかし、一般に、ポーズを判定するだけでよく、ポーズは、実施形態では、「キーフレーム」と呼ばれる画像（またはフレーム）のサブセット、すなわち、以前に取得された画像に対して著しいカメラの動きおよび／または画像内容の変化を示す画像、についてのみ判定される。したがって、各画像（またはキーフレーム）について、第１（基準）画像に対する画像の回転および位置を表す相対姿勢が生成される。（「キーフレーム」という概念は一般的に、例えばビデオ符号化において十分理解される。一般に、画像のシーケンスを処理するための本明細書の任意の基準は、画像のすべて、または画像のいくつかのみ、例えばキーフレームのみを処理することを含んでもよい。あるいは、画像のシーケンスがキーフレームのシーケンスを含んでもよい。）

ＧＮＳＳまたは他の位置データはビジュアルオドメトリを補足するために使用されてもよい。例えば、各画像（またはキーフレーム）について、粗いカメラ位置がＧＮＳＳまたは他の位置データから推定されてもよく、次いで、これはシーケンス内の他の画像に基づいてビジュアルオドメトリを使用して洗練されてもよい。

ビジュアルオドメトリの原理は十分に確立されており、一般に、任意の適切かつ所望のビジュアルオドメトリ技術を本発明と共に使用することができる。典型的なビジュアルオドメトリ技術は「動きからの構造」の仮定に基づいているが、他の構成、例えば、各種ステレオグラフィ技術も可能である。ビジュアルオドメトリは単一のカメラ（または単眼）画像データを使用して実行することができるが、好ましくはビジュアルオドメトリに使用される画像は１つ以上のステレオカメラを使用して取得され、その結果、例えば、画像の画像深度が既知であり、ビジュアルオドメトリアルゴリズムへの入力として提供することができる（そうでなければ、これらを何らかの形で推定または判定しなければならないことになり、これは、移動車両からオンザフライ（無線）で画像が生成されるときは困難かもしれない。したがって、実施形態では、任意の適切かつ所望のステレオビジュアルオドメトリ技法を使用することができる。

ビジュアルオドメトリは例えば、既知のバンドル調整技術を用いて間接的に実行されてもよい。しかしながら、好ましくは、ステレオダイレクトスパースオドメトリ（ＤＳＯ）技術が画像ポーズを得るために使用される。ＤＳＯはカメラ上へのオブジェクトの投射間の測光誤差の直接最小化に基づく既知の技法であり、オブジェクトは、基準フレーム内のキーポイントのセットおよび奥行きによって暗黙的に定義される。したがって、基準フレームから次のフレームにオブジェクトを投影または追跡するために、キーポイントは次のフレームに投影され、複数のキーポイントの測光誤差は基準フレームから次のフレームに移動するための適切な変換を判定するために最小化される。したがって、変換はフレーム間の位置および回転の変化を示し、すなわち、カメラまたは画像ポーズを決定することができる。オリジナルのＤＳＯ技術は、単眼画像に基づいていた。ＤＳＯプロセスの詳細は、参照ａｒＸｉｖ：１６０７．０２５６５でａｒＸｉｖ．ｏｒｇ上で入手可能なＥｎｇｅｌらによる「Ｄｉｒｅｃｔ Ｓｐａｒｓｅ Ｏｄｏｍｅｔｒｙ」に見出すことができ、その全内容は参照により本明細書に組み込まれる。しかし、好ましい実施形態はステレオ画像に基づくステレオＤＳＯ技法を使用し、その結果、画像深度をＤＳＯアルゴリズムへの入力として提供して、（一般に、（ＤＳＯの場合）既に正しい深度推定値を有する既存の画像を必要とする）トラッキングプロセスを改善することができる。したがって、ステレオＤＳＯプロセスの出力は、第１（基準）画像と比較した各画像に対する相対姿勢（ポーズ）である。ステレオＤＳＯプロセスのさらなる詳細は、参照ａｒＸｉｖ：１７０８．０７８７８でａｒＸｉｖ．ｏｒｇ上で入手可能なＷａｎｇらによる「Ｓｔｅｒｅｏ ＤＳＯ： Ｌａｒｇｅ－Ｓｃａｌｅ Ｄｉｒｅｃｔ Ｓｐａｒｓｅ Ｖｉｓｕａｌ Ｏｄｏｍｅｔｒｙ ｗｉｔｈ ｓｔｅｒｅｏ Ｃａｍｅｒａｓ」に見出すことができ、その全内容は参照により本明細書に組み込まれる。

ステレオＤＳＯプロセスの出力はまた、一般に、処理されているフレームの各々についての「キーポイントクラウド（キー点群）」（本明細書では「スパースポイントクラウド（疎点群）」とも呼ばれる）を含む。疎点群は、各画像内の各種キーポイントの位置を表す。上述したように、キーポイントは、カメラ画像上へのオブジェクトの２次元投影を含む。疎点群はまた、画像内の画素の各々について推定された深さ（デプス）を含む。

画像をより良好に処理することができるようにするために、また、例えば、画像に現れるオブジェクトを自動的に検出または抽出するために、複数の異なる「オブジェクトクラス」のうちの１つ以上に従って画像の要素を分類するために、セマンティックセグメンテーションのステップを実行することができる。他の構成も可能であるが、典型的には画像内の個々の画素の各々が分類されるように、画像は画素単位でセグメント化される。したがって、実施形態では、画像内の各画素に対してオブジェクトクラスまたはクラスのリスト（および関連する確率）を割り当てるために、画像の少なくともいくつか（たとえば、少なくともキーフレーム）を処理することができる。一般に、画像データを処理し分類するために、任意の適切かつ所望のセマンティックセグメンテーションプロセスを使用することができる。好ましい実施形態では、画像のセマンティックセグメンテーションは機械学習アルゴリズムを使用して実行される。例えば、いわゆる「ＳｅｇＮｅｔ」または「ＰＳＰＮｅｔ」システムなどの訓練された畳み込みニューラルネットワーク、またはその修正を、画像データのセグメント化および分類のために適切に使用することができる。オブジェクトクラスは一般に、セマンティックセグメンテーションアルゴリズム内で定義され、例えば、「道路」、「空」、「車両」、「交通標識」、「交通信号」、「交通信号灯」、「レーンマーキング」などのオブジェクトクラスを含むことができる。ＳｅｇＮｅｔおよびＰＳＰＮｅｔは、両方とも、特に道路網の画像を分類するために開発された既知のアルゴリズムである。したがって、上述のような適切なオブジェクトクラスは、これらのアルゴリズムにおいて既に定義されている。ＳｅｇＮｅｔアーキテクチャのさらなる詳細は、参照ａｒＸｉｖ：１５１１．００５６１でａｒＸｉｖ．ｏｒｇ上で入手可能な、Ｂａｄｒｉｎａｒａｙａｎａｎらによる「ＳｅｇＮｅｔ： Ａ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ」に見出すことができ、その全内容は、参照により本明細書に組み込まれる。ＰＳＰＮｅｔアーキテクチャのさらなる詳細は、参照ａｒＸｉｖ：１６１２．０１１０５でａｒＸｉｖ．ｏｒｇ上で入手可能な、Ｚｈａｏらによる「Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ」に見出すことができ、その全内容は、参照により本明細書に組み込まれる。

各画素には、セマンティックセグメンテーションに基づいて（単一の）オブジェクトクラスを割り当てることができる。しかし、実施形態では、各画素にはオブジェクトクラスベクトルが割り当てられ、ベクトル要素は複数の異なるオブジェクトクラスのそれぞれに属するその画素の尤度（または確率）を表す。

このセマンティックセグメンテーションのステップは、画像が複数の一般的な車両環境オブジェクトクラスに従って分類されるので、「車両環境」セマンティックセグメンテーションと呼ぶことができる。

一般に、セマンティックセグメンテーションのこのステップは、上述のビジュアルオドメトリのステップの前または後に、またはそれと並行して実行されてもよい。

機械学習技術はセマンティックセグメンテーションを実行するために使用される必要はなく、他の実施形態では、画像は、代替的に、または追加的に、例えばステレオカメラを使用するときに利用可能な画像深度データを使用して、例えば、画像内のそれらの相対的な深度に基づいて画素を分類するために処理されてもよいことが理解されるだろう。例えば、このようにして、例えば、ステレオ点群を使用して、画像は、グランド（地面）レベル画素、壁／ハウジング、交通標識ポールなどにセグメント化されてもよい。別の例として、画像セグメンテーションは、上述のＤＳＯ点群などの疎特徴点群データを使用することができ、これを使用して、例えば、「グランド（地面）レベル」点（のみ）を含む粗グランド（地面）マスクを生成することができる。

例えば、上述のアルゴリズムを使用して、一旦、画像がこのように分類されると（、セマンティックセグメンテーションから判定された１つまたは複数のオブジェクトクラスは、オブジェクトクラスの特定のサブセットのみを使用し得る、任意の後続の処理ステップのために利用可能にされ得る。例えば、あるオブジェクトクラスに対応する画像内の任意の要素が抽出され、または一緒にグループ化され、その後、他の要素とは別個に処理されてもよい。例えば、ランドマーク観察特徴を作成するために、以下でさらに説明するように、システムは一般に、「ランドマーク」タイプのオブジェクトクラスが割り当てられた画素または画素のグループを考慮するだけでよい。（セマンティックセグメンテーションは、一般的な「ランドマーク」クラスを含まないことができ、一般的には含まず、むしろ、それぞれが一般的に異なるタイプの「ランドマーク」を示す「建物」クラス、「交通標識」クラスなどのいくつかのクラスを含むことができることを理解されたい。したがって、本明細書のランドマーククラスへの参照は、複数のランドマークタイプクラスの何れか１つを意味するものとして理解すべきである。）

したがって、同じオブジェクトクラス内の任意の画素を一緒に抽出または処理して、オブジェクト「フィルタリングされた」画像を生成することができる。同様に、同じクラス内の隣接画素のグループは、特徴または「オブジェクト」として一緒に関連付けることができ、次いで、それらを互いに独立して抽出し、後続の処理ステップで使用することができる。

実施形態では、画像のうちの少なくともいくつかは、ローカル地図表現に含めるための１つ以上のランドマークオブジェクト特徴を検出（および抽出）するために処理される。一般に、ランドマークオブジェクト特徴は、道路網の環境を示し、または道路網の環境に特徴的である任意の特徴であって、例えば、ローカル地図表現の基準地図セクションとのマッチングおよび／または位置合わせを容易にするために、ローカル地図表現に適切かつ望ましく組み込まれ得る任意の特徴を含み得る。例えば、画像コンテンツは一般に、画像を得るために使用される１つ又は複数のカメラの視野内にある何らかのオブジェクトを含み、これらのオブジェクトの何れも、原則として、所望により、画像から抽出することができる。しかし、適切に抽出され、ローカル地図表現に組み込まれ得る典型的なランドマークオブジェクトは、建物、交通標識、交通信号、広告板などの特徴を含み得る。

一般に、ランドマークオブジェクトは例えば、各種の自動視覚的特徴検出技術を使用して、任意の適切かつ所望の方法で画像内で検出することができる。しかしながら、実施形態において、ランドマークオブジェクト特徴は、上述の車両環境セマンティックセグメンテーションによって割り当てられた１つ又は複数のオブジェクトクラスを使用して検出されてもよい。例えば、ランドマークに対応するオブジェクトクラスが割り当てられた画像内の任意の画素、または画素のグループは関心領域、すなわち、（潜在的に）ランドマークを含み得る領域であるとして、そのベースに基づいて識別され得る。このようにして、セマンティックセグメンテーションを直接使用して、画像内の各種ランドマークオブジェクトを検出し、識別することができる。例えば、セマンティックセグメンテーション中に判定されたオブジェクトクラス（またはクラスベクトル）を使用して、例えばランドマークオブジェクトクラスが割り当てられた画像内の関心のある任意の領域（または画素）を画像から抽出することができる。次いで、１つ又は複数の関心領域は、画像または各画像における１つ以上のランドマークの境界を検出するために、さらに処理されてもよい。例えば、処理されている各画像について、検出された１つ以上のランドマークを含む１つ以上の境界エリアのリストを生成することができる。

上述のように、車両環境セマンティックセグメンテーションの第１のステップが画像に対して実行され、１つ以上の関心領域が第１のセマンティックセグメンテーションに基づいてランドマークオブジェクトを潜在的に含むものとして判定された後、セマンティックセグメンテーションの第２のまたはさらなるステップ（またはオブジェクト検出および分類）が、判定された関心領域に対して特に実行されてもよい。すなわち、さらなる特定の分類ステップが、ランドマーク分類をさらに洗練するために、ランドマークを含むと判定された任意の関心領域に対して実行されてもよい。すなわち、１つ以上のランドマークが画像内で検出されると、ランドマーク認識のさらなる特定のステップを実行することができる。換言すれば、元の画像データからの画素は、まず、車両環境セマンティックセグメンテーションからの複数の一般的なオブジェクトクラスに従って分類されてもよい。元の画像データから検出された任意のランドマークについて、さらなる特定のランドマーク認識分類を実行して、ランドマーク検出を洗練することができる。例えば、ランドマーク認識は、検出されたランドマークの各々に関連する境界を洗練するために使用されてもよい。

さらなるセマンティックセグメンテーションを構成することができるランドマーク認識は、（必ずしも必要ではないが）第１の（車両環境）セマンティックセグメンテーションとほぼ同様の方法で実行することができる。典型的には、機械学習アルゴリズムが使用される。例えば、実施形態では、サポートベクターマシンまたはニューラルネットワークなどの教師付き学習方法を使用して、ランドマーク認識セマンティックセグメンテーションを実行することができる。しかし、ランドマーク認識の目的のために、アルゴリズムは例えば、一般的な車両環境セマンティックセグメンテーションを使用して達成されるよりも、より特定的で正確なランドマーク分類を提供するように、特定のランドマークデータを使用して訓練されてもよい。

検出される（しかし、画像のうちの１つ以上においてこれは行われる）任意のランドマークオブジェクトについて、次いで、ローカル地図表現内に含めるために、ランドマーク観察特徴を作成することができる。すなわち、ローカル地図表現が生成されると、検出されたランドマークを表す特徴が、ローカル地図表現に含まれてもよい。ランドマーク観察特徴は、典型的には、ランドマーク位置と、ランドマーク方向（向き）と、ランドマーク形状とを含む。したがって、実施形態では、本技法は、画像のシーケンスを処理して、画像のうちの１つ以上に現れる１つ以上のランドマークオブジェクトを検出することと、検出されたランドマークオブジェクトごとに、ローカル地図表現に含めるためのランドマーク観察を生成することとを含むことができ、ランドマーク観察は検出されたランドマークの位置および向きを示す情報を含む。検出されたランドマークの位置および向きを示す情報は一般に、ランドマークの相対位置および向きを含むことができる。例えば、検出されたランドマークの位置および向きは、一般に、例えばビジュアルオドメトリから判定されるような、例えば車両の動きフレームに基づいて、道路網自体、または車両に対する（いずれかの）相対的な位置および向きを含むことができる。例えば、実施形態では、２次元ランドマーク形状、例えば、ポリラインを、２次元ランドマーク形状をローカル地図表現に組み込むのに適した３次元空間に変換するための配向行列と共に、各ランドマークについて生成することができる。したがって、コンテンツを記述する画像ファイルを生成して、ローカル地図表現に含めることができる。

一般に、先に述べたように、同じオブジェクト（例えば、ランドマーク）は画像のシーケンスにおいて複数回現れるが、多くの異なる視点から見られる。したがって、例えば、道路網内（または車両に対する）のランドマークの位置および向きを判定することができるように、複数の画像からの情報を一緒に集約するために、ランドマークをローカル地図表現に組み込むことができるように、一般に、（例えば、ビジュアルオドメトリを使用して判定することができるように）ランドマークが検出された画像の各々についてのカメラ姿勢（ポーズ）を知ることが必要である。したがって、ランドマーク観察は、典型的には一連の画像（少なくともいくつか）、ならびにランドマーク認識（これが実行される場合）から生じる境界エリアおよびオブジェクトクラス、ならびにランドマークが検出された画像についてのカメラ姿勢（ポーズ）を使用して生成される。次いで、ランドマークの位置および向きは、例えば、オブジェクト姿勢推定のための既知のビジュアルオドメトリ技法を使用して、カメラ姿勢に基づいて任意の適切な方法で判定され得る。例えば、一般に、ランドマークの位置および向きは、複数の画像および当該画像が取得された関連するカメラ位置を使用して三角測量に基づいて判定されてもよい。したがって、実施形態では、本技法は、画像のうちの少なくともいくつかを処理して、画像に現れる１つ以上のランドマークオブジェクトを検出することと、検出されたランドマークごとに、ローカル地図表現に含めるためのランドマーク観察を生成することとを含み、ランドマーク観察は検出されたランドマークの位置および向きを示す情報を含み、検出されたランドマークの位置および向きはランドマークが検出された複数の画像およびそれに関連するカメラ位置を使用して三角測量によって判定される。

いくつかの実施形態では、車両のオドメトリ（移動量）を判定する目的のため、およびランドマークおよびレーンマーキングなどの特徴を検出するために、異なるカメラを使用することができる。例えば、実施形態では、１つ以上のステレオカメラがビジュアルオドメトリのために使用されてもよく、一方、１つ以上の単一（モノ）カメラが特徴検出のために使用される。この場合、オドメトリ転送のステップは、ビジュアルオドメトリの結果に基づいて、例えば、これらの画像をビジュアルオドメトリプロセスに使用される画像の回転および／または平行移動として扱うことによって、ランドマーク検出に使用される画像の姿勢（ポーズ）を判定するために実行されてもよい。異なるカメラがビジュアルオドメトリおよび特徴検出のために使用される実施形態では、第１のカメラはモノクロカメラであってもよく、第２のカメラはマルチクロム（またはカラー）カメラであってもよい。例えば、１つ以上のモノクロカメラはビジュアルオドメトリのための（モノクロ）画像を取得するために使用されてもよく、一方、１つ以上のマルチクロムカメラは特徴検出のための（カラー）画像を取得するために使用されてもよい。

ランドマークを検出することができ、且つランドマーク観察を生成することができる精度を向上させるために、検出されたランドマークオブジェクトは、画像のシーケンス内で注意深く追跡され、次いで、あらゆる誤検出を識別（およびフィルタ除去）しようと試みるために、異なる画像からの他の検出（すなわち、同じランドマークオブジェクトの）と比較され得る。例えば、ランドマークオブジェクト（交通標識など）が１つのフレームに現れる場合、ランドマークは隣接する画像、すなわち、ランドマークが検出された画像の両側にも現れることが予想される。他方、不正確な又は偽陽性検出の場合、これは当てはまらない。したがって、各画像内の各ランドマークオブジェクト検出について、検出されたランドマークは、隣接する画像の範囲内（シーケンス内で前方および後方）で、その透視歪みに関して注意深く追跡することができる。トラッキング（追跡）は一般に、異なる画像の（以前に決定された、または既知の）相対位置および姿勢（ポーズ）に基づいて、任意の適切な動きモデルを使用して実行されてもよい。例えば、実施形態では、Ｋａｎａｄｅ－Ｌｕｃａｓ－Ｔｏｍａｓｉ（ＫＬＴ）特徴トラッカを使用することができる。実施形態では、従来のアフィン変換ＫＬＴトラッカを使用する代わりに、ＫＬＴトラッカのホモグラフィ拡張（ＨＫＬＴ）を使用することができる。追跡の結果はランドマークが検出された画像から、画像の相対姿勢に基づく画像の範囲への、検出されたランドマークの理想的なマッピングを記述する透視変換のセットからなる。したがって、このマッピングは、現実世界（３次元）空間内の検出されたランドマークの表現を、シーケンス内の画像の範囲を通って延びる「トラック（軌跡）」の形で与える。次に、これは、検出されたランドマークを三次元空間で三角測量することを可能にし、例えば、車両のオドメトリの座標系におけるランドマークの三角測量された輪郭を与える。これらのステップは、各フレームにおいて検出された各ランドマークについて実行されてもよい。したがって、これは、検出された各ランドマーク（すなわち、ランドマークが検出された各フレームに対して１つ）に対して多くの三角測量された輪郭をもたらし、これらの輪郭は（追跡品質に応じて）大まかに重なる。次いで、３次元（３Ｄ）表現をグループ化し、任意の外れ値を除去することができる。したがって、このグループ化は、偽陽性検出、または他の不正確なランドマーク検出が、３次元空間に散乱する傾向があるのに対して、真のランドマークはフレームごとに３次元空間に並ぶ傾向があるので、偽陽性フィルタを提供する。したがって、実施形態では、本技法は、画像内の１つ以上のランドマークオブジェクトを検出するために画像の少なくとも一部を処理することと、画像シーケンスの各画像で検出された各ランドマークオブジェクトについて、それが検出された画像から検出されたランドマークを画像シーケンスの１つ以上の隣接する画像にマッピングするための変換のセットを、画像の関連するカメラ位置を使用して判定することと、画像シーケンスの各画像で検出された各ランドマークオブジェクトについて、３次元座標空間におけるランドマークの表現を、マッピングに基づいて生成することと、各グループが同じ物理的ランドマークに対応するが異なる画像に記録された３次元表現のセットを含むように、３次元表現を一緒にグループ化することとを含むことができる。

ランドマークを識別するためのこの方法は新規であり、それ自体が有利であると考えられる。

したがって、本発明の更なる態様によれば、道路網の環境内の１つ以上のランドマークを識別する方法であって、
前記道路網を走行する車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の前記環境を反映する一連の画像を取得することであって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得することと、
前記画像内の１つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理することであって、前記ランドマークオブジェクトは、前記道路網の前記環境におけるランドマークを表す、前記処理することと、
前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、前記画像の前記関連するカメラ位置を使用して、前記検出されたランドマークオブジェクトを、当該ランドマークオブジェクトが検出された前記画像から前記一連の画像の１つ以上の隣接する画像にマッピングするための変換のセットを判定することと、
前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、３次元座標空間における前記ランドマークオブジェクトの表現を生成することと、
前記環境内の同じランドマークに対応する異なる画像から生成された３次元表現のセットを判定することと、
３次元表現の前記判定されたセットから、３次元表現の前記セットによって表される前記環境内の前記ランドマークを示すデータを生成することと、
を含む方法が提供される。

この態様による方法は、本発明の他の態様および実施形態に関連して上述した特徴のいずれかを含むことができる。例えば、トラッキングは一般に、ＫＬＴトラッカ、または同様のものを使用して、上述のように実行され得る。

本発明はまた、本発明のこの態様による方法、または本明細書に記載されるその実施形態のいずれかを実行するためのシステムにも及ぶ。

従って、別の態様からは、道路網の環境内の１つ以上のランドマークを識別するシステムであって、
前記道路網を走行する車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の前記環境を反映する一連の画像を取得する手段であって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得する手段と、
前記画像内の１つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理する手段であって、前記ランドマークオブジェクトは、前記道路網の前記環境内のランドマークを表す、前記処理する手段と、
前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、前記画像の前記関連するカメラ位置を使用して、前記検出されたランドマークオブジェクトを、当該ランドマークオブジェクトが検出された前記画像から前記一連の画像の１つ以上の隣接する画像にマッピングするための変換のセットを判定する手段と、
前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、３次元座標空間における前記ランドマークオブジェクトの表現を生成する手段と、
前記環境内の同じランドマークに対応する異なる画像から生成された３次元表現のセットを判定する手段と、
３次元表現の前記判定されたセットから、３次元表現の前記セットによって表される前記環境内の前記ランドマークを示すデータを生成する手段と、
を備えるシステムが提供される。

本発明のこのさらなる態様は必要に応じて、本発明の任意の他の態様または実施形態に関して本明細書に記載される本発明の好ましい特徴および任意選択の特徴のうちの任意の１つまたは複数またはすべてを含むことができ、好ましくは含む。例えば、明示的に述べられていなくても、本明細書に記載の方法に関連して説明した任意のステップを、その態様または実施形態のいずれにおいても実施するための手段を含むことができ、その逆もまた同様である。該方法または装置に関連して説明したステップのいずれかを実行するための手段は、１つ以上のプロセッサおよび／または処理回路を含むことができる。したがって、本発明は好ましくはコンピュータによって実施される発明であり、本発明の態様または実施形態のいずれかに関して説明されるステップのいずれかは、１つまたは複数のプロセッサおよび／または処理回路のセットの制御下で実行され得る。

異なる画像から３次元表現をグループ化した結果、グループの各々は実質的に重複する表現のセットを含み、これにより、複数の異なるフレームで検出された同じ物理的ランドマークに関連付けることができる。すなわち、同じ物理的ランドマークに関連する任意の３次元表現は一般に、座標空間内で並ぶことが予想され、したがって、これに基づいて一緒にグループ化することができる。しかし、不正確な検出に基づく任意の３次元表現は、座標空間内に散乱して現れ、したがって、外れ値として破棄され得る（グループには含まれない）。したがって、グループ化はランドマークのより正確な識別を提供するために、任意の偽陽性または他の不正確なランドマーク検出が除去されることを可能にする。

次いで、各グループ内の３次元表現を融合して、ランドマークの単一の２次元輪郭を判定し、かつ／または座標空間内のランドマークの再構成を生成することができる。融合された３次元輪郭はランドマークをより正確に位置決めし、各画像（フレーム）から切り出すことを可能にすることができる。カットアウト（切り抜き）を重ねることによって、標識の融合画像を生成することができる。このようにして、オクルージョンまたは鏡面ハイライトのような欠陥をランドマークの画像から除去することができ、例えば、カットアウト（切り抜き）間の高い色分散を有する画素をマスキングすることによって、ランドマークの境界をより確実に検出することも可能である。マスクされたカットアウト（切り抜き）の画素輪郭は、車両のオドメトリに対するランドマーク形状、画素内容、および位置のより正確な３次元表現を提供するようにベクトル化することができる。次いで、この正確な表現は例えば、画像から得られた表現を基準地図内の基準ランドマーク形状と関連付けることによって、位置特定のために使用することができる。

本方法によって生成された環境中のランドマークを示すデータは本明細書では「ランドマーク観察」とも呼ばれ、好ましくは、環境中のランドマークの位置、環境中のランドマークの向き、ランドマークの形状を表す２次元（２Ｄ）ポリライン、２Ｄポリラインに適用されたときにポリラインを３Ｄ座標空間（環境を表す）に変換する姿勢行列、および２Ｄポリラインに含まれるコンテンツを記述する画像のうちの少なくとも１つ、いくつか、またはすべてである。

実施形態では、「グランド（地面）メッシュ」が画像のシーケンスから生成される。例えば、「グランド（地面）メッシュ」画像は、車両が走行しているエリア内のグランド（地面）レベルの特徴（のみ）を含むように生成されてもよい。グランド（地面）メッシュは例えば、グランド（地面）レベルオブジェクトクラス（「道路」、「道路マーキング」、「レーンマーキング」など）が割り当てられた任意の画素を抽出するか、または使用することによって、車両環境セマンティックセグメンテーションから取得されたオブジェクトクラスを使用して生成され得る。しかし、セマンティックセグメンテーションは完全ではなく、場合によっては、セマンティックセグメンテーションがいくつかの誤った値を与えることがあり、すなわち、いくつかの点を、それらがグランド（地面）上にない場合であっても、グランド（地面）レベル点として選択することがある。したがって、実施形態では、グランド（地面）メッシュ生成の精度を向上させるために、点群を使用して、地点をさらにフィルタリングまたは選択することができる。点群は、単独で、または好ましくは車両環境セマンティックセグメンテーションからのオブジェクトクラスと組み合わせて使用することができる。例えば、グランド（地面）メッシュは、上述のＤＳＯプロセスからの出力として疎点群を使用して生成されてもよい。しかし、代替的に、または追加的に、グランド（地面）メッシュは、画素深度を使用してステレオ画像から直接得られるステレオ点群を使用して生成されてもよい。例えば、ＤＳＯ点群の疎性のために、ＤＳＯ点群を補うためにステレオ点群を使用することが有益であり得る。例えば、ステレオ点群は、ＤＳＯ点群内に不十分なデータが存在する高度を補間するために使用されてもよく、そうでなければＤＳＯ点群を使用してもよい。あるいは、ＤＳＯ点群が疎すぎる場合、ＤＳＯ点群の代わりにステレオ点群を使用することができる。一般に、グランド（地面）メッシュを生成するために、様々な適切な技術が考えられる。

次に、グランド（地面）メッシュを使用して、道路網のグランド（地面）レベル特徴のオルソ補正画像を生成することができる。一般的に言えば、オルソ補正された画像は「スケール補正された」画像であり、それらの正確なグランド（地面）位置において上方から見たグランド（地面）特徴を描写し、好ましくは、カメラおよび飛行特性および起伏（レリーフ）変位によって引き起こされる歪みが写真測量技術を使用して除去されている。オルソ補正された画像は、写真のスケールが均一であるように幾何学的に補正された（「オルソ補正された」）一種の航空写真であり、これは、写真が地図と同等であると考えることができることを意味する。オルソ補正された画像は、地形起伏、レンズ歪み、およびカメラ傾斜に対して調整された、地球の表面の正確な表現であるので、真の距離を測定するために使用することができる。オルソ補正されたビューは基準平面に対して直角に投影され、一方、パースペクティブビューは、単一の固定位置から基準平面上に表面から投影されるので、オルソ補正されたビューはパースペクティブビューとは異なる。オルソ補正された画像は、任意の適切な地図投影によって得ることができる。地図投影は、円筒形、擬似円筒形、ハイブリッド、円錐形、擬似円錐形、または方位角などの表面による投影とすることができる。投影は、メトリック特性の保存による投影であってもよい。地図投影はそれらが直交投影であることが一般的であり、それは、全ての画素がその表面に垂直な線に沿って見られる基準平面（地球の形に近似する楕円）の表面上の点を表すことを意味する。したがって、地球表面のオルソ補正画像のすべての画素は、地球の形状に近似する楕円体に垂直な線に沿って見た地球表面のビューに実質的に対応する。オルソ補正された画像は、アルゴリズムがオルソ補正された画像の任意の画素を地理的座標基準システム内の点に対して参照することを可能にするメタデータを含む。各画素の地球の形状に近似する楕円体上の正確な位置が分かっているので、グランド（地面）特徴、例えば水平道路情報の位置およびサイズをオルソ補正画像から導出することができる。

実施形態では、オルソ補正された道路画像は、画像から抽出された特徴がグランド（地面）メッシュ上に投影されて一緒にブレンドされる、車両が走行しているエリアのトップダウンビューを含む鳥瞰モザイクを含むことができる。例えば、記録された画像の各々をグランド（地面）に投影して戻すことができる。したがって、画像に関連するカメラ姿勢の知識を使用して、多くの異なる視点からグランド（地面）に画像を投影することが可能である。これは、複数の異なる画像に対して行うことができ、次いで、様々な異なる視点から得られる投影を重ね合わせ、一緒にブレンドすることができる。したがって、投影画像のすべてをグランド（地面）上に重ね合わせることによって、グランド（地面）の外観を再生成する画像が生成され、この画像は所望の任意の視点から見ることができる（例えば、鳥瞰図）。代替的に、または追加的に、オルソ補正された道路画像は、例えば鳥瞰モザイクから判定されるような、真っ直ぐにされた移動のビューを含む直線的に変換（位置合わせ）された画像を含むことができる。直線的に変換された画像（ＬＲＩ）の生成は、典型的にはカメラの軌道（すなわち、車両の自身の動き）に垂直な当該軌道に沿った等間隔のスライスを生成することを含むことができる。ＬＲＩの生成に関するさらなる詳細は「Ｍｅｔｈｏｄ ｏｆ ｃａｐｔｕｒｉｎｇ ｌｉｎｅａｒ ｆｅａｔｕｒｅｓ ａｎｄ ａ ｒｅｆｅｒｅｎｃｅ－ｌｉｎｅ ａｃｒｏｓｓ ａ ｓｕｒｆａｃｅ ｆｏｒ ａ ｍａｐ ｄａｔａｂａｓｅ」と題する国際公開第 ２００９／０４５０９６ 号に見出すことができ、その全内容は参照により本明細書に組み込まれる。次いで、任意の点で高さをサンプリングすることができるように、グランド（地面）メッシュの高さ地図を生成することができる。次いで、線形位置合わせ画像は、上述したのと同様の方法で、スライスに沿ってサンプル高さ地図を生成し、サンプル点を見るカメラ画像上に各サンプル点を投影し、次いで画素値を適切に平均してブレンド画像を生成することによって、グランド（地面）上にカメラ画像を投影することによってレンダリングすることができる。オルソ補正された道路画像を生成する際に、車両環境セマンティックセグメンテーションから判定され得る、任意の異質のまたは望ましくない特徴（例えば、車両のボンネット）を除去するために、画像マスクが使用され得る。

実施形態では、オルソ補正された道路画像が生成され、画像内の各画素の画素値は、道路画像を生成するために使用される画像から検出される環境内の位置の色を表す。従って、各画素値は好ましくは複数の値、例えば、赤－緑－青（ＲＧＢ）色空間を使用する場合には３つの値を有するベクトルを含む。

さらに、または代替として、オルソ補正された道路画像が生成され、画像内の各画素の画素値は、車両環境セマンティックセグメンテーションからの出力として、環境内の位置がレーンマーキングオブジェクトである確率を表す。例えば、グレースケール色空間を使用する場合、レーンマーキングオブジェクトである１００％の確率が割り当てられた任意の画素は「白」であってもよく、０％の確率を有する任意の画素は「黒」であってもよく、他の画素値はそれぞれの確率に基づいて適切に選択される。このようにして、レーンマーキングオブジェクトを強調表示し、レーンマーキングセマンティックセグメンテーションを実行するためのより明瞭な画像を提供する、「フィルタリングされた」グレースケール正投影道路画像を生成することができる。次いで、この画像は特定のレーンマーキングタイプクラスに従って画素を分類するためにレーンマーキングセマンティックセグメンテーションの特定のステップを受けることができ、または、例えば、訓練された畳み込みニュートラルネットを使用して、レーンマーキングオブジェクト検出および認識を受けることができ、画像内のオブジェクトを特定のタイプのレーンマーキングとして識別および分類することができる。レーンマーキングクラスの例は、単一の実線、単一の短い破線、単一の長い破線、二重の実線、二重の破線、アイランド境界などのうちの１つ以上を含むことができる。

レーン幾何形状を識別するこの方法は新規であり、それ自体有利であると考えられる。

したがって、本発明の更なる態様によれば、道路網の１つ以上の道路上のレーンマーキングの位置および幾何形状を判定する方法であって、
前記道路網を走行する車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得することであって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得することと、
処理された画像の各画素が少なくとも、前記画素が前記環境内のレーンマーキングを表す確率値を割り当てられるように、セマンティックセグメンテーションを実行するために前記画像の少なくともいくつかを処理することと、
前記車両が走行している前記道路網のエリアを表す道路画像を生成するために前記一連の画像のうち少なくともいくつかの画像を処理することであって、前記道路画像内の各画素の画素値は、前記道路画像を生成するために使用される前記画像内の対応する画素の前記割り当てられた確率値に基づくものである、前記処理することと、
前記画像内の１つ以上のレーンマーキングオブジェクトを検出および分類するために前記道路画像を処理することであって、前記レーンマーキングオブジェクトは、前記道路画像に描かれた前記１つ以上の道路上のレーンマーキングを表す、前記処理することと、
前記検出及び分類されたレーンマーキングオブジェクトを使用して、前記レーンマーキングオブジェクトによって表される前記レーンマーキングの前記位置および幾何形状を判定するために前記道路画像を処理することと、
を含む方法が提供される。

この態様による方法は一般に、少なくとも相互に排他的ではない範囲で、本発明の他の態様および実施形態に関して上述した特徴のいずれかを含むことができることが理解されるだろう。

本発明はまた、本発明のこの態様による方法、または本明細書に記載されるその実施形態のいずれかを実行するためのシステムにも及ぶ。

従って、さらなる態様からは、道路網の１つ以上の道路上のレーンマーキングの位置及び幾何形状を判定するシステムであって、
前記道路網を走行する車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得する手段であって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得する手段と、
処理された画像の各画素が少なくとも、前記画素が前記環境内のレーンマーキングを表す確率値を割り当てられるように、セマンティックセグメンテーションを実行するために前記画像の少なくともいくつかを処理する手段と、
前記車両が走行している前記道路網のエリアを表す道路画像を生成するために前記一連の画像の前記画像のうち少なくともいくつかの画像を処理する手段であって、前記道路画像内の画素毎の画素値は、前記道路画像を生成するために使用される前記画像内の対応する画素の前記割り当てられた確率値に基づくものである、前記処理する手段と、
前記画像内の１つ以上のレーンマーキングオブジェクトを検出及び分類するために前記道路画像を処理する手段であって、前記レーンマーキングオブジェクトは、前記道路画像に描かれた前記１つ以上の道路上のレーンマーキングを表す、前記処理する手段と、
前記検出及び分類されたレーンマーキングオブジェクトを使用して、前記レーンマーキングオブジェクトによって表される前記レーンマーキングの前記位置及び幾何形状を判定するために前記道路画像を処理する手段と、
を備えるシステムが提供される。

本発明のこのさらなる態様は必要に応じて、本発明の任意の他の態様または実施形態に関して本明細書に記載される本発明の好ましい特徴および任意選択の特徴のうちの任意の１つまたは複数またはすべてを含むことができ、好ましくは含む。例えば、明示的に述べられていなくても、本明細書に記載の方法に関連して説明した任意のステップを、その態様または実施形態のいずれにおいても実施するための手段を含むことができ、その逆もまた同様である。該方法または装置に関連して説明したステップのいずれかを実行するための手段は、１つ以上のプロセッサおよび／または処理回路を含むことができる。したがって、本発明は好ましくはコンピュータによって実施される発明であり、本発明の態様または実施形態のいずれかに関して説明されるステップのいずれかは、１つまたは複数のプロセッサおよび／または処理回路のセットの制御下で実行され得る。

したがって、さらなるセマンティックセグメンテーションステップを含むことができる、レーンマーキング検出および分類から得られる識別されたレーンマーキングを使用して、ローカル地図表現に組み込むためのレーンマーキング観察（観測）を作成することができる。例えば、レーンマーキング観察は、車両が走行している道路網のエリア内の検出されたレーンマーキングオブジェクトを含むことができる。したがって、レーン幾何形状は、ローカル地図表現（および／またはそれに基づいて更新する場合には基準地図）に組み込むことができる。

上述したように、グランド（地面）メッシュおよびオルソ補正された道路画像は、レーン観察を生成するために使用される。しかし、グランド（地面）メッシュおよび／またはオルソ補正された道路画像は、単に視覚化の目的のために生成されてもよく、必ずしもレーン観察特徴生成の後続のステップで使用される必要はないことが理解されるだろう。

本発明によれば、ローカル地図表現は、取得された画像の少なくともいくつかおよび関連するカメラ位置を使用する。ローカル地図表現は一般に、車両が走行している道路網のエリアを表す。実施形態では、ローカル地図表現は道路網のエリアのオルソ補正画像を含むことができ、これは実質的に上述のように生成することができる。好ましくは、ローカル地図表現は、上述したように、グランド（地面）メッシュおよび／またはオルソ補正された道路画像を含む。原則として、ローカル地図表現は、グランド（地面）メッシュおよび／またはオルソ補正された道路画像のみを含むことができる。しかし、好ましくは、ローカル地図表現は、上述したように、レーン観察およびランドマーク観察の一方または両方も含む。例えば、レーンマーキングオブジェクト及び／又はランドマークは、グランド（地面）メッシュ及び／又はオルソ補正された道路画像に適切に埋め込まれて、ローカル地図表現を構築することができる。あるいは、ローカル地図表現は、例えば、グランド（地面）メッシュおよび／またはオルソ補正された道路画像なしで、レーン観察およびランドマーク観察の一方または両方を含む。

したがって、生成されるローカル地図表現は一般に、車両が走行しているエリア内の道路網および道路網の環境の画像を含む。ローカル地図表現は、そのエリア内の道路網の環境を示すトップダウン２次元画像を含むことができる。しかし、ローカル地図表現は、そのエリア内の道路網の環境を示す３次元画像を含むこともできる。ローカル地図表現はまた、画像に埋め込まれた、または画像の上にある１つ以上の特徴を含むことができる。場合によっては、ローカル地図表現は、１つ以上の「キー」画像（またはフレーム）を含むこともできる。例えば、ローカル地図表現は、車両に関連付けられたカメラから取得された複数の画像のうちの１つ以上を含むことができる。

ローカル地図表現は、生成されると、次に、基準地図セクションと比較されるか、またはマッチングされる。基準地図セクションは、少なくとも、車両が走行している道路網のエリア、すなわち、画像が取得されたエリアをカバーする区間である。原則として、比較は、内部地図レポジトリ内の（グローバル）全体地図に基づいて行うことができる。しかし、実際には、基準地図セクションは、例えば、ＧＮＳＳまたは他の位置データを使用して得ることができるような、車両の位置の近似または粗い知識に基づいて、または以前の位置特定結果から、選択することができる。したがって、基準地図セクションのエリアは、車両が（現在）走行している道路網のエリアに実質的にまたはおおよそ対応することができる。

例えば、ローカル地図表現は、対応する基準地図セクションと位置合わせされてもよい。上述のランドマーク観察及び道路／レーン幾何形状のような、ローカル地図表現に含まれる任意の特徴は一般に、このマッチングを実行するために使用されてもよい。一般に、位置合わせは、任意の適切かつ所望の方法で実行されてもよい。例えば、ローカル地図表現が道路網の画像を含む場合、所望のマッチングを実行するために、画像は例えば画素（またはブロック）単位で基準地図画像と比較されてもよい。あるいは、ローカル地図表現は、車両に関連付けられたカメラから取得された複数の画像のうちの１つ以上を含む。次いで、これらのキー画像は例えば、基準地図内の画像と位置合わせされるように画像を適切に変換することによって、基準地図内に格納された画像と比較されてもよい。しかしながら、好ましくは、比較は、ローカル地図表現の１つ以上の特徴、例えば、ランドマーク及び／又はレーンマーキングの位置を、基準地図セクション内の対応する特徴の位置とマッチング及び／又は位置合わせすることを含む。このようにして、車両の基準フレームから基準地図フレームに移動するのに必要な変換を判定することができる。このマッチングに基づいて、道路網内の車両の正確な地理的位置および向きを判定することができる。

代替的に、または追加的に、上述のように、マッチングは、地図の生成および／または地図の更新の目的のために使用されてもよい。例えば、基準地図セクションが古いことを示すか、または１つ以上の誤差を含むことをマッチングが示す場合、例えば、ローカル地図表現が基準地図セクションに存在しない１つ以上の特徴を含む場合、またはローカル地図表現が１つ以上の特徴が変化したことを示すか、または道路網の環境にもはや存在しないことを示す場合、基準地図は、それに応じて更新され得る。

基準地図セクションは、地図レポジトリから抽出することができる。地図レポジトリは一般に、プロセッサによってアクセス可能なメモリに格納されてもよく、車両が走行しているエリアを（少なくとも）一般にカバーする、事前にコンパイルされた、またはダウンロードされた電子地図を含んでもよい。すなわち、地図レポジトリは、車両に対してローカルであってもよい。しかし、実施形態では、基準地図はグローバル（サードパーティ）地図レポジトリ上に格納されて維持され、例えばクラウド内に配置され、その結果、基準地図は車両のユーザによって（または車両自体によって自動的に）ダウンロードすることができる。この場合、道路網内を移動する複数の異なる車両によって生成されるデータは例えば本明細書で説明するように、グローバル地図レポジトリを更新するために使用することができる。

実施形態では、本明細書で提示する技法が実質的にリアルタイムで、すなわち、例えば自律ナビゲーションまたは運転の目的のために、車両が道路網を横断するときに車両を位置特定するために実行することができる。したがって、エリアは、車両が現在走行している道路網のエリアであってもよい。しかしながら、原則として、本技術は、例えば較正又は地図生成の目的のために、オフライン又は履歴データに適用することができ、この場合、エリアは、複数の画像が得られた時点で車両が走行していたエリアを表すことができる。ローカル地図表現は、画像が取得された道路網の環境の「地理的参照」観察とみなすことができる。すなわち、画像は一般に既知の位置（すなわち、既知の粗く定義されたエリア内）で取得することができ、したがって、ローカル地図表現を使用して、既知の位置での環境の観察を構築することができる。

本明細書で説明する位置特定およびマッピング技法は、オフボードプロセッサによって（すなわち、車両から離れて）完全に実行することができる。例えば、車両に関連付けられた１つ以上のカメラによって取得された画像データは、オフボードプロセッサに送信されてもよく、オフボードプロセッサは画像データを受信すると、道路網内の車両の地理的位置および向きを判定する（例えば、所望に応じて、この情報を車両に返す）ように進む。処理の少なくとも一部は、クラウド内で実行されてもよい。しかし、実施形態では、ステップの少なくともいくつかは車両に搭載されたプロセッサによって実行されてもよい。一般に、本明細書で説明される様々な処理ステップは、所望に応じて、様々な適切な方法で、車両のオンボードプロセッサとオフボードプロセッサとの間で分散され得ることが企図される。例えば、いくつかの例では、１つ以上のカメラと、オンボードプロセッサと、リモートサーバおよび／またはプロセッサと通信するためのワイヤレス通信モジュールとを備える自律車両を含むシステムが提供される。カメラによって得られた画像データは、その後、オンボードプロセッサによって部分的に処理されるか、または処理のためにリモートサーバおよび／またはプロセッサに送信されてもよい。内部地図レポジトリは、ローカルまたはリモートに格納することができる。いずれの場合も、内部地図レポジトリは、本明細書で提示される技法に従った車両から、ならびに道路網内の他の車両から取得されるデータ、および／または地図レポジトリ所有者によって提供される中央更新のいずれかを使用して、定期的に更新することができる。

本発明の別の態様によれば、観察者の地理的位置および向きを判定する方法であって、測位システムにおいて、既知の位置で記録された複数の画像を提供することと、前記複数の画像を前記既知の位置における風景の一貫したローカル地図表現に集約することと、以前にコンパイルされた内部地図レポジトリから基準地図セクションを抽出することであって、前記基準地図セクションの範囲は、前記複数の画像によって潜在的にカバーされる近似エリアに対応する、前記抽出することと、前記風景の前記ローカル地図表現を前記基準地図セクションに対してマッチングおよび位置合わせすることと、地図作成および／または前記内部地図レポジトリへの更新目的のために、画像シーケンスキーフレームおよび認識されたオブジェクト情報などの選択されたソースデータを提供することと、前記マッチングから地理的位置および方向を判定することとを含む方法が提供される。

実施形態では、複数の画像の集約は、複数の画像からのすべての画像が異なる視点（動きの仮定からの構造）からの１つの同じ風景を描写しているという仮定の下で、３Ｄ再構成を実行するために特徴の第１のセットを使用することをさらに含む。

この方法は、特徴の第２のセットを抽出するためにローカル地図表現を使用することと、マッチングおよび位置合わせのために特徴の第２のセットを使用することとをさらに含むことができる。実施形態では、特徴の第２のセットは以下のうちの少なくとも１つから構成される。

・風景の特徴の３Ｄ表現（疎点群）
・レーンマーキング、交通信号（信号機）、交通標識、木、下水道などのグランドタイプ又はオブジェクトなどの、検出されたランドマーク及び高レベル特徴の２Ｄトップビュー地図（オルソマップ）
・合成航空写真（オルソフォト）などの２Ｄトップビュー高密度再構成。

上述の方法は、電子地図を生成するために使用されてもよい。したがって、本発明のさらなる態様は、電子地図を生成するための上述の方法の使用に関する。

本発明のさらに別の態様から、カメラと、オンボード処理ユニットとを備える測位システムが提供され、システムは、前述の請求項のうちの少なくとも１つによる方法によって、観察者の地理的位置および向きを判定するように構成される。

本明細書で説明する技術の様々な機能は、任意の所望の適切な方法で実行することができる。例えば、本明細書で説明される技術のステップおよび機能は、必要に応じて、ハードウェアまたはソフトウェアで実装することができる。従って、例えば、別段の指示がない限り、本明細書に記載される技術の種々のプロセッサ、機能要素、ステージ、及び「手段」は、所望の方法で動作するようにプログラムされ得る適切な専用ハードウェア要素（処理回路）及び／又はプログラマブルハードウェア要素（処理回路）のような種々のステップ又は機能を実行するように動作可能な任意の適切な１つ又は複数のプロセッサ、１つ又は複数のコントローラ、機能ユニット、回路、処理論理、マイクロプロセッサ構成等を含み得る。例えば、本明細書で説明される態様または実施形態のいずれかによる該方法のステップのいずれかを実行するための手段は一般に、そうするために、例えば、コンピュータ可読命令のセットでプログラムされるように構成された１つまたは複数のプロセッサ（またはプロセッシング回路）のセットを備えることができる。所与のステップは、任意の他のステップと同じまたは異なるプロセッサのセットを使用して実行することができる。任意の所与のステップは、プロセッサのセットの組合せを使用して実行することができる。システムはさらに、例えば、インストラクティブデータおよびインフォマティブデータを含む少なくとも１つのレポジトリを格納するための、コンピュータメモリなどのデータ格納手段を備えることができる。本発明による方法のいずれも、ソフトウェア、例えばコンピュータプログラムを少なくとも部分的に使用して実施することができる。したがって、本発明は、本発明の態様または実施形態のいずれかによる方法を実行するか、またはシステムおよび／またはサーバに実行させるように実行可能なコンピュータ可読命令を備えるコンピュータプログラム製品にも及ぶ。したがって、本発明はシステムの１つまたは複数のプロセッサのセットに、本明細書で説明する方法の態様または実施形態のいずれかのステップを実行させるために、本発明の実施形態のいずれかによるシステム上で実行可能なコンピュータ可読命令を備える、好ましくは非一時的なコンピュータプログラム製品に及ぶ。

本発明のさらなる態様のいずれも、本発明の他の態様および実施形態に関連して説明された本発明の特徴のいずれかまたはすべてを、それらが相互に矛盾しない限り、含み得ることが理解されるだろう。特に、第２の態様およびさらなる態様における本発明は本発明の第１の態様の方法に関して説明された特徴のいずれかまたはすべてを含むことができ、その逆も同様であることが理解されるだろう。したがって、明示的に述べられていない場合、方法はシステムまたは装置に関連して説明された機能のいずれか（またはすべて）を実行するステップを含むことができ、本発明のシステムは、本明細書で説明された方法ステップのいずれか（またはすべて）を実行するように構成することができる。例えば、システムは、上述のステップを実行するように動作可能な或いは構成された１つまたは複数のプロセッサのセットを備えることができる。任意のステップは、プロセッサのうちの任意の１つによって、または複数のプロセッサによって実行されてもよい。

これらの実施形態の利点は以下に説明され、これらの実施形態の各々のさらなる詳細および特徴は添付の従属請求項および以下の詳細な説明の他の場所で定義される。

ここで、本明細書に記載される技術の様々な実施形態を、単なる例として、添付の図面を参照して説明する。
図１は、ローカル地図に集約される画像シーケンスと当該画像シーケンスが記録された概略位置が、集約されたローカル地図におおよそ対応するセクション範囲（エリア）を有しており且つ記録された画像シーケンスに基づいて地理的位置及び向きを判定するために使用される地図レポジトリから抽出された基準地図のセクションと比較され得る方法を示し、且つ、地図レポジトリを更新するために使用されてもよいキーフレーム及びオブジェクト情報を識別する、本開示の実施形態に従った視覚的な全地球測位およびマッピングシステムの概念を示す。 図２は、自律車両においてオドメトリ支援を提供するための、視覚グローバルマッピングシステム（Ｖ－ＧＭＳ）と視覚全地球測位システム（Ｖ－ＧＰＳ）とを組み合わせた例を概略的に示す。 図３は、自律車両のためのＶ－ＧＰＳオドメトリ支援の別の例を概略的に示す。 図４は、無人機（ドローン）を使用するオフボードＶ－ＧＰＳ／Ｖ－ＧＭＳの一例を概略的に示す。 図５は、本発明の実施形態に係るＶ－ＧＭＳ／Ｖ－ＧＰＳシステムの相互作用および機能ユニットを概略的に示す。 図６は、本発明の実施形態による、ローカル地図集約中に実行され得る処理フローの一例を示す。 図７は実施形態において、例えば、処理されている画像に関連するカメラ姿勢（ポーズ）を判定するために使用することができるステレオダイレクトスパースオドメトリ（ＤＳＯ：ｄｉｒｅｃｔ ｓｐａｒｓｅ ｏｄｏｍｅｔｒｙ）技術の原理を示す。 図８は、ＤＳＯ技術のさらなる詳細を示す。 図９は、オブジェクトクラスに従って画像を分類するために、本発明の実施形態において使用され得るセマンティックセグメンテーションアプローチの例を示す。 、 、 、 、 、 、 図１０～図１５は、交通標識などのランドマークオブジェクトをどのようにして追跡し、フレームごとにトレースすることができるかを示す図である。 図１６は、異なる（トップダウン）透視図から道路幾何形状のビューを生成するために、（２Ｄ）画像がどのように地面に投影され得るかを示す。 、 、 図１７Ａ、１７Ｂ、および１７Ｃは、それぞれ、トング（ｔｏｎｇｕｅ）グランドメッシュ、ラスタグランドメッシュ、およびトングおよびラスタグランドメッシュの重ね合わせを示す。 、 図１８は、レーンマーキングオブジェクトをより良好に強調表示するために、セマンティックセグメンテーションに基づいて画素値が設定される道路画像をどのように生成することができるかを示す。 、 図１９および図２０は、本発明のいくつかの例に従って、識別されたレーンマーカオブジェクトをどのように処理することができるかを示す。 図２１は、道路網のエリアに対するレーンの幾何形状がどのように作成され得るかを示す。 図２２は、本発明の実施形態による（図５の）ユニットＡの図を提供する。 図２３は、本発明の実施形態による（図５の）ユニットＣの図を提供する。

本開示は一般に、例えば、事前に構築された地図によってカバーされる道路網内で、観察者（車両）の地理的位置および向きを決定するための改善された技術を提供することに関する。したがって、実施形態では、本開示が以下で説明するように、大規模視覚地理的位置特定およびマッピングのための技法に関する。本開示の位置特定技法は例えば、様々な自律運転機能を容易にするために、または、例えば、自律運転と共に使用するために、改善された電子地図を補足または生成するために使用されてもよい。例えば、上述したように、自律走行は典型的には車両の局所性における車線幾何学的形状、例えば、車線中心線及び車線接続性に関する少なくとも情報を提供する地図の使用を必要とする（例えば、非自律車両による使用のために、例えば、標準的なポータブルナビゲーション装置による使用のために、標準的なデジタル地図において提供され得るような、単なる道路中心線ではなく）。

すなわち、必要とされるのは、高精度での位置特定を可能にする高精細度（ＨＤ）地図である。ＨＤ地図はまた、レーン閉鎖、道路工事、および更新された速度制限などの変更を反映するために、頻繁に更新される（または少なくとも更新可能である）必要がある。自律運転のための最小要件であるレーンの幾何形状を示すことに加えて、ＨＤ地図は典型的には、交通標識、交通信号灯、広告板などのランドマークも含むことができ、これらは、位置特定を助けるために使用することができる（もちろん、他の目的のためにも使用することができる）。これらのランドマークは典型的にはランドマークの位置、ランドマークの寸法（例えば、高さ、幅）、及びランドマークの画像、例えば、ランドマークをランドマークとして有用にする面、例えばランドマークの前面からの画像によって定義することができる。

したがって、このようなＨＤ地図の生成および維持は、様々な自律運転機能を容易にするのに役立つ。例えば、ＨＤ地図は経路計画を可能にし、知覚を助け、自律車両がそのセンサの範囲を超えても前方の道路を見て予想することを可能にすることができる。そのようなＨＤ地図の使用は、自律車両に限定されず、予測パワートレイン制御、エコルーティング、およびカーブ速度警告などの広範囲の高度運転者支援システム（ＡＤＡＳ）アプリケーションを実現するために活用することもできる。しかし、本明細書に記載されるＨＤ地図は自律運転を容易にするために特に有用性を見出すことができ、したがって、本開示の実施形態は、この文脈で以下に記載されることになる。

特に、本開示の技法は、車両が走行しているローカル環境の「地理参照」観察を生成することを含む。地理参照観察は、車両が現在走行している道路網のローカル環境のセンサ取得観察である。例えば、道路網上を走行する車両上またはその中に位置するカメラを使用して、車両の近傍の道路網に関する画像を取得することができ、次いで、これらの画像を処理して、このエリア内の道路網の環境を示す任意の特徴を抽出することができる。次いで、画像から抽出された地理参照された特徴または観察は、エリアの以前にコンパイルされた基準地図との比較を可能にする適切なローカル地図表現に組み込むことができる。この比較により、車両をエリア内で正確に位置特定することができる。さらに、比較結果が基準地図内のエラー（誤差）を識別すると、基準地図はそれに応じて更新されてもよい。

図１は、本開示に従って提供され得る視覚的な全地球測位およびマッピングシステムの概念を示す。導入されたＶ－ＧＰＳ（Ｖｉｓｕａｌ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）は、画像中の視覚的手がかり（キュー）を使用して観察者のグローバルな位置および向きを判定するためのアプローチを提供する。これは「ローカル地図」を集約する目的で記録された画像を検査することによって行われ、「ローカル地図」はエリアの基準地図と照合（マッチング）される。この基準地図は、 Ｖ－ＧＭＳ（Ｖｉｓｕａｌ Ｇｌｏｂａｌ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ）と同じアプローチの一部を使用することによって、以前にコンパイルされている。

視覚的全地球測位及びマッピングシステムの機能原理
図１を参照すると、少なくとも１つの例による、図示の視覚的全地球測位及びマッピングシステムの原理は、以下のステップに従って要約することができる。

１．既知の近似位置１２（±１００ｍ）で記録された画像シーケンス１０は、Ｖ－ＧＰＳ／Ｖ－ＧＭＳのためのシステムの入力として提供される。

２．画像シーケンス１０は、風景の一貫した、圧縮された、特徴的なローカル地図表現１４に集約される。

３．基準地図セクション１６は、以前にコンパイルされた内部地図レポジトリ１８から抽出される。基準地図セクションの範囲２０は、記録された画像シーケンスのおおよそのエリアに対応する。

４．次いで、風景のローカル地図表現１４は、ローカル地図表現１４と基準地図セクション１６との間の様々な対応２２を判定するために、（基準地図が十分なカバレッジを提供すると仮定して）基準地図セクション１６と照合（マッチング）され、位置合わせされる。

５．画像シーケンスのキーフレーム２４及び認識されたオブジェクト情報２６のような選択されたソースデータは、地図作成及び更新の目的で内部地図レポジトリ１８に提供される。

６．地理的位置２８および向き（方位）３８は、マッチング変換から導出され、応答およびシステムの出力として返される。

図１に示すように、従来の視覚的地理的位置特定システムとは異なり、Ｖ－ＧＰＳ／Ｖ－ＧＭＳは、位置特定の目的で画像データから直接抽出された特徴を使用することを試みていない。代わりに、位置特定手順は、ローカル地図表現を生成する中間ステップを導入する。

例えば、少なくともいくつかの例では、すべての入力画像が異なる視点から同じ風景を描写するという仮定（すなわち、動きの仮定からの構成）の下で、３Ｄ再構成を実行するための特徴の第１のセットを使用することによって、一貫したローカル地図表現が集約される。これは、最新の画像から、集約されたローカル地図を生成し、これは単なる入力画像よりも有用である。これは、画像と、各画像の捕捉中の観察者の３Ｄ姿勢（ポーズ）と、周囲のまばらな点群とから構成される。

より重要なことには、これは、この静的な風景に従わない入力画像のコンテンツの全てが自動的に省略／フィルタリングされる、局所的な水平線のシステムのクリーンアップされたコヒーレントな知覚を表す。世界のこのクリーンアップされたモデルは、動的オブジェクトまたはカメラの特定の軌跡に対して不変である。

次に、このローカル地図表現は、マッチング、位置合わせ、および位置特定の目的で使用される特徴の第２のセットを埋め込み、抽出するために使用される。この特徴のセットは風景の特徴（疎点群）の３Ｄ表現、レーンマーキングや、交通信号、交通標識、木、下水道カバーなどのグランド（地面、地上）タイプのオブジェクトなどの検出されたランドマークおよび高レベル特徴の２Ｄ上面図（オルソマップ（ｏｒｔｈｏｍａｐ））、および／または合成航空写真（オルソフォト（ｏｒｔｈｏｐｈｏｔｏ））などの２Ｄ上面図高密度再構成から構成されてもよいが、これらに限定されない。

上述の位置特定システムはカメラ画像を視覚的に位置合わせして周囲エリアの３Ｄ幾何形状を回復することによって大まかに機能し、そこから第２レベルの特徴の位置が判定される。

視覚的グローバルマッピングシステムは、他の方法に進むことによって、オーバーラップするローカル地図からグローバル地図を構築するための新しい方法であり、第２レベルの特徴を介して複数のローカル地図をマッチングすることによって、これらのローカル地図間の不整合が発見される。これらの不整合は、補正を特定のカメラ姿勢にフィードバックすることによって改善される。これにより、特に正確で、同時にグローバルに一貫したグローバル地図を構築することができる。

従って、上述のＶ－ＧＰＳ／Ｖ－ＧＭＳアプローチは、従来の画像コンテンツおよびモーション／ビジュアルオドメトリ技術からの画像特徴ベース構造と、大規模視覚地理的位置特定システムにおいて使用される通常のオブジェクトおよびランドマーク認識方法とを組み合わせるという点で、ハイブリッドアプローチとして特徴付けられる。このようにして、Ｖ－ＧＰＳ／Ｖ－ＧＭＳは揮発性の低レベルの特徴から導出されるローカル的な安定性および精度、ならびに同様に、位置特定の目的のための高レベルの特徴マッチングのグローバルな安定性および耐久性を利用する。

システムは一般に、以下のような、独立して構成可能な３つのサブシステムまたはユニットに分割することができる。

ユニットＡ－ローカル地図集約およびオブジェクト検出：画像およびセンサデータ処理、画像情報抽出、および特性ローカル地図の集約。

ユニットＢ－グローバル地図ルックアップ及びポーズ推定：集約ローカル地図を対応する基準地図セクションと照合（マッチング）することによる位置特定。

ユニットＣ－グローバル地図作成および更新：地図作成および更新、事前処理、および位置特定目的のための基準地図の提供。

これらのサブシステムは、位置特定される車両に搭載されて提供されてもよい。しかしながら、典型的には、処理の少なくともいくつかは遠隔的に分散され、例えば、クラウドで実行される。次に、いくつかの例示的なシステム構成について説明する。

自律車両におけるＶ－ＧＭＳ地図作成とＶ－ＧＰＳオドメトリ支援
図２は、カメラセンサ入力と、クラウドコンピューティング環境２０６への高帯域幅無線インターネット接続とを備えた自律車両システム２００を示す。したがって、自律車両は、単眼またはステレオカメラ２０２と、ハイエンドオンボード処理部と、高帯域幅高遅延モバイルデータ接続、すなわちＷ－ＬＡＮ ２０４とを備えている。システムはオンボードカメラ２０２からライブ記録画像を受信し、オンボードオドメトリから粗いＧＰＳ座標を受信する。位置特定結果２０８は、自律運転ロジックに渡される。地図構築結果は、クラウドベースのレポジトリ２０６内に存在する。

図２では、ハイエンドオンボード処理部が、入力画像の固定バッチを範囲限定ローカル地図表現要求に集約し、モバイルデータ接続を介して前処理された拡張基準地図セクションを受信する第１のユニット、すなわちユニットＡと、次いで、任意の完成したローカル地図表現をその対応する基準地図セクションと照合（マッチング）し、照合（マッチング）結果としてユニットＡに戻される地理位置特定を計算する第２のユニット、すなわちユニットＢとを備えている。第３のユニット、すなわちユニットＣはクラウド内に配置され、時折、ソースデータのパケットを受信し、これらのパケットは最終的に、参照地図に組み込まれる。

サードパーティの基準地図のための自律車両における小フットプリントＶ－ＧＰＳ専用オドメトリ支援
図３は、カメラセンサ入力と、位置特定結果を判定するためにクラウドコンピューティング環境内のサードパーティ基準地図データベースと通信するための低帯域幅モバイルインターネット接続とを備えた自律車両システム３００を示す。したがって、自律車両は、単眼またはステレオカメラ３０２と、ローエンドオンボード処理部と、低帯域幅低遅延モバイルデータ接続３０４とを備えている。システムはオンボードカメラ３０２からライブ記録画像を受信し、オンボードオドメトリから粗いＧＰＳ座標を受信する。位置特定結果３０８は、自律運転ロジックに渡される。

図３では、オンボード処理部が、入力画像の固定されたバッチを範囲限定ローカル地図表現に集約し、完成したローカル地図をモバイルデータ接続３０４を介してクラウド内に位置する第２のユニットであるユニットＢに送信する第１のユニットであるユニットＡを備える。ユニットＢは、対応するサードパーティ基準地図セクションに任意の入力ローカル地図表現を要求し、クラウド内でマッチングを実行し、同じモバイルデータ接続を介して地理的位置特定を送り返す。図２に示すユニットＣは、サードパーティ提供の基準地図サービス（追加のアップストリーム帯域幅を必要とされず地図アップデート手段もない）に置き換えられる。

ドローン（無人機）用オフボードＶ－ＧＰＳ／Ｖ－ＧＭＳ
図４は高帯域幅無線ビデオを処理ユニットに提供するためのカメラセンサ入力を有するオペレータ制御無人機を備える無人機ベースのシステムの一例を示し、処理ユニットは、位置特定およびマッピング結果を無人オペレータ装置（例えば、電話またはナビゲーションユニット）に提供する。したがって、システムは、単眼カメラまたはステレオカメラ４０２を有する無人機４００と、ハイエンド大容量基地局処理部４１２と通信するための低帯域幅低遅延無線データ接続４０４とから構成される（無人機上にはオンボード処理部は存在しない）。したがって、Ｖ－ＧＰＳ／Ｖ－ＧＭＳシステムは、基地局上に存在する。基地局は、無人機４００のオンボードカメラ４０２からライブ記録画像を無線で受信する。次いで、位置特定およびマッピング結果４０８は、モバイルオペレータ装置４１０に渡される。

Ｖ－ＧＰＳ／Ｖ－ＧＭＳシステムは３つのユニットを含み、図４では、すべてが基地局４１２上に存在する。ユニットＡは、入力画像の固定されたバッチを受信し、範囲が限定されたローカル地図表現に集約する。ユニットＢは、ローカルに利用可能な基準地図セクションに対してローカル地図表現を直接マッチングする。ユニットＣは、ソースデータを基準地図に直接組み込む。

図５は、システム内の機能ユニットまたはサブシステム間の相互作用を示す。特に、図５は、上述の３つのユニットの各々によって実行されるステップを概略的に示す。したがって、以下のセクションは、少なくともいくつかの例による、システムの論理構成要素の例示的な実施形態を、個々の処理ステップおよび技法に詳細に分解したものである。図６は、記録された画像からローカル地図表現を生成するために（ユニットＡにおいて）実行され得る処理フローの例をより詳細に示す。各種入力を受け取るいくつかの異なるモジュール（またはステップ）を含むものとして図５および図６に示されているが、各種モジュールおよびステップは別個の処理回路によって実行される必要はなく、実施形態ではこれらのステップのうちの少なくともいくつかは共有回路を使用して実行され得ることが理解されるのであろう。さらに、実施形態では、これらのモジュールのすべてが提供される必要はないことが理解されるのであろう。例えば、説明されたステップのいくつかは、省略されてもよいし、同じ基本機能を提供する類似または同等のステップによって置き換えられてもよい。

ユニットＡ－ローカル地図集約及びオブジェクト検出
画像データ取得
システムへの入力は一般に、道路網を走行する車両と関連付けられた１つ以上のカメラから取得される一連の画像５００を含む。各画像は、道路網に沿った既知の位置で記録される。任意選択で、画像５００は上述のように、（粗い）位置５０２と共に提供されてもよい。例えば、画像データは、取得された画像のおおよその位置および正確なタイムスタンプを提供するために、例えば車両のナビゲーションモジュールからのＧＮＳＳ測位データと組み合わされてもよい。しかしながら、場合によっては、画像の（相対的な）位置が画像５００自体から判定されてもよい。

画像５００のシーケンスは、典型的には位置特定されるべき車両上または車両内に設けられる様々なカメラセンサから得られる１つ以上のビデオストリームを含む。したがって、カメラセンサは、車両が現在走行している道路環境の画像を取得する。

実施形態では、以下でさらに説明するように、車両は、ビジュアルオドメトリを実行する目的のためのステレオカメラと、標識検出、分類、追跡、およびセグメント化の目的のための別個の観察者カメラとを備える。典型的には、所望のビジュアルオドメトリを実行するために、ステレオ画像センサはグレースケール画像を取得するために使用され、中間フレームレート（例えば、１５～３０ｆｐｓ）および解像度（例えば、１２８０×７２０）で動作することができる。一方、観察者撮像素子は典型的にはより高いフレームレート（例えば、３０～９０ｆｐｓ）及び解像度（例えば、２５６０×１４４０）でカラー画像を得ることが望ましい。しかし、処理されるべき画像を得るために、撮像素子の様々な構成および組み合わせが適切に使用され得ることが理解されるのであろう。

センサがステレオビデオカメラおよび単一の（単眼）ビデオカメラを含む場合、システムへの入力は、ステレオカメラからのビデオフレームの第１のセットと、単一の（単眼）ビデオカメラからのビデオフレームの第２のセットとを含むことができる。画像の第１のセットの各々について、深度地図（デプスマップ）も提供される。タイムスタンプはまた、画像の両方のセットに対して提供される。

オドメトリ推定（ＯＤＯ）
このシステムは、ビデオシーケンス内のキーフレームに対するカメラの相対的な３Ｄ位置及び回転を推定するビジュアルオドメトリシステムを使用する。オドメトリは、典型的なＶｉｓｕａｌ－ＳＬＡＭシステムにおけるのと同じ方法で、ビデオデータに動きアプローチからのオンザフライ構造を適用することによって、純粋に視覚的に得ることができる。例えば、オドメトリは、以下のようにして得ることができる。

１．所与の入力画像シーケンスから、十分なカメラ移動を示すフレームのみがキーフレームとしてピックされる。

２．任意の新しいキーフレームに対して、妥当な相対３Ｄ姿勢は、高精度オンボードオドメータおよびディファレンシャルＧＰＳなどの外部オドメトリソースをタップすることによって初期化することができる。

３．次いで、絶対姿勢は、他のすべてのキーフレームに沿った関連する画像特徴に従ってグローバルに推定され、最適化される。

代替的に、連続する奥行き画像を位置合わせすることによって相対的な３Ｄカメラ姿勢を導出する様々なステレオ画像位置合わせ技法を使用することができる。

好ましくは、キーフレームのカメラの位置および回転がステレオビジュアルオドメトリのプロセスを使用して判定される。一般に、任意の既知のステレオビジュアルオドメトリ技術を使用して、キーフレームのカメラ位置および回転を判定することができる。しかし、好ましい実施形態では、ステレオダイレクトスパースオドメトリ（ＤＳＯ）プロセスを使用して、キーフレームの各々に対する相対的なカメラ位置および回転を推定する。

ＤＳＯはカメラ上へのオブジェクトの投影間の測光誤差の直接最小化に基づく既知の技術である（すなわち、バンドル調整などの間接技術ではなく）。ＤＳＯの背後にある原理を図７に示す。図７に示すように、各ランドマーク（またはオブジェクト）は所定のフレーム内でキーポイントと深さ（デプス）のセットとして定義することができる。例えば、図７では２つのランドマーク７２－１、７２－２があり、これらの基準フレーム画像７０（フレームｉ）への投影は２つのキーポイント７０－１、７０－２の対応するセットを定義し、それぞれは対応する深度値（デプス値）を暗黙的に有する。基準フレーム（フレームｉ）から次のフレーム（フレームｊ）の画像にランドマークを投影または追跡するために、キーポイントは次のフレームに投影され、投影された複数のキーポイント７６－１、７６－２の測光誤差は基準フレームに対する次のフレーム（フレームｊ）でのカメラ姿勢を判定するために、すなわち、測光誤差を最小にする、基準フレームから次のフレームに移動するための適切な変換を判定することによって、最小化される。

バンドル調整のような間接的な方法と比較して、ＤＳＯは、２つの画像におけるキーポイント対応を判定するために（スケール不変特徴変換（ＳＩＦＴ）のような）特徴検出器を必要としない。このことは、エッジを含む画像のどこにでもＤＳＯのキーポイントを配置できることを意味する。

オリジナルのＤＳＯ技術は、単眼画像に基づいていた。しかし、ＤＳＯ処理は既存の奥行き値（デプス値）を有する既存のフレームを必要とし、ＤＳＯでは、トラッキングを通して新しいフレームが直接生成されるので、オンザフライデータを使用してＤＳＯを実行することは困難である。この問題はＤＳＯアルゴリズムのための入力としてステレオ画像を使用することによって克服することができ、その場合、フレーム深度は、記録された画像から直接取得することができる。

図８は、ビデオシーケンスのキーフレーム間でカメラを追跡するためにＤＳＯを使用する例を示す。各キーフレーム８２に対して、そのキーフレーム上へのキーポイントの投影を表す固定点群８０がある。次に、カメラトラッカはキーフレームから現在のフレームに投影されたときに、深度地図（デプスマップ）内のすべての点の測光誤差を最小にするために、最適なカメラパラメータ（回転、平行移動）を計算する。追跡されたカメラが所与の閾値を超えて最後のキーフレームから後退し、その結果、エラーが大きすぎる場合、（新しい固定の点群を有する）新しいキーフレーム８４が生成される。

抽出されたビジュアルオドメトリの品質は、画像シーケンスの視覚特性に依存する。モーションブラー（動きブレ）、画像歪み、グレア、および反射などの視覚的アーチファクトは、キーフレームにわたって関連付けることができる画像特徴の数を大幅に低減する。また、移動車、窓またはパドル内の鏡面、さらには天候条件などの一貫性のない画像の動きは、画像特徴の本質的な関連性を容易に妨げ、視覚的なオドメトリ抽出の試みを妨げる可能性がある。記録された画像シーケンスの長さを増加させるために、無効なオドメトリ再構成の機会も急速に増加する。

したがって、ロバスト性のために、ビジュアルオドメトリ抽出は、再構成が所与の品質マージンを満たすか、または地図サイズ限界に達する、時折の「安定性の島（ｉｓｌａｎｄｓ ｏｆ ｓｔａｂｉｌｉｔｙ）」に限定される。センサ、車両、および環境条件に応じて、有効な再構成オドメトリのこれらの安定したパッチの合理的なサイズは、約５０ｍから２００ｍの範囲である。同様に、様々な内部条件および外部条件に応じて、これらの安定したパッチの発生頻度は、平均的な都市および地方環境において、キロメートル当たり２～１０パッチの範囲であり得る。

次いで、これらの安定したオドメトリパッチはすべてのキーフレームデータと共に、画像セグメンテーション（ＳＥＧ）および集約ローカル地図（ＭＡＰ）処理ステップに渡される。

センサがステレオビデオカメラおよび単一の（単眼）ビデオカメラを含む場合、システムへの入力は、ステレオカメラからのビデオフレームの第１のセットと、単一の（単眼）ビデオカメラからのビデオフレームの第２の設セットとを含むことができる。画像の第１のセットの各々について、深度地図（デプスマップ）も提供される。タイムスタンプはまた、画像の両方のセットに対して提供される。

したがって、実施形態では、ビジュアルオドメトリの出力は、ステレオカメラからのビデオフレームの第１のセットのキーフレームの、例えば、ビデオフレームの第１のセットの第１のフレームに対するポーズ（回転および位置）である。出力はまた、キー点群、すなわち、例えば、以下に説明するように、グランド（地面）メッシュを生成する際に使用するためのキーフレーム内のキーポイントの点群を含むことができる。

画像セグメンテーション（ＳＥＧ）
画像セグメンテーション処理ステップでは、あらゆる所与のキーフレーム内の各画素が例えば道路、木、レーンマーキング、自動車などの所定の環境クラスのセットに従って分類される。次いで、クラスラベルが各画素に付加され、環境クラスの任意のサブセット、例えば、地面のみに注意を払うことができる後続の処理ステップのために利用可能にされる。セグメンテーションは、以下のような、１つ以上の画素毎の分類アプローチによって実行されてもよい。

・以前に訓練された高度なディープニューラルネットワークベースの画像分類システム
・ステレオカメラからの深さデータ（デプスデータ）を使用してグランド（地面、地上）レベル画素、壁／筐体、または交通標識のポールをセグメント化する
・粗いグランド（地面、地上）マスクの形成を可能にするオドメトリ推定によって提供される疎な特徴点群データを使用する。

画像セグメンテーションは、例えば、分類されたオブジェクトがフロー内の他の処理モジュールによって抽出され、使用されることができるように、画像内に現れるオブジェクトを分類するために実行される。したがって、「車両環境」のセマンティックセグメンテーションのステップは、取得された画像データを入力として使用し、画素ごとに画像のそれぞれを処理して、複数のクラスのそれぞれについてスコア（または尤度値）を含むオブジェクトクラスベクトルを各画素に割り当てることを実行することができる。したがって、例えば、画素は、画像内の空（そら）の一部を表す９８％の尤度、道路標識を表す１％の尤度、および／または道路を表す１％の尤度などを有するものとして分類することができる。画素はこのように分類されると、（例えば、同じオブジェクトを表す可能性が高い隣接する、または近接して間隔を空けられた画素を一緒にグループ化することによって）オブジェクトに一緒にグループ化することができる。

一般に、画素ごとのセマンティックセグメンテーションは、任意の所望のまたは適切なアルゴリズムを使用して実行することができる。好ましい実施形態では、機械学習アルゴリズム、特に畳み込みニューラルネットワーク（ＣＮＮ）が使用される。例えば、アルゴリズムは既知のＳｅｇＮｅｔまたはＰＳＰＮｅｔアルゴリズムを含むか、またはそれに基づくことができるが、当然、他のアルゴリズムを適切に使用することができる。したがって、画像内の画素は一般に、いくつかの事前定義されたクラスのうちの１つに従って分類することができる。例えば、クラスは、空（そら）、建物、柱（ポール）、道路標識、道路、舗装、木、交通標識、フェンス、道路車両（およびタイプ）、人、自転車、交通信号、壁、地形、乗り手、列車などの一部または全部を含むことができる。これらのクラスは一般に、ＳｅｇＮｅｔおよび／またはＰＳＰＮｅｔアルゴリズム内で定義される。

図９は、車両環境セマンティックセグメンテーション処理の結果の一例を示す。処理の結果、オリジナルのＲＧＢ画像（左側のパネル）内の画素のそれぞれにオブジェクトクラスが割り当てられ、異なるオブジェクトクラスのそれぞれを、意味的にセグメント化された出力（右側のパネル）において一貫した方法で表すことができる。したがって、各クラス内のすべてのオブジェクトを抽出し、後続の処理ステップに使用することができる。

次いで、これらのオブジェクトクラスはビジュアルオドメトリ（ＯＤＯ）および（キー）フレームを使用して得られたカメラ姿勢と共に、高レベル特徴検出（ＤＴＣＴ）処理ステップに渡されてもよい。

高レベル特徴検出（ＤＴＣＴ－１）
高レベル特徴検出ステップは所与のフレームにわたって、交通標識／交通信号、レーンマーカ、木などの高レベル特徴を識別し、追跡する。カメラの既知のオドメトリを使用して、追跡された高レベルの特徴を、カメラ位置に対する３Ｄ空間に三角測量することもできる。これらの特徴位置及びそれらのクラスラベルは入力画像シーケンスにおけるそれらの画素表現と共に、後続の処理ステップのために利用可能にされる。高レベル特徴検出は、以前に計算された画像分類を利用して、特殊化された特徴検出努力を適切な領域に制限する。特徴検出は、ＧＰＵ処理能力を使用するブルートフォース畳み込み演算応答クラスタリング、例えば、オブジェクト検出のためのＶｉｏｌａ－Ｊｏｎｅｓアプローチなどの特徴カスケードを使用する高速オブジェクト検出、複数のクラスに適した以前に訓練されたランダムフォレスト分類器などの、１つ以上のパッチごとの分類アプローチによって実行することができる。

例えば、高レベル特徴検出は例えば、以下に説明するように、ランドマーク観察を作成するための様々なステップを含むことができる。

ランドマークの検出及び認識
ランドマークは、「交通標識」オブジェクトクラスなど、ランドマークに対応するオブジェクトクラスを割り当てられた任意の画素、または画素のグループを抽出することによって、分類された画像から検出することができる。例えば、画像データ取得から出力された観察者画像フレーム、ならびに車両環境セマンティックセグメンテーションからの画素クラススコアベクトルを使用して、もしあれば、検出されたランドマークを含む、各フレーム内の１つ以上のエリア（典型的には矩形）のリストの形式で、いくつかのバウンディングボックスを生成することが可能である。次いで、これらのバウンディングボックスをランドマーククラスと共に出力することができる。ランドマークは、オリジナルの車両環境セマンティックセグメンテーションに基づいてのみ検出されてもよい。しかし、実施形態では、画像内の関心領域、すなわちランドマークを潜在的に含むと判定された領域がセマンティックセグメンテーションから取り出され、サポートベクターマシン（ＳＶＭ）またはニューラルネットワークなどの教師付き学習方法が、検出されたランドマークのそれぞれにクラスを割り当てるために領域上で使用される。すなわち、特定のランドマーククラスを検出された各ランドマークに割り当てるために、車両環境セマンティックセグメンテーション処理ステップから判定され得るように、画像内の任意の関心領域に対して、さらなるランドマーククラスセマンティックセグメンテーション（または「ランドマーク認識」）が実行され得る。これにより、ランドマーククラスの割り当ての精度を向上させることができる。

オドメトリ転送（図示せず）
オドメトリ転送は、ビジュアルオドメトリおよびランドマーク検出のために異なる撮像素子（例えば、複数のカメラ）を使用する場合に使用されてもよい。例えば、オドメトリ転送を使用して、異なるカメラから得られた画像を較正（キャリブレーション）することができる。特に、オドメトリ転送は、ランドマーク検出のために使用される画像のポーズ（姿勢）、例えば、単一の（単眼）ビデオカメラからのビデオフレームの第２のセット、を判定するために使用されてもよい。これは、異なるカメラを位置合わせするのに必要な回転および／または平行移動に基づいて画像を適切に較正することによって、画像をビジュアルオドメトリの結果と組み合わせて使用して行うことができる。したがって、画像の第２のセットに対するカメラ姿勢は、例えばビジュアルオドメトリ処理ステップにおいて、画像の第１のセットに対して判定されたカメラ姿勢を適切に較正することによって得ることができる。

ランドマーク観察作成
ランドマーク観察生成は、画像データ取得モジュールから出力された画像データを使用して、例えば、（オドメトリ転送からの）これらのフレームのポーズ（姿勢）と組み合わせて、必要に応じて、ランドマーク検出および認識プロセスから判定されたバウンディングボックスおよびランドマーククラスと組み合わせて、実行されてもよい。画像データから抽出された各ランドマークについて、正規化された座標における２Ｄポリラインの形式でのランドマーク形状、および向き（例えば、２Ｄポリラインを３Ｄ空間に変換するための姿勢行列）が、ランドマークの内容を記述するランドマーク画像と共に生成される。ランドマークは、例えば、交通標識、交通信号、広告板等、または、位置特定目的で適切かつ望ましく使用することができる、道路に沿って存在し得る任意の他の識別対象を含み得る。

図１０～図１５は、画像内の交通標識などのランドマークを検出し、追跡し、トレースする方法を示す。例えば、図１０に示すように、外部標識検出システムは一般に、フレームの所与のセットの各フレーム１００２に対して単一標識検出１００１を提供する。しかし、図示されるように、これらの検出は散発的であり（例えば、第３のフレームはいかなる標識検出も含まない）、または（第４のフレームにおけるように）偽陰性／陽性検出の傾向があり、不正確な境界を提供する。

したがって、実施形態では、検出された各標識はその後、その透視歪みに関して、およびフレームシーケンス内の隣接するフレームの範囲内で（後方および前方に）、注意深く追跡される。追跡結果は、標識が検出された元のフレーム（原フレーム）における検出された標識、すなわち画素カットアウトの、隣接するフレームの範囲への理想的なマッピングを記述する透視変換１１０１のセットから構成される。これを図１１Ａに示す。図１１Ｂに示すように、これにより、標識を三角測量して、車両の３Ｄ座標系（すなわち、上記で判定することができるような車両のオドメトリの座標系）における標識の表現１１０２を与えることができる。

これは、全ての所与のフレームにおいて、全ての検出された標識及び全ての単一の検出に対して行われる。したがって、これは、トラッキング品質が十分に高い場合、おおよそ重複するべき同じ物理標識についての多くの三角形輪郭１２０１をもたらす。これを図１２に示す。

次いで、３Ｄ表現がグループ化され、一緒に融合され、外れ値が除去される。したがって、図１３に示すように、偽陽性、または他の不正確な標識検出および三角測量が３Ｄ空間に散乱して見える傾向があるので、３Ｄグループ化は、正確な偽陽性フィルタを提供し、一方、真の標識はうまく積み重なる（たとえば、基準標識１３０１を有する検出を参照されたい）。

融合された標識輪郭はまた、標識が２Ｄ画像空間内に配置され、各フレームから正確に切り出されて、標識のいくつかの切り抜き１４０１を与えることを可能にする。切り抜きの全てを重ね合わせることによって、標識１４０２の融合画像を作成することができる。これは、オクルージョンまたは鏡面ハイライトのような欠陥を標識の画像から確実に除去するために、また、例えば、切り抜き間の高い色分散を有する画素１４０３をマスクすることによって標識の境界を検出するために、使用することができる。これを図１４に示す。

マスクされた切り抜きの画素輪郭は、例えば図１５に示されるように、車両のオドメトリに関する標識の形状、画素内容、および位置の正確な３Ｄ再構成１５０１を提供するようにベクトル化されてもよい。この正確な再構成は、本明細書に記載されるタイプの、すなわち、記録セッションから導出される３Ｄ標識再構成を、地図内の基準３Ｄ標識と関連付けることによる、ビジュアルグローバル測位などのフォローアップアプリケーションのために使用でき、或いは、現実世界の標識サイズについての知識を活用してこの情報を使用して動き再構成からの単眼構造にスケールを正規化することによりスケールドリフトなどの不正確性を補正することを可能にすることによって、単眼ビジュアルオドメトリおよびＳＬＡＭ記録を洗練するために使用できる。

ローカル地図集約（ＭＡＰ－１）
この処理ステップは２Ｄ上面図高密度オルソフォト再構成を作成し、以前に抽出されたすべての高レベル特徴（例えば、ランドマークおよび／またはレーンマーキング）をその中に埋め込むことによって、ローカル地図を集約する。

高密度オルソフォト再構成のために、まず、疎特徴点群から抽出された点を使用して、ギャップレス地形が推定される。精度要件に応じて、グランド（地面）モデルは、以下のものから構成されてもよい。

・地面として分類された３Ｄ特徴点全体にわたる単一の平面、
・各キーフレームの近傍における複数の地面の交点、または、
・地面特徴点クラスタにわたる粗い多角形メッシュ。

各キーフレームの既知の絶対位置および向き、ならびにそれに関連する仮想カメラ（ビジュアルオドメトリ推定によって提供される）を使用して、すべての２Ｄ画像情報、すなわち画素色、セグメンテーション情報が高レベル特徴位置とともに、３Ｄ地形に投影される。次いで、このパッチの２Ｄオルソフォトは、地面を垂直に見下ろす仮想正投影カメラ上にデータを再び投影することによって生成され、したがって、風景の鳥瞰図をもたらす。重複データは、カメラ位置推定精度、視野角、距離等に応じて、投影誤差範囲に対して合成される。

グランド（地面）メッシュ生成
「グランド（地面）メッシュ」は、道路網内の任意のグランド（地面）レベル特徴を含むように生成されてもよい。上述のステレオビジュアルオドメトリプロセスから出力されるＤＳＯ点群、またはステレオ画像の奥行きデータから直接判定されるステレオ点群は任意選択で、グランド（地面）メッシュを生成するために、セマンティックセグメンテーションプロセスから出力される関連画素クラススコアベクトルと共に使用されてもよい。例えば、セマンティックセグメンテーションから得られたオブジェクトクラスは、「道路」または「レーンマーキング」などの任意のグランド（地面）特徴を選択するために使用することができる。しかし、セマンティックセグメンテーションは完全ではなく、場合によっては、セマンティックセグメンテーションはいくつかの誤った値を与えることがあり、すなわち、いくつかの点を、それらがグランド（地面）上にない場合であっても、グランド（地面）レベル点として選択することがある。例えば、ＤＳＯ点群内のキーポイントの深さを使用して、グランド（地面）レベル点をさらに選択することができる。場合によっては、例えば、ＤＳＯ点群が疎すぎる場合、代わりにステレオ点群が使用されてもよい（例えば、画像の第１のセットおよび関連する奥行き地図（デプスマップ）から直接得られる）。実施形態では、ＤＳＯおよびステレオ点群の様々な組合せを使用することができる。例えば、ステレオ点群は、ＤＳＯ点群が疎すぎる領域を補間するために使用されてもよい。実施形態では点群、例えばステレオ点群またはＤＳＯ点群のいずれかは、例えば、（セマンティックセグメンテーションによって不正確に分類された自動車、木、および建物を示す点を除去するための）通常のフィルタ、統計的外れ値除去フィルタ、およびＲＡＮＳＡＣフィルタのうちの１つ以上を使用することによって、フィルタリングすることができ、メッシュはフィルタリングされた点群を使用して作成される。グランド（地面）メッシュは一般に、例えば、図１７Ａ～１７Ｃに示されるように、格子型および／または舌型のグランド（地面）メッシュのいずれかを含み得る。

オルソ補正（orthorectify）された道路画像生成
グランド（地面）メッシュは、カメラからの画像及び関連する姿勢と共に使用されて、道路のオルソ補正された画像を生成することができる。例えば、道路の鳥瞰モザイク地理参照画像は、画像がグランド（地面）メッシュ上に投影され、画像内の各画素の画素値が、画像を生成するために使用される画像から検出される環境内の位置の色を表すように、一緒にブレンド／重み付けされる、移動の２Ｄ上面図を含むように生成されてもよい。

図１６は、複数の２Ｄ画像１６０１をどのように地面に投影することができるか、および道路の画像１６０２を提供するためにこれらの投影をどのように組み合わせることができるかを示す。例えば、ビジュアルオドメトリを用いてカメラ姿勢が得られると、任意の所望の視点から画像を再投影することが可能である。図１６に示されるように、複数の画像が同じ地図エリアに投影され、次いで、適切な重み付けを用いて一緒にブレンドされて、そのエリア内の道路の画像を構築する。これは、道路の正確なオルソ補正された画像を生成するために、カメラの姿勢が知られている記録された画像のすべてを使用して繰り返すことができる。

レーンマーキングセマンティックセグメンテーションで使用される場合、鳥瞰モザイクから判定されるような移動の真っ直ぐなビューを含む地理参照画像を含む直線的に変換された画像（ＬＲＩ：ｌｉｎｅａｒｌｙ ｒｅｇｉｓｔｅｒｅｄ ｉｍａｇｅ）を生成することもできる。ＬＲＩ生成のさらなる詳細は例えば、国際公開第２００９／０４５０９６号および国際公開第２０１７／０２１４７３号に見出すことができる。

結果として得られる鳥瞰モザイクまたは直線的に変換された画像は、本発明の実施形態においてローカル地図として使用されてもよい。

高レベル特徴検出（ＤＴＣＴ－２）
高レベル特徴検出は例えば、以下に説明するように、レーンマーキング観察を作成するための様々なステップをさらに含むことができる。

レーンマーキングセマンティックセグメンテーション
上述の鳥瞰モザイクおよび／または直線的に変換された画像に加えて、またはその代わりに、画像内の各画素の画素値が、車両環境セマンティックセグメンテーションからの出力として、環境内の位置がレーンマーキングオブジェクトである確率を表すオルソ補正道路画像を生成することもできる。例えば、グレースケール色空間を使用する場合、レーンマーキングオブジェクトである１００％の確率が割り当てられた任意の画素は「白」であってもよく、０％の確率を有する任意の画素は「黒」であってもよく、他の画素値はそれぞれの確率に基づいて適切に選択される。このようにして、レーンマーキングオブジェクトを強調表示し、レーンマーキングセマンティックセグメンテーションを実行するためのより明瞭な画像を提供する「フィルタリングされた」グレースケール正投影道路画像を生成することができる。このようなフィルタリングされた画像を図１８Ｂに示す。比較のために、図１８Ａは同じ初期画像から決定されるが、画素値は初期セマンティックセグメンテーションから判定される位置の最も可能性の高いオブジェクトクラスを示す。観察できるように、レーンマーキングは、図１８Ａと比較して、図１８Ｂにおいて十分に明瞭である。したがって、この画像は、レーンマーキングオブジェクトが強調表示されたクリーンアップされた道路画像を表す。

レーン観察の作成
フィルタリングされたグレースケール正投影道路画像は典型的には直線的に変換された画像の形式であり、次に、例えば、訓練された畳み込みニュートラルネットを使用して、さらなるレーンマーキングオブジェクト検出および認識を受け、画像内のオブジェクトを特定のタイプのレーンマーキングとして識別および分類する。レーンマーキングクラスの例は、単一の実線、単一の短い破線、単一の長い破線、二重の実線、二重の破線、アイランド境界などのうちの１つ以上を含むことができる。ＬＲＩ、レーンマーキングオブジェクト、およびレーンマーキングセマンティックセグメンテーションからのクラスを使用して、レーン幾何形状を生成すること、すなわち、例えば、自律運転モジュールによる使用のため、および／またはＨＤ地図への組み込みのために、レーン識別子および幾何形状を示すことが可能である。

例えば、図１９では、レーンマーキングセマンティックセグメンテーションからレーンマーキング１９０１として識別された任意のオブジェクトが抽出されている。次いで、識別されたレーンマーキングは例えば、画像を閾値処理し、二値化することによって、および／または、１つ以上の形態学的アルゴリズムを適用して、ノイズを除去し、データを平滑化することを助けることによって、クリーンアップされてもよい。次に、結果は例えば、識別されフィルタリングされたレーンマーキングの各々の中心に線を生成することによって、スケルトン化される。この結果は、多数のスケルトン化されたレーンマーキング１９０２を含む図１９の右側のパネルに示されている。次いで、アルゴリズムは各分割器（ディバイダ）タイプにわたってループし、各分割器タイプについて線をフィルタリングするステップと、異なるＩＤで各分割器タイプを分類するステップとを実行する。例えば、図２０は、レーンマーキングセマンティックセグメンテーションに基づいて識別された１つの特定の分割器タイプに対する処理を示す。

図２１は最終的な結果を示しており、各異なる分割器タイプは、道路画像上で異なるように表されている。

ローカル地図集約（ＭＡＰ－２）
上述のように、道路網を描写する鳥瞰モザイクまたは直線的に変換された画像は任意選択で、抽出された高レベル特徴（例えば、ランドマークおよび／またはランドマーキング）が埋め込まれた、ローカル地図として使用されてもよい。しかし、代替的に、ローカル地図は例えば、以下に説明するように、抽出された高レベル特徴を単に含むことができる。

観察データグラムの作成
したがって、ランドマーク観察生成およびレーン幾何形状から出力されるランドマーク形状、向き、および画像は、カメラセンサから抽出された、および、たとえば、位置特定プロセスのために、および／または、より正確に現実を反映するようにＨＤ地図を更新するために使用することができる、上述のレーンおよび／またはランドマーク観察などの位置特定された地図データを含む「データグラム」（または「ロードグラム」）を生成するための観察データグラム作成モジュールに出力することができる。換言すれば、データグラムはローカル地図に対応する。データグラムは一般に、ＨＤ地図に対するスケーラブルで効率的な更新を可能にするために、最小帯域幅で（例えば、クラウドに）送信することができるそのような地図データの圧縮された断片（スニペット（snippet））である。

したがって、データグラムは、前のステップから出力されたランドマーク観察作成データおよび／またはレーン観察作成データを含むことができる。典型的には、データグラムはランドマーク観察とレーンマーキング観察の両方を含む。しかし、場合によってはランドマーク観察データのみ、またはレーン観察データのみが存在してもよく、その場合、これらのうちの１つ（すなわち、利用可能なデータが存在するもの）のみが、データグラムを生成し、例えば、地図を更新するために使用される。これは、例えば、有用なランドマークが存在しない地方道路セクション、又はレーンマーキングが存在しない場合、又は何らかの理由でデータが取得されない（例えば、車両が利用可能なセンサの一部しか有していない）場合にあり得る。

これらのデータグラムを生成するための一般的な処理フローを図６に示す。図６のフローは、画像取得のステップから開始する。次いで、記録された画像は上述の車両環境セマンティックセグメンテーションおよびビジュアルオドメトリを実行するために、車両環境セマンティックセグメンテーションおよびステレオビジュアルオドメトリモジュールに提供される。次いで、記録された画像および車両環境セマンティックセグメンテーションの結果を使用して、ランドマークを検出および認識することができる。次いで、検出された各ランドマークについて、ランドマーク検出およびビジュアルオドメトリから得られたカメラ姿勢を使用して、ランドマーク観察を作成することができる。これと並行して、ビジュアルオドメトリを使用して得られた車両環境セマンティックセグメンテーションおよびカメラ姿勢および点群の結果を使用して、グランド（地面）メッシュを生成することができる。次に、グランド（地面）メッシュを使用して、オルソ補正された道路画像を生成し、そこで、レーンマーキングセマンティックセグメンテーションのさらなるステップが実行され、そこからレーンマーキング観察が作成され得る。次いで、ランドマークおよびレーンマーキング観察を使用して、ローカル地図表現に組み込むため、またはローカル地図表現として使用するための「データグラム」を作成することができる。一般的な処理フロー、すなわち図５のユニットＡの例も図２２に示されている。

地図ソースデータのアップロード（ＵＰＬＤ）
うまくマッチングされたローカル地図は、グローバルスケール基準地図の作成および／または保守および更新プロセスに寄与することができる貴重な（価値のある）データを含む。

キーフレーム、分類マスク、および検出された高レベル特徴などの選択されたソースデータは、地図作成および地図更新パッケージとしてバンドルされ、地図作成プロセスへの転送のためにスケジューリングされる。供給されるデータは地図作成および更新の必要性に従って、すなわち、グローバルスケール基準地図のマッピングされていないエリアまたは古くなったエリアを埋める目的で、選択することができる。

ユニットＢ－グローバル地図ルックアップ及びポーズ推定
グローバル地図セクション検索（ＤＷＮＬＤ）
地図セクション検索ステップは、近似位置に対応するグローバルスケール基準地図のサブセクションと、照合（マッチング）されている集約ローカル地図の範囲とを要求し、検索する。

選択されたセクションは、再構成されたローカル地図の範囲とおおよそ一致しているべき、低精度オドメータに関連する所与の粗ＧＰＳ位置およびコンパスベースの向きなどの、複数の粗測位ソースから導出することができる。

マッチングのために検索された情報層はローカル地図に存在する情報と一致するものとし、以下のようにすることができる。

・好ましくは、ローカル地図にスポットされた、長期的に関連付け可能な高レベル特徴、
・ローカル地図の入力画像に従って昼間、季節、および閲覧方向によって選択された、よく選択された関連付け可能な低レベル特徴、
・互換性のある構成で作成された合成オルソフォト地図セクション。

位置特定及びマッチング（ＭＡＴＣＨ）
位置特定ステップは、ローカル地図を基準地図セクションと照合（マッチング）することによって実行される。位置特定の品質およびロバスト性は、ローカル地図埋め込みまたは抽出された高レベル特徴の耐久性および安定性を利用することによって達成される。適用可能な技術は、以下の通りである。

・（例えば、ＲＡＮＳＡＣにおけるように）ローカル地図および基準地図内の対応する高レベル特徴およびオブジェクトの関連付け、ならびに、対応する特徴を最良に位置合わせする地図の変換の導出
・（ＫＬＴなどの画像誤差回帰アプローチにおけるように）画素強度の差が最小化されるように、ローカル地図の高密度２Ｄオルソフォト再構成を対応する基準地図のオルソフォトに変換する
・（モーションのバンドル調整からの構造のように）低レベル特徴の対応に従ってキーフレームのポーズ（姿勢）を最適化することによって、ローカルパッチから、および地図から、選択されたキーフレームを３Ｄマッチングし、位置合わせする。

その結果は、高い精度および正確性を有するグローバル地図内のアップロードされたパッチのグローバルに参照される位置および向きである。

位置応答（ＲＳＰＮＤ）
グローバル地図ルックアップテーブル及び姿勢（ポーズ）推定ユニットは、信頼性及び精度、全体的なパッチのワイド及びローカル品質、及び／又は地図カバレッジ及び最新性のような、姿勢推定に関する余分な情報と共に、グローバル位置５０４及び向き（姿勢）５０６で応答する。

この余分な情報はローカル地図集約及びオブジェクト検出ユニット構成要素によって、外部から提供される測位データに姿勢結果をより正確に組み込み、地図構築の目的でグローバル地図作成及び更新ユニットにデータを提供すべきかどうかを決定するために使用することができる。

ユニットＣ－グローバル地図作成及び更新
ソースデータ入力（ＩＮ）
ソースデータ入力ステップは、地図構築および更新の目的でソースデータを受け取る。データパッケージは、世界規模のソースデータレポジトリに格納され、次の地図処理のために利用可能にされる。

ソースデータ入力ステップはまた、地図構築および調整サービスに、入ってくるジョブおよび未処理のジョブの可用性について通知する。

地図構築及び調整（ＢＵＩＬＤ）
地図構築および調整ステップは、世界規模のソースデータレポジトリ内の変更および新しく利用可能なデータに関する領域更新通知を受信し、集約する。

進行中の構築および最適化プロセスの一部として、地図構築および調整プロセスは、更新されたすべての領域にわたって繰り返される。

１．更新されたグローバル地図セクションのすべてのソースデータ（新たに追加されたデータを含む）を検索する
２．既存のソースデータを有する新しいデータを組み込み、セクション全体のオドメトリ再構成を更新する
３．更新されたセクションを世界規模のデータレポジトリに格納する
４．更新された地図セクションについて基準地図抽出ステップへ通知する。

セクションワイド地図の再構成および調整は、動き技術からの構造をソースデータの選択された品質サブセットに適用することによって行われる。地理的登録（ｇｅｏ－ｒｅｇｉｓｔｅｒｅｄ）された地点と共に、検出された高レベルの特徴、選択された低レベルの特徴などの長期の関連付け可能な特徴が関連付けられ、バンドル調整が繰り返し適用される。さらに、地図構築の安定性および精度をさらに向上させるために、関連付け可能な高レベルの特徴を含むサードパーティデータを含めることもできる。

地図構築および調整ステップ、すなわち、図５のユニットＣの例が、図２３に示されている。

基準地図抽出（ＸＴＲＣＴ）
基準地図抽出は、世界規模のソースデータレポジトリ（ＳＤＲ）から地図マッチングデータを事前に生成する。この地図マッチングデータは、所与の集約ローカル地図をマッチングし、位置合わせするという、位置特定およびマッチングのステップの目的と互換性があるように意図されている。したがって、それは、ローカル地図集約およびオブジェクト検出ユニットによってコンパイルされる集約ローカル地図と同じ情報層から構成することができる。

地図構築および調整ステップと同様に、基準地図抽出ステップは、進行中の生成サービスの一部である。これは、更新されたソースデータセクション毎に繰り返され、以下のようになる。

１．新たに構築された及び／又は調整されたソースデータを検索する
２．（位置特定およびマッチングステップに適切な）圧縮および空間最適化されたマッチングヒント／情報を抽出する。これらのマッチング情報層はさらに、以下を含むことができる。

・改善された関連付けのための任意選択の高レベル特徴データ（すなわち、ＯＣＲ）
・フィルタリングされた及び品質向上された合成２Ｄ上面図高密度オルソフォト再構成（すなわち、ＫＬＴベースのフィッティング）
・選択されカテゴライズされた低レベル特徴抽出（すなわち、日中、季節、気象条件などによって）。

３．抽出されたパッチマッチングデータを世界規模のマッチングデータレポジトリ（ＭＤＲ）に格納する
４．基準地図情報サービスに、発生した変更について通知する。

基準地図情報サービス（ＳＲＶ）
基準地図情報サービスは、基準地図抽出ステップによって増分的に生成され、提供される基準地図への効率的でスケーラブルなアクセスを提供する。要求された地図セクションについて、サービスは以下のとおりである。

・世界規模の地図データレポジトリから基準地図データを取り出す
・短縮／圧縮された基準地図データバンドルで応答する。

基準地図情報サービスは、キャッシング技術を含んでも含まなくてもよい。

前述の詳細な説明は、例示および説明の目的のために提示されている。網羅的であること、または本明細書に記載の技術を開示された正確な形態に限定することは意図されていない。上記の教示に照らして、多くの修正および変形が可能である。記載された実施形態は、本明細書に記載された技術の原理およびその実用的な用途を最良に説明するために選択され、それによって、他の当業者が様々な実施形態において、意図された特定の使用に適した様々な修正を伴って、本明細書に記載された技術を最良に利用することを可能にする。したがって、本明細書、図面、および／または特許請求の範囲に開示される特徴は、単独で、またはそれらの様々な組み合わせでとられた、様々な実施形態の実現のための材料であり得る。さらに、本発明を様々な実施形態を参照して説明してきたが、添付の特許請求の範囲に記載されている本発明の範囲から逸脱することなく、形態および詳細の様々な変更を行うことができることが、当業者には理解されよう。

Claims (18)

1. 道路網を走行する車両の地理的位置及び向きを判定するコンピュータ実施方法であって、
   前記道路網を走行する前記車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得することであって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得することと、
   前記取得された画像及び前記関連するカメラ位置の少なくともいくつかを用いて、前記車両が走行している前記道路網のエリアを表すローカル地図表現を生成することと、
   前記生成されたローカル地図表現を、前記車両が走行している前記道路網の前記エリアをカバーする基準地図のセクションと比較することと、
   前記比較に基づいて、前記道路網内の前記車両の前記地理的位置及び向きを判定することと、
   を含み、
   前記ローカル地図表現を生成することは、
   前記画像内の１つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理することであって、前記ランドマークオブジェクトは、前記道路網の前記環境におけるランドマークを表す、前記処理することと、
   前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、前記画像の前記関連するカメラ位置を使用して、前記検出されたランドマークオブジェクトを、当該ランドマークオブジェクトが検出された画像から前記一連の画像のうちの１つ以上の隣接する画像にマッピングするための変換のセットを生成することと、
   前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、３次元座標空間における前記ランドマークオブジェクトの表現を、前記マッピングに基づいて生成することと、
   前記環境内の同じランドマークに対応する異なる画像から生成された３次元表現のセットを判定することと、
   ３次元表現の前記判定されたセットから、３次元表現の前記セットによって表される前記環境内の前記ランドマークを示すデータを生成することと、
   を含むことを特徴とする方法。
2. 前記比較に基づいて、前記基準地図のセクション内の１つ以上のエラーを識別することと、
   前記１つ以上のエラーが識別されると、前記ローカル地図表現、または前記ローカル地図表現を示すデータを、前記基準地図のセクションを更新するため、及び／又は、新しい基準地図のセクションを生成するために、リモートサーバへ提供することと、
   をさらに含むことを特徴とする請求項１に記載の方法。
3. 基準画像に対する前記ローカル地図表現を生成するために使用される前記画像のうちの前記少なくともいくつかに対する相対カメラ位置を判定することを含み、選択的に、前記基準画像は、前記一連の画像内の第１の画像であることを特徴とする請求項１又は２に記載の方法。
4. 前記画像に対して画素単位のセマンティックセグメンテーションを実行することを含み、前記画素単位のセマンティックセグメンテーションの結果は、前記画像の各々に対して、各画素に、当該画素に対する各オブジェクトクラスの確率を示すオブジェクトクラスまたはオブジェクトクラスベクトルが割り当てられることであることを特徴とする請求項１乃至３の何れか１項に記載の方法。
5. １つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理することと、前記検出された１つ以上のランドマークオブジェクトを使用して、前記ローカル地図表現に含めるためのランドマーク観察特徴を生成することとを含み、
   前記ランドマーク観察特徴は、ランドマークの位置と、方向と、形状とを含むことを特徴とする請求項１乃至４の何れか１項に記載の方法。
6. 道路網の環境内の１つ以上のランドマークを識別するコンピュータ実施方法であって、
   前記道路網を走行する車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の前記環境を反映する一連の画像を取得することであって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得することと、
   前記画像内の１つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理することであって、前記ランドマークオブジェクトは、前記道路網の前記環境におけるランドマークを表す、前記処理することと、
   前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、前記画像の前記関連するカメラ位置を使用して、前記検出されたランドマークオブジェクトを、当該ランドマークオブジェクトが検出された前記画像から前記一連の画像のうちの１つ以上の隣接する画像にマッピングするための変換のセットを生成することと、
   前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、３次元座標空間における前記ランドマークオブジェクトの表現を、前記マッピングに基づいて生成することと、
   前記環境内の同じランドマークに対応する異なる画像から生成された３次元表現のセットを判定することと、
   ３次元表現の前記判定されたセットから、３次元表現の前記セットによって表される前記環境内の前記ランドマークを示すデータを生成することと、
   を含むことを特徴とする方法。
7. 前記ランドマークを示す前記データは、前記環境における前記ランドマークの位置および向きを示す情報を含むことを特徴とする請求項６に記載の方法。
8. 前記ランドマークの２次元輪郭を判定するために、及び／又は、前記座標空間における前記ランドマークの再構成を生成するために、前記３次元表現を各セットにおいて融合することを含むことを特徴とする請求項６又は７に記載の方法。
9. １つ以上のレーンマーキングオブジェクトを検出するために前記画像の少なくともいくつかを処理することと、前記検出された１つ以上のレーンマーキングオブジェクトを使用して、前記ローカル地図表現に含めるためのレーンマーキング観察特徴を生成することとを含むことを特徴とする請求項１乃至５の何れか１項に記載の方法。
10. 処理された画像の各画素が少なくとも、前記画素が前記環境内のレーンマーキングを表す確率値を割り当てられるように、セマンティックセグメンテーションを実行するために前記画像の少なくともいくつかを処理することと、
    前記車両が走行している前記道路網のエリアを表す道路画像を生成するために前記一連の画像の少なくともいくつかを処理することであって、前記道路画像内の各画素の画素値は、前記道路画像を生成するために使用される前記画像内の対応する画素の前記割り当てられた確率値に基づくものである、前記処理することと、
    前記画像内の１つ以上のレーンマーキングオブジェクトを検出及び分類するために畳み込みニュートラルネットワークを使用して前記道路画像を処理することであって、前記レーンマーキングオブジェクトは、前記道路画像に描かれた１つ以上の道路上のレーンマーキングを表す、前記処理することと、
    前記検出及び分類されたレーンマーキングオブジェクトを使用して、前記レーンマーキングオブジェクトによって表される前記レーンマーキングの位置および幾何形状を判定するために、前記道路画像を処理することと、
    を含むことを特徴とする請求項１乃至５、及び９の何れか１項に記載の方法。
11. 処理された画像の各画素が少なくとも、前記画素が前記環境内のレーンマーキングを表す確率値を割り当てられるように、セマンティックセグメンテーションを実行するために前記画像の少なくともいくつかを処理することと、
    前記車両が走行している前記道路網のエリアを表す道路画像を生成するために前記一連の画像の少なくともいくつかを処理することであって、前記道路画像内の各画素の画素値は、前記道路画像を生成するために使用される前記画像内の対応する画素の前記割り当てられた確率値に基づくものである、前記処理することと、
    前記画像内の１つ以上のレーンマーキングオブジェクトを検出及び分類するために畳み込みニュートラルネットを使用して前記道路画像を処理することであって、前記レーンマーキングオブジェクトは、前記道路画像に描かれた１つ以上の道路上のレーンマーキングを表す、前記処理することと、
    前記検出及び分類されたレーンマーキングオブジェクトを使用して、前記レーンマーキングオブジェクトによって表される前記レーンマーキングの位置および幾何形状を判定するために、前記道路画像を処理することと、
    を含むことを特徴とする請求項６乃至８の何れか１項に記載の方法。
12. 前記車両が移動している前記道路網のエリアの画像を生成して前記ローカル地図表現に含めるために複数の画像を処理することを含み、前記道路網の前記エリアの前記画像は、ビジュアルオドメトリを使用して複数の異なる画像を３次元座標フレームに投影することによって生成される、ことを特徴とする請求項１乃至５の何れか１項に記載の方法。
13. 道路網を走行する車両の地理的位置および向きを判定するシステムであって、
    前記道路網を走行する前記車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の環境を反映する一連の画像を取得する手段であって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得する手段と、
    前記取得された画像及び前記関連するカメラ位置の少なくともいくつかを使用して、前記車両が走行している前記道路網のエリアを表すローカル地図表現を生成する手段と、
    前記生成されたローカル地図表現を、地図レポジトリから抽出された基準地図のセクションと比較する手段であって、前記基準地図のセクションは、前記車両が走行している前記道路網の前記エリアをカバーする、前記比較する手段と、
    前記比較に基づいて、前記道路網内の前記車両の前記地理的位置および向きを判定する手段と、
    を備え、前記ローカル地図表現を生成する手段は、
    前記画像内の１つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理する手段であって、前記ランドマークオブジェクトは、前記道路網の前記環境におけるランドマークを表す、前記処理する手段と、
    前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、前記画像の前記関連するカメラ位置を使用して、前記検出されたランドマークオブジェクトを、当該ランドマークオブジェクトが検出された画像から前記一連の画像のうちの１つ以上の隣接する画像にマッピングするための変換のセットを生成する手段と、
    前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、３次元座標空間における前記ランドマークオブジェクトの表現を、前記マッピングに基づいて生成する手段と、
    前記環境内の同じランドマークに対応する異なる画像から生成された３次元表現のセットを判定する手段と、
    ３次元表現の前記判定されたセットから、３次元表現の前記セットによって表される前記環境内の前記ランドマークを示すデータを生成する手段と、
    を備えることを特徴とするシステム。
14. 道路網の環境内の１つ以上のランドマークを識別するシステムであって、
    前記道路網を走行する車両と関連付けられた１つ以上のカメラから、前記車両が走行している前記道路網の前記環境を反映する一連の画像を取得する手段であって、前記画像の各々は、前記画像が記録された関連するカメラ位置を有する、前記取得する手段と、
    前記画像内の１つ以上のランドマークオブジェクトを検出するために前記画像の少なくともいくつかを処理する手段であって、前記ランドマークオブジェクトは、前記道路網の前記環境内のランドマークを表す、前記処理する手段と、
    前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、前記画像の前記関連するカメラ位置を使用して、前記検出されたランドマークオブジェクトを、当該ランドマークオブジェクトが検出された前記画像から前記一連の画像のうちの１つ以上の隣接する画像にマッピングするための変換のセットを生成する手段と、
    前記一連の画像の各画像において検出された各ランドマークオブジェクトについて、３次元座標空間における前記ランドマークオブジェクトの表現を、前記マッピングに基づいて生成する手段と、
    前記環境内の同じランドマークに対応する異なる画像から生成された３次元表現のセットを判定する手段と、
    ３次元表現の前記判定されたセットから、３次元表現の前記セットによって表される前記環境内の前記ランドマークを示すデータを生成する手段と、
    を備えることを特徴とするシステム。
15. １つ以上のプロセッサを備えるコンピューティングデバイスによって読み取られると、請求項１乃至５、９、１０及び１２の何れか１項に記載の方法に従って前記コンピューティングデバイスを動作させる命令を含むコンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを有するコンピュータ可読媒体。
17. １つ以上のプロセッサを備えるコンピューティングデバイスによって読み取られると、請求項６乃至８、及び１１の何れか１項に記載の方法に従って前記コンピューティングデバイスを動作させる命令を含むコンピュータプログラム。
18. 請求項１７に記載のコンピュータプログラムを有するコンピュータ可読媒体。

Images