JP2024527491A - 自動運転および／または支援運転のための駆動装置、車両、および方法 - Google Patents

Abstract

本発明は、車両に関し、車両は、記憶装置（３３）から地図データを受信し、位置特定装置（２２）から位置特定データを受信するように構成され、かつ地図データおよび／または位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するように構成された走行可能道路検出部（３２）と、光学検知装置（２０）から画像データを受信するように構成され、かつ画像データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するように構成された光学センサベースの走行可能道路検出部（３２ｃ）と、第１占有グリッドと第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するように構成された融合部（３２ｄ）と、を備える。【選択図】図３

Description

本発明は、車両の自動運転および／または支援運転のための駆動装置に関し、駆動装置は、地図データを記憶するように構成された記憶装置と、車両の位置特定データを受信するように構成された位置特定入力ポートと、車両の周囲を示す画像データおよび／または幾何学的データを受信するように構成された光入力ポートとを備える。

本発明はさらに、車両に関し、車両は、地図データを記憶するように構成された記憶装置と、車両の位置特定データを出力するように構成された位置特定装置と、車両の周囲を示す画像データおよび／または幾何学的データを出力するように構成された光学検知装置とを備える。

本発明はまた、自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法に関し、方法は、位置特定装置を使用して車両の位置特定データを生成するステップと、光学検知装置を使用して車両の周囲を示す画像データおよび／または幾何学的データを生成するステップと、記憶装置から地図データを受信し、位置特定装置から位置特定データを受信するステップとを備える。

自律モード（例えば、無人運転）または半自律モード（運転支援を使用）で動作する車両は、運転者をいくつかの運転関連タスクから解放する。自律モードで動作する場合、車両は様々な場所にナビゲートすることができ、最小限の人的相互作用で、または場合によっては乗員なしで、車両が走行することを可能にする。同様に、支援運転モードでは、運転者のいくつかのタスクが運転者支援システムによって実行される。

自律的または半自律的に運転する車両は、通常、ルートおよび地図サービスによって提供されるルートに基づいてナビゲートされる。道路および道路内の車線の構成は、車両のための経路を計画する際に重要である。したがって、地図の精度は非常に重要である。しかしながら、場合によっては、例えば地図作成の誤り、道路の損傷、または道路の新規建設などの様々な要因のために、道路の境界が地図から取得された境界とは異なることがあり得る。このような地図による道路と実際の道路状況との不一致は、車両の計画および制御に誤りを生じさせる可能性がある。

米国特許出願公開第２０１９／００７８８９６号明細書は、自動運転車両のためのデータ駆動型地図更新システムを開示している。米国特許出願公開第２０１７／０２９７５７１号明細書は、自律車両の融合システムの性能を監視し、適応させるための方法および装置に関する。米国特許出願公開第２０１９／０３８４３０４号は、ディープニューラルネットワークを使用した自律機械のための経路検出を開示している。米国特許出願公開第２０２０／０１６００６８号明細書は、自律車両のための地図化がなされていない走行可能な路面を自動的に検出することに関する。米国特許出願公開第２０１６／００６１６１２号明細書は、自律車両の運転環境を認識するための装置および方法を開示している。米国特許出願公開第２０２０／０１８３０１１号明細書は、占有グリッドマップを作成するための方法に関する。

米国特許出願公開第２０１９／００７８８９６号明細書 米国特許出願公開第２０１７／０２９７５７１号明細書 米国特許出願公開第２０１９／０３８４３０４号明細書 米国特許出願公開第２０２０／０１６００６８号明細書 米国特許出願公開第２０１６／００６１６１２号明細書 米国特許出願公開第２０２０／０１８３０１１号明細書

本発明の目的は、安全で快適な経路を計画することができるように走行可能道路の境界を予測するための駆動装置、車両、およびコンピュータ実装された方法を提供することである。

この目的は、独立請求項の主題によって解決される。従属請求項は、本発明の好ましい実施形態を記載する。

車両の自動運転および／または支援運転のための駆動装置は、地図データを記憶するように構成された記憶装置と、前記車両の位置特定データを受信するように構成された位置特定入力ポートと、前記車両の周囲を示す画像データおよび／または幾何学的データを受信するように構成された光入力ポートと、走行可能道路検出部とを備える。走行可能道路検出部は、地図ベースの走行可能道路検出部と、光学センサベースの走行可能道路検出と、融合部とを含む。前記地図ベースの走行可能道路検出部は、前記記憶装置から前記地図データを受信し、前記位置特定入力ポートから前記位置特定データを受信するように構成されている。前記地図ベースの走行可能道路検出部は、前記地図データおよび／または前記位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するようにさらに構成されている。前記光学センサベースの走行可能道路検出部は、前記光入力ポートから前記画像データおよび／または前記幾何学的データを受信するように構成され、かつ前記画像データおよび／または前記幾何学的データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するように構成されている。前記融合部は、前記第１占有グリッドと前記第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するように構成されている。

任意選択で、前記駆動装置は、前記第３占有グリッドに基づいて、自動運転および／または支援運転のための駆動信号を生成するように構成された制御部を含み、前記駆動信号は制御目的のために前記車両に出力される。

車両は、地図データを記憶するように構成された記憶装置と、前記車両の位置特定データを出力するように構成された位置特定装置と、前記車両の周囲を示す画像データおよび／または幾何学的データを出力するように構成された光学検知装置と、走行可能道路検出部とを備え、前記走行可能道路検出部は、地図ベースの走行可能道路検出部と、光学センサベースの走行可能道路検出部と、融合部とを含む。前記地図ベースの走行可能道路検出部は、前記記憶装置から前記地図データを受信し、前記位置特定装置から前記位置特定データを受信するように構成されている。前記地図ベースの走行可能道路検出部は、前記地図データおよび／または前記位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するようにさらに構成されている。前記光学センサベースの走行可能道路検出部は、前記光学検知装置から前記画像データおよび／または前記幾何学的データを受信するように構成され、かつ前記画像データおよび／または前記幾何学的データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するように構成されている。前記融合部は、前記第１占有グリッドと前記第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するように構成されている。

任意選択で、前記車両は、前記第３占有グリッドに基づいて、自動運転モードおよび／または支援運転モードで前記車両を運転するように構成された制御部を含む。

本発明は、走行可能道路識別システムの正確性、精度、冗長性、および／または安全性を高めるために、リアルタイムＡＩ（人工知能）および地図ベースのアプローチを融合する一般的な技術的思想に基づく。言い換えると、高精細な車線地図データからの情報と、車両の周囲に関するデータの走行可能道路のリアルタイムセマンティックセグメンテーションによって生成されたデータとを融合するためのユニットを備える、走行可能道路を冗長／確実に認識するためのシステムが提供される。本発明によれば、走行可能道路を高い正確性および高い精度で予測することができる。

車両および／または車両の駆動装置は、ロボカーと呼ばれることもある自律または自動運転車両であってもよい。代替的にまたは追加的に、車両および／または駆動装置は、半自律車両であってもよい。したがって、駆動装置は、高度運転者支援システムの制御装置とみなされてもよい。自動車標準化団体であるＳＡＥインターナショナルによってＪ３０１６＿２０２１０４「自動車用運転自動化システムのレベル分類及び定義（Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles）」として２０２１年に発行された６つのレベルを有する分類システムに従って、自律車両は、レベル４またはレベル５とみなされてもよく、半自律または支援運転車両は、レベル１からレベル３とみなされてもよい。

車両は、任意の種類の自走式自動車とすることができ、好ましくは道路上を走行するように構成される。例えば、車両は、車両の車輪を駆動するためのエンジンおよび／または電気モータを備える。しかしながら、本発明は、地上を走行する車両に限定されない。車両は、ボートまたは船舶などの海上車両であり得る。概して、本発明は、障害物を回避しながら、ルート／車線においてリアルタイムにナビゲートされる必要がある車両に関する。

記憶装置は、所与の容量のメモリを提供するために複数のメモリ装置を介して実装できる１つ以上のメモリを含んでもよい。記憶装置は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、または他のタイプの記憶装置など、１つ以上の揮発性記憶（またはメモリ）装置を含んでもよい。記憶装置はまた、ソリッドステート装置（ＳＳＤ）を含んでもよい。しかしながら、他の実施形態では、記憶装置は、システムアクティビティの再開時に高速の電源投入が起こり得るように、電源切断事象中にコンテキスト状態および他のそのような情報の不揮発性記憶を可能にするＳＳＤキャッシュとして機能する、より小さい容量のＳＳＤストレージを備えた、または備えていないハードディスクドライブ（ＨＤＤ）を含んでもよい。

記憶装置は、あらゆるタイプの情報または地図データを記憶するように構成することができる。地図データは、車両の周囲の地図を再構成することができるデータである。地図データは、周期的にまたは断続的に更新することができる。この目的のために、記憶装置は、ネットワークとの、ひいてはサーバとの、車両の外部にある他のタイプの記憶装置との、および／または他の車両との有線または無線通信を可能にする通信部に、電子的に接続または結合され得る。

通信部は、無線トランシーバおよび／またはネットワークインターフェースカード（ＮＩＣ）を含むことができるネットワークインターフェース装置とみなされてもよい。無線トランシーバは、ＷｉＦｉトランシーバ、赤外線トランシーバ、Ｂｌｕｅｔｏｏｔｈトランシーバ、ＷｉＭａｘトランシーバ、無線携帯電話トランシーバ、もしくは他の無線周波数（ＲＦ）トランシーバ、またはそれらの組み合わせであってもよい。

位置特定装置は、車両の現在位置を判定するための衛星トランシーバ（例えば、全地球測位システム（ＧＰＳ）トランシーバ）であってもよい。位置特定装置は、周囲の画像を分析し、画像をデータバンク画像と比較して、画像を撮影しているユーザの位置を判定するビジュアルポジショニングシステム（ＶＰＳ）を含んでもよい。車両の現在位置は、位置特定装置によって車両の位置特定データとして処理される、および／または出力される。したがって、位置特定データに基づいて車両の現在位置を判定することができる。言い換えると、位置特定データは、車両の現在位置を示す情報を含む。

光学検知装置は、車両の周囲を感知および／または探査するために、可視波長範囲および／または無線周波波長範囲（ＲＦ）などの様々な波長範囲の電磁放射線を使用してもよい。光学検知装置ユニットは、単一の波長範囲または複数の波長範囲の電磁放射線を検出および／または放出するように構成されてもよい。光学検知装置は、光学的手段を使用して電磁放射線を検出および／または放出するためのセンサユニットであってもよい。

光学検知装置は、車両の周囲を３次元で判定することができるセンサを含んでもよい。光学検知装置は、複数のセンサによって生成されたデータを追加／コーミングすることによって視野を拡張するための複数のセンサを含んでもよい。例えば、光学検知装置は、モノカメラおよび／またはステレオカメラ、すなわち、車両の周囲のステレオ画像を得るために互いに間隔を空けた２つのカメラを含んでもよい。カメラは、スチルカメラおよび／またはビデオカメラであってもよい。カメラは、例えば、回転および／または傾斜プラットフォームにカメラを取り付けることによって、機械的に移動可能であってもよい。カメラは、画像データを生成することができる。

しかしながら、電磁波放射線を使用する他の撮像または走査技術が使用されてもよく、ひいては光学検知装置の一部を形成してもよい。光学検知装置は、代替的にまたは追加的に、レーダ装置および／または光検出・測距（ＬｉＤＡＲ）装置を含んでもよい。ＬｉＤＡＲ装置は、レーザを使用して車両の周囲の物体を感知し得る。ＬｉＤＡＲ装置は、他のシステム構成要素の中でも特に、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含むことができる。レーダ装置は、車両のローカル環境内の物体を感知するために無線信号を利用するシステムとすることができる。いくつかの実施形態では、レーダユニットは、物体を感知することに加えて、道路上の他の車両などの他の物体の速度および／または進行方向をさらに感知し得る。ＬｉＤＡＲ装置および／またはレーダ装置は、幾何学的データを生成することができる。

地図ベースの走行可能道路検出部は、記憶装置および／または位置特定装置に電子的におよび／または通信可能に接続または結合される。地図ベースの走行可能道路検出部は、記憶装置から地図データを受信し、および／または位置特定装置から位置特定データを受信するように構成される。走行可能道路検出部、地図ベースの走行可能道路検出部、光学センサベースの走行可能道路検出部、および／または融合部は、以下に概説するタスクを実行するコンピュータまたはプロセッサの一部であってもよい。コンピュータは、以下に概説するタスクを実行するために必要なハードウェア（例えば、プロセッサ、メモリ、ストレージ）およびソフトウェア（例えば、オペレーティングシステム、プログラム）を含む。

地図ベースの走行可能道路検出部は、地図データおよび位置特定データに基づいて、車両の周囲を表すグリッドを生成、作成、および／または計算するように構成される。したがって、地図ベースの走行可能道路検出部は、地図データおよび位置特定データを処理する。位置特定データは、地図データによって表される地図内のどの点に車両が位置するかを示す。グリッドは、車両の周囲を示す。

グリッドは、複数のセルを有する、または複数のセルから構成される第１占有グリッドであってもよい。各セルは、車両の周囲のそれぞれの領域に対応する。グリッドの各セルは、セルによって表される領域が走行可能である可能性を示す第１信頼度に関連付けられている。信頼度は、信頼水準とみなされてもよい。グリッドと各セルに対するそれぞれの信頼度または信頼水準との組み合わせを第１占有グリッドとみなしてもよい。車両が移動している場合、車両の位置が変化して位置特定データが変化するので、地図ベースの走行可能道路検出部は、第１占有グリッドを更新する必要がある。

第１および第２占有グリッドは、車両の周囲の表現であり得、複数のセルを含むことができ、複数のセルの各々は、周囲環境が走行可能であることのそれぞれの信頼度に関連付けられている。したがって、信頼度は、グリッドのそれぞれのセルに対応する領域が占有されているかどうかの情報を含む。これは、実世界における領域が非占有であることが、この領域が走行可能であり得ることの前提条件だからである。信頼度は、最小値（例えば、０または０％）と最大値（例えば、１または１００％）との間の値とすることができる。

各セルの信頼度が高いほど、グリッドのそれぞれのセルに対応する領域が走行可能である尤度が高くなる。例えば、信頼度０は、それぞれのセルに対応する領域が走行可能でないことを示し、信頼度１は、実世界のそれぞれの領域が確実に走行可能であることを示す。

光学センサベースの走行可能道路検出部は、走行可能道路検出部の一部であってもよく、画像データおよび／または幾何学的データを受信することができるように、光学検知装置に電子的におよび／または通信可能に接続または結合することができる。光学センサベースの走行可能道路検出部は、上述のようにコンピュータの一部であってもよい。光学センサベースの走行可能道路検出部は、画像データおよび／または幾何学的データに基づいて、車両の周囲を表すグリッドを生成、作成、および／または計算するように構成される。地図ベースの走行可能道路検出部によって生成されるグリッドと同様に、グリッドは、実世界の対応する領域を表す複数のセルを含む。グリッドの各セルは、セルによって表される領域が走行可能であるか否かを示す第２信頼度に関連付けられる。グリッドと各セルに対するそれぞれの信頼度との組み合わせを第２占有グリッドとみなしてもよい。

光学センサベースの走行可能道路検出部は、ディープラーニングソリューション（例えば、畳み込みニューラルネットワーク（ＣＮＮ）などのディープニューラルネットワーク（ＤＮＮ）を使用する）を含んでもよい。ニューラルネットワークまたは人工知能（ＡＩ）は、画像データおよび／または幾何学的データに基づいて、走行可能道路または走行可能な車両の周囲の部分を識別するために使用される。光学センサベースの走行可能道路検出部は、道路上の他の車両または物体を識別するように構成されてもよい。光学センサベースの走行可能道路検出部のこれらの機能は、訓練されてもよい。

第２信頼度は、走行可能道路を識別するためのニューラルネットワークの特性または能力に基づいて計算されてもよいし、他の方法で生成されてもよい。例えば、車両が霧や画像データの品質を低下させる他の環境条件に囲まれているときなど、画像データが低品質であると認識される場合、光学センサベースの走行可能道路検出部は、それぞれのセルに対する信頼度を下げるように構成されている。しかしながら、走行可能道路の識別の信頼度を評価するための他の基準が適用されてもよい。

画像データおよび／または幾何学的データから生成されるグリッドは、複数のセルから構成されてもよい。各セルは、車両の周囲のそれぞれの領域に対応する。グリッドの各セルは、セルによって表される領域が走行可能である可能性を示す第２信頼度に（上述の方法によって）関連付けられている。グリッドと各セルに対するそれぞれの信頼度との組み合わせを第２占有グリッドとみなしてもよい。車両が移動している場合、車両の位置が変化して画像データおよび／または幾何学的データが変化するので、光学センサベースの走行可能道路検出部は、第２占有グリッドを更新する必要がある。

融合部は、走行可能道路検出部の一部であってもよく、第１占有グリッドおよび第２占有グリッドを受信するために、地図ベースの走行可能道路検出部および光学センサベースの走行可能道路検出部に電子的におよび／または通信可能に接続または結合されてもよい。融合部は、上述のコンピュータの一部または機能ユニットであってもよい。

融合部は、新たな第３占有グリッドを作成するために、第１占有グリッドと第２占有グリッドとを融合するように構成される。この融合プロセスは、第１占有グリッドおよび第２占有グリッドの処理に相当する。特に、第１占有グリッドの各セルの第１信頼度を、第２占有グリッドの対応するセルの第２信頼度と関連付けてから融合させることができる。しかしながら、融合ステップはこれに限定されない。第１占有グリッドの各セルの第１信頼度を、第２占有グリッドの複数の対応するセルの第２信頼度と関連付けてから融合させることができ、あるいはその逆も可能である。また、第１占有グリッドの複数のセルの第１信頼度または第１信頼水準を、第２占有グリッドの複数の対応するセルの第２信頼度または第２信頼水準と関連付けてから融合させることもできる。融合プロセスは、第１および第２占有グリッドの整列のための初期段階を有してもよい。例えば、占有グリッドを空間的に整列させることが有益であり得る。これについては、以下でより詳細に説明する。

第３信頼度または第３信頼水準は、第１信頼水準および第２信頼水準の（数学）関数とすることができる。第３信頼度は、このように、第１信頼度および第２信頼度の情報に基づく。融合プロセスは、各セルに対して個別に、または第１占有グリッドと第２占有グリッドとを結合／融合することによって行われてもよい。

第３占有グリッドは、このように、地図データおよび位置特定データに基づく情報、ならびに画像データおよび／または幾何学的データからの情報を含む。第３占有グリッドを生成するためにより多くの情報が使用されるので、走行可能道路の予測は、精度が高く正確である可能性がより高い。

制御部は、本発明に必須ではない。制御部は、車両を自律的または半自律的に運転するための公知の制御部によって実装することができる。本発明は、制御部が動作するために基づく情報／データを提供することにあるとみなすことができる。

制御部は、第３占有グリッドを受信するために、融合部に電子的におよび／または通信可能に接続または結合することができる。制御部は、上述のコンピュータの一部または機能ユニットであってもよい。制御部は、走行可能な道路上で車両を運転するためのステアリング装置、スロットル装置（加速装置ともいう）、およびブレーキ装置を制御するための信号を生成するように構成される。ステアリング装置、スロットル装置、およびブレーキ装置は、車両を（機械的に）ナビゲートするための制御装置の一部であってもよい。

ステアリング装置は、車両の向きまたは進行方向を調整するための車両の一部とすることができる。スロットル装置もまた、モータまたはエンジンの速度を制御し、ひいては車両の速度および加速度を制御するための車両の一部であってよい。ブレーキ装置は、車両の車輪またはタイヤの速度を緩めるための摩擦を提供することによって車両を減速させるための車両の一部とすることができる。ステアリング装置、スロットル装置、および破断装置は、制御部によって出力される信号に基づいて制御されてもよい。

制御部は、走行可能道路（第３占有グリッド）の情報に基づいて車両をナビゲートするためのアルゴリズムを実行してもよいし、かつ／またはそのようなニューラルネットワーク（ＡＩ）を含んでもよい。

駆動装置は、車両の一部であってもよく、それぞれ位置特定入力ポートおよび光入力ポートによって、位置特定装置および光学検知装置に電子的におよび／または通信可能に接続または結合される。言い換えると、位置特定装置は、位置特定入力ポートを介して駆動装置に入力される位置特定データを出力し、光学検知装置は、光入力ポートを介して駆動装置に入力される画像データおよび／または幾何学的データを出力する。地図ベースの走行可能道路検出部は、位置特定入力ポートに電子的に接続または結合される。光学センサベースの走行可能道路検出部は、光入力ポートに電子的におよび／または通信可能に接続または結合される。

任意選択の実施形態では、前記地図ベースの走行可能道路検出部は、前記位置特定データの位置特定精度および前記地図データの更新日に基づいて算出された前記第１信頼度を作成するように構成されている。任意選択で、前記光学センサベースの走行可能道路検出部は、前記画像データのセマンティックセグメンテーションの処理の不確実性に基づいて前記第２信頼度を作成するように構成されている。

地図ベースの走行可能道路検出部は、車両の位置特定の精度を判定するための機能を含んでもよい。例えば、ＧＰＳ信号の信号強度、ＧＰＳ信号が受信される衛星の数、および／または他の特性が、車両の位置特定または位置の精度を判定するために使用されてもよい。地図ベースの走行可能道路検出部は、ＧＰＳまたは全地球航法衛星システム（ＧＮＳＳ）を使用して判定された車両の位置に関する情報と慣性計測ユニット（ＩＭＵ）からのデータとを結合して、位置特定データの精度を高めてもよい。地図ベースの走行可能道路検出部は、位置特定の精度に基づいて信頼度を算出または計算するための処理システムおよび／または機能を含んでもよい。例えば、地図ベースの走行可能道路検出部は、第１信頼度を位置特定精度に結び付ける（数学）関数を含む。

第１信頼度はまた、地図データの更新日に基づいてもよい。例えば、最終更新までの期間が長くなるほど、第１信頼度は小さくなり得る。言い換えると、地図のバージョンが古いほど、地図データが正確である可能性は低くなる。例えば、最終更新と第１信頼度の算出との間に経過した時間が長いほど、地図データが正確である可能性は低くなる。地図データが最新でない別の原因として、セマンティック情報、例えば、走行可能道路、舗装道路、線路などの別々のラベルが考えられる。したがって、第１信頼度は、地図データが最新である状態と比較して低くなる必要がある。例えば、地図ベースの走行可能道路検出部は、第１信頼度を地図データの最終更新から経過した期間に結び付ける（数学）関数を含む。

光学センサベースの走行可能道路検出部は、画像データおよび／または幾何学的データのセマンティックセグメンテーションの処理の不確実性を考慮して第２信頼度を決定するための機能を含んでもよい。例えば、光学センサベースの走行可能道路検出部は、画像データのセマンティックセグメンテーションの処理の不確実性に基づいて、第２信頼度を算出または計算する。光学センサベースの走行可能道路検出部は、第２信頼度を画像データのセマンティックセグメンテーションの処理の不確実性に結び付ける（数学）関数を含んでもよい。セマンティック情報は、走行可能道路、舗装道路、車両、および／または車両の周囲に関する他の情報を指し得る。

画像データのセマンティックセグメンテーションの処理の不確実性は、光学センサベースの走行可能道路検出部によって決定されてもよい。この目的のために、光学センサベースの走行可能道路検出部は、画像データのセマンティックセグメンテーションの処理の不確実性を示す統計または他のタイプの情報を含んでもよい。例えば、統計または他のタイプの情報は、処理の不確実性を決定することができる画像データのセマンティックセグメンテーションのプロセスをシミュレートすることによって収集され得る。

任意選択の実施形態では、前記第１占有グリッドの第１解像度は、前記第２占有グリッドの第２解像度とは異なり、任意選択で、前記融合部は、前記第１占有グリッドおよび前記第２占有グリッドのうちのより高い方の解像度と一致するように、前記第１占有グリッドまたは前記第２占有グリッドのうちのより低い方の前記解像度を修正するように構成されたグリッド解像度更新部をさらに含み、さらに任意選択で、前記融合部は、前記グリッド解像度更新部によって修正された前記第１占有グリッドと前記第２占有グリッドとを融合するように構成されている。

第１解像度は、地図データの粗さによって決定されてもよい。地図データの粗さがグリッドの解像度を決定する。例えば、各セルのサイズ（言い換えると、実世界で各セルがカバーする領域）に対応し得るグリッドの解像度は、単位領域当たりのデータ点の数によって決定され得る。

第２解像度は、光学検知装置の分解能によって決定されてもよい。例えば、光学センサ装置のカメラの画素分解能は、周囲の画像の解像度、したがって、画像データおよび／または幾何学的データの粗さを決定し得る。画像データおよび／または幾何学的データの粗さは、単位セルのサイズ、したがって、単位セルに対応する実世界の領域を決定し得る。言い換えると、１画素に対応する実世界の領域は、第２解像度に等しい。光学検知装置がＬｉＤＡＲまたはレーダを含む場合、光学検知装置の分解能にも同様の議論が適用される。

加えて、第２解像度は、実世界の物体のカメラからの距離によって決まる。物体がカメラから離れるほど、物体を撮像するのに必要な画素数は少なくなる。したがって、第２解像度は、車両の動きに起因して変化し得る。結果として、第１解像度は通常、第２解像度とは異なっている。

グリッド解像度更新部は、上述のコンピュータの一部または機能ユニットであってもよい。グリッド解像度更新部は、第１解像度を第２解像度に、または第２解像度を第１解像度に、調整もしくは一致させるために設けられてもよい。グリッド解像度更新部は、第１解像度および第２解像度のより低い解像度に変化させてもよい。

第１解像度または第２解像度の修正は、補間、平均化、および／またはグリッドの解像度を高めるための他の数学的方法によって行われてもよい。融合は、入力の離散ガウス平均化の適用からなる可能性がある。例えば、セルは、解像度を高めるために複数のサブセルに分割される。サブセルの数は、より高い解像度を有する占有グリッドのセルの数と一致するように選択される。サブセルの信頼度は、前のセルの値、隣接セル間の平均値を有してもよく、および／または、１つの隣接セルからサブセルへの、サブセル間の、およびサブセルから別の隣接セルへの円滑な遷移があるように補間される。信頼度を修正する方法の１つは、他のセルへのそれらの近接度に基づいており、例えば、結果として得られるセルの値は周囲のセルの値によって規定される。これが補間の例である。

融合部は、修正された解像度に基づいて第１および第２占有グリッドを融合してもよい。これにより、第１占有グリッドからの各セルを第２占有グリッドの対応するセルに一致させることが可能になる。

任意選択の実施形態では、前記第１占有グリッドの前記第１解像度は、前記第２占有グリッドの前記第２解像度よりも低く、任意選択で、前記グリッド解像度更新部は、前記第２占有グリッドの前記第２解像度と一致するように、前記第１占有グリッドの前記第１解像度を修正するように構成されている。

光学検知装置の解像度が高いため、地図データの粗さにより、第２占有グループと比較して第１占有グリッドの解像度はより低くなる。この場合、グリッド解像度更新部は、上述したように第１占有グリッドの解像度を上げる。このステップの後、第１占有グリッドの解像度は第２占有グリッドの解像度と一致する。したがって、融合部は、第１占有グリッドの各セルと第２占有グリッドの対応するセルとを融合させることができる。

グリッド解像度更新部は、第１占有グリッドの各セルが第２占有グリッドに同じサイズおよび／または位置を有する対応するセルを有するように、第１占有グリッドおよび第２占有グリッドを修正するように構成された部分として集約され得る。この目的のために、グリッド解像度更新部は、第１占有グリッドおよび／または第２占有グリッド内のセルを追加、削除、および／または分割してもよい。任意選択で、セルの削除は、より大きい寸法を有する占有グリッドの寸法を、より小さい寸法を有する占有グリッドに揃えるために行われる。例えば、第２占有グリッドは、光学検知装置が撮像することができる領域によって決定される寸法を含む。この領域は、通常、地図データによってカバーされる領域よりも小さい。したがって、グリッド解像度更新部は、第１占有グリッドが第２占有グリッドと一致するように、第１占有グリッドおよび／または地図データをクロップしてもよい。これは、第２占有グリッドに対応するセルを有さない第１占有グリッドからセルを削除することによって行われてもよい。

任意選択の実施形態では、前記第１信頼度および前記第２信頼度の欠損値は、前記第１信頼度および前記第２信頼度の最大値と、前記第１信頼度および前記第２信頼度の最小値との間に設定され、任意選択で、前記融合部は、前記第１欠損信頼値または前記第２欠損信頼値を前記最大値と前記最小値との間の所定値に設定するように構成された対処部をさらに含む。

地図データ、画像データおよび／または幾何学的データは、それぞれ、第１占有グリッドおよび第２占有グリッドを完全にカバーするために必要とされるであろう特定のデータ点が欠損している可能性がある。これらの欠損しているデータ点は、第１および／または第２信頼度の欠損値とみなすことができる。したがって、「欠損値」は、第１占有グリッドおよび／または第２占有グリッドの欠損しているエントリを指し得る。言い換えると、第１占有グリッドおよび／または第２占有グリッドのセルは、それぞれの信頼度に関連付けられないことがある。

代替的に、第１占有グリッドおよび第２占有グリッドは完全であるが、占有グリッドのいくつかのセルは信頼度が欠けていることがある。どちらの場合も、第１および第２信頼度の値は欠損している。これらの欠損値は、画像データ、幾何学的データおよび／または地図データを取得および／または処理する際の測定アーチファクトおよび／または他の矛盾に起因し得る。

対処部は、これらの欠損値を埋めてもよい。対処部は、上述のコンピュータの一部または機能ユニットであってもよい。対処部は、信頼度の最大値と最小値との間の欠損値を設定するように構成されてもよい。例えば、最大値および最小値は可能な信頼度範囲の境界を指し、最大値は１であり得、および／または最小値はゼロであり得る。最大値および最小値は、近くのグリッドの信頼度、または周囲のグリッドの信頼度の平均とすることが可能である。

対処部は、適応的に、すなわち状況に応じて、欠損値を設定するようにプログラムされてもよい。しかしながら、好ましい実施形態では、対処部は、第１および／または第２信頼度の欠損値を所定値に設定するように構成される。この所定値は、欠損している信頼度の通常値または期待値を考慮して、事前に設定されてもよい。対処部は、第１欠損信頼値のための所定値および第２欠損信頼値のための別の所定値を設定するように構成されてもよい。

任意選択の実施形態では、所定値は最大値と最小値との平均である。対処部は、欠損値を、最大値と最小値との平均である固定値、例えば０．５に設定してもよい。

任意選択の実施形態では、前記融合部は、前記第１信頼度と前記第２信頼度との平均を計算することによって前記第３占有グリッドを作成するように構成されている。

本実施形態では、第１占有グリッドと第２占有グリッドとの融合は、第１占有グリッドの特定のセルの信頼度および第２占有グリッドの対応するセルの信頼度の平均を算出することによって行われる。これは、（第３占有グリッドのセルに対応する）特定の実世界領域の第３の、すなわち融合された信頼度が、（第１占有グリッドの対応するセルに対応する）同じ実世界領域の第１信頼度および（第２占有グリッドの対応するセルに対応する）同じ実世界領域の第２信頼度の平均値であることを意味する。言い換えると、第３占有グリッドは、第１および第２の占有グループのそれぞれのセルの第１および第２信頼度をそれぞれ平均化することによって取得される。この融合方法は、計算労力をほとんど必要とせず、したがって、短期間で算出される。この融合アプローチは、決定論的であると考えてもよい。

代替的なおよび／または追加的な任意選択の実施形態では、前記融合部は、ベイズの規則を使用することによって前記第３占有グリッドを作成するように構成され、任意選択で、前記走行可能道路検出部は、前記第１占有グリッドとのマップマッチングアルゴリズムを使用することによって前記第２信頼度が真である尤度を計算するように構成された尤度計算部をさらに含む。この融合アプローチは確率論的であるとみなされてもよい。

ベイズの規則（あるいはベイズの法則またはベイズの定理）は、事象に関連し得る条件の予備知識に基づいて、事象の確率を表す。ここで、道路が走行可能である尤度ｐ（Ｍ_ｘ，ｙ｜ＡＩ_ｘ，ｙ）は、地図データ（第１信頼度または第１信頼水準）に基づいて道路が走行可能である尤度ｐ（Ｍ_ｘ，ｙ）と、画像データおよび／または幾何学的データ（第２信頼度または第２信頼水準）に基づいて道路が走行可能である尤度ｐ（ＡＩ_ｘ，ｙ）と、初期信念または第１信頼水準（尤度ｐ（Ｍ_ｘ，ｙ））が与えられたときに第２信頼水準（尤度ｐ（ＡＩ_ｘ，ｙ））がどの程度真であるかの尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）とによって決まる。インデックスｘ，ｙは、第１占有グリッドのセルＭおよび第２占有グリッドのセルＡＩの個別のセルインデックスを示す。詳細には、これらの尤度は以下の式によって結び付けられる。

尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は、上述のコンピュータの一部または機能ユニットであり得る尤度計算部を使用して算出／計算される。尤度計算部は、ＩＣＰ（Iterative Closest Point）やＮＤＴ（Normal Distributions Transform）などの周知のマップマッチングアルゴリズムを実行するように構成されてもよい。ＩＣＰは、２つの点群間の差を最小にするために用いられるアルゴリズムである。ＮＤＴでは、正規分布が各セルに割り当てられ、各セルは点を測定する確率を局所的にモデル化する。変換の結果は、区分的に連続した微分可能な確率密度である。ＩＣＰおよびＮＣＰは当業者に公知であり、これらの変換技術のさらなる説明は実質的に無用である。尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は、マップマッチング結果の不確実性に反比例する。不確実性は、マップマッチングアルゴリズムの共分散行列から推定され得る。

記憶装置、位置特定装置、駆動部、走行可能道路検出部、地図ベースの走行可能道路検出部、光学センサベースの走行可能道路検出部、融合部、制御部、グリッド解像度更新部、対処部、および／または尤度計算部は、相互接続、ネットワーク、バス、および／またはこれらの組み合わせを介して、互いに通信可能におよび／または電子的に結合されてもよい。例えば、これらの構成要素は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに結合されてもよい。ＣＡＮバスは、マイクロコントローラおよびデバイスがホストコンピュータなしでアプリケーションにおいて互いに通信することができるように設計された車両バス規格である。

自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法は、以下のステップを備える。
ａ）位置特定装置を使用して前記車両の位置特定データを生成するステップ、
ｂ）光学検知装置を使用して前記車両の周囲の画像データおよび／または幾何学的データを生成するステップ、
ｃ）走行可能道路検出部によって、記憶装置から地図データを受信し、前記位置特定装置から前記位置特定データを受信し、前記地図データおよび／または前記位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するステップ、
ｄ）光学センサベースの走行可能道路検出部によって、前記光学検知装置から前記画像データおよび／または前記幾何学的データを受信し、前記画像データおよび／または前記幾何学的データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するステップ、および
ｅ）融合部によって、前記第１占有グリッドと前記第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するステップ。

任意選択的に、本方法は、制御部によって、前記第３占有グリッドに基づいて、前記車両を運転するステップを追加的に含む。

駆動装置および車両に関する上記のコメント、注釈、および任意選択の実施形態は、自動モードおよび／または運転支援モードで車両を運転するためのコンピュータ実装された方法にも同様に適用される。本方法は、走行可能道路検出部、光学センサベースの走行可能道路検出部、融合部、および／または制御部の機能を実行するコンピュータによって実行されてもよい。

任意選択の実施形態では、前記第１占有グリッドを作成するステップは、前記位置特定データの位置特定精度および前記地図データの更新日に基づいて算出される前記第１信頼度を作成することを含み、任意選択で、前記第２占有グリッドを作成するステップは、前記画像データのセマンティックセグメンテーションの処理の不確実性に基づいて算出される前記第２信頼度を作成することを含む。

任意選択の実施形態では、前記第１占有グリッドの第１解像度は、前記第２占有グリッドの第２解像度とは異なり、任意選択で、前記第３占有グリッドを作成するステップは、グリッド解像度更新部を使用して、前記第１占有グリッドおよび前記第２占有グリッドのうちのより高い方の解像度と一致するように、前記第１占有グリッドまたは前記第２占有グリッドのうちのより低い方の前記解像度を修正することを含み、さらに任意選択で、前記第３占有グリッドを作成するステップは、前記グリッド解像度更新部によって修正された前記第１占有グリッドと前記第２占有グリッドとを融合することをさらに含む。

任意選択の実施形態では、前記第１占有グリッドの前記第１解像度は、前記第２占有グリッドの前記第２解像度よりも低く、任意選択で、前記第３占有グリッドを作成するステップは、前記第２占有グリッドの前記第２解像度と一致するように、前記第１占有グリッドの前記第１解像度を修正することを含む。

任意選択の実施形態では、第１および第２信頼度の欠損値が最大値と最小値との間に設定され、任意選択で、第３占有グリッドを作成するステップは、第１または第２欠損信頼値を、最大値と最小値との間の所定値に設定することをさらに含む。

任意選択の実施形態では、前記所定値は、前記最大値と前記最小値との平均である。

任意選択の実施形態では、前記第３占有グリッドを作成するステップは、前記第１信頼度と前記第２信頼度との平均を計算することによって前記第３占有グリッドを作成することをさらに含む。

任意選択の実施形態では、前記第３占有グリッドを作成するステップは、ベイズの規則を使用することによって前記第３占有グリッドを作成することをさらに含み、任意選択で、前記第１占有グリッドを作成するステップは、前記第１占有グリッドとのマップマッチングアルゴリズムを使用することによって前記第２信頼度が真である尤度を計算することをさらに含む。

本発明はさらに、プログラムがコンピュータによって実行されると、コンピュータに上述の方法のステップを実行させる命令を含むコンピュータプログラムに関する。

本発明はまた、コンピュータによって実行されると、コンピュータに上述の方法のステップを実行させる命令を含むコンピュータ可読記憶媒体に関する。

本発明の任意選択の実施形態を、添付の図面と併せて説明する。

図１は、相互接続された車両のブロック図を示す。 図２は、図１に係る車両の駆動装置のブロック図を示す。 図３は、図２に係る駆動装置の基本的な機能を示すフロー図である。 図４ａは、図２に係る駆動装置によって実行されるステップを示すフロー図を示す。 図４ｂは、図２に係る駆動装置によって実行されるステップを示すフロー図を示す。 図４ｃは、図２に係る駆動装置によって実行されるステップを示すフロー図を示す。

図１は、ネットワーク１６によってサーバ１２および１つ以上の他の車両１４に電子的に接続された車両１０を示す。車両１０は、任意の種類の自走式自動車とすることができ、好ましくは道路上を走行するように構成される。例えば、車両１０は、車両１０の車輪を駆動するためのエンジンおよび／または電気モータを備える。

サーバ１２は、そのストレージへのアクセスを可能にするコンピュータまたはコンピュータシステムであってもよい。サーバ１２は、車両１０または他の車両１４が走行することができる走行可能道路の地図を示す地図データを記憶してもよい。サーバ１２は、地図データを更新するように構成することができる。地図データの更新は、外部入力によって達成することができ、および／またはサーバ１２は、ネットワーク１６を介して、車両１０および／または他の車両１４から更新された地図データを受信してもよい。

他の車両１４は、車両１０と同じ道路を走行してもよい。他の車両は、車両１０と同じ型またはモデルであってもよいし、異なる型またはモデルであってもよい。ネットワーク１６は、モバイル通信ネットワークおよび／または無線ローカルエリアネットワーク（ＷＬＡＮ）を含んでもよい。

車両１０は、光学検知装置２０、位置特定装置２２、制御装置２４、通信装置２６、および／または駆動装置３０を含む。光学検知装置２０、位置特定装置２２、制御装置２４、通信装置２６、および／または駆動装置３０は、データまたは他のタイプの情報を交換するために、互いに通信可能におよび／または電子的に接続されている。

光学検知装置２０は、１つ以上のカメラ、ＬｉＤＡＲ装置、および／またはレーダ装置を含んでもよい。カメラはステレオカメラであってもよい。光学検知装置２０は、車両１０の周囲を撮像することができる。特に、光学検知装置２０は、車両１０の周囲の３Ｄ表現を提供するように構成される。光学検知装置２０は、車両１０の周囲を画像データおよび／または幾何学的データとして出力する。

位置特定装置２２は、車両１０の位置を判定するための装置であってもよい。位置特定装置２２は、ＧＰＳ（全地球測位システム）トランシーバとすることができる。位置特定装置２２は、車両１０の位置を位置特定データとして出力するように構成される。

制御装置２４は、車両１０を運転またはナビゲートするために制御される必要がある車両１０の（機械的な）構成要素を含む。制御装置２４は、車両１０を走行可能な道路上で走行させるためのステアリング装置、スロットル装置（加速装置ともいう）、およびブレーキ装置を含んでもよい。

ステアリング装置は、車両１０の向きまたは進行方向を調整するための車両１０の一部とすることができる。スロットル装置もまた、モータまたはエンジンの速度を制御し、ひいては車両１０の速度および加速度を制御するための車両１０の一部であってよい。ブレーキ装置は、車両１０の車輪またはタイヤの速度を緩めるための摩擦を提供することによって車両１０を減速させるための車両１０の一部とすることができる。ステアリング装置、スロットル装置、および破断装置は、制御部３４によって出力される信号に基づいて制御されてもよい。

通信装置２６は、ネットワーク１６を介して車両１０の通信を可能にする任意の構成要素であってよい。通信装置２６は、ネットワーク１６とデータを交換するための有線または無線トランシーバを含んでもよい。通信装置２６は、車両１０がサーバ１２と通信することができるインターフェースとみなされてもよい。通信装置２６はまた、他の車両１４との直接的な通信を容易にし得る。

駆動装置３０は、複数のプロセッサ（図示せず）と記憶装置３３とを含むコンピュータまたはコンピュータシステムとみなすことができる。駆動装置３０は、記憶装置３３に記憶され得る複数のアルゴリズムを実行するように構成されている。駆動装置３０によって処理される複数のアルゴリズムは、車両１０を自律的および／または半自律的にナビゲートすることを可能にする。駆動装置３０は、車両１０のオートパイロットまたは運転支援システムとみなされてもよい。

この目的のために、駆動装置３０は、走行可能道路検出部３２および／または制御部３４に関連付けることができる様々な機能を実行することができる。これらの部品の各々は、車両１０の自律的および／または半自律的ナビゲーションを達成するために特定のアルゴリズムを実行する駆動装置３０の一部または機能ユニットとみなすことができる。走行可能道路検出部３２は、地図ベースの走行可能道路検出部３２ａ、尤度計算部３２ｂ、光学センサベースの走行可能道路検出部３２ｃ、および／または融合部３２ｄを含むことができる。したがって、部品３２（特に、部品３２ａ、３２ｂ、３２ｃ、および／または３２ｄ）、および／または３４は、コンピュータソフトウェアまたはプログラムの実装とみなすことができる。

部品３２、３２ａ、３２ｂ、３２ｃ、３２ｄ、および／または３４のためのアルゴリズムまたは命令は、記憶装置３３に記憶することができる。駆動装置３０は、位置特定入力ポート３５を介して位置特定装置２２から位置特定データを受信することができる。同様に、駆動装置３０は、光入力ポート３６を介して光学検知装置２０から画像データおよび／または幾何学的データを受信することができる。位置特定入力ポート３５および／または光入力ポート３６は、それぞれ、駆動装置３０と位置特定装置２２および光学検知装置２０との通信を可能にするインターフェースとみなすことができる。

地図ベースの走行可能道路検出部３２ａは、記憶装置３３から地図データを受信し、位置特定入力ポート３５を介して位置特定装置２２から位置特定データを受信するように構成される。

地図ベースの走行可能道路検出部３２ａは、地図データおよび／または位置特定データに基づいて第１占有グリッドを作成するようにさらに構成される。第１占有グリッドは、車両１０の周囲の表現であり、複数のセルを含み、複数のセルの各々は、周囲環境が走行可能であることの第１信頼度に関連付けられている。したがって、第１占有グリッドの各セルの第１信頼度は、第１占有グリッドのセルに対応する実世界の領域が走行可能である可能性を示す。第１信頼度は、尤度ｐ（Ｍ_ｘ，ｙ）とみなすことができる。したがって、ｐ（Ｍ_ｘ，ｙ）は、信頼度ｐを各セルＭ_ｘ，ｙに結び付ける関係やテーブルなどであり、ｘ，ｙは、占有グリッドの個別のセルインデックスを示す。

地図ベースの走行可能道路検出部３２ａは、複数のセルＭ_ｘ，ｙを含むグリッドを生成し、各セルは、車両１０の周囲の特定の領域に対応する。そして、地図ベースの走行可能道路検出部３２ａは、各セルＭ_ｘ，ｙと、それぞれのセルに対応する実世界の領域が走行可能であるか否かの可能性を示す信頼度ｐとを関連付ける。この関連付けは、第１占有グリッドｐ（Ｍ_ｘ，ｙ）をもたらす。

尤度ｐ（Ｍ_ｘ，ｙ）は、位置特定装置２２によって決定された位置特定データの位置特定精度および／または地図データの最終更新日に基づいて算出または決定される。位置特定データの位置特定精度が低いほど、特定のセルに対応する実世界の領域が走行可能である尤度ｐ（Ｍ_ｘ，ｙ）が低くなる。同様に、地図データの最終更新がより過去に行われているほど、特定のセルに対応する実世界の領域が走行可能である尤度ｐ（Ｍ_ｘ，ｙ）は小さくなる。一方では位置特定精度および／または最終更新時刻と、尤度ｐ（Ｍ_ｘ，ｙ）との間の関係は、数学関数、テーブル、または記憶装置３３内に記憶することができる任意の他のタイプの関係とすることができる。

光学センサベースの走行可能道路検出部３２ｃは、位置特定入力ポート３５を介して光学検知装置２０から画像データおよび／または幾何学的データを受信するように構成される。光学センサベースの走行可能道路検出部３２ｃは、画像データおよび／または幾何学的データに基づいて第２占有グリッドを作成するようにさらに構成される。第２占有グリッドは、車両１０の周囲の表現であり、複数のセルを含み、複数のセルの各々は、周囲環境が走行可能であることの第２信頼度に関連付けられている。したがって、第２占有グリッドの各セルは、第２占有グリッドのセルに対応する実世界の領域が走行可能である可能性を示す。第２信頼度は、尤度ｐ（ＡＩ_ｘ，ｙ）とみなすことができる。したがって、ｐ（ＡＩ_ｘ，ｙ）は、信頼度ｐを各セルＡＩ_ｘ，ｙに結び付ける関係やテーブルなどであり、ｘ，ｙは、占有グリッドの個別のセルインデックスを示す。

光学センサベースの走行可能道路検出部３２ｃは、このように複数のセルＡＩ_ｘ，ｙを含むグリッドを生成し、各セルは、車両１０の周囲の特定の領域に対応する。そして、光学センサベースの走行可能道路検出部３２ｃは、各セルＭ_ｘ，ｙと、それぞれのセルに対応する実世界の領域が走行可能であるか否かの可能性を示す信頼度ｐとを関連付ける。この関連付けは、第２占有グリッドｐ（ＡＩ_ｘ，ｙ）を与える。

尤度ｐ（ＡＩ_ｘ，ｙ）は、ニューラルネットワークまたは他の形態の人工知能（ＡＩ）を使用して、画像データおよび／または幾何学的データに基づいて算出または計算される。第２占有グリッドｐ（ＡＩ_ｘ，ｙ）を決定するために、当業者に公知の技術を使用することができる。

尤度計算部３２ｂは、ＩＣＰ（Iterative Closest Point）やＮＤＴ（Normal Distributions Transform）などの周知のマップマッチングアルゴリズムを使用して、尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）を計算または算出する。尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は、尤度ｐ（Ｍ_ｘ，ｙ）を考慮して、観測値ｐ（ＡＩ_ｘ，ｙ）がどの程度真であるか、または可能性があるかを示す。尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は、マップマッチング結果の不確実性に反比例する。不確実性は、マップマッチングアルゴリズムの共分散行列から推定され得る。

融合部３２ｄは、第１占有グリッドと第２占有グリッドとを融合して、新たな第３占有グリッドを作成する。第３占有グリッドの各セルは、このセルに対応する実世界の領域が走行可能であるか否かの第３信頼度に関連付けられる。特に、融合部３２ｄは、第１占有グループの各セルの第１信頼度を、第２占有グリッドの対応するセルの第２信頼度と融合する。

第３信頼度は、それぞれのセルに対応する実世界の領域が走行可能であるか否かの可能性を示す尤度ｐ（ｐ（ＡＩ_ｘ，ｙ）；ｐ（Ｍ_ｘ，ｙ））である。尤度ｐ（ｐ（ＡＩ_ｘ，ｙ）；ｐ（Ｍ_ｘ，ｙ））は、尤度ｐ（Ｍ_ｘ，ｙ）、ｐ（ＡＩ_ｘ，ｙ）、および／またはｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）によって決まる。

一実施形態では、第３占有グリッドを作成するための第２占有グリッドにおける第１占有グループの融合は、以下の式を使用して行われる。

この式はベイズの規則に基づいており、確率論的融合アプローチに相当する。

別の実施形態では、第３占有グリッドを作成するための第２占有グリッドにおける第１占有グループの融合は、以下の式を使用して行われる。

本実施形態では、尤度ｐ（ｐ（ＡＩ_ｘ，ｙ）；ｐ（Ｍ_ｘ，ｙ））は、ｐ（Ｍ_ｘ，ｙ）とｐ（ＡＩ_ｘ，ｙ）との平均である。この場合、尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は不要であり、尤度計算部３２ｂは省略することができる。この式は、決定論的融合アプローチに相当する。

融合部３２ｄは、グリッド解像度更新部３２ｄ１および／または対処部３２ｄ２を含んでもよい。グリッド解像度更新部３２ｄ１は、第１占有グリッドおよび第２占有グリッドの解像度が不一致である状況に対処する。これは、２つの占有グリッドの一方のセルが、２つの占有グリッドの他方に対応するセルを有さないことを意味する。言い換えると、実世界の特定の領域は、第１占有グリッドと第２占有グリッドとの両方に対応するセルを有さない。

これらの解像度の差は、画像データ、幾何学的データ、位置特定データ、および地図データの異なる粗さに基づき得る。この場合、第１占有グリッドの各セルと第２占有グリッドの対応するセルとを融合させることは不可能である。２つの占有グリッドの一方のセルの数を、２つの占有グリッドの他方のセルの数と揃えるために、より低い解像度（より少ない数のセル）を有する占有グリッドが、グリッド解像度更新部３２ｄ１によって処理される。特に、グリッド解像度更新部３２ｄ１は、セルをサブセルに分割して解像度を高める。サブセルの信頼度は、分割されたセルの信頼度に対応するように選択され得る。しかしながら、補間法または平均法を使用して、サブセルに信頼度を割り当ててもよい。融合部３２ｄは、グリッド解像度更新部３２ｄ１によって更新された占有グリッドに基づいて、２つの占有グリッドを融合する。

対処部３２ｄ２は、第１占有グリッドおよび／または第２占有グリッドの特定のセルが対応する信頼度に帰属できない状況において機能する。この理由は、画像データ、幾何学的データ、地図データの決定におけるアーチファクトおよび／または第１および第２信頼度の処理における誤差であり得る。対処部３２ｄ２は、欠損している信頼度を、信頼度の最小値と最大値との間の所定値に設定する。任意選択の実施形態では、対処部３２ｄ２は、所定値を最大値と最小値との平均に設定する。最小値は、実世界の領域が走行可能でないことを示すゼロであってもよく、最大値は、実世界の領域が１００％の信頼度で走行可能であることを示す１であってもよい。

制御部３４は、車両１０をナビゲートするための駆動信号を生成するために、公知のニューラルネットワークまたは他のタイプの公知の人工知能（ＡＩ）を含んでもよい。駆動システムは、自動運転および／または支援運転（半自動運転）のために使用されてもよい。制御部３４は、駆動信号に基づいてステアリング装置、スロットル装置、および／またはブレーキ装置を制御する制御装置２４に駆動信号を出力するための出力ポートを含むことができる。

車両１０を自律的および／または半自律的にナビゲートする方法を図３と共に説明する。

第１のステップは、地図ベースの検出ステップである。車両１０の前方の走行可能道路は、位置特定装置２２（例えば、ＧＰＳ）を使用した車両１０の位置特定に関する情報と、記憶装置３３から取得した地図データとを考慮して検出される。地図ベースの走行可能道路検出ｐ（Ｍ_ｘ，ｙ）の信頼度は、位置特定精度および地図更新日の関数であり得る。結果として得られる走行可能道路は、所定の寸法および解像度を有する第１占有グリッドの形式で表される。第１占有グリッドの各セルは、周囲環境が走行可能である尤度を表す（例えば、０は走行不可能、０．５は５０％の信頼度で走行可能、１は１００％の信頼度で走行可能）。

第２のステップは、第１のステップと並行して実行され得るＡＩベースの検出ステップである。車両１０の前方の走行可能道路は、光学検知装置２０（例えば、カメラ）と、光学センサベースの走行可能道路検出部３２ｃによって実行されるセマンティックセグメンテーションのためのＡＩとを用いて、リアルタイムで検出される。走行可能道路検出ｐ（ＡＩ_ｘ，ｙ）の信頼度は、ＡＩの不確実性（例えば、ベイジアンニューラルネットワーク）の関数である。結果として得られる走行可能道路は、所定の寸法および解像度を有する第２占有グリッドの形式で表される。第２占有グリッドの各セルは、周囲環境が走行可能である尤度を表す（０は走行不可能、０．５は５０％の信頼度で走行可能、１は１００％の信頼度で走行可能）。

第３のステップは、グリッド寸法および解像度更新ステップである。第１占有グリッドと第２占有グリッドとを融合できるようにするために、占有グリッドの寸法および解像度が同じであることを確実にする必要がある。より低い解像度の占有グリッドは、より高い解像度の占有グリッドのメートル当たりのセルの数に一致するように修正される（例えば、補間を使用して）。より大きい寸法を有する占有グリッドは、より小さい寸法を有する占有グリッドに一致するようにクロップされてもよい。これは、グリッド解像度更新部３２ｄ１によって実行される。さらに、対処部３２ｄ２は、必要に応じて、第１占有グリッドおよび／または第２占有グリッドの欠損している信頼度を埋める。

第４のステップは、ＡＩが真である尤度のステップである。ＡＩの走行可能道路検出ｐ（ＡＩ_ｘ，ｙ）が真である尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は、ＩＣＰおよびＮＤＴのような周知のマップマッチングアルゴリズムアプローチを用いて、地図ベースの検出ｐ（Ｍ_ｘ，ｙ）を考慮して算出される。尤度ｐ（ＡＩ_ｘ，ｙ｜Ｍ_ｘ，ｙ）は、マップマッチングアルゴリズムの出力のうちの１つであるマッチング誤差に反比例する。これは、尤度計算部３２ｂによって実行される。

第５のステップは、最終結果ステップである。ベイズの規則を用いた走行道路検出の新たな信念ｐ（Ｍ_ｘ，ｙ｜ＡＩ_ｘ，ｙ）の場合の融合プロセスの最終的な出力。これは確率論的融合アプローチである。より単純な代替手段は、地図ベースのｐ（Ｍ_ｘ，ｙ）検出とＡＩベースのｐ（ＡＩ_ｘ，ｙ）検出との平均信頼度を計算することによって融合することであろう。これは決定論的融合アプローチである。

図３の車両１０を自律的におよび／または半自律的にナビゲートするための方法を、図４ａ～図４ｃと併せてより詳細に説明する。

図４ａは、上述の第２のステップを説明する。まず、画像データおよび／または幾何学的データが光学検知装置２０から受信される。画像データおよび／または幾何学的データは、車両１０の周囲の３次元画像を生成することを可能にするデータである。車両１０の周囲の画像データまたは３次元画像は、次に、車両１０の座標系のような共通座標系に投影される。光学検知装置２０が画像データおよび／または幾何学的データを生成する複数の光学センサ（例えば、ステレオカメラおよびＬｉＤＡＲ装置）を含む場合、それぞれの光学センサの画像データおよび／または幾何学的データは、コメント座標系における車両１０の周囲の共通の３次元表現に融合される。この目的のために、異なるタイプの画像データおよび／または幾何学的データが、補間、平均化、および／または他のタイプの融合技術を使用して融合され、その結果、共通座標系における融合された画像データおよび／または幾何学的データは、同じ解像度および寸法を有する。

次のステップでは、融合された画像データおよび／または幾何学的データは、事前訓練済みのニューラルネットワークを使用して、走行可能な道路区間および走行不可能な道路区間にセグメント化される。これにより、各区間は、各区間が走行可能であるか否かの可能性を示す推定信頼度に関連付けられる。これは、共通座標系において行われる。

その後、解像度Ｍを有する第２占有グリッドが作成され、これは、セルに対応する道路の区間が走行可能であるか否かの信頼度または尤度にそれぞれ関連付けられた複数のセルを含む。

別の任意選択のステップでは、ニューラルネットワークを訓練するために、全てのセンサからの融合された画像データおよび／または幾何学的データを収集してもよい。走行可能な道路区間はそれに応じてラベル付けされ、ニューラルネットワークの訓練セッションに供給されて、共通座標系におけるセンサデータから走行可能な道路区間をセグメント化する。

図４ｂは、上述の第１のステップを説明する。まず、位置特定データが位置特定装置２２から受信される。位置特定データは、世界座標系にあり、すなわち、共通座標系にはない。同時に、記憶装置３３にアクセスして地図データを受信する。地図データもまた、世界座標系にあり、すなわち、共通座標系にはない。

任意選択のオフラインプロセスでは、関心領域の衛星画像が見つけられ、これらの衛星画像は、実世界座標とそれぞれ位置合わせされる。次に、ジオタグ付きの地図データベースを作成するために、詳細な道路網が衛星画像に描かれる。

位置特定データは、地図データベース内の最も近いウェイポイントまたはノードを見つけるために使用される。これは、依然として世界座標で行われる。選択されたノードに基づいて、ノードの前方（すなわち、車両１０の前方）の領域内の走行可能道路が抽出され、走行可能道路の各区間に信頼度が割り当てられる。このステップは依然として世界座標で行われるので、次のステップとして、走行可能道路は共通座標系、すなわち車両座標系に投影される。投影された走行可能路に基づいて、解像度Ｎを有する第２占有グリッドが作成される。

図４ｃは、上述の第３～第５のステップを説明する。第１のステップでは、解像度Ｎを有する第１占有グリッドおよび解像度Ｍを有する第２占有グリッドが、道路が走行可能であることが関連付けられた信頼度または尤度を有さないセルを含むかどうかがチェックされる。そうである場合、欠損している信頼度は、最小値と最大値との間の平均、例えば０．５であるように割り当てられ得る。加えて、第１占有グリッドと第２占有グリッドの解像度および寸法が一致するかどうかがチェックされる。そうでない場合、より高い解像度および／またはより大きい寸法を有する占有グリッドの解像度および／または寸法がクロップされる。代替的にまたは追加的に、より低い解像度を有する占有グリッドの解像度は、セルをサブセルに分割することによって高められる。サブセルの信頼度は、分割されたセルの信頼度および／または分割されたセルに隣接するセルの信頼度を参照して設定される。

その後、第１占有グリッドと第２占有グリッドとを融合させることによって、新たな第３占有グリッドが作成される。第３占有グループの各セルは、それぞれの第１信頼度とそれぞれの第２信頼度とを融合することによって作成される第３信頼度を有する。融合方法は、上述されている。第３占有グリッドは、第１解像度Ｎおよび第２解像度Ｍの最大値である解像度を有する。

最終的な任意選択のステップにおいて、車両１０は、第３占有グリッドに基づいてナビゲートされる。

Claims (15)

1. 車両（１０）の自動運転および／または支援運転のための駆動装置であって、
   地図データを記憶するように構成された記憶装置（３３）と、
   前記車両（１０）の位置特定データを受信するように構成された位置特定入力ポート（３５）と、
   前記車両（１０）の周囲を示す画像データおよび／または幾何学的データを受信するように構成された光入力ポート（３６）と、
   地図ベースの走行可能道路検出部（３２ａ）を含む走行可能道路検出部（３２）であって、前記地図ベースの走行可能道路検出部（３２ａ）は、前記記憶装置（３３）から前記地図データを受信し、前記位置特定入力ポート（３５）から前記位置特定データを受信するように構成され、かつ前記地図データおよび／または前記位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するように構成されている、走行可能道路検出部（３２）と、を備え、
   前記走行可能道路検出部（３２）は、光学センサベースの走行可能道路検出部（３２ｃ）をさらに含み、前記光学センサベースの走行可能道路検出部（３２ｃ）は、前記光入力ポート（３６）から前記画像データおよび／または前記幾何学的データを受信するように構成され、かつ前記画像データおよび／または前記幾何学的データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するように構成され、
   前記走行可能道路検出部（３２）は、前記第１占有グリッドと前記第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するように構成された融合部（３２ｄ）を含み、
   前記駆動装置（３０）は、前記第３占有グリッドに基づいて、自動運転および／または支援運転のための駆動信号を生成するように構成された制御部（３４）を含み、前記駆動信号は前記車両（１０）に出力される、駆動装置。
2. 車両であって、
   地図データを記憶するように構成された記憶装置（３３）と、
   前記車両（１０）の位置特定データを出力するように構成された位置特定装置（２２）と、
   前記車両（１０）の周囲を示す画像データおよび／または幾何学的データを出力するように構成された光学検知装置（２０）と、
   地図ベースの走行可能道路検出部（３２ａ）を含む走行可能道路検出部（３２）であって、前記地図ベースの走行可能道路検出部（３２ａ）は、前記記憶装置（３３）から前記地図データを受信し、前記位置特定装置（２２）から前記位置特定データを受信するように構成され、かつ前記地図データおよび／または前記位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するように構成されている、走行可能道路検出部（３２）と、を備え、
   前記走行可能道路検出部（３２）は、光学センサベースの走行可能道路検出部（３２ｃ）をさらに含み、前記光学センサベースの走行可能道路検出部（３２ｃ）は、前記光学検知装置（２０）から前記画像データおよび／または前記幾何学的データを受信するように構成され、かつ前記画像データおよび／または前記幾何学的データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するように構成され、
   前記走行可能道路検出部（３２）は、前記第１占有グリッドと前記第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するように構成された融合部（３２ｄ）を含み、
   前記車両（１０）は、前記第３占有グリッドに基づいて、自動運転モードおよび／または支援運転モードで前記車両（１０）を運転するように構成された制御部（３４）を含む、車両。
3. 前記地図ベースの走行可能道路検出部（３２ａ）は、前記位置特定データの位置特定精度および前記地図データの更新日に基づいて算出された前記第１信頼度を作成するように構成され、
   前記光学センサベースの走行可能道路検出部（３２ｃ）は、前記画像データのセマンティックセグメンテーションの処理の不確実性に基づいて前記第２信頼度を作成するように構成されている、請求項１または２に記載の駆動装置または車両。
4. 前記第１占有グリッドの第１解像度は、前記第２占有グリッドの第２解像度とは異なり、
   前記融合部（３２ｄ）は、前記第１占有グリッドおよび前記第２占有グリッドのうちのより高い方の解像度と一致するように、前記第１占有グリッドまたは前記第２占有グリッドのうちのより低い方の前記解像度を修正するように構成されたグリッド解像度更新部（３２ｄ１）をさらに含み、
   前記融合部（３２ｄ）は、前記グリッド解像度更新部（３２ｄ１）によって修正された前記第１占有グリッドと前記第２占有グリッドとを融合するように構成されている、請求項１から３のいずれか一項に記載の駆動装置または車両。
5. 前記第１占有グリッドの前記第１解像度は、前記第２占有グリッドの前記第２解像度よりも低く、
   前記グリッド解像度更新部（３２ｄ１）は、前記第２占有グリッドの前記第２解像度と一致するように、前記第１占有グリッドの前記第１解像度を修正するように構成されている、請求項４に記載の駆動装置または車両。
6. 前記第１信頼度および前記第２信頼度の欠損値は、前記第１信頼度および前記第２信頼度の最大値と、前記第１信頼度および前記第２信頼度の最小値との間に設定され、
   前記融合部（３２ｄ）は、前記第１欠損信頼値または前記第２欠損信頼値を前記最大値と前記最小値との間の所定値に設定するように構成された対処部（３２ｄ２）をさらに含む、請求項１から５のいずれか一項に記載の駆動装置または車両。
7. 前記所定値は、前記最大値と前記最小値との平均である、請求項６に記載の駆動装置または車両。
8. 前記融合部（３２ｄ）は、前記第１信頼度と前記第２信頼度との平均を計算することによって前記第３占有グリッドを作成するように構成されている、請求項１から７のいずれか一項に記載の駆動装置または車両。
9. 前記融合部（３２ｄ）は、ベイズの規則を使用することによって前記第３占有グリッドを作成するように構成され、
   前記走行可能道路検出部（３２）は、前記第１占有グリッドとのマップマッチングアルゴリズムを使用することによって前記第２信頼度が真である尤度を計算するように構成された尤度計算部（３２ｂ）をさらに含む、請求項１から７のいずれか一項に記載の駆動装置または車両。
10. 自動モードおよび／または運転支援モードで車両（１０）を運転するためのコンピュータ実装された方法であって、
    位置特定装置（２２）を使用して前記車両（１０）の位置特定データを生成するステップと、
    光学検知装置（２０）を使用して前記車両（１０）の周囲を示す画像データおよび／または幾何学的データを生成するステップと、
    記憶装置（３３）から地図データを受信し、前記位置特定装置から前記位置特定データを受信し、前記地図データおよび／または前記位置特定データに基づいて、周囲環境が走行可能であることの第１信頼度を各セルが表す第１占有グリッドを作成するステップと、
    前記光学検知装置（２０）から前記画像データおよび／または前記幾何学的データを受信し、前記画像データおよび／または前記幾何学的データに基づいて、周囲環境が走行可能であることの第２信頼度を各セルが表す第２占有グリッドを作成するステップと、
    前記第１占有グリッドと前記第２占有グリッドとを融合することによって、周囲環境が走行可能であることの第３信頼度を各セルが表す第３占有グリッドを作成するステップと、
    前記第３占有グリッドに基づいて、前記車両（１０）を運転するステップと、を備える、方法。
11. 前記第１占有グリッドを作成するステップは、前記位置特定データの位置特定精度および前記地図データの更新日に基づいて算出される前記第１信頼度を作成することを含み、
    前記第２占有グリッドを作成するステップは、前記画像データのセマンティックセグメンテーションの処理の不確実性に基づいて算出される前記第２信頼度を作成することを含む、請求項１０に記載の方法。
12. 前記第１占有グリッドの第１解像度は、前記第２占有グリッドの第２解像度とは異なり、
    前記第３占有グリッドを作成するステップは、グリッド解像度更新部（３２ｄ１）を使用して、前記第１占有グリッドおよび前記第２占有グリッドのうちのより高い方の解像度と一致するように、前記第１占有グリッドまたは前記第２占有グリッドのうちのより低い方の前記解像度を修正することを含み、
    前記第３占有グリッドを作成するステップは、前記グリッド解像度更新部（３２ｄ１）によって修正された前記第１占有グリッドと前記第２占有グリッドとを融合することをさらに含む、請求項１０または１１に記載の方法。
13. 前記第１占有グリッドの前記第１解像度は、前記第２占有グリッドの前記第２解像度よりも低く、
    前記第３占有グリッドを作成するステップは、前記第２占有グリッドの前記第２解像度と一致するように、前記第１占有グリッドの前記第１解像度を修正することを含む、請求項１２に記載の方法。
14. 前記第３占有グリッドを作成するステップは、前記第１信頼度と前記第２信頼度との平均を計算することによって前記第３占有グリッドを作成することをさらに含む、請求項１０から１３のいずれか一項に記載の方法。
15. 前記第３占有グリッドを作成するステップは、ベイズの規則を使用することによって前記第３占有グリッドを作成することをさらに含み、
    前記第１占有グリッドを作成するステップは、前記第１占有グリッドとのマップマッチングアルゴリズムを使用することによって前記第２信頼度が真である尤度を計算することをさらに含む、請求項１０から１３のいずれか一項に記載の方法。

Images