JP7461399B2 - 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両 - Google Patents

Description

本発明は、原動機付き車両の少なくとも部分的に自動化された走行動作を補助する方法に関するものである。さらに、本発明は、このような方法のために設けられた原動機付き車両用のアシスト装置と、当該アシスト装置を備え、少なくとも部分的に自動化された走行動作のために設けられた原動機付き車両とに関するものである。

自動化された原動機付き車両の開発は、近年大きな進歩を遂げたものの、現時点でまだ完成されていない。原動機付き車両の自動化された運転（ガイド）あるいは自動化された動作には、多数の個別の問題及び困難が関連している。このことは、例えば、原動機付き車両の各周囲の認識及び解釈、自動化された軌道計画又は原動機付き車両及び／若しくはこれに類するもののための経路探索に関するものである。

１つのアプローチとして、例えば特許文献１には、道路ネットワークにより移動する車両の地理的な位置及び向きを特定する方法が記載されている。当該文献では、道路ネットワークの周囲を反映する一連の画像を車両に関連付けられたカメラによって得るようになっている。このとき、各画像は、画像が撮影された、関連付けられたカメラ位置を有している。画像のうち少なくともいくつか及び関連付けられたカメラ位置に基づいて、車両が移動する道路ネットワークの領域を表す局所的なマップ表現が生成される。そして、当該局所的なマップ表現は、基準マップの対応するセクションと比較される。そして、当該比較に基づき、道路ネットワーク内での車両の地理的な位置及び向きが特定されるようになっている。このようにして、自律車両は、安全な行程を特定するために、世界の中における自身を自動的に位置特定することができるようになっている。

他のアプローチが特許文献２に記載されている。当該文献では、車両の走行パラメータが演算され、当該走行パラメータを用いて、自律車両の運転者なし（無人）の通行が移動経路と同一の広がりをもって可能となるようになっている。さらに、車両の制御機器の制御信号を表すデータが監視され、事象が検出される。その後、事象データの記憶が引き起こされ、伝達制御基準が特定される。そして、事象データは、通信ネットワークを介してロジック適応演算プラットフォームへ伝達される。これにより、運転者なしの車両の制御と関連付けられている異常を解消するための自立制御機能を実行するための解決手段が、従来技術の制限なく提供されるものとなっている。

国際公開第２０１８／１０４５６３号 米国特許出願公開第２０１９／０２２００１１号明細書

本発明の課題は、少なくとも部分的に自動化された原動機付き車両の特に安全な動作を可能とすることにある。

当該課題は、本発明により、独立請求項の対象によって解決される。本発明の可能な構成及び発展形態は、従属請求項、本明細書及び図面に開示されている。

本発明による方法は、原動機付き車両の少なくとも部分的に自動化された走行動作を補助するために用いられる。これにより、原動機付き車両の運転者は、原動機付き車両の運転時に直接補助されることができ、原動機付き車両のそれぞれ現在（実際）の自動化された走行動作が改善されることができ、及び／又は上記原動機付き車両若しくはある原動機付き車両の将来的な少なくとも部分的に自動化された走行動作が補助若しくは改善されることが可能である。本発明による方法は、複数の、特に自動的に実行されるか、又は実行可能な方法ステップを含む。

本発明による方法の１つの方法ステップでは、原動機付き車両の周囲センサを用いて、原動機付き車両のそれぞれ現在（実際）の周囲を描写する周囲生データが記録される。周囲センサは、例えば少なくとも１つのカメラ、ライダ装置、レーダ装置及び／若しくは超音波装置及び／若しくはこれらに類するものであってよいか、又はこれらを含むことができる。これに対応して、周囲生データは、周囲センサによって直接提供される対応する測定データであってよいか、又は当該測定データを含むことができる。同様に、周囲生データは、既に部分的に処理され、又は予備処理されることが可能である。原動機付き車両のそれぞれ現在の周囲は、特に、少なくとも理論上原動機付き車両の周囲センサのセンサ検出範囲内又は検出到達範囲内にある範囲であり得る。

本発明による方法の別の１つの方法ステップでは、原動機付き車両のアシスト装置を用いて、周囲生データに基づき意味的な周囲データが生成される。このために、意味的な物体認識は、周囲生データにおいて実行されるか、あるいは当該周囲生データに適用される。このような意味的な物体認識は、ここでの意味合いでは、例えば他の交通参加者、道路標示、障害物、建物及び／若しくはこれに類するものを認識するための従来の物体検出であってよいか、又はこれを含むことができる。同様に、意味的な物体認識は、意味的なセグメント化であってよいか、又はこれを含むことができる。したがって、ここでの意味合いにおける物体は、例えば、例えば車線、自転車専用道、横断歩道及び／又はこれらに類するもののような周囲範囲であってもよい。同様に、意味的な物体認識は、物体追跡、すなわち物体追従であってよいか、若しくはこれを含むことができるか、又はこのような物体追従の少なくとも一部であってよい。したがって、意味的な周囲データは、どの物体が、すなわちどのような種類の、又はどのようなタイプの物体が原動機付き車両の周囲におけるどこでアシスト装置によって認識又は検知されたかを表すことができる。

本発明による方法の別の１つの方法ステップでは、原動機付き車両の周囲の所定の意味付けされたマップデータが検出されるか、あるいは提供される。当該意味付けされたマップデータでは、周囲の静的な物体が表されている。換言すれば、マップデータには、周囲の永続的な構成部材を形成する、特に不動の物体が位置付けられ、したがって位置特定され、そのタイプ又はその種類に関して意味的に指定されている。したがって、マップデータは、周囲のこのような静的な物体の座標又は位置表示及び意味的なラベル又は注釈を含むことが可能である。

ここでの意味合いにおける静的な物体は、例えば、交通ルート、車線境界、道路標示、例えば交通信号灯、交通標識、ガイドレール及び／若しくはこれらに類するもののような街頭設置物、建物若しくは建造物、中央分離帯並びに／又はこれらに類するものであってよいか、又はこれらを含むことができる。マップデータは、特に、このような静的な物体のみを表すことができ、動的な物体を表すことはできない。この意味での動的な物体は、例えば他の交通参加者のような、可動の、周囲において一時的にのみ存在する物体であり得る。マップデータは、特に、いわゆるＨＤマップ、すなわち高精度のマップであってよいか、又はこれを含むことができる。本発明による方法は、正確であればあるほど、高解像度であればあるほど、詳細であればあるほど、よりよく機能することができるが、これについて、本発明の適用又は適用可能性に対する特定の厳しい制限はない。好ましくは、マップデータは、センチメートル～メートルの範囲の解像度を有することができ、及び／又は完全に注釈付けされることができ、すなわち、全範囲に意味的な注釈又は分類が割り当てられ得る。

マップデータの検出は、例えば、インターフェースを介した、又は例えば車両外部のサーバ装置からのその呼び出し、若しくはデータメモリからのロードを意味し得るか、又はこれらを含むことができる。マップデータの当該検出は、周囲生データの記録前、当該記録中又は当該記録直後に行われることが可能である。

本発明による方法の別の１つの方法ステップでは、検出され意味付けされたマップデータのそれぞれ意味的な周囲データとの照合が行われる。このとき、マップデータの静的な物体は、可能である限り、すなわち当該静的な物体が意味的な周囲データに表されている限り、意味的な周囲データにおいて識別（同一視）される。したがって、換言すれば、マップデータにおける物体又はマップデータにより表される物体の、意味的な周囲データの部分、範囲又は物体への割り当てが行われるか、又は試みられる。したがって、マップデータあるいはこれに表される物体の意味的な周囲データへの描写又はマッピング、すなわちアシスト装置の実状認識（知覚）又は状況理解を行うことが可能である。このためにそれぞれ使用されるべきマップデータは、例えば、例えば衛星支援された位置特定システムを用いて自動的に特定されるグローバルな座標システムにおける原動機付き車両のそれぞれ現在の位置に基づき、及び／又は特徴に基づく、若しくは詳細に基づく割り当て（英語：ｆｅａｔｕｒｅ ｍａｐｐｉｎｇ）を用いて、特定又は選択されることが可能である。

意味的間周囲データとのマップデータの当該照合時には、マップデータあるいはこれにおいて表される物体と意味的な周囲データ、すなわち周囲生データに基づきアシスト装置によって認識される物体との間の相違、すなわち偏差又は不一致を特定することが可能である。マップデータと意味的な周囲データの間の１つ又は複数のこのような検知された相違に基づき、本発明による方法の別の１つの方法ステップでは、場合によってはアシスト装置の実状認識エラー（知覚エラー）が認識される。したがって、実状認識エラーは、アシスト装置の意味的な物体認識あるいは対応する状況理解が特に少なくとも１つの静的な物体、例えばその位置及び／又は意味的な割り当て若しくは分類すなわちそのタイプ若しくは種類に関してマップデータの矛盾又は偏差を有するか、又は生成する場合に生じ得る。このような実状認識エラーは、例えば、アシスト装置が周囲の少なくとも１つの物体を認識しないか、又は誤って意味的に解釈若しくはラベル付けしたなどの場合に存在し得る。

本発明による方法の別の１つの方法ステップでは、このような認識された実状認識エラーに対して自動的に所定の安全措置が行われる。このことは、例えば、例えば原動機付き車両のアシスト機能が機能若しくは利用可能でないか、又は制限されてのみ機能若しくは利用可能でないことを表示するための警告の出力、原動機付き車両の手動の制御の運転者による引継ぎのための引継ぎ要求の出力、安全な走行モードへの切換、少なくとも１つの安全な、特に衝突しない原動機付き車両の停止が可能となる安全軌道への切換、基礎となる別々の、若しくは永続的な周囲生データ及び／又は意味的な周囲データ及び／又はこれらに類するもののメモリの作動を意味し得るか、又は含むことができる。

全体として、本発明による方法は、車両側のアシストシステムの自動的な状況理解のエラーを自動的に検知又は認識する方法として理解され得る。ここで、本発明は、原動機付き車両のための少なくとも今日利用可能なアシストシステムは完璧ではなく、又は１００％の信頼性をもって動作するものではなく、何度もエラーを起こし、それぞれの周囲に対して利用可能な意味付けされたマップデータがいわゆるグランドトゥルースとして、すなわち信頼性のある基準としてこのようなエラー又は誤った解釈を認識するために用いられ得るという認識に基づくものである。このことは、例えば、対応するマップデータが車両側で実行される物体認識又は周囲認識に基づいて生成又は更新される逆のアプローチとは対照的である。後者は、対応する車両側のアシストシステムのエラーのマップデータへの導入につながり得るとともに、アシストシステムのこのようなエラーの信頼性のある認識を可能とするものではない。

これとは異なり、本発明によれば、車両側の状況理解を典型的にはより信頼性のある、したがって特にエラーの少ない、又はエラーのない意味付けされたマップデータと照合することで、特に信頼性のある、より安全な、少なくとも部分的に自動化された原動機付き車両の走行動作が可能となる。このために、直接的な相違、すなわち車両側で行われた意味的な物体認識の不一致又はエラーを認識することができ、これにより、少なくとも本質的にリアルタイムで、すなわち走行動作中に直接的で、対応して適合された応答が可能となる。これに加えて、又はこれに代えて、相違あるいは実状認識エラーの上述の認識は、アシスト装置あるいは意味的な物体認識に特に問題となるデータ、いわゆるエッジケースの特に効果的かつ有効な収集を可能とする。そして、当該データ、すなわち例えば対応するか、又は基礎となる周囲生データ及び／又は意味的な周囲データは、エラー解析のための根拠として、アシスト装置あるいは意味的な物体認識の後の改善のために、及び／又は対応する改善されたアシスト装置のトレーニングデータを生成するために用いられることが可能である。したがって、後者により、改善された安全性を有する原動機付き車両の将来の少なくとも部分的に自動化された走行動作を可能にする。なぜなら、対応するアシスト装置が、過去に相違又は実状認識エラーにつながった収集されたデータに基づいてトレーニング（熟練）され得るためである。

本発明の可能な一構成では、照合のために、マップデータの少なくとも一部が各周囲データへ、又はこれに基づき生成される、各周囲データの周囲モデルへ投影される。これに基づき、すなわちマップデータと意味的な周囲データの組合せに基づいて、得られる物体ごとの重なりが特定される。ここで、例えば、マップデータによりそれぞれ意味的な周囲データにおいて期待される物体あるいはマップデータにおいて表される物体を位置特定（局所化）する空間座標を有する対応する物体データを用いることが可能である。したがって、マップデータは、意味的な周囲データによって記述される範囲を超える範囲を記述し、したがって、意味的な周囲データによって実際に記述される空間的な範囲に関連するマップデータのみが使用されることでデータ処理の手間を削減することが可能である。

意味的な周囲データあるいは周囲モデルへのマップデータあるいはマップデータの対応する部分の投影は、少なくとも当該観点でのマップデータ及び周囲データの一致を達成するために、例えば、対応する座標変換、回転、すなわち視角の適合、遠近法的な歪み、サイズ適合、拡大縮小及び／又はこれらに類するものを含むことができる。したがって、マップデータあるいはこれに表される物体は、意味的な周囲データあるいは周囲モデルと重ね合わされることが可能である。そして、理想的には、マップデータに表される物体及び意味的な物体認識を用いて認識される、意味的な周囲データあるいは対応して周囲モデルにおいて表される物体が正確にカバーされる。しかし、相違又はアシスト装置の実状認識エラーにより、意味的な周囲データ又は周囲モデルにおいて表される物体とのマップデータにおいて表される物体の部分的な重なりのみがもたらされ得る。意味的な物体認識によって所定の物体が認識されなければ、完全に誤った重なり、すなわち０の重なりが得られ得る。なぜなら、意味的な周囲データ又は周囲モデルにおけるマップデータによって表される物体の箇所では、物体又は異なって意味付け若しくは分類された物体が表されているか、又は位置特定されているためである。相違を認識するために、重なりは、物体ごとに、すなわちマップデータに表される各物体について個別に特定されることが可能である。照合のためのここで提案される手法により、相違の特に堅牢な認識と、相違の場所の特に正確な位置特定（局所化）とを可能とすることができる。

本発明の可能な１つの発展形成では、マップデータの物体と、存在する場合の、意味的な周囲データ又は該周囲データから生成されるモデルの、対応する箇所で位置特定された物体との間の重なりが所定の閾値よりも小さい場合に、相違及び／又は実状認識エラーがそれぞれ認識される。このとき、当該閾値は、絶対的に、又は相対的に表されることが可能である。したがって、ここで提案される閾値によって、相応により小さな相違を無視することができる。これにより、原動機付き車両の走行動作の安全性を大きく低減することなく、データ処理の手間の低減及びユーザフレンドリーな、又は快適な原動機付き車両の走行動作につながる。本発明のここで提案される構成は、各物体が少なくとも本質的に意味的に正しく、正確な場所で認識される限り、相応にわずかな相違は最終的に車両の安全な運転又は動作にとって典型的には重要ではないという認識に基づくものである。例えば、物体が意味的に正しく認識され、したがって分類されるか、あるいはいずれにしても数メートルの安全距離が設定されている場合には、物体の画素又は面の数パーセントの誤った意味的な割り当て又は数センチメートルほど誤って特定された物体の位置は、実際には重要ではないことがある。したがって、小さな相違に合わせて無視すること又はフィルタすることによって、最終的に不必要に行われる安全措置の数を低減することが可能である。

上述したように、重なりは、位置あるいは空間的な座標に基づいて特定されるだけではなく、同様に意味を考慮することが可能である。例えば意味的な物体認識によって物体が空間的に、すなわちその空間的な位置又は大きさについて正しく認識あるいは位置特定されたにもかかわらず意味的に誤って分類される場合には、０の重なりが特定され得る。なぜなら、相応して部分的に意味的な相違が存在するためである。

本発明の別の可能な一構成では、照合に基づいて、すなわち照合の結果及び／又は場合によっては認識される相違に基づいて、物体ごとに信頼値が意味的な周囲データに割り当てられる。換言すれば、意味的な周囲データあるいはこれに表される物体あるいは対応する物体認識は、対応して注釈付けされるか、又はラベル付けされる。信頼値あるいはラベル又は注釈として、例えば「正しい」、「誤り」、「不確か」又はそれぞれ例えば百分率の信頼値又は信頼区間を用いることが可能である。後者は、例えば、他の箇所で記述される例えば百分率の特定された重なりに合わせて算出されることが可能である。そして、ここで提案される信頼値は、別の処理若しくは後の処理又はアシスト装置及び／又は他の車両内部の装置若しくは車両外部の装置の決定パイプラインにおいて考慮されることが可能である。例えば、信頼値に従い、相応の重み付けをし、及び／又は決定を行うことが可能である。例えば、原動機付き車両を制御又は運転する複数の可能性が存在する場合には、少なくとも大部分が「正しい」とラベル付けされた物体又は範囲に基づく可能性を選択することができる。同様に、このことは、原動機付き車両の、信頼性のある、及び／又は確実な、少なくとも部分的に自動化された走行動作を可能にする。

本発明の別の可能な一構成では、マップデータは、意味的な識別、すなわち意味的な表示又はタイプ指定及び静的な物体の空間的な位置又は位置特定以外に、静的な物体についての別の表示を含んでいる。したがって、マップデータは、例えば物体のそれぞれの大きさを表すことが可能である。そして、静的な物体についての当該別の表示は、照合時に、及び／又は原動機付き車両の少なくとも部分的に自動化された走行動作において考慮される。別の表示は、同様に、例えば、例えば交通標識若しくは方向標識又はこれらに類するもののような物体の材料又は反射率、場合によっては推定される存在の期間、関連性若しくは有効性の期間及び／又はこれらに類するものを含むか、又は関連することが可能である。これにより、特に信頼性があり、堅牢かつ関連した相違又は実状認識エラーの認識が可能となる。

例えば、時間的に制限されて有効な交通標識がアシスト装置によって正しく認識されない場合には、対応する相違又は対応する実状認識エラーは、マップデータに表示される有効期間外では拒否され、したがって、対応する安全措置の実行が無視されることがあり得る。他の例では、マップデータが各物体の特に高い反射率を表す場合には、例えば相違の認識時又は実状認識エラーの認識時に、まずは、場合によっては他の視角から、すなわち原動機付き車両の他の位置からは生じない眩惑効果と推測され得る。このような場合、原動機付き車両の他の位置から場合によっては正しい物体認識を待つために、例えば、安全措置の作動を遅らせることが可能である。同様に、特に高く、又は特に低く表される反射率の場合には、場合によっては正しい物体認識を可能とするために、例えば、各物体又は周囲範囲を記録する他の周囲センサ又は追加の周囲センサを自動的に用いることが可能である。したがって、全体として、別の表示は、原動機付き車両のより堅牢で、より信頼性があり、及び／又はより安全な動作、少なくとも部分的に自動化された走行動作を可能とすることができる、物体の追加的なデータ又は情報あるいはメタデータを表すことが可能である。

本発明の別の可能な一構成では、相応の相違が、異なる時間において、及び原動機付き車両の異なる位置から記録された周囲生データに基づき、複数回、少なくとも所定の期間にわたって、及び／又は少なくとも原動機付き車両が進んだ距離にわたって認識されたときに初めて、実状認識エラーが認識される。したがって、換言すれば、実状認識エラーは、周囲の相違あるいはスナップショットの単一の観察又は単一の実体に基づいて認識されない。むしろ、相違が異なる視角から、又は異なる位置から所定の時間にわたって多重に構成あるいはされる確認された場合に初めて、実状認識エラーは、それ自体認識され、これに合わせて安全措置が実行又は作動される。これにより、例えば動的な物体によって各静的な物体が一時的にのみ覆われることによる、又は所定の視角からのみ若しくは所定の位置からのみ生じる物体認識のエラーによる、例えば眩惑効果、ミラーリング若しくは不都合な反射特性による、最終的に不要な安全措置の実行を回避するか、又は低減することが可能である。したがって、本発明のここで提案される構成により、実状認識エラーの堅牢な認識ひいては相応に堅牢かつ快適な、原動機付き車両の少なくとも部分的に自動化された走行動作が可能となる。

本発明の別の可能な一構成では、認識された相違及び／又は実状認識エラーに基づき、各周囲についての状況複雑性が自動的に推定又は特定される。より大きな状況複雑性は、例えば、相違及び／又は実状認識エラーのより大きな数、より大きなサイズ又はより大きな重みにおいて特定されることが可能である。そして、推定又は特定される状況複雑性、すなわち例えば対応する測定量又は評価は、別の目的のために提供されることが可能である。例えば、状況複雑性は、原動機付き車両の少なくとも部分的に自動化された走行動作についての決定のための基礎として用いられることが可能である。

これに加えて、又はこれに代えて、状況複雑性に基づき、対応するデータ、例えば対応する、若しくは基礎となる周囲生データ及び／又は対応する時点で得られる原動機付き車両の状態を記述する状態データは、特に複雑に分類された状況又は事態、すなわち所定の閾値を超える複雑性が推定又は特定された状況又は事態について収集され、したがってメモリされることが可能である。そして、これらは、後のエラー解析、アシスト装置の改善及び／若しくは機械学習の装置のためのトレーニングデータの生成又はこれらに類するもののための基礎として用いられることが可能である。このとき、相違及び／又は実状認識エラーについて推定又は特定された、これらデータの収集及びメモリのための指針又は基準としての状況複雑性により、特に関連するデータ、例えば比較的まれなエッジケース又はこれに類するものの特に有効かつ効果的な収集又はメモリが可能となる。従来、このようなデータは、信頼性を有さないか、又は多大な手間をもってのみ得られる。したがって、ここで提案される本発明の構成は、最終的に原動機付き車両の少なくとも部分的に自動化された走行動作の安全性を改善する有効かつ効果的な可能性を提供する。

本発明の別の可能な一構成では、原動機付き車両の走行動作中に、すなわち原動機付き車両が移動している間に、それぞれ現在の、又はこれにつづく、あるいは前方に位置する走行区間に関連するマップデータが、車両外部のサーバ装置から徐々に自動的に呼び出され、したがって原動機付き車両へロードされる。このような車両外部のサーバ装置は、例えばバックエンド、クラウドサーバ又はこれらに類するものであってよく、これには、利用可能な全ての意味付けされたマップデータがメモリされている。

このとき、それぞれ関連するマップデータは、周囲生データを記録するために設けられた周囲センサの検出範囲にわたって、それぞれ所定の、制限された度合いだけ原動機付き車両の周囲を記述する。このとき、特に、マップデータが、周囲、又は現在若しくは将来、特に現在の走行動作中、すなわち原動機付き車両の現在の走行中に周囲センサの検出範囲に位置するか、おそらく位置する範囲を記述する場合には、マップデータは関連するものとみなされる。関連するマップデータは、周囲又は範囲を、すなわち、例えば、原動機付き車両のそれぞれ現在の位置の所定の周囲において、先の所定の距離までの走行方向において、又は原動機付き車両の現在の、若しくは計画された走行ルートに沿った所定の幅の通路において記述することができる。換言すれば、車両外部の全てのサーバ装置にメモリされた意味付けされたマップデータの現在の走行動作中に関連する、又は推定的に関連していく部分量は、必要に応じて原動機付き車両へロードされることが可能である。

これにより、原動機付き車両のための実用的に扱うことができるハードウェアコストの制限において、マップデータの実用的な使用が可能となる。このことは、意味付けされたマップデータが、マップデータの相応に詳細な注釈及び相応に大きな詳細度において従来のマップデータのメモリスペース需要を大きく超え得るかなりの量のメモリスペースを必要とし得るという認識によるものである。しかし、相応のデータメモリ容量は、場合によっては、あらゆる原動機付き車両において実用的かつ経済的に提供されることができない。マップデータは、無線のデータ接続、例えば移動体通信網又はこれに類するものを介して呼び出され、あるいは伝達されることが可能である。

それぞれ既に通過した走行区間に関連するマップデータ、すなわち現在の走行動作中に少なくともおそらくもはや不要なマップデータは、同様に、走行動作中に、原動機付き車両において、又は原動機付き車両から、あるいは原動機付き車両のデータメモリから徐々に削除されることができる。しかし、このとき、当該マップデータはサーバ装置に残るため、当該マップデータは、後の時点で必要な場合には、例えば同一の空間的な範囲における原動機付き車両の後の走行動作中に新たに呼び出されることが可能である。

本発明の別の一態様は、原動機付き車両用のアシスト装置である。本発明によるアシスト装置は、周囲生データ及び意味付けされたマップデータを検出する少なくとも１つの入力インターフェースと、周囲データ及びマップデータを処理するデータ処理装置と、得られる結果信号を出力する出力インターフェースとを備えている。ここで、本発明によるアシスト装置は、本発明による方法の少なくとも１つの態様又は実施形態を特に自動的に実行するために構成されている。このために、データ処理装置は、例えば、コンピュータ読取可能なデータメモリと、これに接続され、データメモリ装置にメモリされたプログラムコードを実行するプロセッサ装置、例えばマイクロプロセッサ、マイクロチップ又はマイクロコントローラとを含むことができる。このようなプログラムコードとして、データメモリ装置には例えば動作プログラム又はコンピュータプログラムをメモリすることができ、当該動作プログラム又はコンピュータプログラムは、対応する方法を実行するために、本発明による方法の経過、方法ステップ又は措置をコード化又は実行し、プロセッサ装置によって実行可能である。

本発明の別の一態様は、周囲生データを記録する周囲センサと、これに接続された本発明によるアシスト装置とを備えた原動機付き車両である。したがって、本発明による原動機付き車両は、本発明による方法の少なくとも１つの態様又は実施形態を特に自動的に実行するために構成されることが可能である。本発明による原動機付き車両は、特に、本発明による方法に関連して、及び／又は本発明によるアシスト装置に関連して言及される原動機付き車両であってよい。

本発明の別の特徴は、特許請求の範囲、図面及び図面による説明から明らかであり得る。本明細書において上述した特徴及び特徴の組合せ並びに以下において図面による説明及び／又は図面において単に示される特徴及び特徴の組合せは、本発明の範囲を逸脱することなく、それぞれ記載された組合せにおいてのみならず、他の組合せ又は単独で使用可能である。

原動機付き車両の自動化された走行動作のマップに基づく補助を説明するための概略的な概要図である。

図１には、原動機付き車両１２が、補助された走行動作又は少なくとも部分的に自動化された走行動作において移動する道路１０についての概略的な概観が示されている。原動機付き車両１２は、少なくとも部分的に運転者１４によって制御されることができるが、少なくとも部分的に自動化された走行動作のために構成されている。このために、原動機付き車両１２は、ここではアシスト装置１６を備えている。

原動機付き車両１２の周囲には、ここでは静的な周囲物体１８と動的な周囲物体２０に区分された異なる物体が位置している。静的な周囲物体１８は、ここでは例えば街頭設置物の一部、道路標示（路面標示）及び建物である。動的な周囲物体２０は、例えば、移動可能な、すなわちそれぞれの周囲の永続的な部分ではない、歩行者又はこれに類するものであり得る。

加えて、ここでは、車両外部のサーバ装置２２が図示されており、当該サーバ装置については他の箇所で説明する。

原動機付き車両１２の各周囲の正確な実状認識（知覚）又は検出及び解釈は、安全な自動化された走行動作にとって本質的に重要である。このために、原動機付き車両１２は周囲センサ２４を含んでいる。当該周囲センサ２４によって、周囲生データを記録することができ、当該周囲生データは、理想的には静的な周囲物体１８及び場合によっては動的な周囲物体２０を含む原動機付き車両１２の各周囲を描写又は特徴付ける（特徴を描写する）。当該周囲生データは、入力インターフェース２６を介してアシスト装置１６によって検出され、つづいて処理されることが可能である。このために、アシスト装置１６は、ここでは概略的に示唆されたコンピュータ読取可能なデータメモリ２８と、これに接続されたプロセッサ３０とを含んでいる。これにより、アシスト装置１６は、いわゆるコンピュータビジョン、すなわち周囲生データの意味的なデータ処理を実行することができるか、あるいは検出された周囲生データへ適用することが可能である。例えば、このために、データメモリ２８には、例えば人工ニューラルネットワーク又はこれに類するもののような相応に熟練した（学習した）モデルをメモリすることが可能である。これにより、検出された周囲生データに基づいて意味的な実状認識又は各周囲の状況（場面、シーン）理解を生成するために、物体認識、物体追従及び／又は意味的なセグメント化又はこれに類するものを実行することが可能である。

しかし、このような今日利用可能なモデルは時々エラー、すなわち例えば物体を認識しないか、完全には認識しないか、又は誤って認識あるいは分類することがあり得ることが監視されるべきである。この問題に対処するために、ここで設定されるＨＤマップ、すなわち各周囲の非常に詳細な、意味付けされたマップが用いられる。このようなマップは、例えばデータメモリ２８にメモリされることができ、及び／又はアシスト装置１６によってサーバ装置２２から呼び出されることが可能である。後者は、ここでは概略的に、サーバ装置２２から原動機付き車両１２へのマップデータ３２の適当な信号伝達として示唆されている。

しかし、当該マップデータ３２は、各周囲の信頼性のある、すなわち各周囲の実態と想定される記述としての、少なくともその中に含まれる静的な周囲物体１８を表す。したがって、マップデータ３２は、検出される周囲生データに基づくアシスト装置１６の状況理解が正しいかどうか、あるいはマップデータ３２に表される各周囲についてのデータ又は情報と整合しているかどうかを確かめるための基準として用いられることが可能である。マップデータ３２は、ここでは典型的には動的な周囲物体２０を記述することができないものの、例えば、例えば車線推移、交通標識、障害物、建物及び／又はこれらに類するもののような、原動機付き車両１２の車両動作又は経路（ガイド）について関連する範囲又は詳細のための静的な周囲物体１８を記述することができる。そして、周囲センサ２４を用いて検出される周囲生データに基づくアシスト装置１６によるこのような範囲又は細部（詳細）あるいは物体の誤った分類は、マップデータ３２との照合に基づき検知されることが可能である。

このとき、マップデータ３２によって記述される静的な周囲物体１８は、変化しないか、又は例えば少なくとも毎日若しくは毎週変化せず比較的緩慢にのみ変化する細部である。これに対して、意味的な周囲検出又は物体認識のための、これまで利用可能であるモデルは、非常により頻繁にエラーを起こし得る。したがって、検出された周囲生データに基づくアシスト装置１６の状況理解とマップデータ３２の間の照合又は整合性チェックにより、アシスト装置１６あるいは意味的な周囲認識のために設けられたそのモデルの当該エラーのうち少なくともいくつかの自動的な認識が可能となる。

当該エラー認識は、ここでは特に信頼性のある者であり得る。なぜなら、説明した手法は、アシスト装置１６あるいはそのモデル又は周囲センサ２４あるいは当該周囲センサを用いて検出された周囲生データ、すなわちそれぞれ利用可能なセンサインプットのみに依存するのではなく、マップデータ３２の形態で状況に依存して利用可能な堅牢で特に信頼性のある基準データを用いるためである。したがって、エラー認識は、動的な、すなわち原動機付き車両１２の走行動作中に自動的に生成される予見のみを用いる代わりに、例えば手動で注釈付けされた真のデータ（英語：ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ）に依存することができる。

マップデータ３２との状況理解、すなわち意味的な周囲実状認識又はアシスト装置１６の実状認識の照合は、例えば適当な所定のモデルによって自動的に実行されることが可能である。このようなモデルは、例えば人工深層ニューラルネットワーク、占有グリッド（英語：ｏｃｃｕｐａｎｃｙ ｇｒｉｄ）であり得るか、これを含むことができるか、又は用いることができる。

マップデータ３２に所定の静的な周囲物体１８が表されていれば、当該静的な周囲物体は、対応する周囲生データに、又はこれに基づき生成される意味的な周囲データ又はこれに基づき生成される周囲モデルに、したがって最終的には例えば対応するカメラ画像、ライダ記録、レーダ記録又はこれらに類するものに描写される。例えば、マップデータ３２に表される静的な周囲物体１８は、対応するＲＧＢカメラ画像又はライダ点群（ポイントクラウド）へ投影され、そして、検出される周囲生データに基づきアシスト装置１６によって検出又は認識される物体と比較されることが可能である。このとき、例えばそれぞれの重なりは物体ごとに特定されることが可能である。少なくとも１つの物体についての当該重なりが所定の閾値を下回る場合には、各物体は、正しく分類されていないか、又は正しく認識されていないと解釈されることができ、したがって、例えば相応にラベル付けされることが可能である。

検出された周囲生データに基づき、アシスト装置１６は、例えば、ここでは例えば動的な周囲物体２０による遮蔽（隠蔽）により、又は用いられる認識モデル又は検出モデルのエラーにより、静的な周囲物体１８を認識することができないか、又は誤って分類することがあり得る。両ケースにおいて、ここで提案する方法により、意味的な実状認識、すなわち検出される周囲生データに基づくアシスト装置１６の状況理解を制限することができ、したがって、必ずしも各周囲の包括的な正しい認識若しくは理解又は状況を表さず、可能としないことを自動的に認識することが可能である。

これに加えて、又はこれに代えて、検出された周囲生データに基づくアシスト装置１６の意味的な状況理解のマップデータ３２との照合に基づき、アシスト装置１６あるいはその認識モジュール、検出モジュール若しくは実状認識モジュール又は認識モデル、検出モデル若しくは実状認識モデルのパフォーマンスを特定し、又は評価することが可能である。これにより、特に、マップデータ３２には静的な周囲物体１８のみが表されているにもかかわらず、マップデータ３２に表される静的な周囲物体１８の正しい検知又は認識以外にパフォーマンスを評価することが可能である。マップデータ３２に表されているこのような静的な周囲物体１８が検出された周囲生データに基づいて、アシスト装置１６によって不完全に、又はエラーをもって認識される場合には、センサ遮蔽についての高められた確率、すなわち周囲センサ２４の損傷、不都合な周囲条件若しくは天候条件、いわゆる分布外入力の存在又はこれらに類するものが考慮に入れられる。後者は、アシスト装置１６が設置又は学習されている帯域幅外又はスペクトル外にある入力、データ又は状況を指す。そして、対応して、動的な周囲物体２０の認識の低下した性能も考慮に入れられるべきである。そして、このことは、例えば相応してこのような物体認識に基づく原動機付き車両１２の自動的な走行機能又は動作機能がもはや提供されず、引継ぎ要求が運転者１４へ出力され、及び／又はこれに類するものにより、相応に考慮されることが可能である。

検出された周囲生データに基づくアシスト装置１６の意味的な状況理解とマップデータ３２の間の不整合は、同様に状況複雑性を推定するための度合い又は根拠として用いられることが可能である。当該状況複雑性に依存して、例えば当該状況複雑性が所定の閾値を上回る場合には、例えば安全走行モードへの自動的な切換又はこれに類するもののような、適当な所定の対応措置又は安全措置を自動的にとることができるか、又は実行することができる。

アシスト装置１６は、状況に応じて、得られる結果信号又は制御信号を生成することができるとともに、出力インターフェース３４を介して、例えば車両システム３６の制御のために出力することが可能である。車両システム３６は、アシスト装置１６の所定の機能性に依存して、最終的には原動機付き車両１２のほぼ任意の装置であってよく、例えばドライブトレーンの一部、信号若しくは警告を運転者１４へ出力する出力装置又はこれらに類するものであってよい。

全体として、上述の例は、少なくとも部分的に自動化された車両の特に安全な動作を可能とするために、車両のアシストシステムの実状認識エラー（知覚エラー）又は状況理解エラーの自動的な検出が所定のＨＤマップとの不一致又は不整合を監視又は認識することでどのように実現され得るかを示すものである。
なお、本発明は、以下の態様も包含し得る：
１．原動機付き車両（１２）の少なくとも部分的に自動化された走行動作を補助する方法であって、
－原動機付き車両（１２）の周囲センサ（２４）を用いて、原動機付き車両（１２）のそれぞれ現在の周囲を描写する周囲生データを記録し、
－周囲生データについて意味的な物体認識を実行することで、原動機付き車両（１２）のアシスト装置（１６）を用いて、周囲生データから意味的な周囲データが生成され、
－周囲の静的な物体（１８）を表す、原動機付き車両（１２）の周囲の設定及び意味付けされたマップデータ（３２）が検出され、
－意味的な周囲データとのマップデータ（３２）の照合が行われ、マップデータ（３２）の静的な物体（１８）が、可能である限り、意味的な周囲データにおいて識別され、
－このとき検知されるマップデータ（３２）と意味的な周囲データの間の相違に基づき、アシスト装置（１６）の実状認識エラーが認識され、及び
－このような認識された実状認識エラーに対して、所定の安全措置が実行される
方法。
２．照合のために、マップデータ（３２）の少なくとも一部が、それぞれの意味的な周囲データ又は該周囲データから生成される各周囲の周囲モデルへ投影され、得られる物体ごとの重なりが特定されることを特徴とする上記１．に記載の方法。
３．マップデータ（３２）の物体と、存在する場合の、意味的な周囲データ又は該周囲データから生成されるモデルの、対応する箇所で位置特定された物体との間の重なりが所定の閾値よりも小さい場合に、相違及び／又は実状認識エラーがそれぞれ認識されることを特徴とする上記２．に記載の方法。
４．照合及び／又は認識された相違に基づき、信頼値が物体ごとに意味的な周囲データに割り当てられることを特徴とする上記１．～３．のいずれか１つに記載の方法。
５．マップデータ（３２）が、意味的な識別及び静的な物体（１８）の位置以外に、静的な物体（１８）についての更なる情報、特にその大きさを含み、該更なる情報が、照合時及び／又は原動機付き車両（１２）の少なくとも部分的に自動的な走行動作時に考慮されることを特徴とする上記１．～４．のいずれか１つに記載の方法。
６．相応の相違が、異なる時間において、及び／又は原動機付き車両（１２）の異なる位置から記録された周囲生データに基づき、複数回、少なくとも所定の期間にわたって、及び／又は少なくとも原動機付き車両（１２）が進んだ距離にわたって認識されたときに初めて、実状認識エラーが認識されることを特徴とする上記１．～５．のいずれか１つに記載の方法。
７．認識された相違及び／又は実状認識エラーに基づき、各周囲についての状況複雑性が自動的に推定されることを特徴とする上記１．～６．のいずれか１つに記載の方法。
８．原動機付き車両（１２）の走行動作中に、それぞれ現在の、又は前方に位置する走行区間に関連するマップデータ（３２）が自動的に車両外部のサーバ装置（２２）から徐々に呼び出され、それぞれ関連するマップデータ（３２）が、原動機付き車両（１２）の周囲を、周囲生データを記録するために設けられた周囲センサ（２４）の検出範囲をそれぞれ所定の度合いだけ超えて記述することを特徴とする上記１．～７．のいずれか１つに記載の方法。
９．原動機付き車両（１２）用のアシスト装置（１６）であって、周囲生データ及び意味付けされたマップデータ（３２）を検出する入力インターフェース（２６）と、周囲生データ及びマップデータ（３２）を処理するデータ処理装置（２８，３０）と、得られる結果信号を出力する出力インターフェース（３４）とを備え、上記１．～８．のいずれか１つに記載の方法を実行するために設けられていることを特徴とするアシスト装置。
１０．周囲生データを記録する周囲センサ（２４）と、上記９．に記載のアシスト装置とを備えた原動機付き車両（１２）。

１０ 道路
１２ 原動機付き車両
１４ 運転者
１６ アシスト装置
１８ 静的な周囲物体
２０ 動的な周囲物体
２２ サーバ装置
２４ 周囲センサ
２６ 入力インターフェース
２８ データメモリ
３０ プロセッサ
３２ マップデータ
３４ 出力インターフェース
３６ 車両システム

Claims (9)

1. 原動機付き車両（１２）の少なくとも部分的に自動化された走行動作を補助する方法であって、
   －原動機付き車両（１２）の周囲センサ（２４）を用いて、原動機付き車両（１２）のそれぞれ現在の周囲を描写する周囲生データを記録し、
   －周囲生データについて物体認識を実行することで、原動機付き車両（１２）のアシスト装置（１６）を用いて、周囲生データから周囲データが生成され、
   －周囲の静的な物体（１８）を表す、原動機付き車両（１２）の周囲のマップデータ（３２）が検出され、
   －周囲データとのマップデータ（３２）の照合が行われ、マップデータ（３２）の静的な物体（１８）が、可能である限り、周囲データにおいて識別され、
   －このとき検知されるマップデータ（３２）と周囲データの間の相違に基づき、アシスト装置（１６）の実状認識エラーが認識され、及び
   －このような認識された実状認識エラーに対して、所定の安全措置が実行され、
   －認識された相違及び／又は実状認識エラーに基づき、各周囲についての状況複雑性が自動的に推定され、状況複雑性が所定の閾値を超える場合に、周囲生データ及び／又は原動機付き車両の状態を記述する状態データが、後のエラー解析、アシスト装置の改善及び／又は機械学習の装置のためのトレーニングデータの生成のためにメモリされる
   方法。
2. 照合のために、マップデータ（３２）の少なくとも一部が、それぞれの周囲データ又は該周囲データから生成される各周囲の周囲モデルへ投影され、得られる物体ごとの重なりが特定されることを特徴とする請求項１に記載の方法。
3. マップデータ（３２）の物体と、存在する場合の、周囲データ又は該周囲データから生成されるモデルの、対応する箇所で位置特定された物体との間の重なりが所定の閾値よりも小さい場合に、相違及び／又は実状認識エラーがそれぞれ認識されることを特徴とする請求項２に記載の方法。
4. 照合及び／又は認識された相違に基づき、信頼値が物体ごとに周囲データに割り当てられることを特徴とする請求項１～３のいずれか１項に記載の方法。
5. マップデータ（３２）が、識別及び静的な物体（１８）の位置以外に、静的な物体（１８）についての更なる情報を含み、該更なる情報が、照合時及び／又は原動機付き車両（１２）の少なくとも部分的に自動的な走行動作時に考慮されることを特徴とする請求項１～４のいずれか１項に記載の方法。
6. 相応の相違が、異なる時間において、及び／又は原動機付き車両（１２）の異なる位置から記録された周囲生データに基づき、少なくとも所定の期間にわたって、及び／又は少なくとも原動機付き車両（１２）が進んだ距離にわたって複数回認識されたときに初めて、実状認識エラーが認識されることを特徴とする請求項１～５のいずれか１項に記載の方法。
7. 原動機付き車両（１２）の走行動作中に、それぞれ現在の、又は前方に位置する走行区間に関連するマップデータ（３２）が自動的に車両外部のサーバ装置（２２）から連続的に呼び出され、それぞれ関連するマップデータ（３２）が、原動機付き車両（１２）の周囲を、周囲生データを記録するために設けられた周囲センサ（２４）の検出範囲をそれぞれ所定の度合いだけ超えて記述することを特徴とする請求項１～６のいずれか１項に記載の方法。
8. 原動機付き車両（１２）用のアシスト装置（１６）であって、周囲生データ及びマップデータ（３２）を検出する入力インターフェース（２６）と、周囲生データ及びマップデータ（３２）を処理するデータ処理装置（２８，３０）と、得られる結果信号を出力する出力インターフェース（３４）とを備え、請求項１～７のいずれか１項に記載の方法を実行するために設けられていることを特徴とするアシスト装置。
9. 周囲生データを記録する周囲センサ（２４）と、請求項８に記載のアシスト装置とを備えた原動機付き車両（１２）。

Images