JP2023543611A - センサ性能低下状態を決定する方法 - Google Patents

Abstract

第１のセンサシステムの周辺を表すデータを提供するように構成されている第１のセンサシステムのセンサ性能低下状態を決定する方法を提案する。本方法は、周辺を表すために第１のセンサシステムのデータを提供するステップと、周辺を表すために第２のセンサシステムのデータを提供するステップと、専ら第１のセンサシステムのセンサデータに基づく、第１のセンサシステムに対する個別感知不能状態指標を決定するステップと、第１のセンサシステムの提供されたデータに基づいて少なくとも１つの周辺関連決定変数を決定するステップと、第２のセンサシステムの提供されたデータに基づいて少なくとも１つの周辺関連決定変数を決定するステップと、第１のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数を、第２のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数と比較することによって、融合感知不能状態指標を決定するステップと、第１のセンサシステムの個別感知不能状態指標及び融合感知不能状態指標によって、第１のセンサシステムのセンサ性能低下状態を決定するステップと、を有する。

Description

従来技術
運転の自動化は、益々広範かつ高性能になる、周辺を検出するセンサシステムを車両に装備することを伴う。一部では、車両センサは、複数のセンサ及び複数のモダリティによって、周辺の３６０度及び種々異なる到達距離を冗長的に対象範囲に包含する。たとえば、ビデオセンサ、レーダセンサ、ライダセンサ、超音波センサ、マイクロフォンセンサがモダリティとして使用される。

複数のセンサデータを組み合わせることにより、保護された周辺モデルのために車両の周辺が表される。同様に、周辺モデルの範囲及び質に対する要求は、そこに実現されている走行機能によって異なる。無人走行車両においては、周辺モデルに基づいて、たとえば広範な走行判断が行われ、それに応じてアクチュエータが駆動制御される。

各センサは、汚れ、摩耗の兆候、損傷又は雨、雪及び霧などのその他の環境影響によって、自身の公称性能と比較して、性能が制限されている又は「性能が低下」している可能性がある。効果及びセンサデータにおける効果の発現は、この場合には、特にセンサモダリティに関連する。

発明の開示
センサシステムからのデータは、車両の周辺を表すために、種々異なるモジュールによって種々の処理ステップにおいて処理される。ここで、これらのデータは、各処理ステップによってさらに抽象化され、最終的に、組み合わせられて、保護された周辺モデルを形成する。物体検出、物体分類、物体追跡、距離計算などのための種々異なるセンサモダリティに対する一般的なアルゴリズムは、性能が低下した入力データの影響を受け易い。このようなケースにおいては、物体検出及び物体分類のための一般的なアプローチは、性能低下状態の識別を伴わないフォールスポジティブ識別及びフォールスネガティブ識別によって失敗する。

フォールスネガティブ性能低下識別は、ほとんどのケースにおいて、受け入れられない安全上のリスクである。なぜなら、「感知不能の」センサからのデータが、識別されない物体又は誤って識別される物体の形態において、安全に関連する誤った判断の、気づかれない原因となる可能性があるからである。

また、同様に、フォールスポジティブ性能低下識別は、システムの可用性を低下させる「だけ」である。なぜなら、センサ性能低下に起因するシステム性能低下は、不必要に発生するからである。自動化レベル１～３（運転者あり）においては、運転者へ戻すことが可能であるため、自動化レベル４～５（運転者なし）よりもフォールスポジティブが受け入れられる可能性が高く、自動化レベル４～５においては、過度の性能低下によって、（停止するまで）車両の走行タスクが制限され、これは適用には、受け入れられないものである。ここでは特に、性能低下識別のフォールスポジティブ率は、高度な自動運転への移行の課題であり、したがって、センサシステムの性能低下識別を改良する必要性が生じている。

センサシステムの周辺検出においてエラーが発生すると、上位のシステムにおいて、機能の誤った判断が行われる可能性がある。実現されている機能によっては、これは、安全上のリスク又は快適さの喪失につながる可能性がある。車両のセンサシステムには、別個の感知不能状態識別部が装備可能である。センサ感知不能状態の識別メカニズムによって、センサデータに基づいてシステム全体に実現されている機能を、現在のセンサ可用性に応じて、性能低下状態にあると特徴付けることができる。言い換えると、データは、センサデータによってシステム機能を実現するために、センサシステムによって生成される。センサシステムの可用性が、たとえば信頼性の高い感知不能状態検出によって知られている場合、システム機能の可用性をここから導き出すことができる。これは、システムが、センサ性能低下の良好な識別によってのみ、適当なシステム機能性能低下も診断又は識別することができることを意味する。そのため、たとえば周辺が部分的にしか検出されない場合には、システムの局所的な感知不能状態によって、対応する機能も、相応に部分的に制限されてしか提供され得ない。

本発明の態様によれば、センサシステムのセンサ性能低下状態を決定する方法、制御信号を提供する方法、評価装置、コンピュータプログラム製品及び機械可読記憶媒体が、独立請求項の特徴に従って提案される。有利な構成は、従属請求項及び以下の説明の主題である。

本発明のこの全体的な説明において、ステップの順序は、方法が容易に理解可能であるように提示される。しかし、当業者は、これらのステップの多くが異なる順序でも実行可能であり、同様の結果又は相応する結果を導き得ることを理解するであろう。このような意味において、ステップの順序を相応に変更することができる。一部の特徴には、読み易さを向上させるために又は帰属を明確にするために番号が付されているが、これは、特定の特徴の存在を暗示するものではない。

本発明の一態様によれば、第１のセンサシステムの周辺を表すデータを提供するように構成されている第１のセンサシステムのセンサ性能低下状態を決定する方法が提示され、当該方法は、以下のステップを有する。即ち、
本方法の１つのステップにおいて、周辺を表すために第１のセンサシステムのデータが提供される。さらなるステップにおいて、周辺を表すために第２のセンサシステムのデータが提供される。さらなるステップにおいて、専ら第１のセンサシステムのセンサデータに基づく、第１のセンサシステムに対する個別感知不能状態指標が決定される。さらなるステップにおいて、第１のセンサシステムの提供されたデータに基づいて少なくとも１つの周辺関連決定変数が決定される。さらなるステップにおいて、第２のセンサシステムの提供されたデータに基づいて少なくとも１つの周辺関連決定変数が決定される。さらなるステップにおいて、第１のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数を、第２のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数と比較することによって、融合感知不能状態指標が決定される。さらなるステップにおいて、第１のセンサシステムの個別感知不能状態指標及び融合感知不能状態指標によって、第１のセンサシステムのセンサ性能低下状態が決定される。

選択的又は付加的に、第１のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数と、第２のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数との比較によって、第１のセンサシステムに対する融合感知不能状態指標が決定され得る。対応して、さらなるステップにおいて、第１のセンサシステムの個別感知不能状態指標及び第１のセンサシステムの融合感知不能状態指標によって、第１のセンサシステムのセンサ性能低下状態を決定することができる。

センサ性能低下状態を決定する方法を用いて、各センサシステムに対して、現在のセンサ性能低下状態を決定することができる。センサ性能低下状態は、たとえば、雨、雪、傷、霧、まぶしさ、低い太陽、葉及びその他の汚れによって、センサシステムが自身の動作時間中に受け得るすべての性能に関連する妨害を特徴付ける。すべてのセンサモダリティが上述の原因によって等しく影響を受けるわけではないため、これらの妨害がすべてのセンサモダリティに対して、妨害として識別される必要はない。

センサ性能低下状態を決定する方法の個々のステップは、１つ又は複数の制御ユニットに分散されたシステムによって決定され得る。周辺の表現は、通常、表現を決定するために種々異なる処理レベルを通過する、センサシステムからのデータによって決定されるため、有利には、センサ性能低下状態を決定するこの方法においては、各処理レベルに存在しているデータ及び方法が、センサ性能低下状態を決定するために利用される。この場合には、対応するセンサ性能低下状態が、既にセンサレベルにおいて決定されるのではなく、存在している情報が指標に基づいて最後のレベルまで共に搬送されて、有利には、これと関連する情報の内容の関連する増加をセンサ性能低下状態の信頼できる一貫した決定のために使用することが可能になる。特に、種々異なるモダリティを有し得る種々異なるセンサのデータが互いに比較される融合レベルの方法の包含を、センサ性能低下状態を決定するために使用することができるので、各センサの性能低下状態の決定は、もはや、このセンサ自体が提供するデータのみに基づいていない。このような方法によるセンサ性能低下状態のこのような決定を、いくつかの制御ユニット及びこれらの制御ユニットのいくつかの電子サブユニットに分配することができる。

性能低下を確実に識別することによって、特に低いフォールスポジティブ率によって、高いセンサ可用性及びシステム高可用性を保証することができる。この際に、車両の安全性が損なわれることはなく、即ち、低いフォールスネガティブ率は、維持されたままである。

ここで、この方法を、性能低下を決定するために、多数のセンサ及びセンサモダリティに適用することができる。データ処理の種々異なるレベルにおいて周辺の表現を決定するために種々異なるレベルにおいて使用される方法の使用によって、各指標を、リソースを節約して、周辺を表現するために既存のデータ処理に統合することができる。融合レベルの包含によって、種々のセンサモダリティの長所と短所とのバランスをとることができる。さらに、融合レベルの包含によって、いくつかのセンサからの結果を冗長的に検証することが可能になる。融合レベルの包含は特に、車両自動化レベル４／５での要件の増加に必要である。

周辺の表現の決定を、処理アーキテクチャに統合することによって、センサ性能低下状態の決定を組み合わせて、拡張することができる。識別された短所を、所期のように、アーキテクチャの原則に違反することなく、付加的な識別メカニズムを統合することによって実現することができる。

たとえば、センサシステムのデータが完全に、特にニューラルネットワークを使用して分類される場合、付加的に性能低下クラスを規定し、このような分類にリソースを節約して統合することができる。この場合、このような分類はさまざまに統合可能であり、これは、性能低下クラスが重ね合わせ方式により統合される又は置換方式により統合されることよって行われ、即ち、性能低下識別時にさらに周辺モデルの情報についてデータが調査されるべきであり又は調査されるべきでない。このようなアーキテクチャシナリオに対するプロトタイプは、カメラ画像のピクセル単位のセマンティックセグメンテーションである。クラス「感知不能状態」は、「空き地」、「縁石」、「人」などのクラスと共に導入可能である。

さらなる例は、種々異なるセンサシステムのデータを融合する際の物体の誤った関連付けを考慮することに基づくものとしてよい。現在の周辺モデルをセンサの調査結果と調整する又は関連付けることによって、そのような融合において処理ステップが実行される場合、ここでは、融合性能低下指標を、追加の労力をほとんどかけずに、矛盾を考慮することによって決定することができる。

この方法は、複数の制御ユニット（ＥＣＵ 英語でelectronic control unit）に分かれて動作する処理アーキテクチャに統合可能であるが、各センサ性能低下状態の決定を、関連するすべての情報源を考慮して、保証することができる。たとえば、複雑な前処理ステップ、たとえば制御ユニット（ＥＣＵ）上における、さらにはメモリ内における画像又は点群に対する、ニューラルネットワークによる指標の決定を、各データが元から存在している場所で実行することができる。最終的な性能低下判断がすべての情報を一元的に考慮して初めて行われるため、この方法は、性能低下の原因の高レベルでの担保、さらに必要に応じて、可能な限り最善の差別化を可能にする。

言い換えれば、センサ性能低下状態を決定する方法を、たとえば自動運転機能の範囲において、周辺を感知するための信号処理チェーンに統合することができる。周辺を感知するためのセンサシステムは、ここで、１つ又は複数のセンサモダリティの１つ又は複数のセンサを有し得る。通常、周辺の感知は、特に複数のセンサを使用する場合、複数の処理ステップにおいて、複数の制御ユニット（ＥＣＵ）で決定される。これらの処理ステップのそれぞれにおいて、性能低下識別のための潜在的に有用な指標を得ることができる。さらに、データの性能低下を専用の方式により調査するために、データは、各２つの処理ステップの間で適当な形態で存在し得る。ここでは、各処理ステップにおいて、すべての形式のデータに対して性能低下表示が行われる必要はない。

性能低下指標は、これが性能低下情報を凝縮すること、即ち、性能低下シナリオ又は性能低下原因に反応し、センサ性能低下状態を決定するための有用な情報源として用いられることを特徴としている。性能低下指標を、センサ性能低下状態が決定される中央の評価装置に渡すことができる。

評価装置によって、後続のシステムに関連する、他の情報を抽出して、提供することもできる。これはたとえば、センサ性能低下状態の決定に対する信頼度、気象周辺モデルに対する寄与、センサシステムに対する除去プロセス又は清掃プロセスに対する要件などである。

ここでは、センサ性能低下状態が必要に応じて種々異なる粒度で構造化されるものとしてよく、たとえば、各立体角に分割されるものとしてよく、及び／又は、各到達距離範囲に従って分割されるものとしてよく、及び／又は、画像範囲に従って分割されるものとしてよく、及び／又は、少なくとも部分的に自動化された車両の特定の使用事例、たとえば車線変更、追従走行又は信号機識別に従って分割されるものとしてよい。たとえば、空き地識別は、依然として機能し得るが、歩行者識別は、もはや不可能である。

一態様によれば、訓練されたニューラルネットワーク又はサポートベクターマシンを用いて、さらに第１のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数及び第２のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数によって、融合感知不能状態指標が決定されることが提案される。

一態様によれば、第１のセンサシステムに対する個別感知不能状態指標が、センサ感知不能状態指標及び／又は知覚感知不能状態指標を含むことが提案され、センサ感知不能状態指標は、専ら第１のセンサシステムによって提供されるセンサデータによって決定され、知覚感知不能状態指標は、周辺関連決定変数を決定する方法に基づいて、専ら第１のセンサシステムによって提供されるセンサデータによって決定され、第１のセンサシステムのセンサ性能低下状態は、対応して、第１のセンサシステムのセンサ感知不能状態指標及び／又は知覚感知不能状態指標並びに第１のセンサシステムの融合感知不能状態指標によって決定される。

ここで、周辺関連決定変数を決定する方法は、第１のセンサシステムのデータを評価して、測定対象に関する第１のセンサシステムの周辺を表す。たとえば、画像のセグメンテーション又はライダシステムのＳｔｉｘｅｌ又はＬ字形状は、たとえば物体クラス「車」を識別し、測定し、その位置を決定するために、物体検出の測定対象に関連して評価される。

一態様によれば、第１のセンサシステムがセンサ固有の性能低下指標を提供するように構成されていることが提案され、第１のセンサシステムのセンサ性能低下状態が付加的に、第１のセンサシステムによって提供されるセンサ固有の性能低下指標によって決定される。

このようなセンサ固有の性能低下指標は、通常、他のセンサシステムとの調整を行うことなく、自己診断として各センサシステムによって提供され得る。以下においては、センサ性能低下を決定するために種々異なる戦略に基づく、種々異なるセンサモダリティの種々異なる自己診断の例を紹介する。

－超音波センサの場合、たとえば、センサ膜での固有振動数測定による感知不能状態検出は、コンタクトの汚れを確実に識別することができる。他のセンサシステムから提供される情報と組み合わせることによって、これをさらに拡張することができる。

－レーダセンサの場合、各レーダセンサの信号処理レベル自体から性能低下指標を導き出すことができる。このような性能低下指標は、確率論的なエラーを抑制するために、後続の処理層において一時的にフィルタリングされ得る。

－ビデオセンサの場合、画像の内容の分類又はオプティカルフローの評価などによって、画像の内容を用いて性能低下状態を決定することができる。画像の内容によって性能低下状態を決定することができない場合には、本願に記載される方法が、そのようなセンサ性能低下状態の決定を改良することができる。この際には、オプティカルフローを用いて性能低下状態を導き出すことができる。なぜなら、ビデオセンサのある程度の性能低下によって、オプティカルフローがまったく決定されなくなり（オプティカルフローの崩壊）、又は、一貫性のないオプティカルフローが決定され、又は、画像の内容が静的であるために、たとえば長さがゼロのオプティカルフローが決定されるからである。

－ライダセンサからのデータを、大気現象を検出し、差別化し、定量化するために使用することができ、これによって、このような情報を他のセンサと組み合わせることができる。

一態様によれば、複数の性能低下指標のうちの少なくとも１つの性能低下指標において、付加的に、指標である信頼度が計算されることが提案される。各センサシステム及び／又は種々異なるセンサシステムの種々の性能低下指標を組み合わせる場合、そのような、指標である信頼度は、種々異なるセンサシステムの相反する性能低下指標及び／又は相反する表現及び／又は周辺関連決定変数を相応に重み付けして、センサ性能低下状態の決定に含めることを可能にする。このような、指標である信頼度は、検出ステップにおいて、感知不能状態指標の決定のＱ値又は質に基づく、指標である信頼度に関連する、種々異なる感知不能状態指標の重み付けを可能にするために、たとえば、範囲［０，１］の値を有し得る。

方法の付加的なステップにおいて、一時的な異常値に対してロバストにするために、各感知不能状態指標及び／又は指標である信頼度が、時間的に、たとえば、特に指数フィルタリングによって、フィルタリングされるものとしてよい。

一態様によれば、第１のセンサシステムと第２のセンサシステムとが同等のセンサモダリティを有すること、及び／又は、第１のセンサシステムと第２のセンサシステムとが異なるセンサモダリティを有することが提案される。同等のモダリティの２つのセンサシステムを使用すると、個々のセンサシステムの性能低下という意味での欠陥を検出し易くなる。異なるモダリティを有するセンサシステムは、特にモダリティが異なるセンサシステム間の相互比較がモデルに基づく方法によって実行される場合に、より高い信頼性を伴うセンサ性能低下状態の決定を可能にする。

一態様によれば、第１のセンサシステムに対する融合感知不能状態指標を決定するための比較は、物体及び／又はモデルに基づくものであることが提案される。少なくとも２つのセンサシステムによって周辺の表現を決定するために、通常、物体確率を有する融合された物体が形成される。融合感知不能状態指標を決定するための物体に基づく比較は、特に異なるモダリティを有し得る少なくとも２つのセンサシステムによって識別された物体の比較に基づく。ここでは、種々異なる態様の下で、少なくとも２つの異なるセンサシステムによって冗長的に識別された物体が、融合感知不能状態指標を決定するために、検証に従って比較され得る。言い換えれば、ここでは、少なくとも２つの異なるセンサによる物体識別の調整が行われる。
－たとえば、物体が少なくとも２つのセンサによって確認され、第３のセンサが、自身の視野内にあるにもかかわらずこの物体を識別しない場合には、これは第３のセンサの、センサ性能低下又はセンサデキャリブレーションに対する指標である。この判断を、統計又は他の指標によって裏付けることができる。
－少なくとも２つのセンサが、自身の識別において相反している場合、このことは、これらのセンサのうちの少なくとも１つのセンサによる問題に対する指標であり得る。たとえば、特定のセンサが常にこの問題に関与しているか否かが複数回の観測又は観測サイクルにわたって統計的に組み合わせられて、又は、たとえば、センサに基づく性能低下表示が複数のセンサのうちの１つのセンサに当たるなどの他の指標と組み合わせることによって、これは、性能低下の判断につながり得る。

このような物体に基づく比較においては、関与する複数のセンサは、異なるセンサモダリティを有するものとしてよい。さらに、このような物体に基づく比較は、各センサシステムの視点からの角度範囲及び／又は距離範囲に関連して性能低下指標が別個に決定されるように実行され得る。たとえば、ライダセンサの場合、物体を決定する際の問題は、常に「右下」の角度範囲において又は特定の距離から発生することがあり、これは、局所的な汚れ又は到達距離妨害をそれぞれ特徴付ける性能低下指標につながり得る。

特に、性能低下指標は、センサシステムの各性能低下を記述するために、いくつかのサブ指標を有し得、又は、より高い次元を有し得る。

融合性能低下指標を決定するためのモデルに基づく比較は、性能低下現象に関するモデル知識によって、センサデータ及び／又は識別された物体及び／又は識別された物体の特性を比較する。
－たとえば、気象現象が識別された場合、あるセンサシステムからの認識を他のセンサシステムに転送することができ、又は、認識を相互に検証若しくは非妥当性化することができる。ここで、センサシステムの現在の移動方向及び／又は設置位置によって、たとえば雨で濡れたセンサ表面によって、センサシステムが多かれ少なかれ性能低下している可能性があることを考慮することもできる。さらに、種々異なるセンサモダリティが、各気象現象によって、到達距離、角度誤差などにおいて、根本的に異なる影響を受けることを考慮することができる。たとえば、ライダシステムによって霧を識別することができる。このようなライダシステムが、たとえば９００ｎｍの可視波長に近い放射によって決定を行う場合、測定された大気吸光度は、たとえばカメラシステムに実質的に１：１で伝搬される。

たとえば、モデルに基づく比較においては、気象現象に関連して、いくつかのセンサが、自身の設置位置によって有利にこの現象を識別し、必要に応じて測定することを考慮することができる。しかし、この際に他のセンサの性能が、この気象現象によって低下している可能性がある。このようなケースにおいては、気象現象に関して有利に設置されているセンサからの認識を、影響を受けるすべてのセンサに転送することができる。たとえば、日中の霧は、道路に沿って配向されているカメラシステムによって、道路上の輝度プロファイルを介して良好に識別可能であり、霧の密度も、このように配向されているカメラシステムによって測定可能である。同様に、霧によって妨害される横向きのセンサからのデータを、前向きのセンサからの認識と共に相応に評価することができ、これによって、融合感知不能状態指標を決定することができる。相応のことが雨の検出に当てはまる。なぜなら、たとえば、横向きのカメラシステムは、雨を明確に示すことができる前向きのセンサシステムよりも雨を識別することが困難であり得るからである。

一態様によれば、物体に基づく比較における少なくとも１つの周辺関連決定変数は、第１のセンサシステム及び第２のセンサシステムの周辺の物体であることが提案される。

一態様によれば、第１のセンサシステムのデータに基づく少なくとも１つの周辺関連決定変数と、第２のセンサシステムのデータに基づく少なくとも１つの周辺関連決定変数とのモデルに基づく比較が、第１のセンサシステム及び第２のセンサシステムの性能低下プロセスに関するモデル考察に関連して実行されることが提案される。

一態様によれば、第１のモダリティの第１のセンサシステム及び第２のモダリティの第２のセンサシステムによって決定された周辺関連決定変数が、これら２つのセンサシステムに作用する性能低下プロセスの異なる作用に関して比較されることが提案される。

一態様によれば、第１のモダリティは、第２のモダリティとは異なることが提案される。

一態様によれば、センサ固有の性能低下指標が第１のセンサシステムの評価装置によって決定されること、及び／又は、知覚感知不能状態指標が評価装置の知覚モジュールによって決定されること、及び／又は、融合感知不能状態指標が評価装置の融合モジュールによって決定されること、及び／又は、第１のセンサシステムの性能低下値が評価装置の検出モジュールによって決定されることが提案される。ここで、種々異なるモジュールは、アーキテクチャによって引き起こされる遅延を回避するために、提供された各データチャンクについてセンサ性能低下状態を決定し得るようなクロックレートで各感知不能状態指標を決定するように構成されるものとしてよい。

上述の方法の１つに従って決定される第１のセンサシステムのセンサ性能低下状態に基づいて、少なくとも部分的に自動化された車両を駆動制御するための制御信号が提供される方法、及び／又は、第１のセンサシステムのセンサ性能低下状態に基づいて、車両の乗員に警告するための警告信号が提供される方法が提案される。

第１のセンサシステムのセンサ性能低下状態に基づいて制御信号が提供されるという特徴に関連して、用語「に基づいて」は、幅広く理解されるべきである。この用語は、第１のセンサシステムのセンサ性能低下状態が、制御信号の各決定又は計算に使用されることと理解されるべきであるが、このことは、制御信号のこのような決定に、他の入力変数も使用されることを排除するものではない。これは、相応に、警告信号の提供にも当てはまる。

このような制御信号によって、センサシステムの存在している性能低下状態の程度に関連して、センサ性能低下に異なる反応を示すことができる。したがって、制御信号によって、システムの可用性を維持するために、たとえば除去機能又は洗浄機能がある場合には、たとえば、センサ表面用のスプレーノズル及び／又はワイパによって、異なる強さで清掃をアクティブにすることができる。さらに、高度に自動化されたシステムは、場合によっては、制御信号によって、安全な状態への移行を開始する。たとえば、少なくとも部分的に自動化された車両においては、これが、路側帯でのゆっくりとした停止を生じさせることがある。

センサ性能低下状態を決定する上述の方法の１つを実施するように構成されている評価装置が提案される。

一態様によれば、コンピュータプログラムがコンピュータによって実行されるときに、コンピュータに上述の方法のうちの１つを実施させるための命令を含むコンピュータプログラムが提示される。そのようなコンピュータプログラムは、上述の方法が種々異なるシステムにおいて使用されることを可能にする。

また、上述のコンピュータプログラムが記憶されている機械可読記憶媒体が提示される。上述のコンピュータプログラムは、そのような機械可読記憶媒体によって搬送可能である。

実施例
本発明の実施例を、図１を参照して示し、以下においてより詳細に説明する。

多数のセンサを有する評価装置を示す図である。

図１は、評価装置を概略的に示しており、評価装置は、自身のセンサ信号１１０ａ乃至１５０ａに加えて、それぞれが、対応する個別感知不能状態指標１１０ｂ乃至１５０ｂを提供する多数のセンサ１１０乃至１５０を有する。

ここでは、センサ１１０は、ビデオシステムを概略的に示しており、センサ１２０は、レーダシステムを概略的に示しており、センサ１３０は、ライダシステムを概略的に示しており、センサ１４０は、超音波システムを概略的に示しており、センサ１５０は、音響変換システムを概略的に示している。

センサ１１０乃至１５０は、それぞれ専ら各センサシステムによって提供されるセンサデータによって、それぞれ、センサ固有の性能低下指標１１０ｂ乃至１５０ｂを決定するように構成されている。

周辺を表すセンサ信号１１０ａ乃至１５０ａは、知覚感知不能状態指標を決定するために、個別感知不能状態指標１１０ｂ乃至１５０ｂと共に知覚モジュール２１０に提供される。各センサ１１０乃至１５０は、各評価装置と共に、性能低下指標を計算するために、各センサの存在しているセンサ内部情報と未加工のセンサデータとの両方を使用するように構成されている。これは、レーダシステムの場合、信号の質の計算であるものとしてよく、超音波システムの場合、膜の固有振動数の測定であるものとしてよい。しかし、既に存在している信号を性能低下指標として用いることもでき、これはたとえば、ビデオセンサの場合のオプティカルフローである。

知覚モジュール２１０は、提供されたセンサ信号１１０ａ乃至１５０ａによって、周辺を表すための周辺関連決定変数を決定する。付加的に、知覚モジュール２１０は、センサシステム１１０乃至１５０に対して、周辺関連決定変数を決定する各方法に基づいて、専ら各センサシステムによって提供される各センサデータによって、各センサシステムに対する少なくとも１つの知覚感知不能状態指標を決定する。図１においては、センサシステム１１０乃至１５０のうちの第１のセンサシステムに対する知覚感知不能状態指標２１０ａ及び第２のセンサシステムに対する知覚感知不能状態指標２１０ｂが示されている。

知覚モジュール２１０は、提供されたデータ及び情報によって、各センサシステム１１０乃至１５０に対する各性能低下指標を決定する。ここで、周辺関連決定変数は、センサシステム１１０乃至１５０の純粋なセンサデータよりも高度に抽象化されているものとしてよく、知覚感知不能状態指標の決定は、周辺関連決定変数の決定に基づくものである。たとえば、周辺関連決定変数は、物体、機能、Ｓｔｉｘｅｌ、各特定の物体の寸法、物体のタイプ、３次元の「バウンディングボックス」、物体のクラス、たとえば、ライダシステムのＬ字形状及び／又はエッジ及び／又は反射点等々を有するものとしてよい。さらに、知覚モジュールによって物体を追跡することができ、即ち、物体の位置を時間と共に追跡することができる。レーダシステムの場合には、たとえば、追跡される物体の数によって、知覚感知不能状態指標を決定することができる。ビデオシステムの場合には、たとえば、ニューラルネットワークによって決定される分類の初期値によって、知覚感知不能状態指標を決定することができる。

周辺を表す各センサシステム１１０乃至１５０の各センサ信号１１０ａ乃至１５０ａ及び各センサシステムの個別感知不能状態指標１１０ｂ乃至１５０ｂ並びに各センサシステム１１０乃至１５０の知覚感知不能状態指標は、融合モジュール３１０に提供され、これによって、各センサシステム１１０乃至１５０に対する融合感知不能状態指標が決定される。

ここで、各センサシステムに対する各融合感知不能状態指標３３０は、センサシステム１１０乃至１５０の第１のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数３２０ａを、センサシステム１１０乃至１５０の第２のセンサシステムの提供されたデータに基づく少なくとも１つの周辺関連決定変数３２０ｂと比較することによって決定される。

周辺関連決定変数は、融合モジュール３１０において著しく抽象化されるため、たとえば、物体又はＳｔｉｘｅｌから、物体確率を有する融合された物体が形成される。さらに、周辺の地図が生成されるものとしてよく、及び／又は、更新されるものとしてよく、及び／又は、データベースからの地図情報に対して調整されるものとしてよい。さらに、すべてのセンサシステムからの抽象化された情報が存在している。

各センサシステムの個別感知不能状態指標１１０ｂ乃至１５０ｂ及び各センサシステム１１０乃至１５０の知覚感知不能状態指標及び各センサシステム１１０乃至１５０の融合感知不能状態指標が評価装置４１０に提供され、評価装置４１０は、これらの提供された値を用いて、各センサシステム１１０乃至１５０の性能低下値を決定する。

Claims (15)

1. 第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の周辺を表すデータを提供するように構成されている第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）のセンサ性能低下状態を決定する方法であって、
   前記周辺を表すために前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）のデータ（１１０ａ，１２０ａ，１３０ａ，１４０ａ，１５０ａ）を提供するステップと、
   前記周辺を表すために第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）のデータ（１１０ａ，１２０ａ，１３０ａ，１４０ａ，１５０ａ）を提供するステップと、
   専ら前記第１のセンサシステムのセンサデータ（１１０ａ，１２０ａ，１３０ａ，１４０ａ，１５０ａ）に基づく、前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）に対する個別感知不能状態指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ，２１０ａ）を決定するステップと、
   前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の提供された前記データ（１１０ａ，１２０ａ，１３０ａ，１４０ａ，１５０ａ）に基づいて少なくとも１つの周辺関連決定変数（３２０ａ）を決定するステップと、
   前記第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）の提供された前記データに基づいて少なくとも１つの周辺関連決定変数（３２０ｂ）を決定するステップと、
   前記第１のセンサシステムの提供された前記データに基づく前記少なくとも１つの周辺関連決定変数（３２０ａ）を、前記第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）の提供された前記データに基づく前記少なくとも１つの周辺関連決定変数（３２０ｂ）と比較することによって、融合感知不能状態指標（３３０）を決定するステップと、
   前記第１のセンサシステムの前記個別感知不能状態指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ，２１０ａ）及び前記融合感知不能状態指標（３３０）によって、前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の前記センサ性能低下状態を決定するステップと、
   を有する方法。
2. 前記第１のセンサシステムに対する前記個別感知不能状態指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ，２１０ａ）は、センサ感知不能状態指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ）及び／又は知覚感知不能状態指標（２１０ａ）を含み、
   前記センサ感知不能状態指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ）を、専ら前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）によって提供されるセンサデータによって決定し、
   前記知覚感知不能状態指標（２１０ａ）を、前記周辺関連決定変数を決定する方法に基づいて、専ら前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）によって提供されるセンサデータ（１１０ａ，１２０ａ，１３０ａ，１４０ａ，１５０ａ）によって決定し、
   前記第１のセンサシステムの前記センサ性能低下状態を、対応して、前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の前記センサ感知不能状態指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ）及び／又は前記知覚感知不能状態指標（２１０ａ）並びに前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の前記融合感知不能状態指標（３３０）によって決定する、
   請求項１に記載の方法。
3. 前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）は、センサ固有の性能低下指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ）を提供するように構成されており、
   前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の前記センサ性能低下状態を付加的に、前記第１のセンサシステムによって提供される前記センサ固有の性能低下指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ）によって決定する、
   請求項１又は２に記載の方法。
4. 複数の前記性能低下指標のうちの少なくとも１つの性能低下指標において、付加的に、指標である信頼度を計算する、
   請求項１乃至３のいずれか一項に記載の方法。
5. 前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）と前記第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）とが同等のセンサモダリティを有し、及び／又は、前記第１のセンサシステムと前記第２のセンサシステムとが異なるセンサモダリティを有する、
   請求項１乃至４のいずれか一項に記載の方法。
6. 前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）に対する融合感知不能状態指標（３３０）を決定するための比較は、物体及び／又はモデルに基づくものである、
   請求項１乃至５のいずれか一項に記載の方法。
7. 前記物体に基づく比較における前記少なくとも１つの周辺関連決定変数（３２０ａ，３２０ｂ）は、前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）及び前記第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）の前記周辺の物体である、
   請求項５に記載の方法。
8. 前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）のデータに基づく少なくとも１つの周辺関連決定変数と、前記第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）のデータに基づく少なくとも１つの周辺関連決定変数とのモデルに基づく比較を、前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）及び前記第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）の性能低下プロセスに関するモデル考察に関連して実行する、
   請求項５に記載の方法。
9. 第１のモダリティの第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）及び第２のモダリティの第２のセンサシステム（１１０，１２０，１３０，１４０，１５０）によって決定された前記周辺関連決定変数を、２つの前記センサシステムに作用する性能低下プロセスの異なる作用に関して比較する、
   請求項８に記載の方法。
10. 前記第１のモダリティは、前記第２のモダリティとは異なる、
    請求項９に記載の方法。
11. 前記センサ固有の性能低下指標（１１０ｂ，１２０ｂ，１３０ｂ，１４０ｂ，１５０ｂ）を前記第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の評価装置によって決定し、及び／又は、前記知覚感知不能状態指標（２１０ａ，２１０ｂ）を評価装置（１００）の知覚モジュール（２１０）によって決定し、及び／又は、前記融合感知不能状態指標（３３０）を前記評価装置（１００）の融合モジュール（３１０）によって決定し、及び／又は、前記第１のセンサシステムの性能低下値を前記評価装置（１００）の検出モジュール（４１０）によって決定する、
    請求項１乃至１０のいずれか一項に記載の方法。
12. 請求項１乃至１１のいずれか一項に記載の方法に従って決定される、第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）のセンサ性能低下状態に基づいて、少なくとも部分的に自動化された車両を駆動制御するための制御信号を提供する、及び／又は、第１のセンサシステム（１１０，１２０，１３０，１４０，１５０）の前記センサ性能低下状態に基づいて、車両の乗員に警告するための警告信号を提供する方法。
13. センサ性能低下状態を決定するために、請求項１乃至１１のいずれか一項に記載の方法を実施するように構成されている評価装置。
14. コンピュータプログラムであって、当該コンピュータプログラムがコンピュータによって実行されるときに、前記コンピュータに請求項１乃至１２のいずれか一項に記載の方法を実施させるための命令を含むコンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムが記憶されている機械可読記憶媒体。

Images