JP2023527898A - センサデータを処理する方法及び装置 - Google Patents

Abstract

本発明は、センサデータ（１０８）を処理する方法であって、センサ（１０４）のセンサデータ（１０８）を当該センサ（１０４）のメタデータ（１１２）を使用して評価し、少なくとも１つの別のセンサ（１０４）のセンサデータ（１０８）を当該別のセンサ（１０４）のメタデータ（１１２）を使用して評価して、センサ（１０４）の評価されたセンサデータ（１１４）を取得し、評価されたセンサデータ（１１４）を融合させて融合センサデータ（１１６）を取得する、方法に関する。

Description

本発明は、センサデータを処理する方法及び対応する装置に関する。

従来技術
センサは、センサの検出領域内にある対象物を検出することができる。検出領域内のどこに対象物が配置されているかに応じて、センサは、対象物をそれぞれ異なる品質で検出し得る。センサが自身の検出性能の低くなる場所で対象物を検出すると、対象物が検出誤差を伴ってセンサのセンサデータにマッピングされることがある。

発明の開示
このような背景を前提として、本明細書において提示するアプローチにより、各独立請求項に記載の、センサデータを処理する方法及び対応する装置、並びに、対応するコンピュータプログラム製品及び機械可読記憶媒体が提示される。本明細書において提示するアプローチの有利な発展形態及び改善形態は、明細書から明らかであり、各従属請求項に記載されている。

発明の利点
本発明の実施形態は、有利には、既知のセンサのセンサデータを当該センサの既知の特性を考慮して評価又は重み付けすることを可能にする。これにより、センサデータをさらに処理する際に、検出された対象物をセンサデータにマッピングしたときの検出誤差又はエラーを考慮することができる。例えば、検出された対象物に、識別不確実性を割り当てることができる。

センサデータを処理する方法であって、センサのセンサデータを当該センサのメタデータを使用して評価し、少なくとも１つの別のセンサのセンサデータを当該別のセンサのメタデータを使用して評価して、センサの評価されたセンサデータを取得し、評価されたセンサデータを融合させて融合センサデータを取得する、方法を提案する。好適には、メタデータは、センサの識別不確実性を記述し、及び／又は、センサの測定関数に対するセンサデータの所与の完全性を記述する。

本発明の実施形態に至るアイデアは、特に、以下に説明する思想及び知識に基づいているとみなすことができる。

センサは、能動センサ又は受動センサであるものとしてよい。センサは、検出領域内の対象物を検出し、センサデータとしてマッピングすることができる。センサのメタデータは、例えば、センサの構造形式に起因するマッピング性能を記述した、センサに関する情報であり得る。メタデータは、同様に、センサの組み付け位置に基づくセンサの検出性能の限度を記述するものであってもよい。例えば、検出領域の第１の部分領域には、検出領域の第２の部分領域よりも高い不確実性が検出の際に割り当てられ得る。センサデータにおいて第１の部分領域内にある対象物が示されている場合、当該対象物には、これが第２の部分領域内に示されている場合よりも高い識別不確実性を割り当てることができる。第１の部分領域内の対象物に、第２の部分領域内の対象物よりも高い完全性を割り当てることもできる。

センサデータを融合又は結合する際には、個々のセンサデータのデータフィールドからの情報を読み出し、種々のセンサデータの同名のデータフィールドからの情報を融合センサデータの個々のデータフィールドに格納することができる。比較的低い識別不確実性を有するセンサデータを、好ましくは融合の際に考慮することができる。この場合、最も簡単なケースにおいては、最小の識別不確実性を有する情報をデータフィールド内に格納し、より高い識別不確実性を有する情報を破棄することができる。融合は、融合アルゴリズムを使用して行うこともできる。この場合、識別不確実性は、情報の重み付けのために使用することができる。

本明細書にて提示している方法の実施形態は、特に、自動車の動作時に、データ融合によって遠隔の対象物を識別し、これらの情報に基づいて車両を制御するために、又は、車両の操縦を支援するために、使用することができる。例えば、融合センサデータから得られた情報を支援システムに供給することができ、その後、当該情報は、例えば、車両の制御要素を使用して車両の走行挙動を制御するために利用される。この場合、センサデータは、例えば、車両のセンサを含むセンサ装置によって受信可能である。提案の方法によって融合センサデータから得られる情報は、車両内の要素の制御のために使用することができ、その際に、最終的には、状況に応じた車両の制御を支援することができる。

融合センサデータは、例えば、車両のための軌道計画及び／又は挙動計画のために使用することができる。このために、複数のセンサのうちの少なくとも１つのセンサによって検出され、融合センサデータにおいて表現された対象物を識別することができる。識別された対象物は、分類可能である。軌道計画は、障害物として分類された対象物を考慮することができ、障害物の周囲に車両のための軌道を計画することができる。車両は、障害物に接触することなく、制御信号を使用して、計画された軌道に沿って操縦可能となる。

センサのメタデータは、センサのメモリから読み出すことができる。メタデータは、例えばセンサの製造時にメモリに格納することができる。同様に、メタデータは、センサの組み付け時にメモリに格納されるものとしてもよい。代替的に、メタデータの一部を製造時にメモリに格納し、他の部分を組み付け後にメモリに格納することもできる。当該メタデータは、センサの基準測定に基づいて形成してメモリに格納することができる。

センサのメタデータは、データ処理装置のメモリに格納されて、メモリから読み出されるものとしてもよい。データ処理装置は、センサシステムの一部であるものとしてよい。センサも同様に、センサシステムの一部とすることができる。メタデータは、センサシステムの組み立て時に、データ処理装置のメモリに格納することができる。データ処理装置は、センサシステムの組み立て時に、センサのメモリからメタデータを読み出すことができる。

メタデータは、標準化されたメタデータインタフェースを介して読み込むことができる。メタデータインタフェースは、情報を格納する又は伝送することのできるデータフィールドを定義することができる。ここで、データフィールドは、占有されていることもあるし、又は、空白のままであることもある。これにより、同一のメタデータインタフェースを使用して、それぞれ異なるセンサからメタデータを読み出すことができる。標準化されたメタデータインタフェースによって、遠隔のセンサをセンサシステムに統合することもできる。この場合、当該センサは、例えば、周囲のインフラストラクチャの一部であるものとしてよい。

メタデータは、センサの静的特性をマッピングしたものであり得る。静的能力とは、例えば、センサの能力及び／又は不完全性であり得る。静的特性とは、例えば、センサの光学系によって生じる歪みであり得る。この場合、歪みは、検出領域のそれぞれ異なる領域にわたって著しく異なり得る。例えば、検出領域の縁部領域は、検出領域の中央領域よりも強い歪みを有し得る。同様に、静的特性も、センサのセンサ素子の感度に関連し得る。センサ素子は、例えば、様々な波長に対してそれぞれ異なる感度を有し得る。

メタデータは、センサの可変の特性をマッピングしたものであってもよい。センサにその時点において影響を与えている少なくとも１つのパラメータが検出可能となる。メタデータは、少なくとも１つのパラメータを使用してパラメータ化可能である。可変の特性は、様々な状況においてそれぞれ異なる作用を有し得る。例えば、レーダセンサは、トンネル内において、トンネル壁の領域におけるゴーストエコーを検出することがある。ゴーストエコーに対するレーダセンサの傾斜を、メタデータに格納することができる。トンネルがセンサ又は他のセンサによって識別されると、パラメータ「トンネル」をセットすることができ、ゴーストエコーを無視することができる。

パラメータとして、少なくとも１つのその時点における環境条件が、センサにおいて及び／又はセンサの検出領域において検出可能となる。環境条件によって、センサの知覚出力に重大な影響が与えられ得る。例えば、霧中におけるセンサの到達距離は、視界がクリアな場合よりも著しく小さくなり得る。同様に、雨天におけるセンサの解像度は、乾燥した天候のときと比較して大幅に低くなり得る。カメラの結像性能は、暗時には、明時よりも低くなり得る。

センサデータは、座標に基づくものであってよい。センサデータの座標に対応付けられたセンサデータ情報には、当該座標に対してメタデータ内に格納されているメタ情報を対応付けることができ、これにより、情報が評価される。センサの検出領域は、複数の領域に分割可能である。各領域は、自身の座標によって特徴付けられるものとしてよい。座標は、２次元又は３次元であり得る。領域には、それぞれメタデータが割り当てられ得る。センサデータは、座標に基づいて提供可能である。センサデータの情報の座標が領域の座標内にある場合、関連する領域のメタデータを情報に適用することができる。

方法は、例えば、ソフトウェア若しくはハードウェアにおいて、又は、ソフトウェアとハードウェアとの混在形態において、例えば制御ユニットに実装可能である。

本明細書に提示しているアプローチは、さらに、本明細書に提示している方法の変形形態の各ステップを対応する装置において実行し、制御し又は実施するように構成された装置を提供する。

当該装置は、信号又はデータを処理する少なくとも１つの計算ユニットと、信号又はデータを記憶する少なくとも１つの記憶ユニットと、通信プロトコルに埋め込まれたデータを読み込む又は出力する少なくとも１つのインタフェース及び／又は通信インタフェースとを備えた電気機器であるものとしてよい。計算ユニットは、例えば、センサ信号を処理して当該センサ信号に依存したデータ信号を出力する信号プロセッサ、いわゆるシステムＡＳＩＣ又はマイクロコントローラであるものとしてよい。メモリユニットは、例えば、フラッシュメモリ、ＥＰＲＯＭ又は磁気メモリユニットであるものとしてよい。インタフェースは、センサからのセンサ信号を読み込むセンサインタフェースとして構成することができ、及び／又は、データ信号及び／又は制御信号をアクチュエータに出力するアクチュエータインタフェースとして構成することもできる。通信インタフェースは、データを無線及び／又は有線により読み込む又は出力するように構成することができる。インタフェースは、例えば、他のソフトウェアモジュールと共にマイクロコントローラ上に設けられるソフトウェアモジュールであるものとしてもよい。

機械可読担体又は機械可読記憶媒体、例えば、半導体メモリ、ハードディスク又は光学メモリに記憶することができ、特に、コンピュータ又は装置上において実行されるときに、前述した実施形態のうちのいずれかによる方法の各ステップを実行し、実施し及び／又は制御するために使用されるプログラムコードを含むコンピュータプログラム製品又はコンピュータプログラムも有利である。

ここで、本発明の可能な特徴及び利点のいくつかを様々な実施形態に基づいて本明細書において説明することを理解されたい。当業者であれば、本発明のさらなる実施形態に到達するために制御装置の特徴及び方法の特徴が適当に組み合わせられ、適応化され又は交換され得ることを認識するであろう。

以下においては、添付の図面を参照しながら本発明の実施形態について説明するが、図面も説明も、本発明を限定するものとして解釈されるべきではない。

一実施例による装置を備えた情報システムを示す図である。 一実施例によるメタデータを示す図である。

図面は、概略的なものに過ぎず、縮尺通りに描かれてはいない。図面において、同一の参照符号は、同一の特徴又は同等の作用を有する特徴を示す。

発明の実施形態
図１には、一実施例による装置１０２を備えた情報システム１００が図示されている。情報システム１００は、例えば、車両のセンサシステムである。情報システム１００は、複数のセンサ１０４と複数のデータソース１０６とを有する。この場合、情報システムは、１乃至ｎ個のセンサ１０４と、１乃至ｍ個のデータソース１０６とを有する。センサ１０４のセンサデータ１０８及びデータソースのデータ１１０は、装置１０２によって読み込まれる。付加的に、センサ１０４のメタデータ１１２も、装置１０２によって読み込まれる。この場合、データソース１０６のメタデータ１１２も、読み込むことができる。ここで、それぞれのセンサ１０４に対してメタデータ１１２を読み込むことができないこともある。即ち、センサ１０４のうちのいくつかに対して、メタデータ１１２が存在しないこともある。少なくともセンサデータ１０８が装置１０２においてメタデータ１１２を使用して評価され、評価されたセンサデータ１１４が取得される。評価の際には、センサデータ１０８においてマッピングされた対象物の記述が、品質評価によって補足される。

一実施例においては、評価されたセンサデータ１１４が統合又は融合され、融合センサデータ１１６が取得される。ここで、センサ１０４のうちの１つのセンサの評価されたセンサデータ１１４よりも多くのセンサデータ１１４にマッピングされている対象物の記述が、センサ１０４のうちの少なくとも１つの別のセンサの評価されたセンサデータ１１４からの記述によって補足される。より高い品質評価を有する記述は、融合センサデータ１１６への統合の際に、より低い品質評価を有する記述よりも強く考慮される。

一実施例においては、センサのセンサデータ１０８が、位置に依存して評価される。この場合、センサデータ１０８にマッピングされている対象物の座標１１８が算定され、当該座標１１８に対応付けられたメタデータ１１２が評価される。即ち、それぞれ異なる座標１１８において識別された対象物も、それぞれ異なるメタデータ１１２によって評価することができる。

一実施例においては、センサデータ１０８を評価する前に、メタデータ１１２がパラメータ化される。センサ１０４のメタデータ１１２をパラメータ化するために、センサ１０４に影響を与える少なくとも１つのパラメータ１２０が決定される。パラメータ１２０は、例えば、センサ１０４における環境条件をマッピングするものであり得る。

図２には、センサ１０４のメタデータ１１２の図が示されている。メタデータ１１２は、本明細書に提示しているアプローチに従ってセンサデータを処理するために使用可能である。メタデータ１１２は、センサの検出領域２００にわたるセンサ１０４の検出品質を記述している。即ち、検出領域２００は、ここでは３次元で、即ち、空間的に記述される。代替的に、検出領域は、２次元で、即ち、平面的に記述されるものとしてもよい。

検出領域２００は、複数の小さい部分領域２０２に分割されている。各部分領域２０２は、ここでは立方体形状であり、実質的に全て同等の大きさである。各部分領域２０２に対して、メタ情報２０４がメタデータに格納されている。メタ情報２０４は、該当する部分領域２０２に対するセンサ１０４の検出品質を記述している。

一実施例においては、メタ情報２０４は、パラメータ化可能である。この場合、メタ情報２０４は、センサにおける及び／又は検出領域２００における少なくとも１つのその時点における条件に依存している。

言い換えれば、自動運転用の安全性センサフュージョンにおいてセンサをフレキシブルかつダイナミックに使用するための安全性インタフェースが提案される。

センサ（例えば、ＡＳＩＬ、ＳＩＬ、ＰＬ）の完全性のクラスは、センサの固有の機能に関連し、部品としてのセンサには関連しない。このことは、誤った解釈、例えば要求の誤った調整をまねくおそれがある。

ＩＳＯ／ＰＡＳ２１４４８（ＳＯＴＩＦ）は、完全性が、安全性に関する機能におけるセンサ信号の利用可能性にとって重要であるだけではないことを示している。むしろ、センサの（個々の測定機能に関連する）パフォーマンス又は不完全性は、確実性のコンセプト又は信号フュージョンにおいて考慮され得る。ここで、臨界的なエラーは、例えば、誤測定、偽陽性（ＦＰ）又は偽陰性（ＦＮ）であり得る。

本明細書に提示しているアプローチにおいては、センサは、標準化されたインタフェースを介して、センサの能力、固有の機能（ＩＳＯ２６２６２、ＩＥＣ６１５０８、ＩＳＯ１３８４９、ＩＥＣ６２０６１、ＩＳＯ２５１１９など）に対しての、安全性に関する完全性及びその不完全性（ＳＯＴＩＦ、ＩＳＯ／ＰＡＳ２１４４８）についての情報を提供し、これらの情報は、メタデータ又は「セーフティメタデータ」と称されることがある。

能力及び不完全性は、センサ周囲の幾何学的グリッド（例えば、３Ｄ立方体グリッド）に基づいて記述することができ、この幾何学的グリッドに対し、他のパラメータ（例えば、環境条件、センサ状態）に依存して、測定関数（色、対象物の位置、速度など）に対する品質クラスを定義することができる。

本明細書に提示しているアプローチにより、複数のセンサをより簡単に組み合わせて、要求される安全性に関する完全性及び有効機能の十分な確実性（ＳＯＴＩＦ、ＩＳＯ／ＰＡＳ２１４４８）を実証可能に達成しているセンサセットを得ることができる。

これにより、当該標準インタフェースを備えたセンサ（又はデータソース）を、既存のセンサセットに特定の目的のため（ａｄ－ｈｏｃ）に統合することもできる。例えば、道路インフラストラクチャ（交通案内システム、モビリティ－データ－マーケットプレイスシステム）におけるセンサを、（一時的に）先行する自動車両のフュージョン（センサ／情報）に組み込むことができる。類似のシナリオにおいては、工事現場に設置されたセンサを、工事車両のパーセプション／フュージョンに組み込むことができる。

インタフェースの安全性情報（「セーフティメタデータ」）として、完全性（ＱＭ－ＡＳＩＬ Ｄ、ＳＩＬ１－４、ＰＬａ－ＰＬｅ）と、測定属性（色、位置、ダイナミクス）ごとの及び／又はグリッド要素ごとの全ての測定に対する品質クラス（例えば品質クラス１－４）とが格納され得る。

影響因子として、ＯＤＤ特異的因子、例えば、（保護された又は非保護の）内側インサート及び／又は外側インサート；定置動作及び／又はモバイル動作；温度及び空気湿度；降水（雨、雹又は雪）及び風；圧力（周囲空気、水など）；太陽放射及び熱放射；凝縮及び氷結；霧、塵埃、砂霧及び塩霧；振動及び揺動；動植物（例えばカビの形成）；化学的影響；電気的影響及び電磁的影響；機械的負荷；音を考慮することができる。

影響因子として、現在のセンサ状態も考慮することができる。このとき、内部エラー、加熱及び／又は遮蔽を考慮することができる。

影響因子として、検証中に外部影響（ＩＳＯ／ＰＡＳ２１４４８による「トリガイベント」）によってセンサパフォーマンスの悪化又はセンサエラーの増大が検出された、ある方向におけるＧＰＳ位置としての既知のＰＯＩ（関心点）も考慮可能である。

インタフェースは、例えば、多元特性マトリクスとして、Ｓａｆｅｔｙ Ｃｏｎｔｒａｃｔ、ＣｏｎＳｅｒｔｓ（Conditional Safety Certificates）又はＤＤＩ（Conditional Dependability Certificates）として構成されるものとしてよい。

特性マトリクスは、図２に示されているように、グリッドジオメトリとして、例えば３Ｄ立方体を有し得る。当該立方体は、例えば、フュージョンで使用されるグリッドに相応に配置可能である。占有グリッドマップは、例えば１０×１０×１０ｃｍを有し得る。特性マトリクスは、グリッドジオメトリとして、等間隔で又は拡大間隔で配置可能な同心円を有することもできる。グリッドジオメトリは、これら２つの手段の混合形態であるものとしてもよい。３Ｄグリッド要素ごとに、確実性の属性（完全性、制限された不完全性）を有するセンサの能力がマトリクスに示される。

本明細書に提示しているアプローチによれば、システムの既存のセンサセットに組み込まれるべきセンサ又は情報ソースを使用することができる（例えば、追加装備にて、「オフザシェルフ」センサともいう）。近傍に位置している他車両のセンサは、（大域的な）位置と３Ｄグリッドを自車両の座標に変換するための配向状態とに関する付加的な情報を使用することができる。同様に、インフラストラクチャ、交通案内システム、又は、路側、建物などのサードパーティによるモビリティ－データ－マーケットプレイスの範囲（スマートシティ）内に設置されたシステムにおいて用いられるセンサも使用可能である。

情報を提供するために、インテリジェントセンサは、その時点における能力及び不完全性を（場合によっては、過渡誤差に依存する安全性に関する完全性も）自身で算定（前処理）し、インタフェースに出力することができる。代替的に又は補足的に、センサは、事前に決定されて検証されかつ較正された情報を、「エキスパートシステム」の特性マトリクスとして上述した標準化されたフォーマットで提供することができ、これにより、後続のモジュールがこれらの情報をそれぞれの要求に従って評価することができる。

フュージョンはまた、当該データから、特定の情報（「セーフティメタデータ」）の完全性及び信頼性又は場合によっては不完全性（ＳＯＴＩＦ）に対する尺度を形成し、この尺度を車両の後の挙動計画及び軌道計画において考慮して、例えば、完全性が低い場合又は情報の信頼性が低い場合に、挙動の制限（低速運転、特定のマヌーバの禁止）を生じさせることができる。

センサ及び別のデータソースは、条件（例えば、環境条件、位置）に応じて、データの品質に関する情報を含むそれぞれのデータを送出する。当該データは、フュージョンにおいて、そのパフォーマンス及び完全性を最適化するために利用される。フュージョンの結果は、確実性（完全性、信頼性、一致度）に関する品質の集約された評価と共に、後続のモジュールに転送される。

データは、例えば、車両内部のエキスパートシステムを介して中央で収集されて提供され得る。

最後に、「有する」、「含む」などの用語が他の要素又はステップを排除しないこと、また、「１つの」又は「ある」のような用語が複数形を排除しないことに留意されたい。特許請求の範囲における参照符号は、限定とみなされるべきではない。

Claims (11)

1. センサデータ（１０８）を処理する方法であって、
   センサ（１０４）のセンサデータ（１０８）を当該センサ（１０４）のメタデータ（１１２）を使用して評価し、少なくとも１つの別のセンサ（１０４）のセンサデータ（１０８）を当該別のセンサ（１０４）のメタデータ（１１２）を使用して評価して、前記センサ（１０４）の評価されたセンサデータ（１１４）を取得し、
   前記評価されたセンサデータ（１１４）を融合させて融合センサデータ（１１６）を取得する、方法。
2. 前記センサ（１０４）のメタデータ（１１２）は、前記センサ（１０４）のメモリから読み出される、請求項１に記載の方法。
3. 前記センサ（１０４）のメタデータ（１１２）は、データ処理装置のメモリに格納されており、当該メモリから読み出される、請求項１に記載の方法。
4. 各前記メタデータ（１１２）は、メタデータインタフェースを介して読み込まれる、請求項１乃至３のいずれか一項に記載の方法。
5. 各前記メタデータ（１１２）は、前記センサ（１０４）の静的特性をマッピングしたものである、請求項１乃至４のいずれか一項に記載の方法。
6. 各前記メタデータ（１１２）は、前記センサ（１０４）の可変の特性をマッピングしたものであり、前記センサにその時点において影響を与えている少なくとも１つのパラメータ（１２０）が検出され、前記少なくとも１つのパラメータ（１２０）を使用して前記メタデータ（１１２）がパラメータ化される、請求項１乃至５のいずれか一項に記載の方法。
7. 前記パラメータ（１２０）として、少なくとも１つのその時点における環境条件が、前記センサ（１０４）において及び／又は前記センサ（１０４）の検出領域（２００）において検出される、請求項６に記載の方法。
8. 前記センサデータ（１０８）は、座標に基づくものであり、
   前記センサデータ（１０８）の座標に対応付けられた情報に、当該座標に対して前記メタデータ（１１２）内に格納されているメタ情報（２０４）が対応付けられて、前記情報が評価される、
   請求項１乃至７のいずれか一項に記載の方法。
9. 請求項１乃至８のいずれか一項に記載の方法を対応する装置において実行し、実施し及び／又は制御するように構成されている装置。
10. コンピュータプログラム製品であって、当該コンピュータプログラム製品が実行されるときに、請求項１乃至８のいずれか一項に記載の方法を実行し、実施し及び／又は制御するためにプロセッサに指示するように構成されているコンピュータプログラム製品。
11. 請求項１０に記載のコンピュータプログラム製品を記憶した機械可読記憶媒体。

Images