JP7312856B2 - センサデータを処理するための方法および装置 - Google Patents

Description

本発明はセンサデータを処理するための方法に関する。本発明はさらにセンサデータを処理するための装置に関する。本発明はさらに制御機構に関する。本発明はさらにコンピュータプログラムに関する。本発明はさらに機械可読のメモリ媒体に関する。

自動運転を可能にする技術には、一般的に非常に高い期待および要求が課される。これらの要求の１つが、細かく描写された、正確な、最新かつ完全な、周囲のデジタル地図であり、このデジタル地図は、このような周囲内でのＡＤ（英語：ａｕｔｏｍａｔｉｃ ｄｒｉｖｉｎｇ）またはＡＤＡＳ車両（英語：ａｄｖａｎｃｅ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）のロバスト性のある正確で確実な位置特定、計画、およびナビゲーションを保証するために十分に正確なものである。

従来的には、このような「周囲地図」のデータは、高精度で費用の高い周辺環境センサを装備した専用の地図作成車両によって捕捉される。これらの車両は、周囲のほぼすべての特徴を捕捉し得る。ただし前述の要件を世界全体の完全な正確かつ最新の周囲地図のために提供するには、このようなアプローチは非常に費用がかかり、実用的に実施可能ではない。

今日、車両には、運転者支援システムで使用するための数多くの安価なセンサ（例えばＧＰＳ、レーダ、カメラなど）が取り付けられていることが知られている。

ただし実際には、通常はクラウド内に配置される地図作成装置のための各車両の帯域幅は、一般的に非常に制限されており（例えば約１０ＫＢ／ｋｍに）、これは、少量の周辺環境データしか伝送できないことを意味しており、センサの生データを伝送することは絶対にできない。

今日でも車両の特定の走行タスクを担うために、周辺環境センサからのデータが利用されている。例えば、緊急ブレーキアシスタント（ＡＥＢ、英語：Ａｕｔｏｎｏｍｏｕｓ Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ）または車間調節クルーズコントロール（ＡＣＣ、英語：Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）を制御するために周辺環境センサデータが利用される。典型的には、ＡＥＢまたはＡＣＣのような機能を実現するための周辺環境センサデータは、レーダセンサおよび／またはカメラによって確定される。すべてのこれらの機能に共通しているのは、その作用範囲が強く限定されているということである。

独国特許出願公開第１０２０１６２０５４３６号明細書は、デジタル地図を作成するための方法およびシステムを開示している。教示されているのは、デジタル地図の作成には車両周囲の一部分しか考慮されず、車両とクラウドの通信の際には車両周囲全体ではなく、その一部だけが車両センサによって捕捉されるということである。

Ｓ．ＳｈｏｂｈｉｔおよびＮ．Ｍｉｃｈａｅｌ、「Ａｐｐｒｏｘｉｍａｔｅ ｃｏｎｔｉｎｕｏｕｓ ｂｅｌｉｅｆ ｄｉｓｔｒｉｂｕｔｉｏｎｓ ｆｏｒ ｐｒｅｃｉｓｅ ａｕｔｏｎｏｍｏｕｓ ｉｎｓｐｅｃｔｉｏｎ（正確で自律的な検査のための近似的で連続的なビリーフ分布）」、２０１６ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｓａｆｅｔｙ，Ｓｅｃｕｒｉｔｙ，ａｎｄ Ｒｅｓｃｕｅ Ｒｏｂｏｔｉｃｓ（ＳＳＲＲ）（セーフティ・セキュリティ・レスキューロボティクス（ＳＳＲＲ）に関する２０１６年ＩＥＥＥ国際シンポジウム）、Ｌａｕｓａｎｎｅ、２０１６は、階層的な周囲モデルを開示しており、この周囲モデルでは、各階層レベルが特定の抽象化段階で世界を表現している。

Ｉ．ＵｌｒｉｃｈおよびＩ．Ｎｏｕｒｂａｋｈｓｈ、「Ａｐｐｅａｒａｎｃｅ－ｂａｓｅｄ ｐｌａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｆｏｒ ｔｏｐｏｌｏｇｉｃａｌ ｌｏｃａｌｉｚａｔｉｏｎ（トポロジカルローカリゼーションのための外観に基づく場所認識）」、Ｐｒｏｃｅｅｄｉｎｇｓ ２０００ ＩＣＲＡ．Ｍｉｌｌｅｎｎｉｕｍ Ｃｏｎｆｅｒｅｎｃｅ．ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ．Ｓｙｍｐｏｓｉａ Ｐｒｏｃｅｅｄｉｎｇｓ （Ｃａｔ．Ｎｏ．００ＣＨ３７０６５）（議事録 ２０００年ＩＣＲＡ、ミレニアム会議、ロボティクスおよび自動化に関するＩＥＥＥ国際会議、シンポジウム議事録Ｃａｔ．Ｎｏ．００ＣＨ３７０６５）、Ｓａｎ Ｆｒａｎｃｉｓｃｏ、２０００は、トポロジカル精度の方法、つまり精度の低い位置特定の方法を開示している。

本発明の課題は、センサデータを処理するための改善された方法を提供することである。

本課題は、第１の態様により、センサデータを伝送するための方法であって、
－ 車両の周辺環境データを提供するステップと、
－ 周辺環境データを対応するロケーションデータに割り当てるステップと、
－ ローカルに割り当てられた周辺環境データを処理装置に伝送するステップとを有し、この場合、
－ センサ機構と制御機構との間の周辺環境データの伝送および／または制御機構と処理装置との間のローカルに割り当てられた周辺環境データの伝送が、規定のデータ制限基準に従って実施される方法によって解決される。

こうすることで、周辺環境データの伝送が、送信機構と制御機構との間または制御機構と処理装置との間の伝送チャネルの帯域幅を減らしても実施され得ることが有利である。こうすることで、周辺環境データの生データを約１００分の１に減らせることが有利である。こうすることで、周辺環境データが、有利には普通の量産車両によって捕捉および伝送され得るので、デジタル地図の作成のためだけに使用される地図作成車両団がかなり縮小され得ることが有利である。

第２の態様により、本課題は、センサデータを伝送するための装置であって、
－ 車両の周辺環境データを提供するためのセンサ機構、
－ ロケーション機構、
－ 周辺環境データを対応するロケーションデータに割り当てるための制御機構、
－ センサ機構から制御機構に周辺環境データを伝送するための第１の伝送機構およびローカルに割り当てられた周辺環境データを装置の外部に配置された処理装置に伝送するための第２の伝送機構を有し、この場合、
－ センサ機構と制御機構との間の周辺環境データの伝送および／または制御機構と処理装置との間のローカルに割り当てられた周辺環境データの伝送が、規定のデータ制限基準に従って実施される装置によって解決される。

第３の態様により、本課題は、提案された方法を実行するよう構成された制御機構によって解決される。

第４の態様により、本課題は、コンピュータによるコンピュータプログラムの実行の際に提案された方法をコンピュータに実行させるコマンドを含むコンピュータプログラムによって解決される。

第５の態様により、本課題は、コンピュータプログラムが保存された機械可読のメモリ媒体によって解決される。

本方法の有利な変形形態は従属請求項の対象である。
本方法の有利な一変形形態は、データ制限基準により周辺環境データが選択されることを可能とする。これにより第１のデータ制限戦略が実現される。

本方法のさらなる有利な一変形形態は、ランダムに選択された周辺環境データが伝送されることを可能とする。こうすることで、さらなるデータ制限戦略が実現される。

本方法のさらなる有利な一変形形態は、周辺環境データを確定する際に、センサ機構の捕捉活動の優先順位付けが規定の方向に実施されることを企図する。こうすることで、さらなるデータ制限戦略が実現される。

本方法のさらなる有利な一変形形態は、周辺環境データを提供する際に、空間的および／または時間的に規定された密度で測定点の捕捉が実施されることを特色とする。こうすることで、いわゆる点測定（英語：ｐｏｉｎｔ ｃｌｏｕｄ ｍｅａｓｕｅｒｅｍｅｎｔ）が実施され、この点測定により、さらなるデータ制限戦略が実現される。こうすることで、周囲の一部分を非常に高い解像度で、またはどちらかといえば粗い、つまり低い解像度で捕捉することができ、これが周辺環境データのデータ量に影響を及ぼす。

本方法のさらなる有利な一変形形態は、周辺環境データの捕捉の提供頻度が、車両の速度に依存して形成されることを特色とする。これにより、規定の距離ごとに規定の帯域幅を捕捉でき、それにより、さらなるデータ制限戦略が実現される。

本方法のさらなる有利な一変形形態は、周辺環境データがデジタル地図の作成に使用されることを可能とする。こうすることで、提案された方法のための有利な適用例が実現される。

以下に、本発明をさらなる特徴および利点と共に、複数の図に基づいて詳細に説明する。これに関し、前述の装置の技術的な特徴および利点は、前述の方法の技術的な特徴および利点からこれに倣って明らかである。

センサデータを処理するための提案された装置の原理図である。 センサデータを処理するための提案された方法のフローチャートの原理図である。

本発明の中心思想は、とりわけ、センサデータの伝送を車両内の制限された帯域幅で行うことである。例示的な適用例として、データを、最適化されたデジタル地図を作成するために提供することが提案される。

本発明により提供された周辺環境データを用いて、非常に正確でロバスト性があり、可能な限り完全で高可用性のデジタル地図が作成され得ることが有利である。一般原理が、非常に簡単であり、かつ以下に単に例示的に説明する多くの実装および適用例を可能にすることが有利である。

各適用例は、適用のために特異的に適している１つまたは複数のデータ伝送戦略を必要とする。特有の問題の仮定のもとに、意思決定のために入手可能な情報は、入手可能で伝送され得る周辺環境データに関する自由度と、周辺環境データに関する各最適化目標に割り当てられた重み付け（精度、完全性など）とである。これに関し、各々個々の適用例からもたらされる最適化問題を解くことにより、様々な戦略が導き出され得る。

各車両の連結度の状態に依存して、図１に基づいてより詳しく解説される複数のシナリオが考察され得る。

図１は、センサデータを処理するための提案された装置１００の一実施形態を示している。車両（不図示）のセンサ機構１０（例えばレーダセンサ、ライダセンサ、カメラなど）が認識でき、センサ機構１０は、第１の伝送線１１（例えばＣＡＮバス）を介して中央の制御機構３０（例えば電子制御機器、ＥＣＵ）と機能的に接続しており、制御機構３０の方では第２の伝送線３１により、例えばクラウド内に配置された処理装置２００と接続している。第２の伝送線３１は、ここでは物理的な意味ではなく、データ接続チャネル（例えば無線接続）として理解されるべきである。両方の伝送線１１、３１の各々は、制御機構３０へのセンサデータのｘパーセントおよび処理装置２００へのセンサデータのｙパーセントだけという制限された一部分しか伝送できない帯域幅制限を有しており、これに関しｘおよびｙは、一般的にたいていは１００パーセントよりかなり低い。

この関連でセンサデータとは、センサの生データか、または（例えばフィルタリング、特徴抽出、モデル形成などによる）処理された測定データ（この場合が普通である）のことである。

制御機構３０が、その他の情報源への、例えば第３の伝送線２１によりロケーション機構２０、保存された地図などへの、追加的なアクセスを有するので、また既に言及したように、最適な伝送戦略は、入手可能な情報の量によって良い影響を及ぼされるので、この状況に対し、２つの原理的に異なる適用例が区別され得る。

適用例１：センサ機構１０が、既に相応に予め構成されたソフトウェアによって供給されており、再構成され得ない。

適用例２：センサ機構１０を制御機構３０によって制御または構成でき、このようにして、センサ機構１０がどのセンサデータを制御機構３０に伝送するかに影響を及ぼすことができる。

通常の車両にとって普通の場合である第１の適用例では、最適な戦略は、センサデータに関するデータ伝送戦略を固定的に調整することにあり、これに対して第２の適用例では、センサデータに関するデータ伝送戦略が、具体的に存在している状況に適合される。両方の適用例により、システムに起因する帯域幅制限を活用して最適なデジタル地図が実現され得る。

このようにして、データ制限基準により、センサデータの例えば固定的なまたはランダム化された伝送が伝送線１１、３１を介して行われ得る。

制御機構３０はフィードバック伝送線３３を介してセンサ機構１０と通信することも企図され得、この場合、制御機構３０は、制御機構３０がどのセンサデータが欲しいかをセンサ機構１０にフィードバック伝送線３３を介して知らせることができる。こうすることで例えば、規定の時間内に、車両の規定の側から捕捉された、周辺環境データの形態でのセンサデータＳＤが伝送され得る。

さらに、問合せ／応答の原理の意味において、処理装置２００により、完全な周辺環境データＳＤが処理装置２００へ伝送されるべきかどうかが決定され得る。この場合には例えば、規定の領域（例えばジオ長方形（Georechteck）の領域）の周辺環境データＳＤを要求でき、このことは、例えば、このようにローカルに割り当てられた周辺環境データＳＤ’のヘッダ内に詳細に記され得る。このために、処理装置２００から、制御機構３０へのフィードバック伝送線３２が設けられ得る。

データ制限基準を実現するため、センサ機構１０が第１の制限機構１２を有することが認識でき、この第１の制限機構１２により、どの周辺環境データＳＤが最重要らしいかが決定され、その後、この最重要のデータが制御機構３０に伝送される。このようにして、重要な周辺環境データＳＤを優先することが、既にセンサ機構１０で行われる。

任意選択でまたは追加的に、制御機構３０に第２の制限機構３４を形成してもよく、第２の制限機構３４は、制御機構３０にデータ制限基準を実装する。

例えば、ロケーション機構２０を使用して（適用例２）、車両は、走行中の道路が以前に走行したことのある道路かどうかを突き止め得る。最初の走行で、車両は、周囲の一部に特有である周辺環境データＳＤのうちの一部を送信したと仮定される。この情報の提供のもとに、（例えばデジタル地図の最適な網羅率のための）最適な挙動は、２回目の走行中に、周辺環境データＳＤのうち最初の走行では伝送されなかった別の一部が今回は伝送されるということであり得る。適用例１では、より良い網羅率の方向でのこのような適応は実現され得ない。

制限されたデータ伝送に関する改善された戦略は、車両が、周辺環境内の他の車両と通信できることからもたらされ得る。挙げた戦略は、例えばデータ伝送の挙動を、相互に網羅することの欠点を最小限に抑えるため、地図の特定の区域内の精度を改善するため、地図の網羅率を改善するためなどに適応でき、その際、すべての挙げた活動は、制限された帯域幅の前提条件下で実施される。

制御または再構成を可能にするために制御機構３０とセンサ機構１０の間で適用されることは、処理装置２００と制御機構３０の間の接続にも適用され得る。これに関しては例えば、処理装置２００が、フィードバック伝送線３２を介して車両からセンサ機構２０に特有の種類の情報の形態での周辺環境データＳＤを要求する能力を、または処理装置２００に格納されたデジタル地図のその時々の状態に基づいて周囲の幾つかの区域などに焦点を合わせる能力を有するかどうかで違ってくる。

さらなる態様は、周辺環境データＳＤの基となっている空間の次元性に関する。例えば、車両の一団にレーダセンサを装備でき、この場合、各レーダセンサは車両の走行中に周囲のいわゆる点群測定を実施する。点群測定の各点は、空間を様々な次元で規定している情報を内包しており（例えばｘ方向、ｙ方向、ｚ方向、ＲＣＳなど．．．）、かつこれらの次元の幾つかに関し、分散／共分散の値を内包している。これに加えて以下のパラメータ、すなわち記録時間、車両タイプ、センサの取付け位置、センサのソフトウェアバージョンなどの少なくとも１つも、データ空間のその他の次元を根拠づけ得る。

デジタル地図の精度および／または網羅率および／または新しさを最適化する戦略は、上記の空間次元性を考慮に入れるべきである。これが、伝送される周辺環境データＳＤのコスト低下に反映され得ることが有利である。

例えば、空間的な精度に関するコスト関数に、ＲＣＳ精度に関するコスト関数より高い重み付けを付与できるなどであり、これが異なるデータ伝送戦略をもたらす。最適なデータ伝送戦略は、例えば、車両団の各部分に対し、空間の幾つかの方向に焦点を合わせ得る。

その他の重み関数は、空間の各次元に対し、次元ごとの所望の解像度によって規定され、かつ相応に変更され得る。例えば、デジタル地図が規定の精度（例えば約１０ｃｍの大きさでの）に達するまでは、周辺環境データＳＤの空間的な精度に高い重み付けを付与することができ、その後、空間的な精度の重み付けを下げて、限定されたセンサデータの戦略を他の次元に向けることができる。

さらなる一例は、周辺環境データＳＤの撮影時間または捕捉時間であり、これに関しては、日中または夜間に撮影されたセンサデータの異なる解像度が関心の的である可能性があり、この場合、正確な時刻の重要性はどちらかというと低い。これも、伝送される周辺環境データＳＤの量を決定的に減らし得る。

結果として、提案された方法により、従来技術で知られたモデルを高い段階から低い段階で形成し得るデータ伝送戦略が規定され得ることが有利である。このようにして、規定の地域内で屋外にある車両の数に依存して、地図データの精度および最新性が、したがって位置特定も改善され得る。

上では本方法がデジタル地図の作成との関連で解説されたのではあるが、本方法はこれに限定されない。本発明が、最適化されたデジタル地図を形成するためだけでなく、最適な目標の達成にも使用され得ることが有利である。これは例えば、作成される地図を使用して車両が実施する、精度、可用性、ロバスト性、確実性などの形態において最適化された位置特定に、または一般的な最適化された機能（例えば位置特定、計画、知覚、またはその他の機能にあり得る。

図２は、センサデータを処理するための提案された方法の原理的なフローを示している。
ステップ３００では、センサ機構１０を使って車両の周辺環境データＳＤの提供が実施される。
ステップ３１０では、対応するロケーションデータＯＤへの周辺環境データＳＤの割り当てが実施される。

ステップ３２０では、ローカルに割り当てられた周辺環境データＳＤ’の、処理装置２００への伝送が実施され、この場合、センサ機構１０と制御機構３０との間の周辺環境データＳＤの伝送および／または制御機構３０と処理装置２００との間のローカルに割り当てられた周辺環境データＳＤ’の伝送が、規定のデータ制限基準に従って実施される。

本発明による方法が、例えば車両内の制御機器の形態での電子制御機構３０でまたはクラウドベースのサーバ機構で動作するソフトウェアとして実装され得ることが有利である。こうすることで、本方法の簡単な適応性が補助される。

当業者は本発明の特徴を適切に、本発明の核心から逸脱することなく改良および／または相互に組み合わせるであろう。

Claims (8)

1. センサデータを処理するための方法であって、
   － センサ機構（１０）が、車両の周辺環境データ（ＳＤ）を提供するステップと、
   － 制御機構（３０）が、前記周辺環境データ（ＳＤ）を対応するロケーションデータ（ＯＤ）に割り当てるステップと、
   － 第２の伝送機構（３１）が、ローカルに割り当てられた周辺環境データ（ＳＤ’）を処理装置（２００）に伝送するステップとを有し、
   － 前記センサ機構（１０）と前記制御機構（３０）との間の前記周辺環境データ（ＳＤ）の伝送および／または前記制御機構（３０）と前記処理装置（２００）との間の前記ローカルに割り当てられた周辺環境データ（ＳＤ’）の伝送が、規定のデータ制限基準に従って実施され、
   前記データ制限基準により前記周辺環境データ（ＳＤ）が選択され、
   かつ、ランダムに選択された周辺環境データ（ＳＤ”）が伝送される、
   る方法。
2. 前記周辺環境データ（ＳＤ）を提供する際に、空間的および／または時間的に規定された密度の測定点の捕捉が実施される、請求項１に記載の方法。
3. 前記周辺環境データ（ＳＤ）の前記捕捉の提供頻度が、前記車両の速度に依存して形成される、請求項２に記載の方法。
4. 前記周辺環境データ（ＳＤ）がデジタル地図の作成に使用される、請求項１から３のいずれか一項に記載の方法。
5. センサデータを伝送するための装置（１００）であって、
   － 車両の周辺環境データ（ＳＤ）を提供するためのセンサ機構（１０）と、
   － ロケーション機構（２０）と、
   － 前記周辺環境データ（ＳＤ）を対応するロケーションデータ（ＯＤ）に割り当てるための制御機構（３０）と、
   － 前記センサ機構から前記制御機構（３０）に前記周辺環境データ（ＳＤ）を伝送するための第１の伝送機構（１１）およびローカルに割り当てられた周辺環境データ（ＳＤ’）を前記装置（１００）の外部に配置された処理装置（２００）に伝送するための第２の伝送機構（３１）と、を有し、
   － 前記センサ機構（１０）と前記制御機構（３０）との間の前記周辺環境データ（ＳＤ）の伝送および／または前記制御機構（３０）と前記処理装置（２００）との間の前記ローカルに割り当てられた周辺環境データ（ＳＤ’）の伝送が、規定のデータ制限基準に従って実施され、
   前記データ制限基準により前記周辺環境データ（ＳＤ）が選択され、
   かつ、ランダムに選択された周辺環境データ（ＳＤ”）が伝送される、装置（１００）。
6. 請求項１から４のいずれか一項に記載の方法を実行するよう構成された制御機構（３０）。
7. コンピュータによるコンピュータプログラムの実行の際に請求項１から４のいずれか一項に記載の方法を前記コンピュータに実行させるコマンドを含むコンピュータプログラム。
8. 請求項７に記載のコンピュータプログラムが保存された機械可読のメモリ媒体。

Images