JP7042905B2 - 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法 - Google Patents

逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法 Download PDF

Info

Publication number
JP7042905B2
JP7042905B2 JP2020520315A JP2020520315A JP7042905B2 JP 7042905 B2 JP7042905 B2 JP 7042905B2 JP 2020520315 A JP2020520315 A JP 2020520315A JP 2020520315 A JP2020520315 A JP 2020520315A JP 7042905 B2 JP7042905 B2 JP 7042905B2
Authority
JP
Japan
Prior art keywords
radar
occupancy
measurement data
sensor device
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020520315A
Other languages
English (en)
Other versions
JP2020537140A (ja
Inventor
ラング,シュテファン
グスナー,トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2020537140A publication Critical patent/JP2020537140A/ja
Application granted granted Critical
Publication of JP7042905B2 publication Critical patent/JP7042905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40Means for monitoring or calibrating
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、レーダセンサ装置のための逆センサモデルを生成する方法および装置に関する。本発明は、さらに、レーダセンサ装置によって車両の周囲の障害物を検出する方法に関する。
半自律的または自律的な運転を可能にする運転者支援システムは、車両の周囲に関する正確な情報を有している必要がある。特に、車両周辺の通行可能な領域もしくは空き領域と通行できない領域とを区別する必要がある。空き領域を決定するためには、現在は主にビデオセンサ、ステレオビデオセンサ、およびライダーセンサが使用されている。特に、これらのセンサによって生成されたセンサデータを使用して占有グリッドを生成することができる。このために、通常は車両の周囲を2次元グリッドパターンとして表し、グリッドパターンのそれぞれのセルには占有値が割り当てられる。占有値は、値「空き」と「占有」とを有する2値であってもよい。3値を使用することも可能であり、この場合、値「未知」をセルに割り当てることもできる。
センサデータに基づく3値のこのような割り当ては、例えば、DE102009007395B4により知られている。
現代の車両は、通常、障害物を検出するために使用される多数のレーダセンサも有している。しかしながら、占有グリッドを生成するためにレーダセンサを直接に使用することは、レーダ反射がしばしば間接的に、例えばガードレール反射または床反射を介して生成されることにより難しい。視線に沿ってビデオセンサまたはライダーセンサを使用する場合には最初の反射までは空き空間が想定できるが、このことはレーダセンサの場合には通常あてはまらない。
本発明は、請求項1の特徴を有するレーダセンサ装置のための逆センサモデルを生成する方法を提供する。本発明は、さらに、特許請求項9の特徴を有するレーダセンサ装置によって車両の周囲の障害物を検出する方法を提供する。最後に、本発明は、請求項10の特徴を有するレーダセンサ装置の逆センサモデルを生成するための装置を提供する。
好ましい実施形態は、それぞれの従属請求項の対象である。
したがって、第1の態様によれば、本発明は、レーダセンサ装置のための逆センサモデルを生成する方法を提供する。レーダセンサ装置の周囲には、所定の寸法および空間的位置を有する障害物が配置されている。レーダ測定データは、レーダセンサ装置によって生成される。生成されたレーダ測定データと、障害物の設定された寸法および空間的位置とを使用して逆センサモデルが生成される。逆センサモデルは、所定のレーダ測定データの関数として占有グリッドのセルに占有確率を割り当てる。
したがって、第2の態様によれば、本発明は、レーダセンサ装置によって車両の周囲の障害物を検出する方法に関し、レーダセンサ装置の逆センサモデルが生成される。さらに車両の周囲に関するレーダ測定データがレーダセンサ装置によって生成される。さらに占有グリッドが生成され、逆センサモデルに基づいて、レーダ測定データを使用して占有グリッドのセルの占有値が決定される。障害物は占有グリッドを使用して検出される。
本発明の第3の態様によれば、レーダセンサ装置の逆センサモデルを生成するための装置が提供される。この装置は、レーダセンサ装置によって生成されたレーダ測定データを受信するインタフェースを有する。このインタフェースは、レーダセンサ装置の周囲の障害物の設定された寸法および空間的位置に関する情報を受信する。装置はさらに、受信したレーダ測定データと、障害物の設定された寸法および空間位置に関する情報とを使用して、レーダセンサ装置の逆センサモデルを生成する計算装置を備える。逆センサモデルは、所定のレーダ測定データに依存して占有グリッドのセルに占有確率を割り当てる。
逆センサモデルは、明確に定義されたトレーニングデータに基づいて、すなわち、テストシナリオにおいて既知の制御可能な条件下で記録されたレーダ測定データに基づいて生成される。トレーニングフェーズでは、レーダセンサ装置に対する障害物の正確な位置および障害物の正確な寸法がわかっている。したがって、生成されたレーダ測定データを車両の既知の周囲に一義的に割り当てることができる。これらの既知の値に基づいて、逆センサモデルに基づいて任意に与えられたレーダ測定データを評価することが可能となるように逆センサモデルが学習される。
したがって、本発明は、レーダセンサ装置のための逆センサモデルを生成することを可能にする。逆センサモデルがトレーニングシナリオに記録されたレーダデータに既に含まれているので、逆センサモデルを生成する際に、通常は計算が困難である間接的な反射も考慮される。したがって、本発明は、占有グリッドを生成するためにレーダセンサ装置を加えることを可能にする。
方法のさらなる好ましい実施形態によれば、レーダ測定データが生成される場合にレーダセンサ装置に対する障害物の相対位置が変更され、それぞれの相対位置についてレーダ測定データが生成される。これにより、逆センサモデルを学習するための異なるシナリオを考慮することができる。一実施形態によれば、レーダセンサ装置は、構築された障害物を有するテスト経路を通って移動され、実質的に連続的に、または特定の期間にレーダ測定データが生成される。しかしながら、レーダセンサ装置に対する障害物の向き、またはレーダセンサ装置に対する障害物の距離もしくは位置に関して、障害物をレーダセンサ装置に対して変更することも可能である。障害物の位置および向きは、互いに対して変更することができる。障害物の角度位置、距離、および障害物の形状または材料が異なっている多様なシナリオが考慮されるほど、一般に、逆センサモデルはより正確になる。特に、未知のシナリオに対する占有確率がより正確になるほど、より多くのトレーニングデータが逆センサモデルを生成するために使用されている。
この方法のさらなる好ましい実施形態によれば、障害物の設定された寸法および空間的位置に基づいてセルに占有確率が割り当てられ、生成されたレーダ測定データに結び付けられる。設定された寸法および空間的位置は、レーダセンサ装置の周囲の正確な占有を計算するために使用することができる。代替的または付加的に、寸法および空間的位置は、例えばカメラまたはライダー装置などの別のセンサ装置によって決定することができ、これによりあらかじめ設定することができる。いずれにせよ、障害物の寸法および空間的位置はレーダ測定値とは無関係に既知である。すなわち、寸法および位置はレーダ測定データを使用することなしに決定される。寸法および空間的位置は既知なので、テストシナリオのための占有確率を正確に示すことができる。すなわち、占有確率は、例えば、それぞれのセルについて0または1である。
したがってテストシナリオのための占有確率は正確にわかってるが、未知のシナリオのための占有確率は、すなわち未知のレーダ測定データは逆センサモデルによって計算される。一実施形態によれば、逆センサモデルはこのために機械学習によって生成される。特に好ましくは、逆センサモデルはニューラルネットワークによって生成され、レーダ測定データ、および生成されたレーダ測定データに結び付けられた占有確率、すなわちテストシナリオについて決定された値はニューラルネットワークの入力データとして使用される。特に好ましくは、逆センサモデルを生成するために畳み込みニューラルネットワーク(CNNまたはConvNet)が使用される。特に、レーダ測定データはグリッドの形式で示すことができ、第1のグリッドは反射値に基づいて生成され、第2のグリッドは関連する半径方向速度に基づいて生成され、第3のグリッドは決定されたレーダ断面に基づいて生成される。第1~第3のグリッドはCNNの入力データとして使用される。レーダ測定のさらなる特性に基づいてさらなるグリッドを設定することができる。グリッドは、ニューラルネットワークを用いて逆センサモデルを決定するために、すなわち、設定されたレーダ測定データに占有確率を割り当てるために使用される。
方法のさらなる好ましい実施形態によれば、ニューラルネットワークの付加的な入力データとして使用される占有確率がさらなるセンサ装置によって決定される。これらのセンサ装置は、好ましくは、ライダーセンサまたは車両カメラを含むことができる。これらのさらなるセンサ装置のためには占有確率を決定するための公知の方法を使用することができる。特に、ライダーセンサおよび車両カメラでは一般に間接反射が生じないという状況を考慮に入れることができる。さらに、付加的なセンサ装置のセンサデータに基づいた画像処理および物体検出によって占有確率を決定することができる。ビデオデータを用いて、例えば、道路表面を検出し、通行可能として分類することができる。センサの視野内で反射が検出されないという事実から、特定の確率で物体も存在していないと結論付けることによって占有確率を間接的に決定することもできる。ライダー装置を使用する場合には占有確率は角度毎に生成することができる。占有確率は、以前の測定履歴を考慮して占有グリッドを生成するために使用することができる。複数のセンサ装置が使用される場合には、占有確率の計算前または占有確率の計算後にセンサデータを統合することができる。
好ましい実施形態によれば、テストシナリオに加えて、実際の走行からの測定値も考慮される。障害物の対応する寸法および空間的位置をさらなるセンサデータに基づいて提供することができる。
本方法の好ましい実施形態によれば、逆センサモデルを生成する場合に、生成されたレーダ測定データと、障害物の設定された寸法および空間的位置とに基づいて決定されるレーダセンサ装置の到達範囲が考慮される。テストシナリオにおいて、特定の大きさの障害物が特定の距離に存在するが、対応するレーダ反射が確認されない場合には、障害物はレーダセンサ装置の範囲外にあると結論付けることができる。一般に、レーダセンサ装置の到達範囲は固定値ではなく、レーダセンサ装置の検出精度が低下し、実質的にゼロになる連続的な移行範囲である。この到達範囲は、例えば、レーダセンサ装置の範囲外にある領域に対応する占有グリッドのセルに1/2の占有確率を割り当てることによって考慮することができる。
本方法のさらなる好ましい実施形態によれば、逆センサモデルを生成するために評価されるレーダ測定データは、レーダ断面積および角度確率を含む。
逆センサモデルを生成するための装置を示す概略的なブロック図である。 テストシナリオを示す概略的な上面図である。 テストシナリオのための占有確率の例示的な距離関係性を示す図である。 任意に設定された周囲シナリオのための占有確率の例示的な距離関係性を示す図である。 レーダ反射がない場合の占有確率の例示的な距離依存性を示す図である。 例示的な占有グリッドを示す図である。 逆センサモデルを生成する方法もしくは障害物を検出する方法のフロー図である。
図1は、レーダセンサ装置21の逆センサモデルを生成するための装置1の概略ブロック図を示す。レーダセンサ装置21は、レーダ波を送信し、反射されたレーダ波を受信するように構成された多数の個々のトランシーバ装置を有していてもよい。
レーダセンサ装置21は、好ましくは、車両2に組み込まれている。レーダセンサ装置21はレーダ測定を実行し、対応するレーダ測定データを生成し、このレーダ測定データは信号接続を介して装置1のインタフェース11に伝送される。装置1のインタフェース11は、さらに、レーダセンサ装置21の周囲の障害物の正確な空間位置および寸法をインタフェース11に伝送する外部の計算装置3に結合されている。空間的位置は、特にレーダセンサ装置21の位置に対して示すことができる2次元またはは3次元の位置座標を含んでいてもよい。寸法は、障害物の正確な空間寸法および正確な形状を含んでいてもよい。さらに、障害物の材料品質に関する情報を計算装置3からインタフェース11に送信することができる。障害物は、レーダ波を反射する任意の物体、例えば、車両、人間、ガードレール、建物の一部、樹木または灌木であってもよい。障害物についての情報、すなわち特に、空間的位置、寸法、および必要に応じて材料特性は、ユーザインターフェースを介してユーザが入力し、計算装置3のメモリに記憶させることができる。付加的または代替的に、計算装置3は、障害物に関する情報を決定するさらなるセンサに関連付けることができる。例えば、付加的なセンサは、カメラまたはライダーセンサを含んでいてもよい。
インタフェース11を介して受信された障害物に関する情報および受信されたレーダ測定データは、このデータをさらに処理するように構成された計算装置12に送信される。
計算装置12および計算装置3は、データを処理し、計算を行うための1つまたは複数のマイクロプロセッサを含んでいてもよい。計算装置12は、受信したレーダ測定データと、障害物の設定された寸法および空間的位置に関する情報とを使用してレーダセンサ装置21の逆センサモデルを計算する。
逆センサモデルは、占有グリッドを生成するために使用することができるモジュールとして理解される。占有グリッドのそれぞれのセルには、あらかじめ設定された現在のレーダ測定データの関数として占有確率が割り当てられる。現在のレーダ測定データが利用可能である場合には、占有確率は対応するセルが占有されている確率に対応する。占有確率に基づいてセルの占有値を決定することができる。占有値は、好ましくは、値「占有」または「1」および「空き」または「0」を有する2進値をとることができる。占有値は、さらに値「未知」をとることができ、例えば、値1/2によって表すことができる3値であってもよい。さらなる実施形態によれば、占有値は、0と1との間の連続値をとることができる。占有グリッド自体は対称グリッドであることが好ましく、計算された占有値がそれぞれのセルに割り当てられる。通常、占有グリッドは車両の周囲をモデル化しており、したがって、車両の周囲の固定要素に対して固定されている。これは、車両自体および他の動的オブジェクトが占有グリッドを通って移動することを意味する。車両2の移動中には新しいセンサデータが生成され、これらのセンサデータは占有グリッドを更新するために使用される、すなわち、占有グリッドのセルの占有値の動的調整のために使用される。特に、現在のレーダ測定データを用いて生成された逆センサモデルに基づいて占有グリッドのセルの対応する占有確率を決定することができる。占有確率を使用してセルの占有値を動的に適応させることができる。特に、「バイナリベイズフィルタ」と呼ばれる再帰更新方程式を使用して、すなわち、測定履歴全体を考慮してそれぞれのセルの事後確率を計算することができる。一実施形態によれば、個々のセルは、このために条件付きで互いに独立していると仮定することができる。
占有グリッドは周囲の2次元の記述を可能にし、車両の周囲の障害物および通行可能な領域の両方が検出される。したがって、占有グリッドは、空きスペースモデリング化もしくは空き領域モデル化を可能にする。
生成された逆センサモデルは、逆センサモデルに基づいて獲得したレーダ計測値によって障害物を検出し、車両2を半自律的に、または自律的に制御する運転支援システム22に送信することができる。
計算装置12による逆センサモデルの生成を以下により詳細に説明する。
図2は例示的なテストシナリオを示す。すなわち、レーダセンサ装置21を所定の障害物41~44を有する周囲に位置決めする。レーダセンサ装置21は、好ましくは、所定の経路7に沿って移動し、あらゆる時点においてレーダセンサ装置21に対する障害物41~44の正確な位置が計算装置3によって決定され、装置1に伝送される。レーダセンサ装置21は、近傍領域51のレーダ測定データおよび遠方領域52のレーダ測定データを決定し、検出された領域は、それぞれの検出角度α1、α2および到達範囲61、62によって特徴づけられている。それぞれのレーダ計測データには、障害物41~44に関するそれぞれの情報が割り当てられている。レーダ測定データは、全てのレーダ反射(位置)の全体およびそれらの特性、特に、対応する角度確率およびレーダ断面積を含む。
障害物の寸法および空間的位置を使用して、計算装置12は、それぞれのレーダ測定データに占有グリッドのセルの対応する占有確率を割り当てることができる。
図3は、このことを視線8に沿った占有グリッドのセルの例として示している。第1の障害物41までの距離x1より小さい距離xについては、占有確率は0である。視線8に沿ってレーダセンサ装置21から距離x1にあるセルについては、この位置には確かに障害物41があるので、占有確率は1である。さらに離れた領域は障害物41によって覆われているので、これらの領域については言及することができない。対応して、占有確率に1/2の値を割り当てることができる。
受信されたそれぞれのレーダ測定データについて、計算装置12は、この例と同様に、障害物41~44に関する情報を使用して占有グリッドのすべてのセルについての占有確率を計算する。これらの決定された占有確率はニューラルネットワークのための入力データを形成し、計算装置12はニューラルネットワークを用いて逆センサモデルを計算する。ニューラルネットワークのためのさらなる入力データは、車両カメラまたはライダーセンサからの付加的なセンサデータであってもよい。逆センサモデルによって任意のレーダ測定データを評価することができ、占有グリッドのセルにそれぞれの対応する占有確率を割り当てることができる。
図4は、これことを特定の視線に沿った例示的なシナリオについて示している。占有確率は、一般的なシナリオについて0、1/2、および1の値をとるだけでなく、一般に0と1の間の任意の値をとる。測定が不正確である可能性およびノイズに基づいて反射がない場合であっても、確率は一般に0に等しくなく、反射を受信する場合であっても正確な位置x2は一般にわかっていないが、占有確率は一般に1に近い値まで連続的に増大する。より大きな距離の場合にはこの値は、占有については再び述べることができないので、実質的に1/2に低下する。
図5は、逆センサモデルによって決定された占有確率の別の例示的な距離との関係性を示す。この場合、検査される視線に沿って受信されるレーダ反射は実質的に全くないか、またはほんのわずかである。したがって、占有確率は、より小さい距離については実質的にゼロである。しかしながら、占有確率は、より大きな距離については増大し、レーダセンサ装置21の到達範囲x3を超えると、この距離範囲については述べることができないので、再び値1/2をとる。
逆センサモデルBilkを生成する場合には、レーダセンサ装置21の到達範囲x3を考慮することができる。例えば、図2に示す障害物44は、レーダセンサ装置21の到達範囲外にあるので検出されない。レーダセンサ装置21が経路7に沿って接近した場合にようやく障害物44はレーダセンサ装置21の検出領域内に移動する。逆センサモデルが機械学習によって、例えば深いニューラルネットワークを使用することによって生成される場合にもこのようなシナリオが学習される。
図6は、生成された逆センサモデルによって生成することができる例示的な占有グリッド9を示す。占有グリッド9は、占有確率を決定するための逆センサモデルを使用して、新たに生成されたレーダ測定データを評価し、決定された占有確率に基づいて占有値を更新することによって動的に更新される。新しい占有値は、例えば、ベイズフィルタを使用して決定することができる。割り当てグリッド9の個々のセル9-11~9-mn(ここで、mおよびnは自然数である)には、対応して、0(空き)または1(占有、×印が付けられている)の占有値が割り当てられる。セル9-ijの占有値は、特に、新しい測定が対応するセル9-ijの高い占有確率をもたらす場合に変化する。
占有確率は、さらなるセンサデータに基づいて検出されたさらなる占有確率と混合することができる。さらなるセンサデータは、例えば、車両カメラまたはライダーセンサに基づいて生成することができ、これにより占有確率のより正確な決定が可能である。
図7は、レーダセンサ装置21のための逆センサモデルを生成する方法および障害物を検出する方法のフロー図を示す。逆センサモデルを生成する方法S0は、方法ステップS1~S5を含み、障害物を検出する方法は、付加的な方法ステップS6~S9を含む。
第1の方法ステップS1では、障害物41~44がレーダセンサ装置21の周囲に配置される。障害物41~44の寸法、空間的位置、および必要に応じて、使用される材料もしくは反射特性に関する情報が決定される。これらの情報は、付加的なセンサ装置によって生成することができる。代替的に、障害物41~44は、これらの空間的位置がわかるように配置することができる。対応する情報は、周囲モデルを生成するための装置1にユーザが手動で送信することができる。レーダセンサ装置21は、方法ステップS2においてレーダ測定データを生成する。
好ましくは、このために、レーダセンサ装置21は、障害物41~44に対して移動され、障害物41~44とレーダセンサ装置21との間の対応する相対的な向きは、あらゆる検出時点でわかっている。代替的または付加的に、障害物41~44をレーダセンサ装置21に対して移動させることもできる。
方法ステップS3において、生成されたレーダ測定データおよび所定の情報、すなわち特に、障害物41~44の寸法および空間的位置を使用して逆センサモデルが生成される。逆センサモデルは、特に、上述した方法のうちの1つを使用して上述した計算装置12によって生成することができる。
特に、占有グリッド9のセル9~ijに、障害物41~44に関する情報に基づいて占有確率を割り当てることができ、これらの占有確率を対応するレーダ測定データに結び付けることができる。これらの結び付けられたデータはニューラルネットワークの入力データとして使用される。さらに、ニューラルネットワークの入力データとしてさらなるセンサデータを使用することができる。逆センサモデルは、任意に設定されたレーダ測定データの関数として占有グリッド9のセル9~ijに対応する占有確率を割り当てるニューラルネットワークによって生成される。
方法ステップS4では、逆センサモデルを生成し、適合させるためのさらなるレーダ測定データが考慮されるべきかどうかをチェックする。必要に応じて、新しいレーダ測定データが生成され(S2)、それに応じて逆センサモデルが適合される(S3)。特に、ニューラルネットワークによって、新しいデータを使用して逆センサモデルのパラメータを適合させることができる。
さらなるレーダ測定データが考慮されるべきでない場合、生成された逆センサモデルは、方法ステップS5において出力される。
さらなる任意選択のステップS6~S9では、生成された逆センサモデルを使用して、車両2の周囲の障害物41~44を検出することができる。
このために、方法ステップS6では、ステップS1~S5で使用されるレーダセンサ装置21と同一または構造が同じレーダセンサ装置21によってレーダ測定データが生成される。
方法ステップS7において、占有グリッドが生成もしくは更新され、逆センサモデルに基づいて、レーダ測定データを用いて、占有グリッド9のセル9-ijに対する占有確率が入力データ決定される。さらに占有確率は、占有グリッド9のセル9~ijの占有値を生成するために、または既に存在する場合にはそれらを更新するために使用される。
方法ステップS8において、障害物41~44が占有グリッド9を用いて検出される。障害物41~44は、占有されている領域に対応する。すなわち、占有グリッド9の対応するセル9~ijは、1の占有値を有する。
さらに、随意の方法ステップS9では、検出された障害物41~44に基づいて車両2の運転機能を制御することができる。
特に、車両2を加速または制動することができ、車両の進行方向を適合させることもできる。

Claims (7)

  1. レーダセンサ装置(21)のための逆センサモデルを生成する方法であって、
    計算装置(12)によって、前記レーダセンサ装置(21)の周囲に配置された障害物(41~44)の設定された寸法および空間的位置を取得するステップと、
    前記レーダセンサ装置(21)によってレーダ測定データを生成するステップ(S2)と、
    前記計算装置(12)によって、生成された前記レーダ測定データと、前記障害物(41~44)の前記設定された寸法および空間的位置とを使用して前記逆センサモデルを生成するステップ(S3)と、を含み、
    前記逆センサモデルが所定のレーダ測定データの関数として占有グリッド(9)のセル(9?ij)に占有確率を割り当て、
    前記障害物の前記設定された寸法および空間的位置に基づいて前記セル(9~ij)に占有確率を割り当て、前記占有確率を前記生成されたレーダ測定データに結び付け、
    ニューラルネットワークによって前記逆センサモデルを生成し、前記レーダ測定データ、および前記生成されたレーダ測定データに結び付けられた前記占有確率を前記ニューラルネットワークの入力データとして使用し、
    前記レーダセンサ装置(21)から前記障害物(41~44)へ向かう方向に、前記レーダセンサ装置(21)からの距離に応じて前記占有グリッド(9)の前記セル(9?ij)に対して前記占有確率が割り当てられ、
    前記障害物(41~44)の前記空間的位置に対応する前記セル(9?ij)に対しては、“占有”を意味する値を有する占有確率が割り当てられ、
    前記障害物(41~44)からのレーダ反射が検出されない場合には、前記レーダセンサ装置(21)の到達範囲、および、前記到達範囲よりもさらに遠くの位置に対応する前記セル(9?ij)に対して、“未知”を意味する値を有する占有確率が割り当てられ、
    前記レーダ測定データを生成する場合に前記レーダセンサ装置(21)に対する前記障害物(41~44)の相対位置が変更され、それぞれの相対位置について前記レーダ測定データが生成される、方法。
  2. 請求項に記載の方法において、
    前記レーダセンサ装置(21)から前記障害物(41~44)までよりもさらに遠くの位置に対応する前記セル(9?ij)に対しては、“未知”を意味する値を有する占有確率が割り当てられる、方法。
  3. 請求項1または2に記載の方法において、
    さらなるセンサ装置によって、前記占有グリッド(9)の前記セル(9?ij)の占有確率を決定し、該占有確率を前記ニューラルネットワークの付加的な入力データとして使用する方法。
  4. 請求項に記載の方法において、
    前記さらなるセンサ装置がライダーセンサまたは車両カメラを含む方法。
  5. 請求項1からまでのいずれか1項に記載の方法において、
    前記逆センサモデルを生成するために評価される前記レーダ測定データが、レーダ断面積および角度確率を含む方法。
  6. レーダセンサ装置(21)を用いて車両(2)の周囲の障害物(41~44)を検出する方法であって、
    請求項1からまでのいずれかに記載の方法に従ってレーダセンサ装置(21)の逆センサモデルを生成するステップ(S0;S1~S5)と、
    前記レーダセンサ装置(21)によって前記車両(2)の周囲に関するレーダ測定データを生成するステップ(S6)と、
    運転支援システムによって、占有グリッド(9)を生成するステップ(S7)であって、前記レーダ測定データを使用して前記逆センサモデルに基づいて前記占有グリッド(9)のセルの占有値を決定するステップ(S7)と、
    前記運転支援システムによって、前記占有グリッド(9)を使用して障害物(41~44)を検出するステップ(S8)と、を含む方法。
  7. レーダセンサ装置(21)のための逆センサモデルを生成するための装置(1)であって、
    前記レーダセンサ装置(21)によって生成されたレーダ測定データおよび前記レーダセンサ装置(21)の周囲の障害物(41~44)の設定された寸法および空間的位置に関する情報を受信するインタフェース(11)と、
    受信した前記レーダ測定データと、前記障害物(41)の前記設定された寸法および空間位置に関する情報とを使用して、前記レーダセンサ装置(21)の前記逆センサモデルを生成する計算装置(12)であって、前記逆センサモデルが、所定のレーダ測定データの関数として占有グリッド(9)のセル(9?ij)に占有確率を割り当てる、計算装置(12)と、を備え、
    前記計算装置(12)は、
    前記障害物の前記設定された寸法および空間的位置に基づいて前記セル(9~ij)に占有確率を割り当て、前記占有確率を前記生成されたレーダ測定データに結び付け、
    ニューラルネットワークによって前記逆センサモデルを生成し、前記レーダ測定データ、および前記生成されたレーダ測定データに結び付けられた前記占有確率を前記ニューラルネットワークの入力データとして使用し、さらに、
    前記レーダセンサ装置(21)から前記障害物(41~44)へ向かう方向に、前記レーダセンサ装置(21)からの距離に応じて前記占有グリッド(9)の前記セル(9?ij)に対して前記占有確率が割り当てられ、
    前記障害物(41~44)の前記空間的位置に対応する前記セル(9?ij)に対しては、“占有”を意味する値を有する占有確率が割り当てられ、
    前記障害物(41~44)からのレーダ反射が検出されない場合には、前記レーダセンサ装置(21)の到達範囲、および、前記到達範囲よりもさらに遠くの位置に対応する前記セル(9?ij)に対して、“未知”を意味する値を有する占有確率が割り当てられ、
    前記レーダ測定データを生成する場合に前記レーダセンサ装置(21)に対する前記障害物(41~44)の相対位置が変更され、それぞれの相対位置について前記レーダ測定データが生成される、装置(1)。
JP2020520315A 2017-10-10 2018-10-04 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法 Active JP7042905B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017217972.4A DE102017217972A1 (de) 2017-10-10 2017-10-10 Verfahren und Vorrichtung zum Erzeugen eines inversen Sensormodells und Verfahren zum Erkennen von Hindernissen
DE102017217972.4 2017-10-10
PCT/EP2018/076986 WO2019072674A1 (de) 2017-10-10 2018-10-04 Verfahren und vorrichtung zum erzeugen eines inversen sensormodells und verfahren zum erkennen von hindernissen

Publications (2)

Publication Number Publication Date
JP2020537140A JP2020537140A (ja) 2020-12-17
JP7042905B2 true JP7042905B2 (ja) 2022-03-28

Family

ID=63787959

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520315A Active JP7042905B2 (ja) 2017-10-10 2018-10-04 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法

Country Status (6)

Country Link
US (1) US20200233061A1 (ja)
EP (1) EP3695244B1 (ja)
JP (1) JP7042905B2 (ja)
CN (1) CN111201448B (ja)
DE (1) DE102017217972A1 (ja)
WO (1) WO2019072674A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2745804C1 (ru) 2019-11-06 2021-04-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и процессор для управления перемещением в полосе движения автономного транспортного средства
RU2744012C1 (ru) 2019-12-24 2021-03-02 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
US11765067B1 (en) 2019-12-28 2023-09-19 Waymo Llc Methods and apparatus for monitoring a sensor validator
CN111504317B (zh) * 2020-03-09 2021-11-16 中振同辂(江苏)机器人有限公司 一种基于单线激光雷达的室内定位方法
EP3882813A1 (en) 2020-03-20 2021-09-22 Aptiv Technologies Limited Method for generating a dynamic occupancy grid
EP3905105A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a collision free space
EP3905106A1 (en) 2020-04-27 2021-11-03 Aptiv Technologies Limited Method for determining a drivable area
CN115398272A (zh) * 2020-04-30 2022-11-25 华为技术有限公司 检测车辆可通行区域的方法及装置
EP3923023A3 (en) * 2020-05-20 2022-03-09 Infineon Technologies AG Processing radar signals
JP7094411B1 (ja) 2021-03-17 2022-07-01 三菱電機株式会社 センサデータ処理システム
DE102021113651B3 (de) 2021-05-27 2022-08-04 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr System zur Sensordatenfusion für die Umgebungswahrnehmung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003507716A (ja) 1999-08-12 2003-02-25 オートモーティブ システムズ ラボラトリー インコーポレーテッド ニューラルネットワークレーダプロセッサ
DE102009007395A1 (de) 2008-03-25 2009-10-01 Volkswagen Ag Verfahren zur kartenbasierten Umfelddarstellung eines Fahrzeugs
JP2013101113A (ja) 2011-10-21 2013-05-23 Thales シーン内の対象物を3d再構成するための方法
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20170109644A1 (en) 2015-10-19 2017-04-20 Ford Global Technologies, Llc Probabilistic Inference Using Weighted-Integrals-And-Sums-By-Hashing For Object Tracking

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4128560A1 (de) * 1991-08-28 1993-03-04 Telefunken Systemtechnik Verfahren zur bestimmung der geschwindigkeit eines sich bewegenden objektes mittels mindestens eines dopplerradarsensors und vorrichtung zum ausfuehren des verfahrens
DE19706576A1 (de) * 1997-02-20 1998-08-27 Alsthom Cge Alcatel Vorrichtung und Verfahren zur umgebungsadaptiven Klassifikation von Objekten
WO2011050075A1 (en) * 2009-10-20 2011-04-28 Colorado State University Research Foundation Resolution enhancement system for networked radars
JP5206752B2 (ja) * 2010-08-30 2013-06-12 株式会社デンソー 走行環境認識装置
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
CN103914879A (zh) * 2013-01-08 2014-07-09 无锡南理工科技发展有限公司 一种在抛物线方程中由三角面元数据生成立方网格数据的方法
DE102013213420A1 (de) * 2013-04-10 2014-10-16 Robert Bosch Gmbh Modellberechnungseinheit, Steuergerät und Verfahrenzum Berechnen eines datenbasierten Funktionsmodells
US9814387B2 (en) * 2013-06-28 2017-11-14 Verily Life Sciences, LLC Device identification
KR20160053270A (ko) * 2014-10-31 2016-05-13 주식회사 만도 타켓 물체 감지 방법 및 레이더 장치
DE102015201747A1 (de) * 2015-02-02 2016-08-04 Continental Teves Ag & Co. Ohg Sensorsystem für ein fahrzeug und verfahren
DE102015213558A1 (de) * 2015-07-20 2017-01-26 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zur Fusion zweier Hinderniskarten zur Umfelddetektion
FR3041451B1 (fr) * 2015-09-22 2018-02-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede et systeme de perception de corps materiels
JP6610339B2 (ja) * 2016-03-03 2019-11-27 株式会社デンソー 占有格子地図作成装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003507716A (ja) 1999-08-12 2003-02-25 オートモーティブ システムズ ラボラトリー インコーポレーテッド ニューラルネットワークレーダプロセッサ
DE102009007395A1 (de) 2008-03-25 2009-10-01 Volkswagen Ag Verfahren zur kartenbasierten Umfelddarstellung eines Fahrzeugs
JP2013101113A (ja) 2011-10-21 2013-05-23 Thales シーン内の対象物を3d再構成するための方法
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20170109644A1 (en) 2015-10-19 2017-04-20 Ford Global Technologies, Llc Probabilistic Inference Using Weighted-Integrals-And-Sums-By-Hashing For Object Tracking

Also Published As

Publication number Publication date
WO2019072674A1 (de) 2019-04-18
DE102017217972A1 (de) 2019-04-11
JP2020537140A (ja) 2020-12-17
CN111201448A (zh) 2020-05-26
EP3695244A1 (de) 2020-08-19
EP3695244B1 (de) 2023-08-23
US20200233061A1 (en) 2020-07-23
CN111201448B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
JP7042905B2 (ja) 逆センサモデルを生成する方法および装置、ならびに障害物を検出するための方法
KR102210715B1 (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
CN110632921B (zh) 机器人路径规划方法、装置、电子设备和存储介质
CN108007452B (zh) 根据障碍物更新环境地图的方法、装置及机器人
US10565721B2 (en) Information processing device and information processing method for specifying target point of an object
US20170157769A1 (en) Simultaneous mapping and planning by a robot
CN109901139A (zh) 激光雷达标定方法、装置、设备和存储介质
CN110850859B (zh) 一种机器人及其避障方法和避障系统
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
US12012102B2 (en) Method for determining a lane change indication of a vehicle
CN112445222B (zh) 导航方法、装置、存储介质以及终端
CN110888146A (zh) 自主交通工具计算系统、光检测和测距校准系统及其方法
CN111986512B (zh) 一种目标距离确定方法及装置
JP2017526083A (ja) 位置特定およびマッピングの装置ならびに方法
CN113405557B (zh) 路径规划方法及相关装置、电子设备、存储介质
JP6921343B2 (ja) 地図情報補正装置、移動体、地図情報補正システム、地図情報補正方法、地図情報補正プログラム、制御回路および記憶媒体
CN111886597A (zh) 可移动平台的障碍物检测方法、装置及可移动平台
EP3703008A1 (en) Object detection and 3d box fitting
CN108628318A (zh) 拥堵环境检测方法、装置、机器人及存储介质
JPWO2018221454A1 (ja) 地図作成装置、制御方法、プログラム及び記憶媒体
CN111739099B (zh) 预防跌落方法、装置及电子设备
KR20180089417A (ko) 스토캐스틱 맵 인식 입체 시각 센서 모델
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN105843225B (zh) 一种数据处理方法及设备
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220315

R150 Certificate of patent or registration of utility model

Ref document number: 7042905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150