JP2024000534A

JP2024000534A - 動的物体の概算物体位置を決定するための方法、コンピュータプログラム、装置、および車両

Info

Publication number: JP2024000534A
Application number: JP2023099832A
Authority: JP
Inventors: ゲオルク・レンプファー; Rempfer Georg; ヨナス・ランズゲセル; Landsgesell Jonas; ミヒャエル・チョルジュースキ; Tchorzewski Michael
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-06-20
Filing date: 2023-06-19
Publication date: 2024-01-05
Also published as: EP4296715A1; DE102022206123A1; CN117269967A; KR20230174730A; US20240010195A1

Abstract

【課題】動的物体、コンピュータプログラム、装置、および車両の概算物体位置を決定するための方法を提供すること。【解決手段】車両の周囲にある動的物体の概算物体位置を決定するための方法であって、車両が、２つの超音波センサと、１つの車載カメラとを有し、２つの超音波センサによってセンサデータを捕捉するステップと、センサデータに応じて、静的または動的物体の現在の反射源位置を決定するステップと、車載カメラによって少なくとも１つのカメラ画像を捕捉するステップと、カメラ画像に応じて、動的物体を認識するステップと、車両に対する認識された動的物体の現在の推定位置を決定するステップと、を少なくとも含み、認識された動的物体の決定された推定位置との間の位置距離が距離閾値以下である場合、センサデータに応じて、認識された動的物体に属するものとして現在の反射源位置に応じて、動的物体の概算物体位置が決定される、方法。【選択図】図１

Description

本発明は、車両の周囲にある動的物体の概算物体位置を決定するための方法であって、車両が２つの超音波センサと少なくとも１つのカメラとを有する、方法に関する。また、本発明は、命令を含むコンピュータプログラムであって、命令が、コンピュータによってプログラムが実行されるときに、コンピュータに本発明による方法のステップを実行させる、コンピュータプログラムに関する。その上、本発明は、本発明による方法のステップを実行するように構成された処理装置を備える車両用の装置、特に中央処理装置もしくはゾーン処理装置、または制御デバイスに関する。また、本発明は、この装置を備える車両に関する。

車両用のパーキングパイロットシステムは、典型的には複数の超音波センサと評価ユニットとを含み、評価ユニットは、センサのデータを捕捉して処理し、あり得る障害物について警告を発する。追加的に、パーキングパイロットシステムにおいてカメラデータまたはカメラ画像の使用が知られており、これにより例えば、車両周囲内の静的および／または動的物体が、学習済みの機械認識方法によって画像データに基づいて認識され、例えば緊急ブレーキアシスタントのために再処理され、および／または追加情報のオーバーレイもしくはフェードインを含むサラウンドビューもしくはトップダウンビューの生成による運転者用の車両の周囲の視覚化情報が生成される。この目的で、捕捉されたカメラ画像は、例えば、特に中央処理装置、ゾーン処理装置、または制御デバイスによってひずみを修正、処理、および変換することができる。

パーキングパイロットシステムの超音波センサは通常、車両と車両の周囲にある物体との間の距離データを決定するために、車両の前後のショックアブソーバに車幅全体にわたってそれぞれ複数の超音波センサが配置される。超音波センサは、典型的には、超音波信号を発出するように設計される。この発出された超音波信号は、障害物で反射される。反射された超音波信号は、超音波センサによってエコー信号として再び受信され、伝播時間から、障害物までの距離が算出される。この距離の決定は、一般に、発出された超音波信号に対する、直接および／もしくは間接的なエコー信号、または直接および／もしくは間接的な反射超音波信号もしくは反射信号の伝播時間に応じて行われる。この距離の特定は、典型的には、超音波センサのハウジング内に配置されたセンサＡＳＩＣによって行われる。したがって、超音波センサのセンサデータは、例えば、特に発出された超音波信号に関して、反射超音波信号もしくは受信エコー信号、および／または計算された距離、ならびに受信エコー信号の任意選択の特性を表すまたは含む。反射源位置は、典型的には三辺測量原理に従って、少なくとも１つの直接受信エコー信号および少なくとも１つの間接受信エコー信号に応じて、ならびに／または少なくとも２つの直接受信エコー信号もしくは少なくとも２つの間接受信エコー信号に応じて決定することができる。三辺測量原理は、例えば、発出している超音波センサに右側および／または左側で隣接する超音波センサが、発出された超音波信号に対するクロスエコー、または受信エコー信号、または間接反射信号を受信するように設計されていることを前提とする。反射源位置の特定は、好ましくは処理装置を用いて、例えば、例えば制御デバイス内またはゾーンもしくは中央処理装置内に配置されたマイクロコントローラを用いて行われ、この処理装置、好ましくはプロセッサは、有利には、複数の、特に隣接する超音波センサのセンサデータを捕捉して処理する。

書類ＤＥ１０２０１００４５６５７Ａ１には、車両用の周囲監視システムが開示されており、この周囲監視システムは、検出信号の伝播時間測定による距離認識用の少なくとも２つの距離センサを備える。

書類ＤＥ１０２０１９２０５５６５Ａ１には、受信された超音波信号に基づいて物体の高さを評価するための方法が開示されている。
文書ＤＥ１０２０１８２１６７９０Ａ１には、交通手段の周囲にある物体がその交通手段の運転操縦に及ぼす影響を評価するための方法が開示されている。

認識された物体の位置、例えば歩行者の位置は、少なくとも１つのカメラ画像に基づいて推定することができることが知られており、例えば物体の基点特定が行われる。歩行者に関するこの位置推定は機能するが、例えば、物体が車載カメラのすぐ近くにあるときには、その物体をもはや完全にはカメラ画像に捕捉することができないので機能しない。パーキングパイロットシステムでは、広角レンズを備えた複数の車載カメラを使用し、表示装置を用いて運転者にサラウンドビューまたはトップダウンビューを表示することができる。これらの広角カメラは、基本的には近くの物体を認識するのにより良く適しているが、車両の近傍領域にある物体に関するカメラベースの位置推定は失敗する可能性がある。

カルマンフィルタは、誤った測定に基づくシステムの状態パラメータを反復推定するために使用され、測定の誤差が減少される。移動する物体の位置特定のためにレーダ信号またはＧＮＳＳデータを評価する用途が知られている。ここで、移動物体の軌跡への測定の関連付けの問題がある。すなわち、誤った測定が物体の軌跡に関連付けられる場合、特定される位置およびさらなる評価に関して比較的大きな誤差が生じる。例えば、典型的なパーキングパイロットシステムでは、歩行者と隣接する縁石とを区別することができないことが多く、それにより歩行者に関する位置特定および移動推定が不正確になる。

ＤＥ１０２０１００４５６５７Ａ１ＤＥ１０２０１９２０５５６５Ａ１ＤＥ１０２０１８２１６７９０Ａ１

本発明の課題は、特に動的物体としての歩行者の継続的な追跡、または車両の近傍領域での歩行者の追跡に関して、車両の周囲での動的物体の物体位置の決定を改善することである。

本発明によれば、上記の課題は、独立請求項１、１２、１３または１５に従って解決される。
本発明は、車両の周囲にある動的物体のほぼ実際のまたは概算物体位置を決定する方法に関する。車両は、少なくとも２つの超音波センサと、少なくとも１つの車載カメラとを有しる。この方法は、車両の少なくとも２つの超音波センサを用いてセンサデータを捕捉するステップを含む。センサデータの捕捉は、特に継続的に行われる。センサデータは、特に、車両と車両の周囲にある物体との間での、発出された超音波信号に関する少なくとも１つの捕捉されたエコー信号を表し、ならびに、好ましくは車両と物体との間の距離、および任意選択で受信されたエコー信号の少なくとも１つの特性を表す。捕捉されたエコー信号の特性は、特に捕捉されたエコー信号の評価に基づき、有利には、動的物体の存在に関する確率を表す。動的物体の存在に関する確率を特定するためのエコー信号の評価は、好ましい任意選択の方法ステップである。次いで、静的または動的物体の現在の反射源位置が、少なくとも、車両の少なくとも２つの超音波センサの捕捉されたセンサデータに応じて、特に三辺測量法によって決定される。現在の反射源位置の決定は、特に、車両の少なくとも２つの超音波センサの現在捕捉されているセンサデータに基づいて継続的に行われる。さらなる方法ステップでは、少なくとも１つのカメラ画像が車載カメラによって捕捉され、特に車載カメラによってカメラ画像の継続的な捕捉が行われる。それに従って、好ましくは、一連のカメラ画像が車載カメラによって捕捉される。次いで、動的物体は、少なくとも１つの（第１の）学習済みの機械認識方法によって、少なくとも１つの捕捉されたカメラ画像に応じて認識され、学習済みの機械認識方法は、好ましくは訓練済みのニューラルネットワークである。例えば、認識された動的物体は、別の移動しているもしくは移動していない他車、立っているもしくは歩いている歩行者、自転車運転者、または例えば犬もしくは猫などの動物である。その後、少なくとも１つの捕捉されたカメラ画像に応じて、車両に対する認識された物体の現在の推定位置の決定が行われる。この推定位置は、例えば、動的物体としての歩行者が現在の画像に少なくとも部分的に被さっているので画像内でその歩行者をもはや認識することができない場合、追加的に運動方程式によって決定されることが企図され得る。代替または追加として、決定された現在の推定位置は、基点決定によって、または別の学習済みの機械認識方法、特に訓練済みのニューラルネットワークによって、および／または認識された物体の移動推定に応じて特定することができる。特に、動的物体は可動であるので、現在の推定位置は、時間の経過と共に連続的に変化する。認識された物体の移動推定は、有利には、認識された物体に関する物体ボックスのサイズの変化と、時間的に順次に捕捉されたカメラ画像内での認識された物体の基点特定とに基づいて行うことができる。それに続く方法ステップで、特に車両に対する、車両の周囲にある認識された動的物体の現在の推定位置と現在の反射源位置との間の位置距離が距離閾値以下であることが認識される場合、現在の反射源位置は、現在の反射源位置の決定のための基礎となるセンサデータに応じて、および／または特にエコー信号の少なくとも１つの特性に応じて、認識された動的物体に属するものとして分類され、このエコー信号の特性は、任意選択でセンサデータまたはエコー信号に応じて決定することができる。分類は、好ましくは、捕捉されたセンサデータの捕捉されたエコー信号のそれぞれの特性として、センサデータの基礎となる捕捉されたエコー信号の振幅に応じて、および／または捕捉されたエコー信号と発出された超音波信号との相関係数に応じて行われる。超音波センサの処理装置がエコー信号、特に発出された超音波信号に応じて特性を決定し、この少なくとも１つの決定された特性がセンサデータ内に提供されるとき、センサデータはこの特性を含むまたは表すことができる。代替または追加として、この方法において、エコー信号の少なくとも１つの特性を、捕捉されたセンサデータに応じて決定することもできる。好ましくは、第２の学習済みの機械認識方法、特に第２のニューラルネットワークを用いて、エコー信号の少なくとも２つの特性に基づいて、反射源位置を動的物体に属するものとして分類することができるか否かが認識される。次いで、動的物体に属するものとして分類された反射源位置に応じて、特にカルマンフィルタによって、動的物体の概算物体位置が決定される。動的物体の概算物体位置のこの決定は、特に連続的に実施される。本発明により、車両の近傍領域で、カメラ画像に基づいて認識される動的物体の正確な概算物体位置を、超音波測定に応じて特定することができるという利点が得られる。超音波センサは、車両の近傍領域で非常に正確な測定値を提供するが、特に車両の近傍領域でのカメラ画像は、部分的に簡単には評価可能でない。さらに、例えば縁石、植物、または柱などの静的物体に関する測定値が考慮に入れられないので、特定された反射源位置の動的物体への割り当てまたは関連付けが改善される。また、車両の近く、すなわち例えば２メートル以内の歩行者の概算物体位置を非常に正確に特定することができることが特に有利であり、これは、例えば駐車場での駐車操作に関して重要である。カメラの画像が歩行者、特に脚および足を完全には捕捉することができないので、カメラに基づいてこの歩行者位置を正確には推定することができなくなるからである。

本発明の任意選択の一形態では、認識された動的物体に属するものとしての現在の反射源位置の分類が、現在の時点よりも前の所定の時間間隔中に、現在の反射源位置の周囲にある、認識された動的物体に属するものとして分類された反射源位置の基礎となるセンサデータに応じて追加的に行われ、ここで、所定の時間間隔は、例えば１０ミリ秒～３秒の範囲にある。言い換えると、分類において、現在の反射源位置の周囲において認識された動的物体に属するものとして分類された反射源位置に関する基礎となるセンサデータが、現在の反射源位置が動的物体に属する確率を示唆するかどうかが考慮に入れられる。この分類は、有利には、さらなる学習済みの機械認識方法によって行うことができる。代替または追加として、現在の反射源位置は、特に、センサデータのエコー信号の同様の特性に基づいて、認識された動的物体に属するものとして以前に分類された反射源位置に割り当てられ得る。代替または追加として、現在の反射源位置は、特に、認識された動的物体に属するものとして以前に分類された反射源位置の場所が時間的に変化する尤度に基づいて、認識された動的物体に属するものとして分類されるまたは分類されないことがある。決定された現在の反射源位置の周囲からの、動的物体に属するものとして分類された決定された反射源位置の情報が考慮に入れられるので、認識された動的物体に属するものとして現在の反射源位置をより正確に分類することができるという利点が生じる。特に、この形態で決定される現在の反射源位置は、静的物体または他の動的物体に属するものとしてより良く分類することができ、すなわち認識された動的物体に属さないものとして分類することができる。したがって、この形態により、反射源位置の動的物体への関連付けがより確実に行われ、それにより動的物体の概算物体位置の決定がより正確になる。

前述の任意選択の形態の一発展形態では、現在の反射源位置の周囲が、現在の反射源位置までの距離が距離閾値以下である、動的物体に割り当てられた、または動的物体に属するものとして分類された反射源位置を含む。この距離閾値は、特に車両の速度に応じて適合される。代替または追加として、現在の反射源位置の周囲が、動的物体に割り当てられた少なくとも１つの超音波クラスタを含み、超音波クラスタは、特に動的物体に属するものとして分類された反射源位置、および／または広がり、および／または所定の幾何学的形状を有する。代替または追加として、現在の反射源位置の周囲が、現在の反射源位置のグリッドの少なくとも１つのグリッドセルを含み、グリッドは車両の周囲を細分する。現在の反射源位置のこれらのタイプの周囲記述により、動的物体に属するものとして分類された反射源位置がさらにフィルタリングされるという利点が得られ、したがって、例えば、同じ種類の様々な動的物体、例えば異なる歩行者をより容易に互いに見分けることができ、これにより個々の動的物体の概算物体位置の決定がより正確になる。

本発明の別の任意選択の一発展形態では、異なる時点での動的物体の決定された概算物体位置に応じて、動的物体の現在の物体速度および／または動的物体の現在の物体移動方向が決定される。この発展形態では、概算物体位置が正確に決定されるので、物体速度および／または物体移動方向の決定が正確に行われるという利点が得られる。

さらなる任意選択の一実施形態では、動的物体の概算物体位置の決定、ならびに／または動的物体の現在の物体速度および／もしくは動的物体の現在の物体移動方向の決定がそれぞれ、動的物体に属するものとして分類された反射源位置の数が所定の信頼数未満である場合には実施されない。この任意選択の実施形態では、決定された概算物体位置、決定された物体速度、および決定された物体移動方向のより高い信頼性が達成される。

さらに、捕捉されたセンサデータ、および／または決定された現在の反射源位置、および／または動的物体に属するものとして分類された反射源位置、および／または決定された概算物体位置に応じて、統計的不確実性の特定が実施されることが企図され得る。次いで、特定された統計的不確実性に応じて距離閾値が適合される。この任意選択の実施形態では、決定された概算物体位置、決定された物体速度、および決定された物体移動方向の信頼性および正確性が高められる。

好ましくは、距離閾値は、０．１メートル～５メートルの範囲内にあり、特に距離閾値は、０．５メートル、１メートル、１．５メートル、または３メートルである。それにより、車両の周囲にある別の動的物体を表す反射源位置が、方法もしくはアルゴリズムによって誤って、認識された動的物体に属するものとして分類されることがない、または複数の動的物体を互いに見分けることができるという利点が得られる。

任意選択で、車速に応じて距離閾値が適合される。これにより、車両速度の増加と共に、認識された物体の現在の推定位置の決定の不正確さが高まることが考慮に入れられるという利点が得られ、それにより、車両速度がより高いとき、認識された動的物体に属するものとして反射源位置がより確実に分類され、したがって、動的物体に属するものとして分類された反射源位置に応じて、動的物体の概算物体位置の決定がより正確に行われる。

本発明の別の任意選択の一実施形態では、追加の方法ステップにおいて、超音波センサの捕捉範囲に関する決定された現在の反射源位置の角度位置に基づいて、その振幅に関して、現在の反射源位置の決定のための基礎となるセンサデータの少なくとも一部の正規化が実施され得る。認識された動的物体に属するものとしての現在の反射源位置の分類は、この実施形態では、正規化された基礎となるセンサデータ、および振幅閾値に応じて行われ、好ましくは、振幅閾値以下の正規化された振幅を有する反射源位置が、認識された動的物体に属するものとして分類される。この実施形態により、それぞれの現在の反射源位置が確実に分類される。

任意選択で、さらに、捕捉された、反射源位置の基礎となるセンサデータの少なくとも一部と、超音波センサによって発出されるセンサ信号との間の相関係数が追加的に決定されることが企図され得る。この実施形態では、認識された動的物体に属するものとしての現在の反射源位置の分類は、決定された相関係数、および相関閾値に応じて行われ、好ましくは、相関閾値以下の相関係数を有する反射源位置が、認識された動的物体に属するものとして分類される。この実施形態により、特に、正規化された基礎となるセンサデータおよび振幅閾値に応じて分類が追加的に実施される場合に、それぞれの現在の反射源位置は、動的物体に属するものとしてより確実に分類される。

本発明の別の任意選択の一形態では、捕捉された、現在の反射源位置の基礎となるセンサデータの少なくとも一部に応じて、超音波センサによって発出されるセンサ信号の反射の回数が決定される。次いで、認識された動的物体に属するものとしての現在の反射源位置の分類が、決定された反射回数に応じて、および回数閾値に応じて行われ、回数閾値以下の反射回数を有する反射源位置が、認識された動的物体に属するものとして分類される。この実施形態により、特に、分類が、正規化された基礎となるセンサデータに応じておよび振幅閾値に応じて追加的に実施される場合、ならびに／または特に、分類が、決定された相関係数に応じておよび相関閾値に応じて追加的に行われる場合、それぞれの現在の反射源位置は、動的物体に属するものとして非常に確実に分類される。

好ましくは、本発明の任意選択の一実施形態では、認識された動的物体に属するものとしての現在の反射源位置の分類が、第２の学習済みの機械認識方法によって行われることが企図され得る。

さらに、本発明は、命令を含むコンピュータプログラムであって、命令が、コンピュータによってプログラムが実行されるときに、コンピュータに請求項１から１１のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラムに関する。

本発明はまた、車両用の装置、または中央処理装置もしくはゾーン処理装置、または制御デバイスに関する。中央処理装置、ゾーン処理装置、または制御デバイスは、車両の少なくとも１つの超音波センサからの捕捉されたセンサデータを表す少なくとも１つの第１の信号を提供するように設計された少なくとも１つの第１の信号入力を備える。この装置は、また、車載カメラの捕捉されたカメラ画像を表す第２の信号を提供するように設計された第２の信号入力を含む。装置の処理装置、特にプロセッサは、本発明による方法のステップを実行するように構成される。

この装置は、任意選択の信号出力をさらに含み、信号出力が、処理装置によって実行される方法に応じて、表示装置、ブレーキ機構、ステアリング機構、および／または駆動モータのための制御信号を生成するように設計される。

その上、本発明は、本発明による装置、または本発明による中央処理装置もしくは本発明によるゾーン処理装置、または本発明による制御デバイスを備える車両に関する。
さらなる利点は、図面を参照して、例示的実施形態の以下の説明から得られる。

車両と、車両の直近の周囲の動的物体とを示す図である。ブロック図として方法の流れを示す図である。エコー信号の振幅の統計分布を示す図である。エコー信号の相関係数の統計分布を示す図である。車両の周囲での決定された反射源位置を示す図である。車両の周囲での後の反射源位置を示す図である。

図１に、駐車場の駐車スペースにある車両１００と、車両１００の直近の周囲にある動的物体１とが、上方から見た平面図で模式的に示されている。この例では、動的物体１は歩行者である。車両１００は、フロントバンパおよびリアバンパにそれぞれ４つの超音波センサ１１１を含む超音波センサシステム１１０を有する。また、車両１００は、少なくともリア車載カメラ１２１を含むカメラシステム１２０を備え、車載カメラ１２１は、好ましくは広角レンズを備える。車載カメラ１２１は、車両１００の周囲９０を捕捉するように設計されている。車両は、中央処理装置１５０を備える。中央処理装置１５０は、カメラ画像のデータ伝送のために少なくとも１つの車載カメラ１２１に電気的に接続される。有利には、カメラシステム１２０が少なくとも４つの車載カメラ１２１を含むことが企図され得て、車載カメラ１２１はそれぞれ、車両の別の側に配置され、様々な視点から周囲９０の異なる領域を捕捉し、したがって、中央処理装置１５０または制御デバイスは、４つの車載カメラから捕捉されたカメラ画像に基づいて、例えば周囲ビュー（サラウンドビュー）を生成することができる。中央処理装置１５０は、超音波センサ１１１のセンサデータのデータ伝送のために、超音波センサシステムまたは超音波センサ１１１にも電気的に接続される。中央処理装置１５０によってそれぞれの超音波センサ１１１から受信されたセンサデータは、有利には、発出された超音波信号に関するそれぞれの捕捉されたエコー信号を含みもしくは表し、および／または発出された超音波信号を含みもしくは表し、および／または、エコー信号に基づいてそれぞれの超音波センサでＡＳＩＣを用いて決定された、車両１００と車両１００の周囲９０にある物体１との間の距離データ、および任意選択でエコー信号の少なくとも１つの特性を含むもしくは表す。さらに、車両は、表示装置１６０、ブレーキ機構１６１、ステアリング機構１６２、および／または駆動モータ１６３を含み、中央制御ユニット１５０は、表示装置１６０、ブレーキ機構１６１、ステアリング機構１６２、および／または駆動モータ１６３を、受信もしくは捕捉されたセンサデータおよび／または受信もしくは捕捉されたカメラ画像に応じて制御するように設計される。車載カメラ１２１の捕捉範囲内で、動的物体１として歩行者が捕捉される。時間的に見ると、ここで、動的物体は、静的物体５０として隣に駐車している第１の車両を通り過ぎるところである。動的物体１としての歩行者の意図は、所期の移動方向２に沿って車両１００を通り過ぎることであり得て、ここで、歩行者は、静止物体５０および５１、すなわち隣に駐車している第１および第２の車両を通り過ぎる。車両１００の周囲９０の直近領域９１内で、動的物体１としての歩行者は、その移動中に少なくとも一時的に一部、場合によっては一時的に完全に車載カメラ１２１の捕捉範囲に被さる。また、車両１００の直近領域９１内では、動的物体１としての歩行者の特定の身体部位、例えば頭または足が一時的に認識可能でないこともあり得る。このとき、車載カメラ１２１のカメラ画像に基づいて、動的物体１としての歩行者の正確な位置特定が可能ではなく、例えば、このような場合には基点決定を実施することができない。超音波システム１１０の超音波センサは、物体として、静止物体５０および５１、すなわち隣に駐車している車両と、動的物体１としての歩行者とを捕捉する。この捕捉は、歩行者、すなわち動的物体１が車載カメラの捕捉領域に被さっている最中にも行われる。歩行者が捕捉領域に被さっている最中にも、動的物体１としての歩行者の物体位置、物体速度、および物体移動方向をより正確に決定するために、本発明によれば、超音波センサの捕捉に基づいた動的物体１のセンサデータが分類され、すなわち静止物体５０および５１に関する超音波センサのセンサデータと区別される。

図２に、方法の流れがブロック図で模式的に示されている。方法ステップ２１０で、車両の少なくとも２つの超音波センサを用いてセンサデータが捕捉される、または車両の少なくとも２つの超音波センサからセンサデータが受信される。センサデータはそれぞれ、例えば、車両１００の周囲９０にある物体１、５０、５１と車両１００との間の距離、および有利には捕捉されたエコー信号、ならびに特にエコー信号の少なくとも１つの特性、例えば捕捉されたエコー信号と発出された超音波信号との間の相関係数を表す。次いで、ステップ２２０で、捕捉された現在のセンサデータに応じて、車両１００に対する物体１、５０、５１の現在の反射源位置が決定される。さらなる方法ステップ２３０で、車載カメラ１２１を用いて少なくとも１つのカメラ画像が捕捉される。後続の任意選択のステップ２２１で、捕捉されたエコー信号を含むセンサデータの少なくとも一部が、超音波センサの捕捉範囲に関する決定された現在の反射源位置の角度位置に基づいて、振幅に関して正規化されることが企図され得る。さらなる任意選択のステップ２２２で、捕捉された、反射源位置の基礎となるセンサデータの少なくとも一部と超音波センサによって発出されたセンサ信号との間で相関係数が決定され、または、この相関係数が超音波ＡＳＩＣもしくは超音波センサ処理装置で既に決定されておりセンサデータに含まれているもしくは提供される場合には、基礎となるセンサデータから読み出される。さらに、任意選択のステップ２２３で、捕捉された、現在の反射源位置の基礎となるセンサデータの少なくとも一部に応じて、超音波センサによって発出されるセンサ信号に関する反射回数を決定することができ、または、超音波センサによって発出されるセンサ信号に関するこの反射回数が超音波ＡＳＩＣもしくは超音波センサ処理装置で既に決定されておりセンサデータに含まれているもしくは提供される場合には、基礎となるセンサデータから読み出すことができる。この方法は、車載カメラ１２１を用いた少なくとも１つのカメラ画像の捕捉２３０も含む。次いで、少なくとも１つの捕捉されたカメラ画像に応じて、動的物体１の認識２４０が実施される。動的物体１の認識は、好ましくは、学習済みの機械認識方法、特にニューラルネットワークによって行われる。学習済みの機械認識方法は、動的物体の個々の物体クラスを区別する、または動的物体のサブクラスを区分するように設計されることが企図され得る。その後、ステップ２５０で、少なくとも１つの捕捉されたカメラ画像に応じて、車両１００に対する認識された動的物体１の現在の推定位置が特定され、特に、現在の推定位置が、認識された動的物体１の基点決定として実施される。任意選択で、チェック２６０の前に、任意選択のステップ２５５で、車両１００の車速に応じて距離閾値が適合されることがさらに企図され得る。さらなる方法ステップ２６０で、認識された動的物体１の決定された現在の推定位置と決定された現在の反射源位置との間の位置距離が距離閾値以下であるかどうかがチェックされる。距離閾値は、好ましくは、０．１メートル～５メートルの範囲内にあり、特に距離閾値は、０．５メートル、１メートル、１．５メートル、または３メートルである。方法ステップ２６０で、認識された動的物体１の決定された現在の推定位置と決定された現在の反射源位置との間の位置距離が距離閾値以下であると認識された場合、その時々に決定されたこの反射源位置は、ステップ２７０で、現在の反射源位置の決定の基礎となるセンサデータに応じて、および／またはセンサデータのエコー信号の任意選択で決定された特性に応じて、認識された動的物体１に属するものとして、特に、認識された特定の個別の物体クラスまたは動的物体のサブクラスに属するものとして分類される。認識された動的物体に属するものとしての現在の反射源位置の分類２７０は、任意選択で、現在の時点よりも前の所定の時間間隔中に、現在の反射源位置の周囲にある、認識された動的物体に既に属するものとして分類されている反射源位置に応じて追加的に実施することもでき、ここで、分類２７０は、有利には、これらの反射源位置の基礎となるセンサデータに応じて、および／またはこれらの反射源位置の基礎となるセンサデータのエコー信号の任意選択で決定された特性に応じて行われる。所定の時間間隔は、例えば１０ミリ秒～３秒の範囲内である。現在の反射源位置の周囲は、好ましくは、現在の反射源位置までの距離が距離閾値以下である、動的物体に割り当てられた反射源位置を含む。代替または追加として、現在の反射源位置の周囲は、動的物体に割り当てられた少なくとも１つの超音波クラスタを含む。特に、超音波クラスタは、動的物体に属するものとして分類された反射源位置を含む。代替または追加として、現在の反射源位置の周囲は、現在の反射源位置が位置するまたは割り当てられている少なくとも１つのグリッドセルを含み、グリッドセルのグリッドは、車両１００の周囲９０を、特にモデルとして、特に一様に分布された長方形または正方形のグリッドセルまたは周囲部分領域に細分する。好ましくは、認識された動的物体に属するものとしての現在の反射源位置の分類２７０は、ステップ２２１で決定された正規化された基礎となるセンサデータに応じて、および振幅閾値に応じて行われ、好ましくは、振幅閾値以下の正規化された振幅を有する反射源位置が、認識された動的物体に属するものとして分類される。代替または追加として、認識された動的物体に属するものとしての現在の反射源位置の分類２７０は、決定されたまたはセンサデータ内で提供される相関係数に応じて、および相関閾値に応じて行われ、好ましくは、相関閾値以下の相関係数を有する反射源位置が、認識された動的物体に属するものとして分類される。さらに、代替または追加として、認識された動的物体に属するものとしての現在の反射源位置の分類２７０を、決定された反射回数に応じて、および回数閾値に応じて行うことが企図され得て、回数閾値以下の反射回数を有する反射源位置が、認識された動的物体に属するものとして分類される。特に好ましくは、認識された動的物体に属するものとしての現在の反射源位置の分類２７０は、第２の学習済みの機械認識方法、特に訓練済みの第２のニューラルネットワークによって実施される。訓練済みの第２のニューラルネットワークは、例えば、エコー信号の１つもしくは複数の特性、例えばエコー信号における少なくとも１つの捕捉もしくは正規化された振幅および／もしくは取得された反射回数、ならびに／または相関係数に基づいて、現在の反射源位置が認識された動的物体に属する確率を特定または認識することができる。認識された動的物体に属するものとしての現在の反射源位置の分類２７０後、動的物体に属するものとして分類された反射源位置に応じて、特にカルマンフィルタによって、動的物体の概算物体位置の決定２８０が行われる。次いで、任意選択のステップ２９０で、異なる時点における動的物体の決定された概算物体位置に応じて、動的物体の現在の物体速度および／または現在の物体移動方向を決定することが企図され得る。任意選択の一形態では、動的物体の概算物体位置の決定２８０、ならびに／または動的物体の現在の物体速度および／もしくは現在の物体移動方向の任意選択の決定２９０は、動的物体に属するものとして分類された反射源位置の数が所定の信頼数未満である場合には実施されない。その上、少なくとも１つのさらなる任意選択のステップで、捕捉されたセンサデータ、決定された現在の反射源位置、動的物体に属するものとして分類された反射源位置、および／または決定された概算物体位置に応じて、統計的不確実性の特定を実施することができる（図２には図示せず）。次いで、代替または追加として、特定された統計的不確実性に応じて、距離閾値の適合２５５が行われる。この方法は、好ましくは連続的に実施される。

図３には、静止物体５０および５１と動的物体１とで反射されたエコー信号の振幅３０１または振幅量の統計分布が模式的に示されている。グラフ３９０は、静止物体５０および５１で反射されたエコー信号の振幅３０１または振幅量の統計分布に関する。グラフ３８０は、動的物体１で反射されたエコー信号の振幅３０１または振幅量の統計分布に関する。典型的には、動的物体１は、第１の振幅閾値３１０よりも小さいまたは第２の振幅閾値３２０よりも大きい振幅３０１を有さないことが分かる。したがって、エコー信号の振幅が第１の振幅閾値３１０よりも小さいまたは第２の振幅閾値３２０よりも大きい場合、動的物体が存在することを高い確率で除外することができる。しかし、振幅が、振幅閾値３１０と第２の振幅閾値３２０との間の範囲３３０内にある場合、すなわち第１の振幅閾値３１０以上かつ第２の振幅閾値３２０以下である場合、この範囲３３０内では、静的物体で反射されたエコー信号の振幅と動的物体で反射されたエコー信号の振幅との両方が存在するので、分類は明確ではない。領域３３０はかなり狭く、すなわち、それぞれのエコー信号の振幅が、それぞれの超音波センサの捕捉範囲内で、それに関して決定された反射源位置の角度位置に応じて追加的にそれぞれ正規化される場合、静止物体によって引き起こされる反射源位置の除外が改善される。なぜなら、エコー信号の振幅はまた、この角度位置に応じて比較的大きく変化するからである。

図４には、超音波センサ１１１の発出された超音波信号と超音波センサ１１１の受信されたエコー信号との間の相関係数４０１の統計分布が模式的に示されており、発出された超音波信号の反射は静的物体および動的物体で生じる。グラフ４９０は、静止物体５０および５１で反射されたエコー信号の相関係数４０１または相関係数４０１の大きさの統計分布に関する。グラフ４８０は、動的物体１で反射されたエコー信号の相関係数４０１または相関係数４０１の大きさの統計分布に関する。相関係数４０１に関する閾値４１０を超えると、動的物体に関連付けることができる相関係数が存在しないことが分かる。言い換えると、動的物体で反射されたエコー信号の相関係数は、典型的には、相関係数４０１に関する閾値４１０以下である。しかし、相関係数が相関係数４０１に関する閾値４１０以下である場合、この範囲４２０内では、静的物体で反射されたエコー信号の相関係数４０１も動的物体で反射されたエコー信号の相関係数４０１も存在するので、動的物体に属するものとしての分類は明確ではない。

基礎となるエコー信号の図３および図４に示される特性に応じたそれぞれの反射源位置の分類２７０は、好ましくは、学習済みの機械認識方法、特に訓練済みのニューラルネットワークによって行われ、動的物体の存在に関する確率を評価するために、基礎となるエコー信号のさらなる特性、例えばエコー信号で特定される反射の回数を考慮に入れることができる。学習済みの機械認識方法、特に訓練済みのニューラルネットワークによるエコー信号の多数の特性の評価により、認識された動的物体に属するものとしての現在の反射源位置の分類２７０は非常に信頼性が高くなる。

図５ａおよび図５ｂに、車両１００の周囲９０にある決定された反射源位置５０１が、異なる時点ｔ１およびｔ２で、ｘ－ｙ平面内、すなわち上から垂直に見たマップ内に概略的に示されており、図５ａおよび図５ｂに示されている反射源位置は、例えば、図１による動的物体としての歩行者が車両１００の後ろを通過する状況から生じる。時点ｔ２は例えば時点ｔ１の後であるが、別の状況では、例えば歩行者が車両の後ろを逆方向に移動しているときには逆にもなり得る。したがって、決定された反射源位置５０１は、領域５１０内で静的物体５０を表し、領域５２０内で静的物体５１（図１の隣に駐車している車両）を表し、および領域５３０内で動的物体１としての歩行者を表す。それに従って、方法ステップ２７０におけるそれぞれの現在の反射源位置５０１の分類２７０は、好ましくは、現在の反射源位置５０１の周囲にある反射源位置５０１に応じても行われる。

図５ｂに、図５ａの後の時点での状況が示されている。この例示的実施形態では、静的物体５０を表す領域５１０は、この場合に動的物体１としての歩行者を表す領域５３０に直に隣接している。また、例えば、動的物体１としての歩行者が縁石のある歩道上で車両１００を通り過ぎる場合、領域５１０、５２０、および５３０が重なり合うこともある（ここには図示せず）。図５ｂで分かるように、車両１００の周囲のマップ内での反射源位置が相互に位置的に近すぎるため、（現在の）反射源位置の確実な分類２７０を実施することができない。したがって、分類２７０は、エコー信号の少なくとも１つの特性を含み得るそれぞれの現在の反射源位置５０１の基礎となるセンサデータに応じて、および／またはこのセンサデータのエコー信号の決定された特性に応じて、および／または現在の反射源位置５０１の周囲にある反射源位置５０１に応じて行われ、この分類２７０は、上述したように、学習済みの機械認識方法によって実施されることが特に好ましい。

１動的物体
２所期の移動方向
５０静止物体
５１静止物体
９０周囲
９１周囲９０の直近領域
１００車両
１１０センサシステム
１１１超音波センサ
１２０カメラシステム
１２１車載カメラ
１５０中央処理装置
１６０表示装置
１６１ブレーキ機構
１６２ステアリング機構
１６３駆動モータ
２１０方法ステップ
２２１後続の任意選択のステップ
２２２さらなる任意選択のステップ
２２３任意選択のステップ
２３０さらなる方法ステップ／少なくとも１つのカメラ画像の捕捉
２４０動的物体１の認識
２５０ステップ
２５５任意選択のステップ
２６０チェック／さらなる方法ステップ
２７０ステップ／認識された動的物体に属するものとしての現在の反射源位置の分類
２８０動的物体の概算物体位置の決定
２９０任意選択のステップ／動的物体の現在の物体速度および／または現在の物体移動方向の任意選択の決定
３０１静止物体５０および５１と動的物体１とで反射されたエコー信号の振幅
３１０第１の振幅閾値
３２０第２の振幅閾値
３３０振幅閾値３１０と第２の振幅閾値３２０との間の範囲
３８０動的物体１で反射されたエコー信号の振幅３０１または振幅量の統計分布に関するグラフ
３９０静止物体５０および５１で反射されたエコー信号の振幅３０１または振幅量の統計分布に関するグラフ
４０１静止物体５０および５１で反射されたエコー信号の相関係数
４１０相関係数４０１に関する閾値
４２０相関係数が相関係数４０１に関する閾値４１０以下である範囲
４８０動的物体１で反射されたエコー信号の相関係数４０１または相関係数４０１の大きさの統計分布に関するグラフ
４９０静止物体５０および５１で反射されたエコー信号の相関係数４０１または相関係数４０１の大きさの統計分布に関するグラフ
５０１反射源位置
５１０領域
５２０領域
５３０周囲／領域

Claims

車両（１００）の周囲（９０）にある動的物体（１）の概算物体位置を決定するための方法であって、前記車両（１００）が、少なくとも２つの超音波センサ（１１１）と、少なくとも１つの車載カメラ（１２１）とを有し、以下の方法ステップ
－前記少なくとも２つの超音波センサ（１１１）によってセンサデータを捕捉（２１０）するステップと、
－捕捉された前記センサデータに応じて、静的または動的物体（１、５０、５１）の現在の反射源位置（５０１）を決定（２２０）するステップと、
－前記車載カメラ（１２１）によって少なくとも１つのカメラ画像を捕捉（２３０）するステップと、
－少なくとも１つの捕捉された前記カメラ画像に応じて、前記動的物体（１）を認識（２４０）するステップと、
－少なくとも１つの捕捉された前記カメラ画像に応じて、前記車両（１００）に対する認識された前記動的物体（１）の現在の推定位置を決定（２５０）するステップと、
を少なくとも含む方法において、
認識された前記動的物体（１）の決定された前記現在の推定位置と、決定された前記現在の反射源位置（５０１）との間の位置距離が距離閾値以下である場合、以下のステップ
－特に学習済みの機械認識方法によって、前記現在の反射源位置の前記決定の基礎となる前記センサデータに応じて、認識された前記動的物体（１）に属するものとして前記現在の反射源位置を分類（２７０）するステップと、
－前記動的物体（１）に属するものとして分類された前記反射源位置に応じて、特にカルマンフィルタによって、前記動的物体（１）の前記概算物体位置を決定（２８０）するステップと、
が実施されることを特徴とする、方法。
認識された前記動的物体（１）に属するものとしての前記現在の反射源位置（５０１）の前記分類（２７０）が、現在の時点よりも前の所定の時間間隔中に、前記現在の反射源位置（５０１）の周囲にある、認識された前記動的物体に属するものとして分類された前記反射源位置（５０１）の基礎となる前記センサデータに応じて追加的に行われる、請求項１に記載の方法。
－前記現在の反射源位置（５０１）の前記周囲（５３０）が、前記現在の反射源位置（５０１）までの距離が距離閾値以下である、前記動的物体（１）に割り当てられた前記反射源位置（５０１）を含み、および／または
－前記現在の反射源位置（５０１）の前記周囲（５３０）が、前記動的物体（１）に割り当てられた少なくとも１つの超音波クラスタを含み、前記超音波クラスタが、特に前記動的物体（１）に属するものとして分類された反射源位置（５０１）を含み、および／または
－前記現在の反射源位置（５０１）の前記周囲（５３０）が、前記現在の反射源位置（５０１）が存在するもしくは割り当てられている少なくとも１つのグリッドセルを有し、前記グリッドセルのグリッドが、前記車両（１００）の前記周囲（９０）を細分する、
請求項２に記載の方法。
以下のステップ
－異なる時点での前記動的物体（１）の決定された前記概算物体位置に応じて、前記動的物体（１）の現在の物体速度および／または現在の物体移動方向を決定（２９０）するステップ
が追加的に実施される、請求項１から３のいずれか一項に記載の方法。
前記動的物体（１）の前記概算物体位置の前記決定（２８０）、ならびに／または前記動的物体（１）の前記現在の物体速度および／もしくは前記動的物体（１）の前記現在の物体移動方向の前記決定（２９０）がそれぞれ、前記動的物体（１）に属するものとして分類された前記反射源位置（５０１）の数が所定の信頼数未満である場合には実施されない、請求項１から４のいずれか一項に記載の方法。
以下のステップ
－捕捉された前記センサデータ、決定された前記現在の反射源位置（５０１）、前記動的物体（１）に属するものとして分類された前記反射源位置（５０１）、および／または決定された前記概算物体位置に応じて、統計的不確実性を特定するステップと、
－特定された前記統計的不確実性に応じて、前記距離閾値を適合（２５５）するステップと、
が追加的に実施される、請求項１から５のいずれか一項に記載の方法。
前記距離閾値が、０．１メートル～５メートルの範囲内である、請求項１から６のいずれか一項に記載の方法。
以下のステップ
－それぞれの前記超音波センサ（１１１）の前記捕捉範囲に関する決定された前記現在の反射源位置（５０１）の角度位置に基づいて、その振幅に関して、前記現在の反射源位置（５０１）の決定のための基礎となる前記センサデータの少なくとも一部を正規化（２２１）するステップ
が追加的に実施され、
－認識された前記動的物体（１）に属するものとしての前記現在の反射源位置（５０１）の前記分類（２７０）が、正規化された基礎となる前記センサデータ、および少なくとも１つの振幅閾値に応じて行われる、
請求項１から７のいずれか一項に記載の方法。
以下のステップ
－捕捉された、前記反射源位置の基礎となる前記センサデータの少なくとも一部と、それぞれの前記超音波センサ（１１１）によって発出される前記センサ信号との間の相関係数を決定（２２２）するステップ
が追加的に実施され、
－認識された前記動的物体（１）に属するものとしての前記現在の反射源位置（５０１）の前記分類（２７０）が、決定された前記相関係数に応じて、および前記相関係数に関する閾値に応じて行われる、
請求項１から８のいずれか一項に記載の方法。
以下のステップ
－捕捉された、前記現在の反射源位置（５０１）の基礎となる前記センサデータの少なくとも一部に応じて、それぞれの前記超音波センサ（１１１）によって発出されるセンサ信号の前記反射の回数を決定（２２３）するステップ
が追加的に実施され、
－認識された前記動的物体（１）に属するものとしての前記現在の反射源位置（５０１）の前記分類（２７０）が、決定された前記反射の回数、および回数閾値に応じて行われる、
請求項１から９のいずれか一項に記載の方法。
認識された前記動的物体（１）に属するものとしての前記現在の反射源位置（５０１）の前記分類（２７０）が、第２の学習済みの機械認識方法によって行われる、請求項１から１０のいずれか一項に記載の方法。
命令を含むコンピュータプログラムであって、前記命令が、コンピュータによって前記プログラムが実行されるときに、前記コンピュータに請求項１から１１のいずれか一項に記載の方法のステップを実行させる、コンピュータプログラム。
車両（１００）用の装置、特に中央処理装置（１５０）もしくはゾーン処理装置または制御デバイスであって、以下の構成要素
－前記車両（１００）の超音波センサ（１１１）からの捕捉されたセンサデータを表す少なくとも１つの第１の信号を提供するように設計されている第１の信号入力と、
－車載カメラ（１２１）の捕捉されたカメラ画像を表す第２の信号を提供するように設計されている第２の信号入力と
を少なくとも備え、
－前記装置、特に前記装置のプロセッサが、請求項１から１１のいずれか一項に記載の方法のステップを実行するように構成されている、
装置。
－信号出力を追加的に含み、前記信号出力が、前記方法によって決定された前記動的物体（１）の概算物体位置に応じて、表示装置（１６０）、ブレーキ機構（１６１）、ステアリング機構（１６２）、および／または駆動モータ（１６３）のための制御信号を生成するように設計されている、
請求項１３に記載の装置。
請求項１３または１４に記載の装置を備える車両（１００）。