JP2023537987A - 物体の長さを判定するための支援システムを動作させるための方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システム - Google Patents
物体の長さを判定するための支援システムを動作させるための方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システム Download PDFInfo
- Publication number
- JP2023537987A JP2023537987A JP2023509821A JP2023509821A JP2023537987A JP 2023537987 A JP2023537987 A JP 2023537987A JP 2023509821 A JP2023509821 A JP 2023509821A JP 2023509821 A JP2023509821 A JP 2023509821A JP 2023537987 A JP2023537987 A JP 2023537987A
- Authority
- JP
- Japan
- Prior art keywords
- length
- camera
- computing device
- electronic computing
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本発明は、支援システム(2)を動作させるための方法であって、物体(9)が検出され、物体(9)が、電子コンピューティングデバイス(5)によるさらなる評価のために分類され、分類が、物体(9)の第1の長さ(L)を事前定義するための根拠として採用され、加えて、物体(9)が、カメラ(4)によってキャプチャされ、評価及び分類され、物体(9)の第2の長さ(L)が判定され、分類及び第2の長さ(L)が、電子コンピューティングデバイス(5)に転送され、事前定義された第1の長さ(L)が、現在の長さ(L)を生成するために第2の長さ(L)に基づいて適応され、制限されたカルマンフィルタ(7)が、現在の長さ(L)を更新するために使用され、カルマンフィルタ(7)の制限が、カメラ(4)によって判定された分類によって事前定義されている、方法に関する。本発明はまた、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システム(2)に関する。
Description
本発明は、自動車の支援システムを動作させるための方法であって、自動車の周囲の物体が、支援システムの検出デバイスによって検出され、物体が、支援システムの電子コンピューティングデバイスによって、電子コンピューティングデバイスによるさらなる評価のために分類され、物体の第1の長さが、分類の関数として電子コンピューティングデバイスによるさらなる評価のために特定され、加えて、物体が、支援システムのカメラによって検出及び評価され、かつカメラによって分類され、物体の第2の長さが、判定され、分類及び第2の長さが、さらなる評価のために電子コンピューティングデバイスに転送される、方法に関する。さらに、本発明は、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システムに関する。
自動車のカメラ、例えば、自動車のフロントカメラは、動的物体の長さを測定することができないことが知られている。カメラは物体を分類し、次いで、この分類に応じて、この物体の特定された長さが判定される。特に、カメラの分類は、例えば、乗用車からトラックまでなど、クラスが何度も変更されるため、あまり安定していない。物体を追跡する場合など、物体情報のアイテムの更新がカメラからの特定された長さによって実行されるべきである場合、例えば、別のセンサに基づく長さの変更は実行することができない。例えば、カメラによって、物体が2.5mの長さであることを特定することができるが、一方、ライダセンサデバイスは、例えば、物体が5mの長さであるという情報のアイテムを与える。これにより、追跡アルゴリズムに矛盾が生じるため、対応する長さを判定して使用することはただ困難であり得る。
米国特許出願公開第2013/0245929号明細書は、物体を検出するためのセンサシステムによって形成されるセンサデータのためのフィルタ方法を開示している。センサデータからスケーリング値が測定され、スケーリング値は、ある時間間隔にわたるセンサデータからの物体のサイズの変化に対応し、スケーリング値の測定誤差パラメータが判定され、センサシステムに対する物体の少なくとも1つのノルム移動パラメータを推定するために、測定されたスケーリング値、時間間隔、及び測定誤差パラメータに直接基づくカルマンフィルタリングが実行される。
中国特許出願公開第105631414号明細書は、ベイズ分類器に基づいて複数の障害物を分類するための車載デバイス及び方法に関する。分類デバイスは、カメラと、カメラに接続されたPCと、カメラによって記録された車両前方の映像に対してカルマンフィルタリングを実行するための、かつ障害物を認識するための、カルマンフィルタモジュールと、認識された障害物に対して特徴抽出を実行するために使用される特徴抽出モジュールと、障害物ターゲットの特徴に従って障害物ターゲットの分類を取得するために、ベイズ分類器を使用するために使用されるベイズ分類モジュールと、からなり、特徴は、対称特徴、水平エッジ直線性の特徴、及び長さと幅との比の特徴を含み、分類は、自転車に乗る人/オートバイに乗る人、車両側面、車両前方側、及び歩行者を含む。
本発明の目的は、改善された物体追跡を自動車に対して実行することができる方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システムを提供することである。
この目的は、独立請求項に記載の方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システムによって達成される。有利な実施形態は、従属請求項において特定されている。
本発明の一態様は、自動車の支援システムを動作させるための方法であって、自動車の周囲の物体が、支援システムの検出デバイスによって検出され、物体が、支援システムの電子コンピューティングデバイスによって、電子コンピューティングデバイスによるさらなる評価のために分類され、物体の第1の長さが、電子コンピューティングデバイスによるさらなる評価のために分類に応じて特定され、加えて、物体が、支援システムのカメラによって検出及び評価され、かつカメラによって分類され、物体の第2の長さが、判定され、分類及び第2の長さが、さらなる評価のために電子コンピューティングデバイスに転送される、方法に関する。
特定された第1の長さが、電子コンピューティングデバイスによって現在の長さを形成するために、カメラによって判定された第2の長さに応じて適応され、現在の長さが、電子コンピューティングデバイスの制約付きカルマンフィルタによって更新され、カルマンフィルタの制約が、カメラによって判定された分類によって予め定められることが条件とされる。
したがって、物体追跡とも称され得る、改善された物体追跡が実行され得ることが可能になる。したがって、特に、例えば、物体に関する現在の長さ情報のアイテムを適応させることができる。したがって、特に、本発明は、カメラによって判定された長さを、他のセンサとの長さに関するさらなる情報のアイテム間で矛盾が発生することなく、他のセンサによって更新することができるように、問題を解決する。
換言すれば、車両カメラ、特に、フロントカメラのデータを処理するための、又は地図によって車両周囲の物体を追跡するための方法が提案され、物体、例えば、別の車両又はトラックの長さが判定され得、次に、この長さがさらに処理され、特に、カルマンフィルタの制約が、この目的のために用いられる。制限付きカルマンフィルタは、制約付きカルマンフィルタとも称され得る。
したがって、最小長さ、例えば、乗用車の場合は2.5m、トラックの場合は5m、又は最大長さ、例えば、乗用車の場合は5mを、例えば、カメラによって判定されたクラスに応じて特定することができ、次いで、この仕様は、長さを判定するためのカルマンフィルタに対する制約として特定され、その結果、この長さはこれらの最小値及び最大値の範囲内にある。
特に、次に物体の分類が、物体の長さを推定するために実行される。カルマンフィルタは、特に経時的にフィルタリングし、確率は、特に実証実験によって特定される。特に、物体の最小長さ及び/又は最大長さは、物体クラス内の物体の対応する分類によって特定され得る。次いで、カルマンフィルタは、条件又は制約の下で動作し、カルマンフィルタのこの制約は、カメラの判定されたクラスである。
特に、制約付きカルマンフィルタによるフィルタリングは、D*x=dの条件下で以下の式によって実行され得る。
制約は、次のように推定される:
式中、λはラグランジュの未定乗数法に対応し、典型的には、二次条件を伴う最小二乗問題の解を求めるために使用される。
は、制約を考慮した新たな推定を記述している。
は、制約、したがってカルマンフィルタの結果を考慮しない推定の期待値に対応する。Pnは、制約を考慮しない推定の共分散行列、したがってカルマンフィルタの結果である。Dは、状態に対する線形制約を特定する行列であり、例えば、状態の特定の値のみが固定値に結合される場合、これが状態の第4の値である場合、D=[0,0,0,1]である。Dを使用して、状態パラメータの線形結合に対する制約を特定することもでき、例えば、D=[1,0,0,0,0.5]は、状態の最初のコンポーネントに最後のコンポーネントの半分を加えたものに対する制約を特定する。複数の線形制約を同時に特定することができ、その時、Dは複数の行を有し、例えば、D=[0,0,0,1;1,0,0,0,0]は、状態の最初の値に対して1つ、最後の値に対して1つの、2つの制約を特定する。dは、所望の制約の値である。dの行数はDの行数と等しい。
1つの有利な実施形態によれば、物体は、カメラのベイジアンフィルタによってカメラ内で分類される。特に、ベイジアンフィルタによって、簡単だがそれにもかかわらず信頼性の高い方法が提供され得、それによってカメラの分類が実行され得る。特に、ベイジアンフィルタは、対応する確率を用いて、所与の条件下でクラス変更が行われたかどうかを決定することができる。特に、ベイジアンフィルタはこうしてカメラと電子コンピューティングデバイスとの分類間で切り替えられ、その結果、カメラの散発的なクラス変更が、ベイジアンフィルタによって除外され得る。したがって、カメラの評価中の短いクラス急変化が無視され得、その結果、より信頼性の高い分類が実行され得る。次に、今度はベイジアンフィルタの分類が、さらなる評価のために電子コンピューティングデバイスに転送される。
乗用車及びトラック及び歩行者及び自転車及びオートバイが、カメラ及び/又は電子コンピューティングデバイスの物体クラスとして分類するために特定される場合、さらに有利である。したがって、異なる物体クラスが特定され得、物体がこれらのクラスのうちの1つに分類され得る。特に、可能性のある道路利用者がこのように分類可能であり、それによって、ロバストな物体追跡が可能になる。
ベイジアンフィルタにおける等確率が、分類の開始時にカメラの物体クラスの各々に割り当てられる場合、さらに有利である。例えば、5つのクラスを特定する必要がある場合、物体分類の開始時のベイジアンフィルタにおける確率は、具体的には0.2になり得る。したがって、物体追跡の初期化時に、同じ値が物体クラスのそれぞれの確率に割り当てられる。
さらに、ベイジアンフィルタにおける確率が合計されると1の値になる場合に有利であることが証明された。したがって、異なる物体クラスを考慮に入れることができ、特に、カメラによる散発的な物体クラス変更に対抗するロバストな物体追跡が、ベイジアンフィルタによって実行される。
さらなる有利な実施形態では、物体クラスが、カメラのさらなる電子コンピューティングデバイスによって判定され、これが、ベイジアンフィルタに転送され、ベイジアンフィルタにおける物体クラスのそれぞれの確率が、カメラのさらなる電子コンピューティングデバイスによるそれぞれの物体クラス判定後に増加される。したがって、特に、物体クラスはカメラによって判定され得、次いで、これがベイジアンフィルタに転送される。したがって、例えば、カメラが乗用車を物体クラスとして判定すべきである場合、ベイジアンフィルタは、物体クラスの乗用車の確率を増加させ、一方、他のクラスの他の確率は減少する。例えば、カメラが、さらなる電子コンピューティングデバイスによって、物体を乗用車の物体クラスに割り当てることができると判定した場合、ベイジアンフィルタにおける確率は、例えば、0.7に設定される。さらなる物体クラスのさらなる確率は、それに応じて減少する。したがって、カメラの分類がフィルタリングされ得、それによってよりロバストな物体追跡が実行され得る。
さらに、ベイジアンフィルタによって物体クラスのうちの1つの確率閾値に達すると、物体の分類がカメラによって実行され、これが電子コンピューティングデバイスに転送されると有利であることが証明された。特に、例えば、ベイジアンフィルタにおける確率が0.6よりも高い必要がある場合、したがって対応する分類がベイジアンフィルタによって実行されることが条件とされ得る次に、変更がカメラによって実行されるべきであり、さらに次に、カメラが異なる物体クラスをベイジアンフィルタに転送する場合、したがってベイジアンフィルタは、物体クラス変更を実行するにはまだ確率が高すぎるため、この情報を拒否することとなる。カメラの情報のアイテムによって物体クラス変更が実行されるために、カメラは、対応するクラス変更が実行される特定された時間にわたってベイジアンフィルタと通信することになる。
ベイジアンフィルタによる物体の分類が、確率閾値として0.6の値で実行される場合、有利であることがさらに証明された。したがって、確率として0.6を超えた時に対応する分類が最初に実行されるため、ロバストな物体追跡が実行され得る。したがって、カメラによる散発的なクラス変更は考慮されないままであり得る。
カルマンフィルタの制約が線形制約として特定される場合も有利である。特に、例えば、制約付きカルマンフィルタが、測定更新(更新)xn後のカルマンフィルタの推定から、さらなる推定xを実行し、その結果、線形制約が
D*x=d
を満たすことが条件とされ得る。
D*x=d
を満たすことが条件とされ得る。
したがって、信頼性の高い物体追跡が実行され得る。
さらなる有利な実施形態によれば、カメラによって判定された物体の第2の長さが特定された第1の長さよりも大きい場合、現在の長さは、制約付きカルマンフィルタによって、カメラによって判定された第2の長さに適応される。したがって、信頼できる長さ更新が可能になる。
さらに、カメラによって判定された物体の第2の長さが特定された第1の長さ未満である場合、現在の長さは、カルマンフィルタによって特定された第1の長さに適応される。したがって、信頼性が高くロバストな長さ更新が実行され得る。
物体が、検出デバイスとしての超音波センサデバイスによって、かつ/又はレーダセンサデバイスによって、かつ/又はライダセンサデバイスによって周囲で検出される場合、有利であることがさらに証明された。物体は、好ましくは、レーダセンサデバイスによって、かつ/又はライダセンサデバイスによって検出され得、これは、これらが特に長距離及び高分解能を有するためである。さらに、物体の長さが、レーダセンサデバイスによって、かつ/又はライダセンサデバイスによって確実に判定され得る。
本発明のさらなる態様は、コンピュータプログラム製品が電子コンピューティングデバイスのプロセッサ上で実行された時に、前述の態様による支援システムを動作させるための方法を実行するためにコンピュータ可読媒体に記憶されたプログラムコード手段を有するコンピュータプログラム製品に関する。
本発明のさらに別の態様は、前述の態様によるコンピュータプログラム製品を有するコンピュータ可読記憶媒体に関する。コンピュータ可読記憶媒体は、特に、電子コンピューティングデバイスの一部として形成され得る。
本発明のさらなる態様は、少なくとも1つの検出デバイスを有し、カメラを有し、かつ少なくとも1つの制約付きカルマンフィルタを有する電子コンピューティングデバイスを有する、自動車のための支援システムに関し、支援システムは、前述の態様による方法を実行するように設計されている。特に、方法は支援システムによって実行される。
本発明のさらに別の態様は、前述の態様による支援システムを有する自動車に関する。自動車は、特に、乗用車として具体化される。自動車は、特に、少なくとも半自律型自動車として又は完全自律型自動車として動作され得る。
方法の有利な実施形態は、コンピュータプログラム製品、コンピュータ可読記憶媒体、支援システム、及び自動車の有利な実施形態とみなされるべきである。支援システム及び自動車は、この目的のために、方法又はその有利な実施形態が実行されることを可能にする明確な特徴を有する。
本発明のさらなる特徴は、特許請求の範囲、図、及び図の説明から生じる。上記の説明で挙げられている特徴及び特徴の組合せ、並びに以下の図の説明で挙げられ、かつ/又は図にのみ示されている特徴及び特徴の組合せは、それぞれ示されている組合せだけでなく、本発明の範囲から逸脱することなく他の組合せでも使用することができる。したがって、本発明は、図に明示的に示されて説明されてはいないが、特徴の別個の組合せによって、説明された実施形態から生じ、生成され得る実施形態を含み、開示するものとみなされることも意図されている。したがって、最初に策定された独立請求項の全ての特徴を有さない実施形態及び特徴の組合せもまた、開示されているとみなされるべきである。さらに、特許請求の範囲のバックリファレンスで記載されている特徴の組合せを超えるか又はそれと異なる実施形態及び特徴の組合せは、特に上記の実施形態によって開示されているとみなされるべきである。
ここで、好ましい例示的な実施形態を用いて、添付の図面を参照して本発明をより詳細に説明する。
図において、同一又は機能的に同一の要素には同じ参照番号が付されている。
図1は、支援システム2の一実施形態を有する自動車1の概略上面図を示している。支援システム2は、少なくとも1つの検出デバイス3、及びカメラ4を有する。さらに、支援システム2は、電子コンピューティングデバイス5を有する。カメラ4は、特に、さらなる電子コンピューティングデバイス6をさらに有する。電子コンピューティングデバイス5は、特に、制約付きカルマンフィルタ7をさらに有する。検出デバイス3は、特に、超音波センサデバイスとして、かつ/又はレーダセンサデバイスとして、かつ/又はライダセンサデバイスとして設計され得る。
さらに、図1は、自動車1の周囲8で物体9が検出され得ることを示している。物体9は、例えば、乗用車、トラック、歩行者、自転車、又はオートバイであり得る。この場合、物体9は特に、トラックとして示されている。
図2は、方法のフローチャートの概略図である。自動車1の支援システム2を動作させるための方法において、自動車1の周囲8の物体9が、支援システム2の検出デバイス3によって検出され、物体9が、支援システム2の電子コンピューティングデバイス5によって、電子コンピューティングデバイス5によるさらなる評価のために分類され、物体9の第1の長さLが、分類の関数として電子コンピューティングデバイス5によるさらなる評価のために特定され、加えて、物体9が、支援システム2のカメラ4によって検出及び評価され、かつカメラ4によって分類され、物体9の第2の長さLが、判定され、分類及び第2の長さLが、さらなる評価のために電子コンピューティングデバイス5に転送される。
特定された第1の長さLが、電子コンピューティングデバイス5によって現在の長さLを形成するために、カメラ4によって判定された第2の長さLの関数として適応され、長さLが、電子コンピューティングデバイス5の制約付きカルマンフィルタ7によって更新され、カルマンフィルタ7の制約が、カメラ4によって判定された分類によって特定されることが条件とされる。
特に、物体9が、カメラ4のベイジアンフィルタ10によってカメラ4内で分類されることが条件とされ得る。例えば、乗用車及びトラック及び歩行者及び自転車及びオートバイが、カメラ4及び/又は電子コンピューティングデバイス5の物体クラスとしての分類のために特定され得る。
特に、方法の第1のステップS1では、ベイジアンフィルタ10における等確率が、分類の開始時にカメラ4の物体クラスの各々に割り当てられる。ベイジアンフィルタ10における確率は、合計されると、具体的には1の値になる。
方法の第2のステップS2では、特に、物体クラスが、カメラ4のさらなる電子コンピューティングデバイス6によって判定され、これが、ベイジアンフィルタ10に転送され、かつベイジアンフィルタ10における物体クラスのそれぞれの確率が、カメラ4のさらなる電子コンピューティングデバイス6によるそれぞれの物体クラス判定後に増加されることが条件とされる。換言すれば、特に、分類がカメラ4によって実行された時、これが、ベイジアンフィルタ10に転送され、例えば、確率は、カメラ4が例えば物体9が自動車であることを特定し、物体9も自動車であることを確率が示すように定義されることが条件とされ得る。したがって、自動車又は乗用車の真陽性率が特定され得る。さらに、ベイジアンフィルタは、それが乗用車であるにもかかわらず、それが乗用車でないことをカメラ4が反映している場合の確率も必要である。全ての確率は合計で1である。特に、物体9の分類は、カメラ4によって実行され、これが、物体クラスのうちの1つの確率閾値にベイジアンフィルタ10が達した時に、最初に電子コンピューティングデバイス5に転送され、ここでは、確率閾値は、例えば0.6であり得る。
第3のステップS3では、次に、長さLが、制約付きカルマンフィルタ7によって判定され、制約は、特に線形制約である。例えば、最も高い確率を有するクラスがベイジアンフィルタ10によって選択され得る。このクラスに応じて、例えば、乗用車の場合は2.5m、トラックの場合は5mなどの最小長さ、又は乗用車の場合は5mなどの最大長さが特定され得、次に、この仕様は、長さLを判定するためのカルマンフィルタ7に対する制約として特定され、その結果、判定された長さLは、これらの最小値及び最大値の範囲内にある。さらに、第3のステップS3では、特に、カメラ4によって判定された物体9の長さLが特定された第1の長さLよりも大きい場合、現在の長さLは、制約付きカルマンフィルタ7によって、カメラ4によって判定された第2の長さLに適応されることが条件とされ得る。あるいは、カメラ4によって判定された物体9の長さLが特定された第1の長さL未満である場合、現在の長さLは、制約付きカルマンフィルタ7によって、特定された第1の長さLに適応される。
特に、カルマンフィルタリングの制約は、例えば、第1の検出更新xn後のカルマンフィルタ推定、及びさらなる推定xを用いて実行され得、これは、線形制約
D*x=d
を満たす。
D*x=d
を満たす。
特に、制約付きカルマンフィルタによるフィルタリングは、D*x=dの条件下で以下の式によって実行され得る。
制約は、次のように推定される:
式中、λはラグランジュの未定乗数法に対応し、典型的には、二次条件を伴う最小二乗問題の解を求めるために使用される。
は、制約を考慮した新たな推定を記述している。
は、制約、したがってカルマンフィルタの結果を考慮しない推定の期待値に対応する。Pnは、制約を考慮しない推定の共分散行列、したがってカルマンフィルタの結果である。Dは、状態に対する線形制約を特定する行列であり、例えば、状態の特定の値のみが固定値に結合される場合、これが状態の第4の値である場合、D=[0,0,0,1]である。Dを使用して、状態パラメータの線形結合に対する制約を特定することもでき、例えば、D=[1,0,0,0,0.5]は、状態の最初のコンポーネントに最後のコンポーネントの半分を加えたものに対する制約を特定する。複数の線形制約を同時に特定することができ、その時、Dは複数の行を有し、例えば、D=[0,0,0,1;1,0,0,0,0]は、状態の最初の値に対して1つ、最後の値に対して1つの、2つの制約を特定する。dは、所望の制約の値である。dの行数はDの行数と等しい。
全体として、この図は、フィルタリングされたクラスに基づくカメラ4による長さの判定を示す。
Claims (15)
- 自動車(1)の支援システム(2)を動作させるための方法であって、前記自動車(1)の周囲(8)の物体(9)が、前記支援システム(2)の検出デバイス(3)によって検出され、前記物体(9)が、前記支援システム(2)の電子コンピューティングデバイス(5)によって、前記電子コンピューティングデバイス(5)によるさらなる評価のために分類され、前記物体(9)の第1の長さ(L)が、前記分類の関数として前記電子コンピューティングデバイス(5)による前記さらなる評価のために特定され、加えて、前記物体(9)が、前記支援システム(2)のカメラ(4)によって検出及び評価されるとともに前記カメラ(4)によって分類され、前記物体(9)の第2の長さ(L)が判定され、前記分類及び前記第2の長さ(L)が、さらなる評価のために前記電子コンピューティングデバイス(5)に転送される、方法において、
特定された前記第1の長さ(L)が、前記電子コンピューティングデバイス(5)によって現在の長さ(L)を形成するために、前記カメラ(4)によって判定された前記第2の長さ(L)の関数として適応され、前記現在の長さ(L)が、前記電子コンピューティングデバイス(5)の制約付きカルマンフィルタ(7)によって更新され、前記カルマンフィルタ(7)の前記制約が、前記カメラ(4)によって判定された前記分類によって特定されることを特徴とする、
方法。 - 前記物体(9)が、前記カメラ(4)のベイジアンフィルタ(10)によって前記カメラ(4)内で分類されることを特徴とする、
請求項1に記載の方法。 - 乗用車とトラックと歩行者と自転車とオートバイとが、前記カメラ(4)及び/又は前記電子コンピューティングデバイス(5)の物体クラスとしての分類のために特定されることを特徴とする、
請求項1又は2に記載の方法。 - 前記カメラ(4)の前記物体クラスの各々に、分類の開始時に前記ベイジアンフィルタ(10)における等確率が割り当てられることを特徴とする、
請求項2及び3のいずれか一項に記載の方法。 - 前記ベイジアンフィルタ(10)における前記確率が、合計されると1の値になることを特徴とする、
請求項4に記載の方法。 - 物体クラスが、前記カメラ(4)のさらなる電子コンピューティングデバイス(6)によって判定され、これが、前記ベイジアンフィルタ(10)に転送され、前記ベイジアンフィルタ(10)における物体クラスのそれぞれの確率が、前記カメラ(4)の前記さらなる電子コンピューティングデバイス(6)によるそれぞれの物体クラス判定後に増加されることを特徴とする、
請求項4又は5に記載の方法。 - 前記ベイジアンフィルタ(10)によって、前記物体クラスのうちの1つの確率閾値に達した場合、前記物体(9)の前記分類が、前記カメラ(4)によって実行され、これが、前記電子コンピューティングデバイス(5)に転送されることを特徴とする、
請求項6に記載の方法。 - 前記確率閾値として0.6の値で、前記物体(9)の分類が、前記ベイジアンフィルタ(10)によって実行されることを特徴とする、
請求項7に記載の方法。 - 前記カルマンフィルタ(7)の前記制約が、線形制約として特定されることを特徴とする、
請求項1から8のいずれか一項に記載の方法。 - 前記カメラ(4)によって判定された前記物体(9)の前記第2の長さ(L)が、特定された前記第1の長さ(L)よりも大きい場合、前記現在の長さ(L)が、前記制約付きカルマンフィルタ(7)によって、前記カメラ(4)によって判定された前記第2の長さ(L)に適応されることを特徴とする、
請求項1から9のいずれか一項に記載の方法。 - 前記カメラ(4)によって判定された前記物体(9)の前記第2の長さ(L)が、特定された前記第1の長さ(L)未満である場合、前記現在の長さ(L)が、前記制約付きカルマンフィルタ(7)によって、特定された前記第1の長さ(L)に適応されることを特徴とする、
請求項1から9のいずれか一項に記載の方法。 - 前記物体(9)が、前記検出デバイス(3)としての超音波センサデバイスによって、かつ/又はレーダセンサデバイスによって、かつ/又はライダセンサデバイスによって前記周囲(8)で検出されることを特徴とする、
請求項1から11のいずれか一項に記載の方法。 - 請求項1から12のいずれか一項に記載の方法を実行するためにコンピュータ可読媒体に記憶されたプログラムコード手段を有するコンピュータプログラム製品であって、前記コンピュータプログラム製品が電子コンピューティングデバイス(5)のプロセッサ上で実行された時に、前記方法を実行する、コンピュータプログラム製品。
- 請求項13に記載のコンピュータプログラム製品を有する、コンピュータ可読記憶媒体。
- 少なくとも1つの検出デバイス(3)を有し、カメラ(4)を有し、かつ少なくとも1つの制約付きカルマンフィルタ(7)を有する電子コンピューティングデバイス(5)を有する、自動車(1)のための支援システム(2)であって、前記支援システム(2)が、請求項1から12のいずれか一項に記載の方法を実行するように設計されている、支援システム(2)。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020121061.2 | 2020-08-11 | ||
DE102020121061.2A DE102020121061A1 (de) | 2020-08-11 | 2020-08-11 | Verfahren zum Betreiben eines Assistenzsystems zur Bestimmung einer Länge eines Objekts, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem |
PCT/EP2021/071517 WO2022033905A1 (de) | 2020-08-11 | 2021-08-02 | Verfahren zum betreiben eines assistenzsystems zur bestimmung einer länge eines objekts, computerprogrammprodukt, computerlesbares speichermedium sowie assistenzsystem |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023537987A true JP2023537987A (ja) | 2023-09-06 |
Family
ID=77300908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023509821A Withdrawn JP2023537987A (ja) | 2020-08-11 | 2021-08-02 | 物体の長さを判定するための支援システムを動作させるための方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230267633A1 (ja) |
EP (1) | EP4196903A1 (ja) |
JP (1) | JP2023537987A (ja) |
CN (1) | CN116097317A (ja) |
DE (1) | DE102020121061A1 (ja) |
WO (1) | WO2022033905A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10148064A1 (de) | 2001-09-28 | 2003-04-10 | Ibeo Automobile Sensor Gmbh | Verfahren zur Erkennung und Verfolgung von Objekten |
DE102012203909A1 (de) | 2012-03-13 | 2013-09-19 | Robert Bosch Gmbh | Filterverfahren und Filtervorrichtung für Sensordaten |
CN105631414B (zh) | 2015-12-23 | 2019-04-05 | 上海理工大学 | 一种基于贝叶斯分类器的车载多障碍物分类装置及方法 |
-
2020
- 2020-08-11 DE DE102020121061.2A patent/DE102020121061A1/de active Pending
-
2021
- 2021-08-02 US US18/020,368 patent/US20230267633A1/en active Pending
- 2021-08-02 JP JP2023509821A patent/JP2023537987A/ja not_active Withdrawn
- 2021-08-02 EP EP21752685.4A patent/EP4196903A1/de not_active Withdrawn
- 2021-08-02 CN CN202180054225.3A patent/CN116097317A/zh active Pending
- 2021-08-02 WO PCT/EP2021/071517 patent/WO2022033905A1/de unknown
Also Published As
Publication number | Publication date |
---|---|
EP4196903A1 (de) | 2023-06-21 |
US20230267633A1 (en) | 2023-08-24 |
CN116097317A (zh) | 2023-05-09 |
WO2022033905A1 (de) | 2022-02-17 |
DE102020121061A1 (de) | 2022-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111033510B (zh) | 用于运行驾驶员辅助系统的方法和装置以及驾驶员辅助系统和机动车 | |
US8194998B2 (en) | Preceding vehicle detection system | |
CN109891262B (zh) | 物体探测装置 | |
US11713041B2 (en) | Control system and control method for driving a motor vehicle | |
US20160162743A1 (en) | Vehicle vision system with situational fusion of sensor data | |
US8233663B2 (en) | Method for object formation | |
JP5178276B2 (ja) | 画像認識装置 | |
US20160217335A1 (en) | Stixel estimation and road scene segmentation using deep learning | |
CN108162858B (zh) | 车载监控装置及其方法 | |
JP2009037622A (ja) | 画像を評価するための方法および装置 | |
EP2214121B1 (en) | Safety system for a motor vehicle | |
JP2013057992A (ja) | 車間距離算出装置およびそれを用いた車両制御システム | |
US10752256B2 (en) | Method and device for controlling at least one driver interaction system | |
CN112699724A (zh) | 基于来自相机和雷达传感器的数据执行对象和活动识别 | |
KR20210092319A (ko) | 압축된 이미지 데이터에 의한 센서 폐색의 검출 | |
JP5516561B2 (ja) | 車両用運転支援装置 | |
CN111310696B (zh) | 基于泊车异常行为分析的泊车事故识别方法、装置和车辆 | |
CN113366493A (zh) | 信息处理方法、以及信息处理系统 | |
JP2023537987A (ja) | 物体の長さを判定するための支援システムを動作させるための方法、コンピュータプログラム製品、コンピュータ可読記憶媒体、及び支援システム | |
US20220009439A1 (en) | Enhanced occupant collision safety system | |
JP4601376B2 (ja) | 画像異常判定装置 | |
CN112141093A (zh) | 用于识别车辆周围的危险对象的方法和系统 | |
JP6921160B2 (ja) | 車両の後側方監視装置 | |
EP2851840B1 (en) | Vision system and vision method for a motor vehicle | |
CN115690748B (zh) | 用于占据类预测的方法和用于遮挡值确定的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230410 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20231006 |