JP7481237B2 - 物標検出装置 - Google Patents

物標検出装置 Download PDF

Info

Publication number
JP7481237B2
JP7481237B2 JP2020194708A JP2020194708A JP7481237B2 JP 7481237 B2 JP7481237 B2 JP 7481237B2 JP 2020194708 A JP2020194708 A JP 2020194708A JP 2020194708 A JP2020194708 A JP 2020194708A JP 7481237 B2 JP7481237 B2 JP 7481237B2
Authority
JP
Japan
Prior art keywords
detection
target
fusion
false
reliability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020194708A
Other languages
English (en)
Other versions
JP2022083331A (ja
Inventor
敬亮 山本
道彦 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2020194708A priority Critical patent/JP7481237B2/ja
Priority to PCT/JP2021/033549 priority patent/WO2022113478A1/ja
Priority to DE112021004904.6T priority patent/DE112021004904T5/de
Priority to US18/035,727 priority patent/US20230410657A1/en
Publication of JP2022083331A publication Critical patent/JP2022083331A/ja
Application granted granted Critical
Publication of JP7481237B2 publication Critical patent/JP7481237B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、物標検出装置及び物標検出方法に関する。
物標検出装置は、センサからの出力データを受け付けて物標を検出する。このような物標検出装置として、複数の観測値と予測値を確率的に合成し、現時刻の状態推定を更新するトラッキング手法であるProbabilistic data association (PDA)と呼ばれる手法が提案されている(非特許文献1参照b)。
また、PDAの状態推定を拡張し、同時に、追跡物標の存在確率を求める手法として、Integrated probabilistic data association (IPDA)が知られている(非特許文献2参照)。
また、自動車向けのセンサフュージョン手法として、ファジィ理論に基づくDempster-Shafer理論を用いた手法が知られている(非特許文献3参照)。
一方、近年は、より元データに近い状態でフュージョンを行って推定結果を高度化し、運転支援システムや自動運転技術に求められる物標検出機能を実現する方法が注目されている。
Y. Bar-Shalom, "Tracking methods in a multitarget environment," IEEE Trans. Automat. Contr., vol. 23, no. 4, pp. 618-4526, Aug. 1978. Musicki D., Evans R., Stankovic S., "Integrated Probabilistic Data Association (IPDA)", IEEE Trans. Autom. Control., vol.39, no. 6, pp.1237-1241, Jun. 1994 Huadong Wu1, et al., "Sensor Fusion Using Dempster-Shafer Theory", IEEE IMTC Anchorage 2002.
従来の物標検出装置では、複数種類のセンサを用いた場合、各センサで得手不得手があるため、特性が劣化する利用シーンが多数発生する。特定の利用シーンに対しては、センサの信頼度を事前に設定してシーンを検出することで、特性劣化を防ぐことは可能である。しかし、比較的短期間に発生するセンサ特性の劣化やシーン検出が困難な状況では、特性劣化を防ぐことは難しい。
また、非常に多くの利用シーンに対して、事前にパラメータを設定することは、設定するためのデータ収集や実装コストの面からも現実的ではない。
このため、利用シーンに応じて適切にセンサの信頼度を設定して複数センサのフュージョン結果を改善する方法が求められている。
本発明の目的は、物標検出装置において、利用シーンに応じて適切にセンサの信頼度を設定して複数センサのフュージョン結果を改善することにある。
本発明の一態様の物標検出装置は、複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、前記フュージョン処理部は、前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理することを特徴とする。
本発明の一態様の物標検出装置は、複数種類のセンサから複数の出力データを受け付け、前記複数の出力データに基づいて、物標を検出するフュージョン物体認識部を備える物標検出装置であって、時間的に前のステップのフュージョン後の前記物標の検出結果に基づいて、前記物標の誤検知の推定を行う誤検知推定部と、前記誤検知の推定結果に基づいて、前記複数種類のセンサ単位の所定のシーンにおけるセンサの信頼度を推定するセンサ信頼度検出部と、を有し、前記センサの信頼度に基づく補正後の信頼度、前記誤検知の推定結果及び前記出力データに基づいて前記物標の検出を行うことを特徴とする。
本発明の一態様の物標検出方法は、複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出方法であって、フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理ステップと、前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定ステップと、前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出ステップと、前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正ステップと、を有し、前記フュージョン処理ステップは、前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理することを特徴とする。
本発明の一態様によれば、物標検出装置において、利用シーンに応じて適切にセンサの信頼度を設定して複数センサのフュージョン結果を改善することができる。
物標検出装置の構成を示す図である。 物標検出装置の構成を示す図である。 センサフュージョンの機能ブロックを示す図である。 センサフュージョンの機能ブロックを示す図である。 センサフュージョンの効果を説明する図である。 センサフュージョンの概要を説明する図である。 実施例1の物標検出装置の構成を示す図である。 実施例1のフュージョンに用いるセンサ信頼度の一例を示す図である。 実施例1の誤検知推定部の機能を示す図である。 実施例1の誤検知確率推定部の機能を示す図である。 実施例1の信頼度補正部の機能を示す図である。 実施例2の物標検出装置の構成を示す図である。 実施例3の物標検出装置の構成を示す図である。
以下、図面を用いて実施例について説明する。
図1を参照して、物標検出装置の構成について説明する。
物体検出装置は、センサ11、特徴抽出部11、トラッキング/物体検出部13、センサフュージョン部14、解析計画判断部15及び車両制御部16を有する。センサ11で取得されたデータは特徴抽出部12でクレンジングされ、トラッキング/物体検出部13でトラッキング処理及び物体検出処理が行われて物標データとなる。
物標データは、解析計画判断部15での走行経路や制御の計画判断に用いられ、その結果に基づいて車両制御部16で車両制御が行われる。本発明は、上記物体検出システムの中のトラッキング及び物体検出部13とセンサフュージョン部14に関わる。
図1において、センサフュージョンは物標データに対して行われる。この場合、物標データを物理的モデルを含まない単純な確率で合成する手法や、センサの不完全性をファジィ理論に基づいて表現したD-S理論を用いた手法がフュージョンとしてよく用いられる。
図2を参照して、物標検出装置の他の構成について説明する。
物体検出装置は、センサ21、特徴抽出部22、トラッキング/物体検出/センサフュージョン部23、解析計画判断部24及び車両制御部25を有する。図1に示す物標検出システムと異なる点は、図2に示す物標検出システムでは、トラッキング、物体検出及びセンサフュージョン23が統合されておりセンサ21からの観測値に対して直接合成を行う点である。この場合、(minimum-mean-squred error)MMSE、(Maximum Liklehood estimation)ML、(Maximum A-Posteriori Estimation)MAPといった規範に基づき、ベイズの定理を用いて観測値が得られた際の物標の確率分布を演算する手法が用いられる。図2の手法では、演算量は増加するものの、図1の物標に対してフュージョンを行う場合より一般的に良い特性が得られる。
本発明の物体検出装置は、確率的な合成を用いるセンサフュージョン方式に、利用シーンに応じて信頼度を適用的に変化させる機能を加えたものであり、図3~図6を用いて、前提となる確率的な合成を用いるセンサフュージョン方式に関して説明する。
図3を参照して、図1のトラッキング/物体検出部13とセンサフュージョン部14の機能について説明する。
各センサの観測値は、それぞれトラッキング処理31により、各センサの予測更新値32と合成される。トラッキングの出力の状態ベクトルや共分散行列、物標情報、存在確率等は、一度センサ毎に算出され、算出されたオブジェクトデータに対してセンサフュージョン33を行う。現在の自動運転向けセンサーフュージョンシステムでは、演算量とパフォーマンスのバランスの良い、D-S理論を用いた検討がよく行われており、本発明の物体検出装置で利用できる。
図4を参照して、図2のトラッキング/物体検出/センサフュージョン部23の機能について説明する。
各センサからの観測値に対して直接センサフュージョン41を行う際には、シングルセンサで複数の観測値と物標を合成するトラッキング手法をマルチセンサに拡張することで、トラッキングとセンサフュージョンを統合できる。この場合、ベイズ推定に基づき、フュージョン結果を用いた予測更新42の出力と、複数センサの観測値を確率的に統合する。
例えば、カルマンフィルタを用いたMMSE規範のフュージョン手法として、Probabilistic Data Association(PDA)が知られている。また、PDAを拡張し、物標の存在確率を同時に算出する手法としてIntegrated PDA (IPDA)が知られており、これをマルチセンサに拡張することにより、フュージョン出力が得られる。本発明の物体検出部では、図3、図4のいずれの場合でも、確率的な合成に基づいてフュージョン処理を行う。
図5を参照して、観測値の確率的な合成で狙う効果について説明する。図5は、センサ1とセンサ2のそれぞれの確率が距離とともに変化するモデルで確率的な合成をセンサフュージョンで行った場合の信頼度の例を示している。
ここで、検知閾値以上の物標データが後段に繋がる場合、センサ1、センサ2でそれぞれ判定を行った場合、130m以上の領域は検知不可能となる。一方、センサ出力を確率として合成し、フュージョン後に判定する構成の場合、140m付近まで検知領域を拡大できる。
図6は、フュージョンによる状態推定の改善の原理を説明する図である。図6(a)は、シングルセンサでPDAの手法を用いて、複数の観測値62、63と予測値61を合成する様子を示している。PDAはカルマンフィルタによるトラッキングを前提としたMMSE規範のフュージョン方法であり、推定する状態ベクトルxは、観測値Zの条件付き状態ベクトルである。MMSE規範を用いて、観測値と予測値の組み合わせイベントθに対して期待値を取る形となる。
ここで、数式β=P{θ|Z}は、それぞれのイベントθのアソシエーション確率である。今、図6(a)において、予測値61に観測値62、63を結びつけることを考える。
今、各物標に1タイムステップでアソシエーションされる正しい観測値を1以下と仮定すると(Point target想定)、正しいアソシエーションの観測値は62か63、若しくは「正しいアソシエーションなし」である。観測値62が正しいアソシエーションとすると、観測値63は誤検出となる。一方、反対に63が正しく、62が誤検出のイベント仮説も考えられ、両者を尤度に基づく重みで平均し、フュージョン出力を算出する。
ここで、マルチセンサに拡張した場合、図6(b)のように、センサ2に基づく観測値の予測範囲66とセンサ2の観測値66が追加され、同じく、全ての起こり得るイベント仮説について期待値を取ると、センサ2の観測値66が正しい観測値であったときに、合成利得が発生し状態推定の精度が上昇する。
一方、このような手法を用いる場合、それぞれ異なるセンサの確からしさを適切に設定しない場合、間違った仮説の尤度が高くなるため、センサの信頼度を適応的に調整する手法が重要となる。
そこで、本発明では、上記フュージョン機能に、センサ毎の誤検知率を推定する機能を追加し、様々な利用シーンでフュージョン後の推定精度を高める。
以下、図7~図13を用いて、本発明の実施例について説明する。
図7を参照して、実施例1の物標検出装置の構成について説明する。図7は、実施例1の適応的にセンサの信頼度を推定するセンサフュージョンを用いた物標検出部の機能ブロックを示す。以下、誤検知は、誤検出と未検出の両方を含む。
実施例1の物標検出装置は、フュージョン後の物標の予測値(フュージョン結果の予測更新の結果)を用いて予測値と観測値のグルーピングを行うグルーピング部71と、確率に基づくフュージョン処理部73と、観測値とフュージョン後の予測値を用いて、物標ごとの誤検知を推定する誤検知推定部72と、誤検知推定部72の誤検知結果からセンサ単位の誤検知率を推定する誤検知確率算出部75と、誤検知算出のセンサ毎の誤検知率を元にセンサの既定の信頼度を補正する信頼度補正部76を有する。
グルーピング部71は、フュージョン後の予測値とセンサの観測値から、物標の予測値と観測値の対応状況を表すグループ情報を作成する。誤検知推定部72は、グルーピング部71からのグループ情報、観測値及びフュージョン後の予測値を用いて、物標ごと(予測値毎)の誤検知推定を行う。
誤検知確率算出部75は、誤検知推定結果から、センサ単位の誤検知確率を推定する。信頼度補正部76は、既定のセンサの信頼度を誤検知確率算出部75からのセンサ単位の誤検知確率に基づいて補正する。フュージョン処理部73は、グループ情報、観測値、誤検知推定結果、補正後のセンサ信頼度及び予測値に基づいてフュージョン処理を行い、状態ベクトルや共分散行列、存在確率等を出力する。
ここで、センサの信頼度として用いるパラメータの一例を図8に示す。
オブジェクトの存在の有無と、検出結果の関係を図8で表すと、誤検出はクラッタ密度λ、未検出検知確率Pと結びつけることができる。検知確率やクラッタの密度は、前記PDAの手法のアソシエーション確率βに利用できるので、これらをセンサの信頼度として用いることで、検知結果から適応的にセンサ単位の信頼度を推定できる。
実施例1では、PDAの手法を用いた場合を示すが、オブジェクトデータに対するフュージョンに関しても、D-S方に基づいた合成で用いるセンサの不確実性のパラメータを上記誤検出及び未検出に応じて変更することで、利用シーンに応じて適応的にセンサの信頼度を変化させる方式を適用できる。
図9を参照して、誤検知推定部72の機能について説明する。
誤検知推定部72では、フュージョン結果の予測値94を用いて、物標毎の未検出率、誤検出頻度を推定する。ここで、91~93は観測値の予測範囲であり、94、96、97は物標の予測値であり、98は観測値である。
まず、補足した物標に対応する真の観測値は最大1点とすると、図9(a)は通常の場合であり、観測値95が予測値94の物標に起因するか否かを判定する。図9(b)は、観測値が予測範囲92内に存在しない場合で、未検出と判定し未検出の推定値として用いる。図9(c)は、予測値97に対して観測値98が多数の場合で、誤検出率が増加したと判定し、誤検出の数をカウントし誤検出の推定値として用いる。
ここで、予測値としてフュージョン後の値を用いているため、複数センサのどれかが観測できなかった場合に、他のセンサの尤度が高ければトラックは維持され、未検出数をカウントできる。
図10を参照して、誤検知確率算出部75の機能について説明する。
誤検出確率算出部75は、複数の物標の誤検出数の平均値や未検出の頻度をセンサ毎に算出して、センサ単位の誤検知推定として出力する。図10において、補足している物標の数分の未検出数の推定値、誤検出数の推定値が前段ブロックから入力され、センサ単位でまとめて平均処理や検知率への変換を行う。
図11を参照して、信頼度補正部76の機能について説明する。
図11(a)に示すように、信頼度補正部76は、センサ単位の誤検知確率に基づき、既定のセンサ毎の信頼度を補正し、補正後の信頼度を出力する。補正の方法はテーブルルックアップを用いた係数選択や、誤検知確率を指揮変換し補正係数として乗算することで実行される。
図11(b)には、誤検知率が増加した際の補正によるセンサ信頼度の変化を示す。既定の信頼度として距離に応じたセンサ信頼度が設定されたものに対して、センサの誤検出確率が高くなった場合に信頼度を減少させる。これにより、利用シーンで信頼度の低いセンサから受ける影響を抑えることができる。
上述のように、実施例1の物標検出装置は、複数種類のセンサから出力された複数の観測値に基づいて物標を検出する。物標検出装置は、フュージョンを処理してフュージョン後の物標の予測値を出力するフュージョン処理部73と、観測値と予測値に基づいて、物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部72と、誤検知推定結果に基づいて、センサ毎の誤検知率を算出する誤検知確率算出部75と、誤検知率に基づいて、予め定められたセンサの信頼度を補正して補正後の信頼度を出力する信頼度補正部76を有する。フュージョン処理部73は、予測値、誤検知推定結果及び補正後の信頼度に基づいて、フュージョンを処理する。フュージョン処理部73は、フュージョンを処理して、状態ベクトル、共分散行列又は存在確率を出力する。
誤検知推定部72は、予測値を用いて、物標毎の未検出率及び誤検出率を推定する。また、誤検知推定部72は、センサ毎の未検出の頻度を観測値の推定範囲内に存在する観測値の有無に基づいて算出し、センサ毎の誤検出の頻度を観測値の推定範囲内に存在する観測値の数に基づいて算出し、未検出の頻度及び誤検出の頻度を用いて、物標ごとの誤検知を推定する。
また、誤検知推定部72は、観測値が推定範囲内に存在しない場合に、未検出と判定して未検出率の推定値として用い、観測値が推定範囲内に少なくとも一つ存在する場合に、誤検出数をカウントして誤検出率の推定値として用いる。
また、誤検知推定部72は複数のタイムステップに渡る誤検知推定結果の平均又は統計処理を用いて、物標ごとの誤検知を推定する。また、誤検知推定部72は、時間的に前のステップのフュージョン後の予測値を用いて、物標ごとの誤検知を推定する。
また、誤検出確率算出部75は、誤検知推定結果として未検出の推定値及び誤検出の推定値を用いて、複数の物標の誤検出数の平均値及び未検出の頻度をセンサ毎に算出して、センサ毎の誤検知率を算出する。
信頼度補正部76は、誤検知率を指揮変換して係数を算出し、補正係数として予め定められたセンサの信頼度に乗算することにより、センサの信頼度を補正する。また、信頼度補正部76は、センサの信頼度として距離に応じたセンサ信頼度が予め設定されている場合、誤検出率が高くなった場合にセンサ信頼度を減少させるようにセンサの信頼度を補正する。
上記実施例1によれば、センサの信頼度が変化するシーンにおいても、良好なフュージョン結果が得られる。このように、利用シーンに応じて適切にセンサの信頼度を設定して複数センサのフュージョン結果を改善することができる。
図12を参照して、実施例2の物標検出装置の構成について説明する。図12は、センサの異常検知機能を有するセンサフュージョンを用いた物標検出装置の機能ブロックを示す。
図12では、センサ単位の誤検知確率からセンサの異常を検知する異常検知部121が新たに追加されている。その他の構成は図7に示す実施例1の物標検出装置の構成と同じなのでその説明は省略する。
センサの誤検知率の増加が定常的になった場合には、劣化要因は外部環境ではなくセンサそのものとみなすことができる。異常検知部121は、一定時間以上誤検知の高い状況が続いた場合にアラートを上げることによりセンサの異常を検知する。
図13を参照して、実施例3の物標検出装置の構成について説明する。図13は、センサのシーン検出機能を有するセンサフュージョンを用いた物標検出装置の機能ブロックを示す。
図13では、センサ単位の誤検知確率を入力としてシーンの検出を行うシーン検出部131が新たに追加されている。その他の構成は図7に示す実施例1の物標検出装置の構成と同じなのでその説明は省略する。
上記実施例3では、センサ単位の誤検知率の変化により、どのセンサが苦手なのかを推定することが可能である。シーン検出部131は、センサ単位の誤検知確率を入力としてシーン検出を行い、検出したシーンを図1の解析計画判断部15へ入力する。
例えば、トンネル内では、ミリ波の誤検知率が反射波により増加する。このため、他のセンサで大きな変化がない中で、ミリ波の誤検知が急増すれば、反射率の高い物体に囲まれているか、反射率の高い物体が周辺に存在することが推定できる。
また、カメラでの検知率が低下した際は、逆境による白飛びや降雨、泥はねによるオクルージョン、比較的近い距離での車両横切りや突発的な障害物の発生等が推定できる。Lidarに関しては、反射率の高い物体での未検知が発生する。
実施例3では、センサフュージョンにおいて、利用シーンでのセンサの得手不得手に起因する特性劣化を改善することができる。
上記実施例では、複数種類のセンサから複数の出力データを受け付け、前記複数の出力データに基づいて、物標を検出するフュージョン物体認識部を備える物標検出装置において、時間的に前のステップのフュージョン後の前記物標の検出結果に基づいて前記物標の誤検知の推定を行う誤検知推定部と、前記誤検知の推定結果に基づいて前記複数種類のセンサ単位の現在のシーンにおけるセンサの信頼度を推定するセンサ信頼度検出部とを備える。そして、前記センサの信頼度に基づく補正後の信頼度、前記誤検知の推定結果及び前記出力データに基づいて前記物標の検出を行う。
また、前記センサの信頼度として、センサ毎の未検出、誤検出の頻度を用いる。前記センサ毎の未検出の頻度は、前記フュージョン後の予測値から、観測値の推定範囲内に存在する観測値の有無を基にして算出する。前記センサ毎の未検出の頻度は、前記フュージョン後の予測値から、観測値の推定範囲内に存在する観測値の数を基にして算出する。
また、前記センサの信頼度に基づく補正は、前記センサ信頼度検出部で算出したセンサの信頼度によるテーブルルックアップによる係数参照、若しくは、信頼度検出部で算出したセンサの信頼度と既定のセンサの信頼度の両方を入力とするルックアップテーブルで算出された係数を用いて行われる。前記センサの信頼度に基づく補正は、前記センサ信頼度検出部で算出したセンサの信頼度を入力とした指揮変換で係数を算出し、既存のセンサ信頼度に乗算することで行われる。また、前記誤検知の推定結果の推定は、複数タイムステップに渡る誤検知指定結果の平均や統計処理を基に行われる。
また、前記複数種類のセンサ単位の現在のシーンにおけるセンサの信頼度を推定するセンサ信頼度検出部からのセンサ単位の信頼を入力として現在のシーンを推定するシーン検出機能を有する。
また、前記複数種類のセンサ単位の現在のシーンにおけるセンサの信頼度を推定するセンサ信頼度検出部からのセンサ単位の信頼を入力として、センサの経年劣化や故障等の異常検知を行う異常検知機能を有する。
上記実施例によれば、センサの信頼度が変化するシーンにおいても、良好なフュージョン結果が得られる物標検出装置を実現できる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。
例えば、図7に示す実施例1の物標検出装置では、既定の信頼度は外部から信頼度補正部76に入力されているが、本発明はこれに限定されず、信頼度補正部76のレジスタ等に既定の信頼度を保持しても良い。
また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
11 センサ
12 特徴抽出部
13 トラッキング/物体検出部、
14 センサフュージョン部
15 解析計画判断部
16 車両制御部
21 センサ
22 特徴抽出部
23 トラッキング/物体検出/センサフュージョン部
24 解析計画判断部
25 車両制御部
31 トラッキング
32 予測更新
33 センサフュージョン
41 センサフュージョン
42 予測更新
71 グルーピング部
72 誤検知推定部
73 フュージョン処理部
74 予測値
75 誤検知確率算出部
76 信頼度補正部
121 異常検知部
131 シーン検出部

Claims (12)

  1. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記誤検知推定部は、
    前記予測値を用いて、前記物標毎の未検出率及び誤検出率を推定することを特徴とする物標検出装置。
  2. 前記フュージョン処理部は、
    前記フュージョンを処理して、状態ベクトル、共分散行列又は存在確率を出力することを特徴とする請求項1に記載の物標検出装置。
  3. 前記誤検知推定部は、
    前記センサ毎の未検出の頻度を前記観測値の推定範囲内に存在する前記観測値の有無に基づいて算出し、
    前記センサ毎の誤検出の頻度を前記観測値の前記推定範囲内に存在する前記観測値の数に基づいて算出し、
    前記未検出の頻度及び前記誤検出の頻度を用いて、前記物標ごとの誤検知を推定することを特徴とする請求項1に記載の物標検出装置。
  4. 前記誤検知推定部は、
    前記観測値が前記推定範囲内に存在しない場合に、前記未検出と判定して前記未検出率の推定値として用い、
    前記観測値が前記推定範囲内に少なくとも一つ存在する場合に、誤検出数をカウントして前記誤検出率の推定値として用いることを特徴とする請求項3に記載の物標検出装置。
  5. 前記誤検知確率算出部は、
    前記誤検知推定結果として前記未検出率の推定値及び前記誤検出率の推定値を用いて、複数の前記物標の前記誤検出の数の平均値及び前記未検出の頻度を前記センサ毎に算出して、前記センサ毎の前記誤検知率を算出することを特徴とする請求項4に記載の物標検出装置。
  6. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記誤検知推定部は、
    複数のタイムステップに渡る前記誤検知推定結果の平均又は統計処理を用いて、前記物標ごとの前記誤検知を推定することを特徴とする物標検出装置。
  7. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記誤検知推定部は、
    時間的に前のステップの前記フュージョン後の前記予測値を用いて、前記物標ごとの前記誤検知を推定することを特徴とする物標検出装置。
  8. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記信頼度補正部は、
    前記誤検知率から算出した補正係数を予め定められた前記センサの信頼度に乗算することにより、前記センサの信頼度を補正することを特徴とする物標検出装置。
  9. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記信頼度補正部は、
    前記センサの前記信頼度として距離に応じたセンサ信頼度が予め設定されている場合、前記誤検知率が高くなった場合に前記センサ信頼度を減少させるように前記センサの信頼度を補正することを特徴とする物標検出装置。
  10. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記センサ毎の前記誤検知率に基づいて、前記センサの異常を検知するセンサ異常検知部を更に有することを特徴とする物標検出装置。
  11. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記センサ毎の前記誤検知率に基づいて、前記センサのシーンを検出するシーン検出部を更に有することを特徴とする物標検出装置。
  12. 複数種類のセンサから出力された複数の観測値に基づいて物標を検出する物標検出装置であって、
    フュージョンを処理してフュージョン後の前記物標の予測値を出力するフュージョン処理部と、
    前記観測値と前記予測値に基づいて、前記物標ごとの誤検知を推定して誤検知推定結果を出力する誤検知推定部と、
    前記誤検知推定結果に基づいて、前記センサ毎の誤検知率を算出する誤検知確率算出部と、
    前記誤検知率に基づいて、予め定められた前記センサの信頼度を補正して補正後の信頼度を出力する信頼度補正部と、を有し、
    前記フュージョン処理部は、
    前記予測値、前記誤検知推定結果及び前記補正後の信頼度に基づいて、前記フュージョンを処理し、
    前記予測値と前記観測値のグルーピングを行うグルーピング部を更に有し、
    前記グルーピング部は、
    前記予測値と前記観測値の対応状況を表すグループ情報を生成し、
    前記誤検知推定部は、
    前記グループ情報を参照して、前記物標ごとの前記誤検知を推定し、
    前記フュージョン処理部は、
    前記グループ情報を参照して、前記フュージョンを処理することを特徴とする物標検出装置。
JP2020194708A 2020-11-24 2020-11-24 物標検出装置 Active JP7481237B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020194708A JP7481237B2 (ja) 2020-11-24 2020-11-24 物標検出装置
PCT/JP2021/033549 WO2022113478A1 (ja) 2020-11-24 2021-09-13 物標検出装置及び物標検出方法
DE112021004904.6T DE112021004904T5 (de) 2020-11-24 2021-09-13 Objektdetektionsvorrichtung und objektdetektionsverfahren
US18/035,727 US20230410657A1 (en) 2020-11-24 2021-09-13 Object detection device and object detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020194708A JP7481237B2 (ja) 2020-11-24 2020-11-24 物標検出装置

Publications (2)

Publication Number Publication Date
JP2022083331A JP2022083331A (ja) 2022-06-03
JP7481237B2 true JP7481237B2 (ja) 2024-05-10

Family

ID=81755464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020194708A Active JP7481237B2 (ja) 2020-11-24 2020-11-24 物標検出装置

Country Status (4)

Country Link
US (1) US20230410657A1 (ja)
JP (1) JP7481237B2 (ja)
DE (1) DE112021004904T5 (ja)
WO (1) WO2022113478A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7796686B2 (ja) * 2023-02-24 2026-01-09 三菱電機株式会社 物体検出装置、物体検出方法および物体検出プログラム
CN116956216A (zh) * 2023-07-17 2023-10-27 中国电子科技集团公司第五十四研究所 一种基于模糊理论和d-s证据理论的海上目标识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185824A (ja) 2009-02-13 2010-08-26 Fujitsu Ltd 車両検出装置、車両検出方法、および車両検出プログラム
JP2018173816A (ja) 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム
WO2020230645A1 (ja) 2019-05-13 2020-11-19 日本電気株式会社 位置推定システム、位置推定方法、プログラム、及び記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6085151A (en) * 1998-01-20 2000-07-04 Automotive Systems Laboratory, Inc. Predictive collision sensing system
US7522091B2 (en) * 2002-07-15 2009-04-21 Automotive Systems Laboratory, Inc. Road curvature estimation system
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
EP2306433A1 (en) * 2009-10-05 2011-04-06 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Collision avoidance system and method for a road vehicle and respective computer program product
US12164058B2 (en) * 2021-07-23 2024-12-10 Zoox, Inc. Radar data analysis and concealed object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010185824A (ja) 2009-02-13 2010-08-26 Fujitsu Ltd 車両検出装置、車両検出方法、および車両検出プログラム
JP2018173816A (ja) 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム
WO2020230645A1 (ja) 2019-05-13 2020-11-19 日本電気株式会社 位置推定システム、位置推定方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP2022083331A (ja) 2022-06-03
US20230410657A1 (en) 2023-12-21
WO2022113478A1 (ja) 2022-06-02
DE112021004904T5 (de) 2023-07-27

Similar Documents

Publication Publication Date Title
EP1835463A2 (en) Obstacle tracking apparatus and method
US20050001759A1 (en) Method and apparatus for joint kinematic and feature tracking using probabilistic argumentation
KR20180080004A (ko) 가림환경에서의 표적 형상정보를 활용한 표적 추적 방법
AU2007327875B2 (en) A multiple target tracking system incorporating merge, split and reacquisition hypotheses
Pulford OTHR multipath tracking with uncertain coordinate registration
EP3851870A1 (en) Method for determining position data and/or motion data of a vehicle
KR101885839B1 (ko) 객체추적을 위한 특징점 선별 장치 및 방법
JP7481237B2 (ja) 物標検出装置
CN111007880B (zh) 一种基于汽车雷达的扩展目标跟踪方法
KR102589987B1 (ko) 영상 및 레이더 특징 학습 기반 온라인 다중 객체 추적 방법 및 장치
Pollard et al. Hybrid algorithms for multitarget tracking using MHT and GM-CPHD
CN117788514A (zh) 一种基于DeepSORT的可见光视频多目标跟踪方法及系统
KR20120048958A (ko) 객체 추적 및 위치 추정 방법
CN119027450A (zh) 一种面向复杂场景下的多目标跟踪方法及设备
CN115561795A (zh) 基于自动驾驶的数据恢复方法、终端设备以及存储介质
CN118196138A (zh) 一种抗遮挡的二次关联多目标跟踪方法
CN108010066B (zh) 基于红外目标灰度互相关和角度信息的多假设跟踪方法
CN115236651A (zh) 障碍物检测方法和电子设备
IL181820A (en) Method for detecting and tracking punctual targets in an optoelectronic surveillance system
CN117433538A (zh) 一种多源异构传感器航迹融合方法
Munz et al. A sensor independent probabilistic fusion system for driver assistance systems
US11555913B2 (en) Object recognition device and object recognition method
CN115494494A (zh) 多传感器目标融合方法、装置、电子设备及存储介质
Mobus et al. Multi-target multi-object radar tracking
CN111985379A (zh) 基于车载雷达的目标追踪方法、装置、设备及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240425

R150 Certificate of patent or registration of utility model

Ref document number: 7481237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150