JP7355227B2 - オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム - Google Patents

オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム Download PDF

Info

Publication number
JP7355227B2
JP7355227B2 JP2022512996A JP2022512996A JP7355227B2 JP 7355227 B2 JP7355227 B2 JP 7355227B2 JP 2022512996 A JP2022512996 A JP 2022512996A JP 2022512996 A JP2022512996 A JP 2022512996A JP 7355227 B2 JP7355227 B2 JP 7355227B2
Authority
JP
Japan
Prior art keywords
sensor
tracking
parameter control
information
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022512996A
Other languages
English (en)
Other versions
JPWO2021199286A1 (ja
JPWO2021199286A5 (ja
Inventor
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021199286A1 publication Critical patent/JPWO2021199286A1/ja
Publication of JPWO2021199286A5 publication Critical patent/JPWO2021199286A5/ja
Application granted granted Critical
Publication of JP7355227B2 publication Critical patent/JP7355227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本発明は、移動体の周囲に存在するオブジェクトを追跡するオブジェクト追跡装置、オブジェクト追跡方法、およびプログラムに関する。
従来、移動体の周囲に存在するオブジェクトを追跡する方式が複数提案されている。
例えば、特許文献１では、ＵＡＶ（Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）の周囲のオブジェクトを検出し、追跡する方法が開示されている。この特許文献１では、ＵＡＶに搭載された撮像デバイスを用いて追跡目標となるオブジェクトを撮影し、追跡する。この際、追跡目標となるオブジェクトが、想定された撮影状態になるように、ＵＡＶ自体、あるいは撮像デバイスが制御される。具体的には、オブジェクトの位置やサイズなど、想定された撮影状態を表す予想目標情報を求め、その予想目標情報と、実際に撮影される目標物体の撮影状態との偏差を求めて、偏差が小さくなるように補正するための制御信号を生成し、撮像デバイスを制御する。この際、制御する情報としては、追跡目標となるオブジェクトの大きさや位置、あるいは、フォーカス、露光時間などの撮像デバイスのパラメータである。偏差が小さくなるように、ＵＡＶ、あるいは撮像デバイスの位置や向きを調整したり、フォーカスや露光時間などの撮像デバイスのパラメータを制御したりし、オブジェクト追跡を行っている。
また、特許文献２では、車載カメラで撮影したオブジェクトを追跡する方法が開示されている。車載カメラで検出されたオブジェクトをすべて追跡しようとすると、処理負荷が高くなるため、各検出オブジェクトに優先度を付与し、優先度が高いオブジェクトを優先的に追跡している。この際、優先度の算出では、オブジェクト自体のオクルージョン率やトランケーション率、走行中の車線にオブジェクトが存在するかどうか等を考慮している。また、オブジェクト検出器の学習時に用いる学習データの生成で、アノテーション時に追跡すべきオブジェクトかどうかを判定し、重要なオブジェクトを優先的に検出するように、学習段階で制御している。
また、特許文献３では、カルマンフィルタを用いて歩行者を追跡し、その移動パラメータを推定する方法が開示されている。この特許文献３では、歩行者を追跡する際に、車速とヨーレイトの誤差分を考慮しているが、この誤差は、センサの分解能を指しており、速度やヨーレイトの大きさによらず、一定であるとみなしている。
特開２０１８－１２９０６３号公報 特開２０１９－２１１８３１号公報 特開２０１８－０６０３２６号公報
この開示は、上述の課題を解決するオブジェクト追跡装置、オブジェクト追跡方法、およびプログラムを提供することを目的としている。
本開示のいくつかの態様は、上述の課題を解決すべくなされたもので、本開示の第１の態様は、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、前記センサの速度情報を取得するセンサ速度取得手段と、前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、を備えるオブジェクト追跡装置である。
また、本開示の第２の態様は、センサにより検出されたオブジェクトの位置情報を取得し、前記センサの速度情報を取得し、取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡方法である。
また、本開示の第３の態様は、オブジェクト追跡装置のコンピュータを、センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、前記センサの速度情報を取得するセンサ速度取得手段と、前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、として機能させる記録媒体を記憶した記憶媒体である。
本開示の第１の実施の形態によるオブジェクト追跡装置の構成を示す概略ブロック図である。 本開示の第１の実施の形態によるオブジェクト追跡装置の追跡処理の流れをフローチャートである。 本開示の第１の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図１）の一構成例を示す図である。 本開示の第１の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図１）の他の構成例を示す図である。 本開示の第２の実施の形態によるオブジェクト追跡装置の構成を示す概略ブロック図である。 本開示の第２の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図５）の一構成例を示す図である。 本開示の第２の実施の形態によるオブジェクト追跡装置のパラメータ制御部（図５）の他の構成例を示す図である。 オブジェクト追跡装置を実現するための計算機、センサ、速度センサを例示する図である。 最小構成を有するオブジェクト追跡装置の構成を示すブロック図である。 最小構成を有するオブジェクト追跡装置の処理を示すフローチャートである。
以下に、本開示を実施するためのいくつかの形態について、図面を参照して詳細に説明する。
（第１の実施の形態）
図１は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａの構成を示す概略ブロック図である。オブジェクト追跡装置１００ａは、位置情報取得部１０１（位置情報取得手段とも称する）、センサ速度取得部１０２（センサ速度取得手段とも称する）、パラメータ制御部１０３（パラメータ制御手段とも称する）、オブジェクト追跡部１０４（オブジェクト追跡とも称する）を備える。
位置情報取得部１０１は、センサでオブジェクトを検出し、検出されたオブジェクトの位置情報であるオブジェクト検出位置情報を、オブジェクト追跡部１０４へ出力する。
センサ速度取得部１０２は、センサの速度情報を取得し、取得したセンサ速度情報を、パラメータ制御部１０３へ出力する。
パラメータ制御部１０３は、センサ速度取得部１０２から出力されるセンサ速度情報に基づいて、オブジェクトの追跡に用いるパラメータを制御するパラメータ制御情報を、オブジェクト追跡部１０４へ出力する。
オブジェクト追跡部１０４は、パラメータ制御部１０３から出力されるパラメータ制御情報に基づいて、位置情報取得部１０１から出力されるオブジェクト検出位置情報を用いてオブジェクト追跡を行い、追跡結果であるオブジェクト追跡情報を出力する。
次に、図1のオブジェクト追跡装置１００ａの動作について説明する。
位置情報取得部１０１は、移動体に搭載されたセンサによって、移動体の周囲に存在するオブジェクトを検出し、その位置情報を求める。
ここで、センサとしては、オブジェクトの位置検出に利用できるものであれば、どのようなセンサでもよい。例えば、ミリ波レーダやレーザレンジスキャナのように、電波や光を用いて周囲のオブジェクトの有無とその位置を検出するものであってもよい。得られた各検出オブジェクトの座標は、実世界上での座標に変換されて出力される。この際、座標は、センサの位置や移動体の所定の位置を基準とした座標系で記述される。
あるいは、カメラのように、周囲の画像を撮影するデバイスを、センサとして用いてもよい。この場合は、画像からオブジェクトを検出する画像処理技術と組み合わせ、周囲のオブジェクト検出と位置推定を行う。この画像処理の方式としては、既存の様々な方式を用いることができる。オブジェクト検出の方式としては、例えば、あらかじめ学習させたニューラルネットワークベースの検出器を用いる検出方式や、エッジなどの特徴量を抽出した上で、あらかじめ学習させた検出器を用いてオブジェクトを検出する方式を用いることができる。
また、センサがカメラ画像の場合には、位置情報は画像上の情報であってもよい。この場合は、位置推定としては、オブジェクトの検出結果から直接そのオブジェクトの位置情報（すなわち、画像上の座標）を求める方式を用いることができる。一方、位置情報は、実世界座標系に変換されたものであってもよい。この場合は、カメラのキャリブレーション情報を用いて、カメラ座標を実世界座標に変換し、オブジェクトの位置を求める。キャリブレーション情報は、カメラの位置と姿勢、およびレンズ等の特性によって定まり、事前に求めておくことが可能である。
あるいは、カメラを２つ用いて、ステレオ視によって位置を求めるようにしてもよい。この場合は、既存の様々なステレオ方式によってオブジェクトの位置を求めることができる。あるいは、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラのように奥行き計測が可能なカメラを用い、オブジェクトの位置を求めるようにしてもよい。
位置情報取得部１０１は、このようにして取得したオブジェクト検出位置情報を、オブジェクト追跡部１０４へ出力する。オブジェクト検出位置情報は、検出されたオブジェクトの数と、各検出オブジェクトを識別するＩＤ情報、および、各オブジェクトの位置情報を含む。オブジェクト検出位置情報は、さらに、検出された位置にどの程度の誤差が含まれ得るかを表す誤差情報も含んでもよい。もし、誤差特性が方向によって異なる場合には、オブジェクト検出位置情報は、方向別の誤差情報を含んでもよい。なお、検出処理の結果、オブジェクトが一つも検出されなかった場合であっても、そのことを示す情報（すなわち、オブジェクト検出数が０であること）を、位置情報取得部１０１は、オブジェクト検出位置情報として出力する。
また、センサがカメラの場合には、オブジェクト検出位置情報と合わせて、オブジェクトの外見特徴を表す情報も併せて出力してもよい。この情報は、追跡の際のオブジェクトの対応付けに用いることができる。
センサ速度取得部１０２は、オブジェクト追跡装置１００ａでオブジェクトの位置を検出するセンサの速度を取得する。センサが移動体に固定されている場合には、移動体の速度がセンサの速度となるため、移動体の速度を計測するセンサを用いればよい。例えば、移動体がＵＡＶの場合は、ＵＡＶの速度を、センサ速度として取得する。速度を計測して取得する方法としては、既存の任意の方式を用いることができる。なお、ここでセンサ速度情報としては、センサの速度の大きさだけでなく、センサが移動する向きの情報を含んでいてもよい。取得したセンサ速度情報は、パラメータ制御部１０３へ出力される。
パラメータ制御部１０３は、センサ速度取得部１０２から入力されるセンサ速度情報に基づいて、追跡パラメータを制御する情報を含むパラメータ制御情報を生成する。この処理の詳細は後述する。パラメータ制御部１０３は、生成したパラメータ制御情報を、オブジェクト追跡部１０４へ出力する。
オブジェクト追跡部１０４は、位置情報取得部１０１から出力されるオブジェクト検出位置情報を用いて、「Ｔｒａｃｋｉｎｇ ｂｙ Ｄｅｔｅｃｔｉｏｎ」と呼ばれる追跡処理であって、検出結果に基づいた追跡処理を行う。すなわち、一つ前の時刻までのオブジェクト追跡結果に含まれ、追跡対象となっている各オブジェクトが、現時刻のオブジェクト検出結果に含まれる、どの検出オブジェクトと対応づくかを求め、追跡結果を更新する。
追跡処理としては、カルマンフィルタやパーティクルフィルタによる方式など、様々な方式を用いることができる。あるいは、複数オブジェクトの存在分布を推定するＰＨＤ（Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｈｙｐｏｔｈｅｓｉｓ Ｄｅｎｓｉｔｙ）フィルタによる方式や、さらにオブジェクト数の分布も同時に推定するＣＰＨＤ（Ｃａｒｄｉｎａｌ ＰＨＤ）フィルタによる方式を用いてもよい。
図２は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａの追跡処理の流れをフローチャートである。
ステップＳ１０１では、過去の追跡結果から、各追跡対象オブジェクトの位置を予測する。すなわち、過去の追跡結果に基づいてオブジェクトの動きモデルを求めておき、動きモデルと過去の位置情報に基づいて、現時刻におけるオブジェクトの位置を予測する。例えば、カルマンフィルタを用いて追跡する場合には、線形な動きモデルを用い、一つ前の位置から現在の位置を予測する。パーティクルフィルタを用いる場合には、動きモデルに基づいて各粒子の位置を定める。この際、動きとして想定される値の分布を考慮して、各粒子の動き量や向きを変化させて位置を予測する。
ステップＳ１０２では、入力されるオブジェクト位置検出結果と追跡対象オブジェクトとを対応付ける。すなわち、検出された各オブジェクトと追跡対象となっている各オブジェクトとの対応付けを行う。対応付けの指標としては、対応付けの確からしさを表す対応付け尤度を用いることができ、例えば位置の類似度を用いることができる。この場合、追跡対象オブジェクトから各検出オブジェクトまでの距離を求め、距離の単調非増加関数として対応付け尤度を定め、対応付け尤度が所定の閾値以上のものを対応づくとみなす。あるいは、距離をそのまま用い、距離が所定の閾値以内のときに対応づくとみなしてもよい。この際、単純なユークリッド距離で対応付けを行うのではなく、位置の分散を考慮し、マハラノビス距離を用いて判定してもよい。あるいは、検出されたオブジェクトと追跡対象オブジェクトを排他的に対応付ける場合には、ハンガリアン法による対応付けを行ってもよい。この際の対応付けのコストにも、上述の距離を用いることができる。
この結果、追跡対象オブジェクトと検出オブジェクトを対応付ける対応付け情報が生成される。対応づけ情報は、各追跡対象オブジェクトが、どの検出オブジェクトに対応づくかを表す情報である。この際、単に対応づいたかどうかという情報だけでなく、対応付け尤度も含めてもよい。また、追跡対象オブジェクトの中には、検出オブジェクトと対応づかないものも存在し得る。この場合は、その追跡対象オブジェクトに対しては、未対応であることを表す情報を生成する。同様に、検出オブジェクトの中にも、追跡対象オブジェクトと対応づかないものが存在し得るが、同様に未対応であることを表す情報を対応付け情報として生成する。
なお、センサがカメラの場合で外見特徴も用いることができる場合には、外見特徴の類似性も併せて考慮し、対応付けを行ってもよい。すなわち、位置の類似性と外見特徴の類似性の両方を用いて対応付け尤度を求め、対応付けを行ってもよい。この際の組み合わせ方法としては、既存の様々な方式を用いることができ、例えば、類似度の重みづけ加算によって対応付け尤度を求めてもよい。
ステップＳ１０３では、各追跡対象オブジェクトの情報を更新する。カルマンフィルタを用いてオブジェクトの追跡を行う場合には、対応づいた検出オブジェクトの位置によって、カルマンフィルタの更新式に従って追跡対象オブジェクトの位置を更新する。パーティクルフィルタを用いてオブジェクトの追跡を行う場合は、各粒子の対応付け尤度を求め、全体として最も尤度が高くなる位置を追跡対象オブジェクトの位置とするとともに、尤度に応じて粒子の再サンプリングを行う。なお、未対応の追跡対象オブジェクトについては、予測位置を現在の位置とみなして、オブジェクトの位置を更新する。
また、追跡対象オブジェクトの確からしさを表す尤度である追跡尤度も併せて更新する。対応付け尤度が、所定値よりも高い場合には、追跡結果が確からしいと考えられるため、追跡尤度の値を高める。一方、対応付け尤度が、所定値よりも低い場合、あるいは未対応の場合には、追跡尤度の値を低くする。
一方、ＰＨＤフィルタやＣＰＨＤフィルタによって追跡を行う場合には、分布自体がオブジェクトの存在確率を表しているため、追跡尤度はフィルタの更新式によって自動的に算出される。具体的には、対応付け尤度と、未検出の発生頻度（あるいは、オブジェクトが検出される度合いを表す検出率）と、誤検出の発生頻度を表すクラッタ発生率を用い、所定の更新式によって算出する。
ステップＳ１０４では、追跡対象オブジェクトの新規生成、削除の処理を行う。どの追跡対象オブジェクトとも対応づかなかった、未対応の検出オブジェクトは、新たに出現したオブジェクトである可能性が高いため、その検出オブジェクトに対応する追跡対象オブジェクトを新たに生成し、オブジェクト追跡結果に追加する。特に、追跡開始時点では、追跡対象オブジェクトが存在しないため、検出されたオブジェクトをすべてオブジェクト追跡結果に追加し、以降の追跡で用いる。この際、付与する初期の追跡尤度としては、あらかじめ定めた値を用いてもよいし、あるいは、検出の確からしさによって変化させてもよい。また、ＰＨＤフィルタやＣＰＨＤフィルタの場合は、オブジェクトの発生確率も用いて追跡尤度を定めてもよい。また、カルマンフィルタを用いる場合は、位置や速度の分散として所定の初期値を設定する。パーティクルフィルタを用いる場合は、さらに、用いる粒子数もパラメータとして設定する。
一方、どの検出オブジェクトとも対応づかなかった、未対応の追跡対象オブジェクトは、現フレームでたまたま未検出であったケース以外にも、以前の誤検出に基づいて追加された追跡対象オブジェクトであったり、追跡対象オブジェクトがセンサの覆域外に出て消失したりしたケースが考えられる。よって、何度も未対応が続いて追跡尤度が低くなった追跡対象オブジェクトは、現時点で存在している可能性が低いと判定し、削除する。
ステップＳ１０５では、位置情報取得部１０１から次のオブジェクト検出位置情報が入力されたか否かを判定し、オブジェクト検出位置情報が入力されたとき（ステップＳ１０５のＹＥＳ）には、ステップＳ１０１に戻り、そうでないとき（ステップＳ１０５のＮＯ）には、図２のフローチャートの処理を終了する。
このようにして、オブジェクト追跡部１０４は、現時刻におけるオブジェクト追跡情報を生成し、出力する。ここで、オブジェクト追跡情報は、オブジェクトの位置、追跡対象オブジェクトごとに付与されたＩＤ情報、対応づいた検出オブジェクトのＩＤ情報（対応づかなかった場合には未対応であることを表す情報）を含む。
なお、位置情報の記述方法は任意である。センサがカメラの場合であって、位置情報が画面上の位置を表す場合には、追跡オブジェクトの外接矩形を求め、その情報自体で位置を示してもよいし、追跡オブジェクト領域中の一点（例えば、オブジェクトの外接矩形の中心や下辺の中点などの定められた点）の座標を求めてもよい。あるいは、位置情報を実空間座標で表す場合には、必要に応じて所定の座標系に変換して出力する。例えば、もともと求まっている位置座標がセンサごとの個別の座標系であり、移動体によって定められる座標系に変換する必要がある場合には、センサの設置位置や向きに基づいて、センサ座標系から移動体の座標系に変換する変換式を求めておき、上述の追跡で求まった位置座標を変換して出力する。
オブジェクト追跡部１０４は、上述の追跡処理によって用いる、対応付け尤度の閾値や、更新時に追跡尤度を変化させる度合い、初期の追跡尤度や、初期のオブジェクト位置、速度の分散、パーティクルフィルタの粒子数、オブジェクト削除時の追跡尤度の閾値などの追跡パラメータを、パラメータ制御部１０３から出力されるパラメータ制御情報に基づいて制御する。また、ＰＨＤやＣＰＨＤフィルタの更新で用いる、検出率やクラッタ発生率といったセンサの検出特性に基づくパラメータ（以後、センサ特性パラメータと呼ぶ）も、パラメータ制御部１０３から出力されるパラメータ制御情報に基づいて制御する。これらの制御については、この後に述べるパラメータ制御部１０３の動作説明の際に一緒に述べる。
次に、パラメータ制御部１０３について図を用いて説明する。
図３は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａのパラメータ制御部１０３（図１）の一構成例を示す図である。図３に示すパラメータ制御部１０３は、追跡パラメータ調整部１１０を備える。追跡パラメータ調整部１１０は、センサ速度情報に基づいて追跡パラメータを調整し、パラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。
次に、図３のパラメータ制御部１０３の動作について説明する。
追跡パラメータ調整部１１０は、入力されるセンサ速度情報によって、追跡パラメータの調整を行う。移動体が移動している場合、センサがオブジェクトを検出してから実際に位置情報を出力するまでに遅延がある場合、センサから出力される位置情報は、現在のオブジェクトの位置からずれている可能性がある。もし、この遅延が一定であれば大きな問題は生じないが、遅延のばらつきが大きい場合で、かつ移動体の速度が大きい場合には、位置のずれが追跡に与える影響を無視できなくなる。その結果、オブジェクトの追跡結果が途切れやすくなるなどの影響が生じ得る。
これを避けるために、移動体の速度が速い場合には、位置のずれが大きい可能性を考慮し、検出オブジェクトと追跡対象オブジェクトの対応付けで用いるパラメータを制御する。具体的には、対応づけ尤度の閾値を低め（あるいは検出オブジェクトと追跡対象オブジェクトの距離の閾値を高め）に設定する。また、追跡対象オブジェクトを新規生成する際、オブジェクトの位置や速度の分散を大きめに設定する。あるいは、パーティクルフィルタで用いる粒子数を増やし、より多くの位置を追跡候補に加えてもよい。
また、位置ずれによって追跡が途切れやすくなることを考慮し、追跡尤度更新時の追跡尤度の変動幅を小さくしたり、追跡対象オブジェクト削除時の追跡尤度の閾値を下げたりしてもよい。
追跡パラメータ調整部１１０は、センサ速度と上述のパラメータの変更値の関係を記述した情報（変換テーブルや、変換に必要なロジックの情報など）を保持しており、センサ速度情報が入力されると、変更する追跡パラメータの変更後の値を求め、この値を含むパラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。そして、オブジェクト追跡部１０４では、パラメータ制御情報に含まれるパラメータの値を用いて、オブジェクトの追跡を行う。
このように、センサ速度の大きさに応じて、追跡パラメータを制御することで、追跡の途切れを減らすことができ、追跡の精度が向上する。
次に、パラメータ制御部１０３（図１）の別の例ついて説明する。
図４は、本開示の第１の実施の形態によるオブジェクト追跡装置１００ａのパラメータ制御部１０３（図１）の他の構成例を示す図である。図４に示すパラメータ制御部１０３は、センサ特性パラメータ推定部１１１を備える。センサ特性パラメータ推定部１１１は、センサ速度情報に基づいてセンサ特性パラメータを推定し、パラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。
次に、図４のパラメータ制御部１０３の動作について説明する。
センサ特性パラメータ推定部１１１は、入力されるセンサ速度情報に基づいて、センサ特性パラメータの推定を行う。
センサによっては、移動速度によって、検出率やクラッタ発生率といったセンサ特性パラメータが変わり得る。例えば、カメラの場合、動きボケが生じることによって、オブジェクト検出の特性が変わる。よって、移動速度によって影響を受けるセンサを用いる場合には、センサ速度に応じて、検出率やクラッタ発生率を推定する。
これは、例えば、事前に様々な速度に応じてセンサの特性を実測しておき、センサ速度に対応付けて記憶しておけばよい。そして、センサ特性パラメータ推定部１１１は、入力されるセンサ速度に応じて、対応するセンサ特性の値を読み出し、読み出したセンサ特性パラメータの値を含むパラメータ制御情報を生成し、オブジェクト追跡部１０４（図１）へ出力する。オブジェクト追跡部１０４は、パラメータ制御情報に含まれるセンサ特性パラメータの値を用いて、オブジェクトの追跡を行う。
これにより、追跡で用いるセンサ特性パラメータが実際の値に近づくため、追跡の精度が向上する。
このように、第１の実施の形態では、センサ速度を用いてパラメータを制御することにより、移動体の速度にあった追跡を行うことができ、移動体の周囲にあるオブジェクトの追跡精度を向上できる。
（第２の実施の形態）
次に、本開示の第２の実施の形態について説明する。第２の実施の形態によるオブジェクト追跡装置の構成及び処理が、第１の実施の形態によるオブジェクト追跡装置１００ａと同じ部分については、それらの説明を省略する。
図５は、本開示の第２の実施の形態によるオブジェクト追跡装置１００ｂの構成を示す概略ブロック図である。オブジェクト追跡装置１００ｂは、位置情報取得部１０１、センサ速度取得部１０２と、パラメータ制御部２０３と、オブジェクト追跡部１０４を備える。図１のオブジェクト追跡装置１００ａと比較すると、図５のオブジェクト追跡装置１００ｂは、パラメータ制御部１０３のかわりに、パラメータ制御部２０３を備えている。
位置情報取得部１０１から出力されるオブジェクト検出位置情報は、オブジェクト追跡部１０４とパラメータ制御部２０３へ出力される。センサ速度取得部１０２から出力されるセンサ速度情報は、パラメータ制御部２０３へ出力される。パラメータ制御部２０３は、位置情報取得部１０１から出力されるオブジェクト検出位置情報と、センサ速度取得部１０２から出力されるセンサ速度情報とに基づいて、パラメータ制御情報を生成し、オブジェクト追跡部１０４へ出力する。それ以外の接続関係は、図１と同様であるため、それらの説明を省略する。
次に、図５のオブジェクト追跡装置１００ｂの動作について説明する。
位置情報取得部１０１、センサ速度取得部１０２、オブジェクト追跡部１０４の動作は、図１の場合と同様である。
パラメータ制御部２０３は、位置情報取得部１０１から出力されるオブジェクト検出位置情報と、センサ速度取得部１０２から入力されるセンサ速度情報に基づいて、追跡パラメータを制御する情報を含むパラメータ制御情報を生成する。この処理の詳細は後で述べる。生成されたパラメータ制御情報は、オブジェクト追跡部１０４へ出力される。
次に、パラメータ制御部２０３の詳細について説明する。
図６は、本開示の第２の実施の形態によるオブジェクト追跡装置１００ｂのパラメータ制御部２０３（図５）の一構成例を示す図である。図６に示すパラメータ制御部１０３は、センサ特性パラメータ推定部２１１を備えるセンサ特性パラメータ推定部２１１は、オブジェクト検出位置情報と、センサ速度情報とに基づいて、センサ特性パラメータを推定し、パラメータ制御情報を生成し、オブジェクト追跡部１０４（図５）へ出力する。
次に、図６のパラメータ制御部２０３の動作について説明する。
図６のセンサ特性パラメータ推定部２１１は、実際にセンサで得られたオブジェクト検出位置情報も使ってセンサ特性パラメータを推定する点で、図４のセンサ特性パラメータ推定部１１１とは異なる。センサの検出率やクラッタ発生率などの検出に関する特性は、センサの個体差があり、ある程度のばらつきが存在する。このため、センサごとに個別に調整しない限りは、設定された値からずれがある場合がある。また、経年劣化等によって、センサの性能が途中で変化することも考えられえる。このようにセンサの検出特性がずれると、ＰＨＤやＣＰＨＤフィルタのようにその値を用いて実行される追跡にも悪影響を及ぼす。これを避けるためには、センサの特性を推定し、補正する必要が生じる。
移動体が止まっている状況であれば、周囲の静止オブジェクトは静止し続けるため、あえて追跡しなくても、同一物体を時系列で対応付けることが可能となる。その結果、未検出が容易に判定できるようになり、検出率を推定できる。また、周囲に移動しているオブジェクトであっても、移動体が移動している場合よりも動きがシンプルになるため、追跡しやすくなる。よって、誤検知の判定も容易になる。
したがって、実際の検出結果に基づく検出率やクラッタ発生率の推定は、移動体が止まっているとき、あるいは、一定速度よりもゆっくり動いているときに限定するほうが望ましい。よって、センサ特性パラメータ推定部２１１は、センサ速度の大きさが所定の閾値以下である場合のみ、上述の推定を行う。そして、センサ特性パラメータ推定部２１１は、推定された結果が求まった時点で、パラメータ制御情報を生成し、そのパラメータ制御情報を、オブジェクト追跡部１０４（図５）へ出力する。
このようにすることで、センサの個体差まで考慮したセンサ特性パラメータの推定精度の向上が可能となり、追跡精度が向上する。
次に、パラメータ制御部２０３（図５）の別の例ついて説明する。
図７は、本開示の第２の実施の形態によるオブジェクト追跡装置１００ｂのパラメータ制御部２０３（図５）の他の構成例を示す図である。図７に示すパラメータ制御部２０３は、追跡パラメータ調整部２１０、センサ特性パラメータ推定部２１１を備える。センサ特性パラメータ推定部２１１は、センサ速度情報とオブジェクト検出位置情報とに基づいてセンサ特性パラメータを推定し、パラメータ制御情報を生成し、そのパラメータ制御情報を、追跡パラメータ調整部２１０へ出力する。追跡パラメータ調整部２１０は、センサ速度情報と、センサ特性パラメータ推定部２１１から出力されるセンサ特性に関するパラメータ制御情報に基づいて、追跡パラメータを調整してパラメータ制御情報を生成し、生成したパラメータ制御情報を、オブジェクト追跡部１０４（図５）へ出力する。
次に、図７のパラメータ制御部２０３の動作について説明する。
センサ特性パラメータ推定部２１１の動作は、図６で説明した動作と同様である。
追跡パラメータ調整部２１０の動作は、図３の追跡パラメータ調整部１１０の動作と同様であるが、センサ特性パラメータ推定部２１１から出力されるセンサ特性パラメータの制御情報に基づいて、追跡パラメータの調整をさらに行う点が異なる。
例えば、センサ特性パラメータ推定部２１１から出力されるパラメータ制御情報が、推定されるクラッタ発生率が増加していることを示している場合には、追跡対象オブジェクトが誤ってクラッタと対応づかないように、対応付けのパラメータを厳しくする（対応づけ尤度の閾値を上げる（距離の閾値を小さくする）など）ようにする。この追跡パラメータの調整は、例えば、事前にクラッタ発生率に対してどのように追跡パラメータを変化させるかを決め、その対応関係を保持しておけばよい。そして、入力されるクラッタ発生率に応じて、用いる追跡パラメータを選択するようにする。
センサ特性パラメータ推定部２１１は、このようにして追跡パラメータの値を調整し、この値を含むパラメータ制御情報を生成する。出力されるパラメータ制御情報は、追跡パラメータに関する情報のみを含んでもよいし、追跡パラメータと、センサ特性パラメータ推定部２１１から出力されたセンサ特性パラメータの両方の情報を含んでもよい。
このように、センサ特性に基づくパラメータも用いて追跡パラメータを調整することで、より適切なパラメータ調整が可能となり、追跡の精度が向上する。
このように、第２の実施の形態では、センサ速度だけでなく、オブジェクト検出位置情報も用いてパラメータ制御情報を生成することで、より適切な追跡が行えるようになり、追跡精度が向上する。
＜ハードウエアの構成例＞
ここで、第１の実施の形態によるオブジェクト追跡装置１００ａ（図１）、および、第２の実施の形態によるオブジェクト追跡装置１００ｂ（図５）のハードウエア構成について以下に説明する。オブジェクト追跡装置１００ａ及び１００ｂの各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、オブジェクト追跡装置１００ａ及び１００ｂの各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
図８は、オブジェクト追跡装置１００ａ及び１００ｂを実現するための計算機１０００、センサ１２００、速度センサ１３００を例示する図である。計算機１０００は、任意の計算機である。例えば計算機１０００は、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）、産業用コンピュータなどである。計算機１０００は、オブジェクト追跡装置１００ａ及び１００ｂを実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力Ｉ／Ｆ（インタフェース）１１００、及び周辺機器Ｉ／Ｆ１１２０を備える。
バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力Ｉ／Ｆ１１００、及び周辺機器Ｉ／Ｆ１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。
プロセッサ１０４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、又は、FＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの種々のプロセッサである。
メモリ１０６０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを用いて実現される主記憶装置である。
ストレージデバイス１０８０は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、メモリカード、又は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などを用いて実現される補助記憶装置である。
入出力Ｉ／Ｆ１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば、入出力Ｉ／Ｆ１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
周辺機器Ｉ／Ｆ１１２０は、周辺機器を計算機１０００に接続するためのインタフェースである。周辺機器Ｉ／Ｆ１１２０は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４などのインタフェースである。あるいは、有線又は無線のネットワークインターフェースやＢｒｕｅｔｏｏｔｈなどのインタフェースである。
さらに、周辺機器インタフェースＩ／Ｆには、センサ１２００、速度センサ１３００が接続されている。センサ１２００及び速度センサ１３００と、計算機１０００とは、周辺機器インタフェースＩ／Ｆを介して通信できる。ここで、センサ１２００、速度センサ１３００は、オブジェクト追跡装置１００ａ及び１００ｂの、位置情報取得部１０１、センサ速度取得部１０２に、それぞれ該当する。なお、位置情報取得部１０１がカメラによって取得した映像を解析し、オブジェクトの位置を求める場合には、カメラとその映像を処理する機能が組み合わされる。この場合、センサとしてはカメラのみを接続し、そのあとの処理は、計算機１０００側で実行してもよい。
ストレージデバイス１０８０は、オブジェクト追跡装置１００ａ又は１００ｂの各部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
図９は、最小構成を有するオブジェクト追跡装置１００ｃの構成を示すブロック図である。オブジェクト追跡装置１００ｃは、パラメータ制御部３０３、オブジェクト追跡部３０４を備える。
図１０は、最小構成を有するオブジェクト追跡装置１００ｃの処理を示すフローチャートである。
パラメータ制御部３０３は、センサの速度情報に基づいて、オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成する（ステップＳ２０１）。
そして、オブジェクト追跡部３０４は、パラメータ制御部３０３で生成したパラメータ制御情報と、オブジェクトの位置情報とを用いて追跡処理を行う（ステップＳ２０２）。
以上、本開示を、上述した第１及び第２の実施の形態に適用した例として説明した。しかしながら、本開示の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本開示の技術的範囲に含まれ得る。そして、このことは、請求の範囲に記載した事項から明らかである。
上記の第１又は第２の実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１） センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
前記センサの速度情報を取得するセンサ速度取得手段と、
前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、
を備えるオブジェクト追跡装置。
（付記２） 前記パラメータ制御手段は、さらに、前記位置情報取得手段で取得した前記位置情報も用いて、前記パラメータ制御情報を生成する
付記１に記載のオブジェクト追跡装置。
（付記３） 前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記追跡処理に関する第１のパラメータを調整し、前記パラメータ制御情報を生成する
付記１に記載のオブジェクト追跡装置。
（付記４） 前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
付記２に記載のオブジェクト追跡装置。
（付記５） 前記パラメータ制御手段は、前記センサ速度取得手段で取得する前記速度情報が所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
付記４に記載のオブジェクト追跡装置。
（付記６） 前記パラメータ制御手段は、前記センサ速度取得手段が取得する前記速度情報が、所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、第一のパラメータ制御情報を生成し、
前記センサ速度取得手段が取得した前記速度情報と、前記第一のパラメータ制御情報に基づいて、第１のパラメータを調整し、調整した前記第１のパラメータと推定した前記第２のパラメータと合わせて、前記パラメータ制御情報を生成する
付記２に記載のオブジェクト追跡装置。
（付記７） 前記追跡処理で用いる前記第１のパラメータは、前記追跡処理で検出する前記オブジェクトと追跡対象オブジェクトの対応付けに用いる対応付け尤度の閾値、追跡対象オブジェクトの確からしさを表す追跡尤度を変化させる度合い、初期の追跡尤度、初期のオブジェクト位置および速度の分散、パーティクルフィルタの粒子数、追跡対象オブジェクトをオブジェクト削除する際の追跡尤度の閾値の少なくとも１つを含む
付記３又は６に記載のオブジェクト追跡装置。
（付記８） 前記センサの検出特性に関する前記第２のパラメータは、
前記オブジェクトの検出率とクラッタ発生率の少なくとも１つを含む
付記４又は６に記載のオブジェクト追跡装置。
（付記９） 前記位置情報取得手段で用いる前記センサは、電波や光によって前記オブジェクトを検出し、前記オブジェクトの位置を検出する
付記１から８までのいずれか一項に記載のオブジェクト追跡装置。
（付記１０） 前記位置情報取得手段で用いる前記センサは、画像を取得可能なカメラであり、得られた前記画像を解析して前記オブジェクトを検出する
付記１から８までのいずれか一項に記載のオブジェクト追跡装置。
（付記１１） センサにより検出されたオブジェクトの位置情報を取得し、
前記センサの速度情報を取得し、
取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、
生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行う
オブジェクト追跡方法。
（付記１２） オブジェクト追跡装置のコンピュータを、
センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
前記センサの速度情報を取得するセンサ速度取得手段と、
前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、
として機能させるプログラムを記録した記録媒体。
本開示のいくつかの態様によるオブジェクト追跡装置は、ＵＡＶなど移動体に搭載されたセンサによって周囲のオブジェクトを検出、追跡し、周囲に障害物等がないかどうかを把握するのに用いることができる。移動体としては、ＵＡＶだけでなく、車両やロボット、船舶、潜水艇など、オブジェクト検知のためのセンサを搭載して移動する、あらゆるものを含む。
１００ａ、１００ｂ、１００ｃ・・・オブジェクト追跡装置
１０１・・・位置情報取得部
１０２・・・センサ速度取得部
１０３・・・パラメータ制御部
１０４・・・オブジェクト追跡部
１１０・・・追跡パラメータ調整部
１１１・・・センサ特性パラメータ推定部
２０３・・・パラメータ制御部
２１０・・・追跡パラメータ調整部
２１１・・・センサ特性パラメータ推定部
３０３・・・パラメータ制御部
３０４・・・オブジェクト追跡部
１０００・・・計算機
１０２０・・・バス
１０４０・・・プロセッサ
１０６０・・・メモリ
１０８０・・・ストレージデバイス
１１００・・・入出力Ｉ／Ｆ
１１２０・・・周辺機器Ｉ／Ｆ
１２００・・・センサ
１３００・・・速度センサ

Claims (12)

  1. センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
    前記センサの速度情報を取得するセンサ速度取得手段と、
    前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
    前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段と、
    を備えるオブジェクト追跡装置。
  2. 前記パラメータ制御手段は、さらに、前記位置情報取得手段で取得した前記位置情報も用いて、前記パラメータ制御情報を生成する
    請求項１に記載のオブジェクト追跡装置。
  3. 前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記追跡処理に関する第１のパラメータを調整し、前記パラメータ制御情報を生成する
    請求項１に記載のオブジェクト追跡装置。
  4. 前記パラメータ制御手段は、前記センサ速度取得手段で取得された前記速度情報に基づいて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
    請求項２に記載のオブジェクト追跡装置。
  5. 前記パラメータ制御手段は、前記センサ速度取得手段で取得する前記速度情報が所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、前記パラメータ制御情報を生成する
    請求項４に記載のオブジェクト追跡装置。
  6. 前記パラメータ制御手段は、前記センサ速度取得手段が取得する前記速度情報が、所定の値以下のときに、前記位置情報取得手段が取得する前記位置情報を用いて、前記センサの検出特性に関する第２のパラメータを推定し、第一のパラメータ制御情報を生成し、
    前記センサ速度取得手段が取得した前記速度情報と、前記第一のパラメータ制御情報に基づいて、第１のパラメータを調整し、調整した前記第１のパラメータと推定した前記第２のパラメータと合わせて、前記パラメータ制御情報を生成する
    請求項２に記載のオブジェクト追跡装置。
  7. 前記追跡処理で用いる前記第１のパラメータは、前記追跡処理で検出する前記オブジェクトと追跡対象オブジェクトの対応付けに用いる対応付け尤度の閾値、追跡対象オブジェクトの確からしさを表す追跡尤度を変化させる度合い、初期の追跡尤度、初期のオブジェクト位置および速度の分散、パーティクルフィルタの粒子数、追跡対象オブジェクトをオブジェクト削除する際の追跡尤度の閾値の少なくとも１つを含む
    請求項３又は６に記載のオブジェクト追跡装置。
  8. 前記センサの検出特性に関する前記第２のパラメータは、
    前記オブジェクトの検出率とクラッタ発生率の少なくとも１つを含む
    請求項４又は６に記載のオブジェクト追跡装置。
  9. 前記位置情報取得手段で用いる前記センサは、電波や光によって前記オブジェクトを検出し、前記オブジェクトの位置を検出する
    請求項１から８までのいずれか一項に記載のオブジェクト追跡装置。
  10. 前記位置情報取得手段で用いる前記センサは、画像を取得可能なカメラであり、得られた前記画像を解析して前記オブジェクトを検出する
    請求項１から８までのいずれか一項に記載のオブジェクト追跡装置。
  11. センサにより検出されたオブジェクトの位置情報を取得し、
    前記センサの速度情報を取得し、
    取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成し、
    生成した前記パラメータ制御情報と、取得した前記位置情報とを用いて前記追跡処理を行う
    オブジェクト追跡方法。
  12. オブジェクト追跡装置のコンピュータを、
    センサにより検出されたオブジェクトの位置情報を取得する位置情報取得手段と、
    前記センサの速度情報を取得するセンサ速度取得手段と、
    前記センサ速度取得手段で取得した前記速度情報に基づいて、前記オブジェクトの追跡処理で用いるパラメータを制御する情報を含むパラメータ制御情報を生成するパラメータ制御手段と、
    前記パラメータ制御手段で生成した前記パラメータ制御情報と、前記位置情報取得手段で取得した前記位置情報とを用いて前記追跡処理を行うオブジェクト追跡手段、
    として機能させるプログラム。
JP2022512996A 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム Active JP7355227B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014821 WO2021199286A1 (ja) 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、および記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021199286A1 JPWO2021199286A1 (ja) 2021-10-07
JPWO2021199286A5 JPWO2021199286A5 (ja) 2022-11-11
JP7355227B2 true JP7355227B2 (ja) 2023-10-03

Family

ID=77929148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022512996A Active JP7355227B2 (ja) 2020-03-31 2020-03-31 オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム

Country Status (4)

Country Link
US (1) US20220254034A1 (ja)
EP (1) EP4131946A4 (ja)
JP (1) JP7355227B2 (ja)
WO (1) WO2021199286A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089365A (ja) 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
WO2014083910A1 (ja) 2012-11-30 2014-06-05 日本電気株式会社 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2019511044A (ja) 2016-02-29 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行デバイスの動き制御のための方法およびシステム
JP2019128944A (ja) 2018-01-22 2019-08-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US10339387B2 (en) * 2016-03-03 2019-07-02 Brigham Young University Automated multiple target detection and tracking system
JP6770393B2 (ja) 2016-10-04 2020-10-14 株式会社豊田中央研究所 トラッキング装置及びプログラム
US10410055B2 (en) * 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
JP6849272B2 (ja) 2018-03-14 2021-03-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 無人航空機を制御するための方法、無人航空機、及び無人航空機を制御するためのシステム
US20210147077A1 (en) * 2018-04-03 2021-05-20 Autonomous Control Systems Laboratory Ltd. Localization Device and Localization Method for Unmanned Aerial Vehicle
JP6988698B2 (ja) 2018-05-31 2022-01-05 トヨタ自動車株式会社 物体認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089365A (ja) 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
WO2014083910A1 (ja) 2012-11-30 2014-06-05 日本電気株式会社 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2019511044A (ja) 2016-02-29 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行デバイスの動き制御のための方法およびシステム
JP2019128944A (ja) 2018-01-22 2019-08-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標追跡方法、目標追跡装置、目標追跡システム及びプログラム。

Also Published As

Publication number Publication date
EP4131946A1 (en) 2023-02-08
JPWO2021199286A1 (ja) 2021-10-07
EP4131946A4 (en) 2023-05-17
WO2021199286A1 (ja) 2021-10-07
US20220254034A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN109086788B (zh) 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和系统
US11527077B2 (en) Advanced driver assist system, method of calibrating the same, and method of detecting object in the same
US10586102B2 (en) Systems and methods for object tracking
US11164051B2 (en) Image and LiDAR segmentation for LiDAR-camera calibration
JP6547292B2 (ja) 画像処理装置、機器制御システム、および画像処理プログラム
US20200209880A1 (en) Obstacle detection method and apparatus and robot using the same
CN111937036A (zh) 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质
US11958480B2 (en) Electronic control device and operation method
CN113239719B (zh) 基于异常信息识别的轨迹预测方法、装置和计算机设备
CN110929796B (zh) 基于多源传感器决策层数据融合方法、系统及存储介质
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
KR102305673B1 (ko) 카메라와 v2v를 이용한 주변차량 차선변경 의도 및 경로 예측 방법
US11080562B1 (en) Key point recognition with uncertainty measurement
CN113313739B (zh) 目标跟踪方法、装置和存储介质
CN112884801B (zh) 高空抛物检测方法、装置、设备和存储介质
GB2582988A (en) Object classification
JP7355227B2 (ja) オブジェクト追跡装置、オブジェクト追跡方法、およびプログラム
US20240127567A1 (en) Detection-frame position-accuracy improving system and detection-frame position correction method
JP6834020B2 (ja) 物体認識装置および物体認識方法
JP7412254B2 (ja) 物体認識装置および物体認識方法
CN115222771B (zh) 一种目标跟踪方法及装置
Simon et al. Extracting sensor models from a scene based simulation
CN117962930B (zh) 无人车的控制方法及装置、无人车和计算机可读存储介质
TWI773112B (zh) 道路監測系統、裝置及方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7355227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151