JP6951728B2

JP6951728B2 - Object tracking device

Info

Publication number: JP6951728B2
Application number: JP2017000033A
Authority: JP
Inventors: 直樹菅沼; 聖巳永野
Original assignee: Kanazawa University NUC
Current assignee: Kanazawa University NUC
Priority date: 2016-10-14
Filing date: 2017-01-04
Publication date: 2021-10-20
Anticipated expiration: 2037-01-04
Also published as: JP2018066716A

Description

本発明は、自車両周辺に位置する先行車両などの移動物体を追跡する物体追跡装置に関する。 The present invention relates to an object tracking device that tracks a moving object such as a preceding vehicle located around the own vehicle.

近年、交通事故の削減や交通渋滞の緩和、誰もが利用できる移動手段の提供を目的として自動運転自動車の開発が盛んに行われている。そのため自動ブレーキやAdaptive Cruise Control（ACC）など、先行車両を追跡して自動車の加速・操舵・制動のいずれかの操作を自動で行うシステムが次々に実現されている。この先行車両の追跡には車両前方に取り付けられたセンサが用いられる。
例えば特許文献１には、車両前方にレーダ装置を搭載し、走行車両からの反射信号を利用して、複数ある受信チャンネル間の利得差と位相差の初期状態からの変化を監視して異常判断を行うことが開示されている。
また、特許文献２には、車両前方にミリ波レーダ装置を搭載し、検知領域を３種類の領域に分割し、３種類の領域のうち被測定物が存在する領域がいずれかに応じて、ミリ波レーダ装置のトラッカフィルタのフィルタゲインを可変設定することが開示されている。 In recent years, self-driving cars have been actively developed for the purpose of reducing traffic accidents, alleviating traffic congestion, and providing means of transportation that anyone can use. Therefore, systems such as automatic braking and Adaptive Cruise Control (ACC) that track the preceding vehicle and automatically perform any of acceleration, steering, and braking of the vehicle have been realized one after another. A sensor mounted in front of the vehicle is used to track the preceding vehicle.
For example, in Patent Document 1, a radar device is mounted in front of a vehicle, and a reflection signal from a traveling vehicle is used to monitor a change in gain difference and phase difference between a plurality of receiving channels from the initial state to determine an abnormality. Is disclosed to do.
Further, in Patent Document 2, a millimeter-wave radar device is mounted in front of the vehicle, the detection area is divided into three types of areas, and the area in which the object to be measured exists is one of the three types of areas. It is disclosed that the filter gain of the tracker filter of the millimeter wave radar device is variably set.

特開２０１１−１２７９１０号公報Japanese Unexamined Patent Publication No. 2011-127910 特開２００１−２４２２４２号公報Japanese Unexamined Patent Publication No. 2001-242242

しかし、車両前方に取り付けられたセンサだけでは、交差点や曲率の大きなカーブを曲がる先行車両などを継続して追跡することが難しく、衝突回避のための判断が遅れる可能性がある。
そこで、例えば複数のセンサにより構成される全方位センサシステムを車両に搭載し、先行車両や後続車両、交差車両の継続した追跡を目指すことが考えられる。ここで「追跡」は、時系列的な状態（位置・速度・加速度・角度・ヨーレート等）推定を意味する。そのため継続した追跡を実現すれば、先行車両などの未来の軌道を予測することで継続して衝突の危険を察知できるため、より多くのシーンにおいて安全運転の支援が可能となる。
しかし、全方位センサから得られる観測情報は膨大であるため、全ての観測情報を用いて追跡処理を行うとリアルタイム処理が難しい。 However, it is difficult to continuously track an intersection or a preceding vehicle that turns a curve with a large curvature with only a sensor mounted in front of the vehicle, which may delay the judgment for collision avoidance.
Therefore, for example, it is conceivable to mount an omnidirectional sensor system composed of a plurality of sensors on the vehicle and aim at continuous tracking of the preceding vehicle, the following vehicle, and the crossing vehicle. Here, "tracking" means time-series state estimation (position, velocity, acceleration, angle, yaw rate, etc.). Therefore, if continuous tracking is realized, it is possible to continuously detect the danger of collision by predicting the future trajectory of the preceding vehicle, etc., and it is possible to support safe driving in more scenes.
However, since the observation information obtained from the omnidirectional sensor is enormous, real-time processing is difficult if tracking processing is performed using all the observation information.

そこで本発明は、先行車両等の移動物体の距離、角度又は相対速度を時系列的に計測する観測情報取得部（センサ）を複数備え、継続したリアルタイムな追跡を行う物体追跡装置を提供することを目的とする。 Therefore, the present invention provides an object tracking device that includes a plurality of observation information acquisition units (sensors) that measure the distance, angle, or relative speed of a moving object such as a preceding vehicle in time series, and continuously performs real-time tracking. With the goal.

請求項１記載の本発明の物体追跡装置は、自車両周辺の移動する物体の状態を時系列的に推定する物体追跡装置であって、前記物体の観測情報を取得する観測情報取得手段と、前記観測情報取得手段が取得した前記観測情報を用いて前記物体の追跡情報の作成と管理を行う追跡情報作成管理手段とを備え、前記観測情報取得手段は、前記観測情報として前記自車両と前記物体との距離、角度又は相対速度を取得する複数の観測情報取得部からなり、前記追跡情報作成管理手段は、追跡情報作成部と、追跡リスト部と、追跡リスト共有部と、対応付け部とを有し、前記追跡情報作成部は、各前記観測情報取得部が取得したそれぞれの前記観測情報ごとに、前記物体に付与する識別用のＩＤと前記物体の次時刻における推定状態を含む前記追跡情報を作成し、前記追跡リスト部は、前記追跡情報作成部が作成した前記追跡情報を前記観測情報取得部ごとの追跡リストに記録し、前記追跡リスト共有部は、観測領域が隣接する一方の前記観測情報取得部と他方の前記観測情報取得部の前記追跡リストを比較し、一方の前記観測情報取得部の前記追跡リストに、他方の前記観測情報取得部の前記追跡リストに存在しない前記ＩＤが付与された前記追跡情報が存在する場合には、存在しない前記ＩＤが付与された前記追跡情報を他方の前記観測情報取得部の前記追跡リストに複製する共有処理を行い、前記対応付け部は、前時刻における前記追跡情報と次時刻における前記観測情報を前記観測情報取得部ごとに対応付け、前記追跡リスト部は、前記追跡リスト共有部によって他方の前記観測情報取得部の前記追跡リストに複製された前記追跡情報について、前記対応付け部が対応付けできた場合は、複製された前記追跡情報を更新して他方の前記観測情報取得部の前記追跡リストに保持することを特徴とする。
請求項２記載の本発明は、請求項１に記載の物体追跡装置において、前記観測情報取得部が、前記自車両の前方及び後方に設置され、前記後方に設置された前記観測情報取得部の数よりも、前記前方に設置された前記観測情報取得部の数のほうが多いことを特徴とする。
請求項３記載の本発明は、請求項１に記載の物体追跡装置において、前記観測情報取得部が、前記自車両の前方、後方及び側方に設置されていることを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の物体追跡装置において、前記追跡情報作成管理手段は、前記物体が移動物であるか否かを判断する移動物判断部を備え、前記追跡リスト共有部は、前記移動物判断部によって移動物であると判断された前記物体の前記追跡情報について前記共有処理を行うことを特徴とする。
請求項５記載の本発明は、請求項１から請求項４のいずれか１項に記載の物体追跡装置において、前記追跡リスト部は、前記対応付け部が対応付けできなかった場合は、複製された前記追跡情報を他方の前記観測情報取得部の前記追跡リストから削除することを特徴とする。
請求項６記載の本発明は、請求項１から請求項５のいずれか１項に記載の物体追跡装置において、前記追跡情報作成管理手段は、複数の前記追跡リストに同じ前記ＩＤが付与された前記追跡情報が存在する場合には、その中から一つの前記追跡情報を選択する追跡情報選択部と、前記追跡情報選択部が選択した前記追跡情報を、前記自車両を制御又は監視する制御監視手段に前記追跡情報を送信する追跡情報送信部とを備え、前記追跡情報選択部は、前記物体が現実世界に存在する事後確率が最も大きい前記追跡情報を選択することを特徴とする。 The object tracking device of the present invention according to claim 1 is an object tracking device that estimates the state of a moving object around its own vehicle in a time series, and includes an observation information acquisition means for acquiring observation information of the object. The observation information acquisition means includes a tracking information creation management means that creates and manages tracking information of the object using the observation information acquired by the observation information acquisition means, and the observation information acquisition means includes the own vehicle and the vehicle as the observation information. It is composed of a plurality of observation information acquisition units that acquire a distance, an angle, or a relative speed with an object, and the tracking information creation management means includes a tracking information creation unit, a tracking list unit, a tracking list sharing unit, and an association unit. The tracking information creation unit includes the identification ID given to the object and the estimated state at the next time of the object for each observation information acquired by each observation information acquisition unit. Information is created, the tracking list unit records the tracking information created by the tracking information creation unit in a tracking list for each observation information acquisition unit, and the tracking list sharing unit has one of adjacent observation areas. The tracking list of the observation information acquisition unit and the other observation information acquisition unit are compared, and the ID that does not exist in the tracking list of one observation information acquisition unit and the tracking list of the other observation information acquisition unit. there when the tracking information granted are present, have rows sharing process to replicate the tracking information the ID that does not exist is applied to the tracking list of the other of said observation information acquisition unit, the mapping unit Associates the tracking information at the previous time with the observation information at the next time for each observation information acquisition unit, and the tracking list unit is attached to the tracking list of the other observation information acquisition unit by the tracking list sharing unit. When the associated tracking information can be associated with the duplicated tracking information, the duplicated tracking information is updated and held in the tracking list of the other observation information acquisition unit .
According to the second aspect of the present invention, in the object tracking device according to the first aspect, the observation information acquisition unit is installed in front of and behind the own vehicle, and the observation information acquisition unit installed behind the vehicle. It is characterized in that the number of the observation information acquisition units installed in front of the number is larger than the number.
The present invention according to claim 3 is characterized in that, in the object tracking device according to claim 1, the observation information acquisition unit is installed in front of, behind, and to the side of the own vehicle.
According to the fourth aspect of the present invention, in the object tracking device according to any one of claims 1 to 3, the tracking information creation management means determines whether or not the object is a moving object. The tracking list sharing unit includes a moving object determination unit, and is characterized in that the tracking information of the object determined to be a moving object by the moving object determination unit is shared.
According to a fifth aspect of the invention, the object tracking apparatus according to any one of claims 1 to 4, before Symbol tracking list section, if the previous SL correspondence 342C not map the It is characterized in that the duplicated tracking information is deleted from the tracking list of the other observation information acquisition unit.
According to the sixth aspect of the present invention, in the object tracking device according to any one of claims 1 to 5, the tracking information creation management means is assigned the same ID to a plurality of the tracking lists. If the tracking information exists, the tracking information selection unit that selects one of the tracking information and the tracking information selected by the tracking information selection unit are controlled or monitored to control or monitor the own vehicle. The means includes a tracking information transmitting unit for transmitting the tracking information, and the tracking information selection unit selects the tracking information having the highest posterior probability that the object exists in the real world.

本発明によれば、先行車両等の移動物体の距離、角度又は相対速度を時系列的に計測する観測情報取得部（センサ）を複数備え、継続したリアルタイムな追跡を行う物体追跡装置を提供できる。 According to the present invention, it is possible to provide an object tracking device that includes a plurality of observation information acquisition units (sensors) that measure the distance, angle, or relative speed of a moving object such as a preceding vehicle in time series, and continuously performs real-time tracking. ..

本発明の一実施例による物体追跡装置が搭載される自車両を示す図The figure which shows the own vehicle which is equipped with the object tracking apparatus according to one Example of this invention. 自車両に観測情報取得手段と追跡情報作成管理手段と制御監視手段を搭載した状態を示す概略構成図Schematic configuration diagram showing the state in which the observation information acquisition means, the tracking information creation management means, and the control monitoring means are mounted on the own vehicle. コスト行列処理とその他の処理に要する時間及びコスト行列の大きさ（要素数）を示す図A diagram showing the time required for cost matrix processing and other processing and the size (number of elements) of the cost matrix. 追跡情報の共有による処理時間の削減結果を示す図Diagram showing the results of processing time reduction by sharing tracking information 追跡情報の共有処理の概念図Conceptual diagram of tracking information sharing process 共有処理のフローチャート図Flow chart of sharing process 実験における先行車両の走行経路を示す図The figure which shows the traveling route of the preceding vehicle in an experiment 実験における先行車両の追跡経路を示す図Diagram showing the tracking route of the preceding vehicle in the experiment 各フレームの処理時間と観測情報数の関係を示す図Diagram showing the relationship between the processing time of each frame and the number of observation information

本発明の第１の実施の形態による物体追跡装置は、物体の観測情報を取得する観測情報取得手段と、観測情報取得手段が取得した観測情報を用いて物体の追跡情報の作成と管理を行う追跡情報作成管理手段とを備え、観測情報取得手段は、観測情報として自車両と物体との距離、角度又は相対速度を取得する複数の観測情報取得部からなり、追跡情報作成管理手段は、追跡情報作成部と、追跡リスト部と、追跡リスト共有部と、対応付け部とを有し、追跡情報作成部は、各観測情報取得部が取得したそれぞれの観測情報ごとに、物体に付与する識別用のＩＤと物体の次時刻における推定状態を含む追跡情報を作成し、追跡リスト部は、追跡情報作成部が作成した追跡情報を観測情報取得部ごとの追跡リストに記録し、追跡リスト共有部は、観測領域が隣接する一方の観測情報取得部と他方の観測情報取得部の追跡リストを比較し、一方の観測情報取得部の追跡リストに、他方の観測情報取得部の追跡リストに存在しないＩＤが付与された追跡情報が存在する場合には、存在しないＩＤが付与された追跡情報を他方の観測情報取得部の追跡リストに複製する共有処理を行い、対応付け部は、前時刻における追跡情報と次時刻における観測情報を観測情報取得部ごとに対応付け、追跡リスト部は、追跡リスト共有部によって他方の観測情報取得部の追跡リストに複製された追跡情報について、対応付け部が対応付けできた場合は、複製された追跡情報を更新して他方の観測情報取得部の追跡リストに保持するものである。本実施の形態によれば、複数の観測情報取得部で周辺の物体を観測するため、観測範囲を大きくできる。また、観測情報取得手段で取得したすべての観測情報を用いて追跡処理を行うのではなく、各観測情報取得部で取得した観測情報のそれぞれに対して追跡処理を行うため、追跡処理にかかる時間を短くできリアルタイム処理が可能となる。さらに、観測領域が隣接する観測情報手段の追跡リスト同士で追跡情報を共有することにより先行車両を見失うことなく継続して追跡できる。
本発明の第２の実施の形態は、第１の実施の形態による物体追跡装置において、観測情報取得部が、自車両の前方及び後方に設置され、後方に設置された観測情報取得部の数よりも、前方に設置された観測情報取得部の数のほうが多いものである。本実施の形態によれば、特に先行車両を追跡する場合は、観測すべき物体が自車両の側方又は後方よりも前方に位置することが多いため、車両前方側の観測領域を大きくすることで、先行車両を見失うことなく継続して追跡できる。
本発明の第３の実施の形態は、第１の実施の形態による物体追跡装置において、観測情報取得部が、自車両の前方、後方及び側方に設置されているものである。本実施の形態によれば、自車両周辺を全方位（３６０°）にわたって観測できるため、観測領域に死角がない。
本発明の第４の実施の形態は、第１から第３のいずれか１つの実施の形態による物体追跡装置において、追跡情報作成管理手段は、物体が移動物であるか否かを判断する移動物判断部を備え、追跡リスト共有部は、移動物判断部によって移動物であると判断された物体の追跡情報について共有処理を行うものである。本実施の形態によれば、何らかの物体ではあるが静止物、又は移動物か静止物か不明の物体については共有処理を行わないことで、処理時間を短縮できる。
本発明の第５の実施の形態は、第１から第４のいずれか１つの実施の形態による物体追跡装置において、追跡リスト部は、対応付け部が対応付けできなかった場合は、複製された追跡情報を他方の観測情報取得部の追跡リストから削除するものである。本実施の形態によれば、不要な情報を削除することで、処理時間を短縮できる。
本発明の第６の実施の形態は、第１から第５のいずれか１つの実施の形態による物体追跡装置において、追跡情報作成管理手段は、複数の追跡リストに同じＩＤが付与された追跡情報が存在する場合には、その中から一つの追跡情報を選択する追跡情報選択部と、追跡情報選択部が選択した追跡情報を、自車両を制御又は監視する制御監視手段に追跡情報を送信する追跡情報送信部とを備え、追跡情報選択部は、物体が現実世界に存在する事後確率が最も大きい追跡情報を選択するものである。本実施の形態によれば、物体を精度良く追跡できる。 The object tracking device according to the first embodiment of the present invention creates and manages the tracking information of the object by using the observation information acquisition means for acquiring the observation information of the object and the observation information acquired by the observation information acquisition means. The observation information acquisition means is provided with a tracking information creation management means, and the observation information acquisition means is composed of a plurality of observation information acquisition units that acquire the distance, angle, or relative speed between the own vehicle and the object as observation information, and the tracking information creation management means is tracking. It has an information creation unit, a tracking list unit, a tracking list sharing unit, and an association unit, and the tracking information creation unit assigns identification to an object for each observation information acquired by each observation information acquisition unit. The tracking information including the ID for the object and the estimated state at the next time of the object is created, and the tracking list unit records the tracking information created by the tracking information creation unit in the tracking list for each observation information acquisition unit, and the tracking list sharing unit. Compares the tracking list of one observation information acquisition unit and the other observation information acquisition unit with adjacent observation regions, and does not exist in the tracking list of one observation information acquisition unit and in the tracking list of the other observation information acquisition unit. If the tracking information ID is assigned is present, have rows sharing process to replicate tracking information nonexistent ID is assigned to the track list of the other observation information acquisition unit, the association unit, before the time The tracking information and the observation information at the next time are associated with each observation information acquisition unit, and the tracking list unit corresponds to the tracking information duplicated in the tracking list of the other observation information acquisition unit by the tracking list sharing unit. If it can be attached, the duplicated tracking information is updated and retained in the tracking list of the other observation information acquisition unit . According to this embodiment, since the surrounding objects are observed by a plurality of observation information acquisition units, the observation range can be increased. In addition, since the tracking process is performed for each of the observation information acquired by each observation information acquisition unit instead of performing the tracking process using all the observation information acquired by the observation information acquisition means, the time required for the tracking process. Can be shortened and real-time processing becomes possible. Further, by sharing the tracking information between the tracking lists of the observation information means adjacent to the observation area, it is possible to continuously track the preceding vehicle without losing sight of it.
In the second embodiment of the present invention, in the object tracking device according to the first embodiment, the observation information acquisition unit is installed in front of and behind the own vehicle, and the number of observation information acquisition units installed in the rear. The number of observation information acquisition units installed in front is larger than that. According to the present embodiment, especially when tracking the preceding vehicle, the object to be observed is often located in front of the side or the rear of the own vehicle, so the observation area on the front side of the vehicle should be increased. Therefore, you can continuously track the vehicle in front without losing sight of it.
In the third embodiment of the present invention, in the object tracking device according to the first embodiment, the observation information acquisition unit is installed in the front, the rear, and the side of the own vehicle. According to this embodiment, since the periphery of the own vehicle can be observed in all directions (360 °), there is no blind spot in the observation area.
A fourth embodiment of the present invention is an object tracking device according to any one of the first to third embodiments, in which the tracking information creation management means determines whether or not the object is a moving object. The tracking list sharing unit includes an object determination unit, and performs sharing processing on tracking information of an object determined to be a moving object by the moving object determination unit. According to the present embodiment, the processing time can be shortened by not performing the sharing process for a stationary object, or an object whose moving object or stationary object is unknown, although it is some kind of object.
Fifth embodiment of the present invention, the object tracking apparatus according to a fourth one of embodiments from the first, track list section, if corresponds with 342C not map, replication The tracked information is deleted from the tracking list of the other observation information acquisition unit. According to this embodiment, the processing time can be shortened by deleting unnecessary information.
A sixth embodiment of the present invention is an object tracking device according to any one of the first to fifth embodiments, wherein the tracking information creation management means assigns the same ID to a plurality of tracking lists. If there is, the tracking information selection unit that selects one of the tracking information and the tracking information selected by the tracking information selection unit are transmitted to the control monitoring means that controls or monitors the own vehicle. It includes a tracking information transmitting unit, and the tracking information selection unit selects tracking information having the highest posterior probability that an object exists in the real world. According to this embodiment, the object can be tracked with high accuracy.

以下、本発明の一実施例による物体追跡装置について説明する。本実施例による物体追跡装置は、自車両周辺に存在する移動物体の位置・速度・加速度・角度・ヨーレート等といった状態を時系列的に推定する。
図１は本実施例による物体追跡装置が搭載される自車両を示す図、図２は同自車両に観測情報取得手段と追跡情報作成管理手段と制御監視手段を搭載した状態を示す概略構成図である。
自車両１０の上方にアルミフレームを設置して各種センサを取付けている。センサの一つとしてＧＮＳＳ複合航法システム２１が搭載されており、ＧＮＳＳ（全地球航法衛星システム）から情報が十分に得られる環境において、１００［Ｈｚ］で自車両１０の３次元位置及び姿勢が計測可能である。さらに、他のセンサである全方位ＬＩＤＡＲ２２から得られる赤外線反射率を利用した自車両１０の自己位置推定も導入している（菅沼直樹,林悠太郎,永田大記,高橋謙太,“高齢過疎地域における自動運転自動車の市街地公道実証実験概要”,自動車技術会学術講演会講演予稿集,No.14-15,pp.390-394,2015、山本大貴，菅沼直樹，“高解像度赤外線反射率画像を用いた自動運転自動車の自己位置推定”，第23回日本機械学会交通・物流部門大会講演論文集,pp.320-330,2014．）。この自己位置推定を用いることにより、ＧＮＳＳから情報が十分に得られない環境においても自車両１０の高精度な位置情報を取得することが可能である。
また、図２に示すように、さらに他のセンサとして、複数のセンサ（観測情報取得部）３１〜３９を自車両１０の前バンパー及び後バンパーの内部に設置することにより構成される略全方位センサシステム（観測情報取得手段）３０が取り付けられている。センサ３１〜３９としては、それぞれの観測領域（検知範囲）において先行車両等の物体までの距離・角度・相対速度を取得する、ＬＩＤＡＲ、超音波センサ、ミリ波レーダ、又はステレオカメラを用いることが望ましい。本実施例においては、センサ３１〜３９にミリ波レーダを用いることで、略全方位センサシステム（観測情報取得手段）３０として略全方位ミリ波レーダシステムを構成している。略全方位ミリ波レーダシステム３０は、自車両１０の前バンパーの内部に設置された第１のミリ波レーダ３１、第２のミリ波レーダ３２、第３のミリ波レーダ３３、第４のミリ波レーダ３４、第７のミリ波レーダ３７、第８のミリ波レーダ３８及び第９のミリ波レーダ３９と、車両１０の後バンパーの内部に設置された第５のミリ波レーダ３５及び第６のミリ波レーダ３６とからなる。図２において、１〜９の数字が付与された扇形は、各センサ（ミリ波レーダ）３１〜３９の観測領域を概略的に示している。
略全方位ミリ波レーダシステム３０は、観測周期２０［Ｈｚ］で周辺を観測する。また、１つのミリ波レーダ３１〜３９で最大５０個の観測情報（物体までの距離・角度・相対速度）を取得する、すなわち全体で最大４５０個の観測情報を取得する。特に物体が先行車両の場合は、観測すべき物体が自車両１０の側方又は後方よりも前方に位置することが多いため、自車両１０の前方の観測領域を大きくすることで、物体を見失うことなく継続して追跡できる。
なお、先行車両等の物体に対する観測領域をさらに大きくするため、ミリ波レーダを自車両１０の前方、後方及び側方に設置し、全方位ミリ波レーダシステムとして構成することが好ましい。この場合は、自車両１０の周辺を全方位（３６０°）にわたって観測できるため、観測領域に死角がない。 Hereinafter, an object tracking device according to an embodiment of the present invention will be described. The object tracking device according to this embodiment estimates the states such as the position, speed, acceleration, angle, yaw rate, etc. of moving objects existing around the own vehicle in chronological order.
FIG. 1 is a diagram showing an own vehicle on which the object tracking device according to the present embodiment is mounted, and FIG. 2 is a schematic configuration diagram showing a state in which the own vehicle is equipped with observation information acquisition means, tracking information creation management means, and control monitoring means. Is.
An aluminum frame is installed above the own vehicle 10 and various sensors are attached. The GNSS combined navigation system 21 is installed as one of the sensors, and the three-dimensional position and orientation of the own vehicle 10 are measured at 100 [Hz] in an environment where sufficient information can be obtained from the GNSS (Global Navigation Satellite System). It is possible. In addition, the self-position estimation of the own vehicle 10 using the infrared reflectance obtained from the other sensor, the omnidirectional LIDAR22, has also been introduced (Naoki Suganuma, Yutaro Hayashi, Daiki Nagata, Kenta Takahashi, "In an elderly depopulated area". Outline of Autonomous Driving Vehicles on Public Roads in Urban Areas ”, Proceedings of Academic Lectures of the Society of Automotive Engineers of Japan, No.14-15, pp.390-394,2015, Daiki Yamamoto, Naoki Suganuma,“ Using high-resolution infrared reflectance images Self-Position Estimating of Self-Driving Vehicles ”, Proceedings of the 23rd Annual Meeting of the Japan Society of Mechanical Engineers, Transportation and Logistics Division, pp.320-330, 2014.). By using this self-position estimation, it is possible to acquire highly accurate position information of the own vehicle 10 even in an environment where sufficient information cannot be obtained from GNSS.
Further, as shown in FIG. 2, as yet another sensor, substantially omnidirectional configuration is configured by installing a plurality of sensors (observation information acquisition units) 31 to 39 inside the front bumper and the rear bumper of the own vehicle 10. A sensor system (observation information acquisition means) 30 is attached. As the sensors 31 to 39, a LIDAR, an ultrasonic sensor, a millimeter wave radar, or a stereo camera that acquires the distance, angle, and relative velocity to an object such as a preceding vehicle in each observation area (detection range) can be used. desirable. In this embodiment, by using a millimeter wave radar for the sensors 31 to 39, a substantially omnidirectional millimeter wave radar system is configured as a substantially omnidirectional sensor system (observation information acquisition means) 30. The substantially omnidirectional millimeter-wave radar system 30 includes a first millimeter-wave radar 31, a second millimeter-wave radar 32, a third millimeter-wave radar 33, and a fourth millimeter-wave radar installed inside the front bumper of the own vehicle 10. Wave radar 34, 7th millimeter wave radar 37, 8th millimeter wave radar 38 and 9th millimeter wave radar 39, and 5th millimeter wave radar 35 and 6th installed inside the rear bumper of the vehicle 10. It consists of a millimeter wave radar 36 of. In FIG. 2, the fan shape to which the numbers 1 to 9 are assigned schematically indicates the observation region of each sensor (millimeter wave radar) 31 to 39.
The substantially omnidirectional millimeter-wave radar system 30 observes the surroundings at an observation cycle of 20 [Hz]. In addition, one millimeter-wave radar 31-39 acquires a maximum of 50 observation information (distance, angle, relative velocity to an object), that is, a maximum of 450 observation information in total. In particular, when the object is a preceding vehicle, the object to be observed is often located in front of the side or rear of the own vehicle 10, so by increasing the observation area in front of the own vehicle 10, the object is lost. It can be continuously tracked without any problems.
In order to further increase the observation area for an object such as a preceding vehicle, it is preferable to install millimeter-wave radars in front of, behind, and to the side of the own vehicle 10 to form an omnidirectional millimeter-wave radar system. In this case, since the periphery of the own vehicle 10 can be observed in all directions (360 °), there is no blind spot in the observation area.

本実施例による物体追跡装置は、図２に示すように、追跡情報作成管理手段４０と制御監視手段５０を備える。
追跡情報作成管理手段４０は、追跡情報作成部４１、追跡リスト部４２、リスト共有部４３、移動物判断部４４、対応付け部４５、追跡情報選択部４６及び追跡情報送信部４７を有し、略全方位センサシステム３０が取得した観測情報を用いて物体の追跡情報の作成と管理を行う。制御監視手段５０は、追跡情報作成管理手段４０が作成及び管理する追跡情報に基づいて自車両１０の制御及び監視を行う。 As shown in FIG. 2, the object tracking device according to the present embodiment includes tracking information creation management means 40 and control monitoring means 50.
The tracking information creation management means 40 includes a tracking information creation unit 41, a tracking list unit 42, a list sharing unit 43, a moving object determination unit 44, a mapping unit 45, a tracking information selection unit 46, and a tracking information transmission unit 47. Tracking information of an object is created and managed using the observation information acquired by the substantially omnidirectional sensor system 30. The control and monitoring means 50 controls and monitors the own vehicle 10 based on the tracking information created and managed by the tracking information creation management means 40.

ここで、追跡情報作成管理手段４０の追跡情報作成部４１における移動物体の状態推定手法の例について説明する。状態推定手法の１つであるカルマンフィルタは、略全方位センサシステム３０により得られる観測情報と１つのモデルを用いて推定対象である物体の状態を逐次的に推定する。そのため、そのモデルに対応しない運動が行われた際の推定精度は大きく劣化する。そこで、複数のモデルを用いて物体の状態を推定するInteracting Multiple Model(ＩＭＭ）法を用いる（R.Helmick,“IMM Estimator with Nearest-Neighbor Joint Probabilistic Data Association”, Yaakov Bar-Shalom and William Dale Blair Edit “Multitarget-Multisensor Tracking: Applications and Advances Volume III” Artech House Publishers, pp.161 - 198．）。
本実施例では等速度モデル、等加速度モデル及び停止モデルの３つのモデルを用いる。等速度モデルでは速度がほぼ一定となる定常移動中は精度よく状態推定を行えるが、加速度がほぼ一定となる発進時や減速時などでは誤差が大きくなる。一方で、等加速度モデルでは加速度を推定する分ノイズが発生しやすく、速度がほぼ一定となる定常移動中は等速度モデルほど精度よく状態推定が行えないが、加速度がほぼ一定となる発進時や減速時などでは精度よく状態推定が行える。また停止モデルを用いることで、略全方位センサシステム３０のノイズにより停止物体が急に動き出す物体と誤推定されることを緩和することができる。ＩＭＭ法では各モデルの尤もらしさを求め、それにより重み付けを行うことで各モデルの誤差を打ち消し合う。そのため、カルマンフィルタでは推定の難しいような複雑な運動をする物体の状態推定には有効とされる。本実施例で用いるモデルの状態変数ｘと入力ｗを式（１）、（２）に示す。

ここで、式（１）においてｐは絶対座標の位置を示し、ｖ，ａは絶対座標系の軸方向の速度・加速度を示し、上付き文字は絶対座標系のどちらの軸成分かを示す。また、式（２）において上付き文字がどの変数のノイズかを示し、「・」は時間微分を示す。そして、式（１）、（２）を用いた等加速度モデルの状態方程式ｘ_ｔを式（３）に示す。

また、等速度モデルの状態方程式は式（３）において加速度が０であり、停止モデルの状態方程式は式（３）において速度と加速度が０である。 Here, an example of a state estimation method for a moving object in the tracking information creation unit 41 of the tracking information creation management means 40 will be described. The Kalman filter, which is one of the state estimation methods, sequentially estimates the state of the object to be estimated by using the observation information obtained by the substantially omnidirectional sensor system 30 and one model. Therefore, the estimation accuracy when an exercise that does not correspond to the model is performed is greatly deteriorated. Therefore, we use the Interacting Multiple Model (IMM) method to estimate the state of an object using multiple models (R. Helmick, “IMM Estimator with Nearest-Neighbor Joint Probabilistic Data Association”, Yaakov Bar-Shalom and William Dale Blair Edit). “Multitarget-Multisensor Tracking: Applications and Advances Volume III” Artech House Publishers, pp.161-198.).
In this embodiment, three models, a constant velocity model, a constant acceleration model, and a stop model, are used. In the constant velocity model, the state can be estimated accurately during steady movement where the speed is almost constant, but the error becomes large at the time of starting or decelerating when the acceleration is almost constant. On the other hand, in the constant acceleration model, noise is likely to occur due to the estimation of acceleration, and the state cannot be estimated as accurately as in the constant velocity model during steady movement where the speed is almost constant, but at the time of starting when the acceleration is almost constant. The state can be estimated accurately when decelerating. Further, by using the stop model, it is possible to alleviate that the stopped object is erroneously presumed to be an object that suddenly starts to move due to the noise of the substantially omnidirectional sensor system 30. In the IMM method, the plausibility of each model is obtained, and weighting is performed thereby canceling out the error of each model. Therefore, it is effective for estimating the state of an object that moves in a complicated manner, which is difficult to estimate with a Kalman filter. The state variables x and the input w of the model used in this embodiment are shown in equations (1) and (2).

Here, in the equation (1), p indicates the position of the absolute coordinate, v and a indicate the velocity / acceleration in the axial direction of the absolute coordinate system, and the superscript indicates which axis component of the absolute coordinate system. Further, in the equation (2), the superscript indicates which variable the noise is, and "・" indicates the time derivative. Then, equation (1), shown in Equation (3) the state equation _{x t} of constant acceleration model using (2).

Further, the equation of state of the constant velocity model has zero acceleration in equation (3), and the equation of state of the stop model has zero velocity and acceleration in equation (3).

次に、追跡情報作成管理手段４０の対応付け部４５における割り当て問題の解決手法の例について説明する。ＩＭＭ法ではモデルにより更新された既存追跡物体の状態と略全方位センサシステム３０から得られた観測情報を対応付けることにより状態が更新される。そのため、複数の物体が存在する複雑な環境下において既存追跡物体に対して正しく観測情報を対応付ける必要がある（割り当て問題）。
また、観測情報には既存追跡物体から得られるものだけでなく略全方位センサシステム３０の誤動作やクラッタにより得られるものが存在するため、正しい対応付けを行うための研究が行われている。本実施例ではGlobal Nearest Neighbor（ＧＮＮ）を用いて対応付けを行う（Pavlina Konstantinova & Alexander Udvarev & Tzvetan Semerdjiev, “A Study of a Target Tracking Algorithm Using Global Nearest Neighbor Approach”, International Conference on Computer Systems and Technologies−CompSysTech’2003.）。「ＧＮＮ」とは、全ての対応付けを考慮したコスト行列を生成し、その時刻で最も可能性の高い割り当てを行う手法である。ｍ個の既存追跡物体とｌ個の観測情報を得たとき、大きさはｍ×ｌのコスト行列ｃが式（４）のように生成される。

このため、コスト行列は既存追跡物体数と観測情報の数によって大きさを変える。そして、式（４）の各要素にはマハラノビス距離を用いる。モデルにより更新された既存追跡物体ｉの状態と略全方位センサシステム３０から得られたｊ番目の観測情報ｚ^ｊとの残差ベクトルとその共分散ｓ^ｉｊを用いてマハラノビス距離ｄ_ｉｊは式（５）で表される。

また閾値定数χ^２（１−α）を定義し、次式（６）を満たすときχ^２検定を満たす。

ここで、αは有意水準でありこれを定めることでχ^２（１−α）を定義することができる。χ^２検定を満たしたとき対応付け候補としてコストｃ_ｉｊにはマハラノビス距離が代入される。

そして満たさないときには対応付けの可能性のない組み合わせとしてコストが与えられる。

生成したコスト行列に対してＭｕｎｋｒｅｓアルゴリズム（Francois Bourgeois, Jean-Claude Lassalle, “An Extension of the Munkres Algorithm for the Assignment Problem to Rectangular Matrices”, Communications of the ACM, Vol.14, No.12, pp.804-806, 1971）を用いることにより対応付けが決定される。１つの観測情報は１つの既存追跡物体にのみ割り当てられる。 Next, an example of a method for solving the allocation problem in the association unit 45 of the tracking information creation management means 40 will be described. In the IMM method, the state is updated by associating the state of the existing tracking object updated by the model with the observation information obtained from the substantially omnidirectional sensor system 30. Therefore, it is necessary to correctly associate observation information with existing tracking objects in a complicated environment where multiple objects exist (allocation problem).
Further, since there are observation information obtained not only from existing tracking objects but also due to malfunction of the substantially omnidirectional sensor system 30 or clutter, research is being conducted to make a correct association. In this example, mapping is performed using Global Nearest Neighbor (GNN) (Pavlina Konstantinova & Alexander Udvarev & Tzvetan Semerdjiev, “A Study of a Target Tracking Algorithm Using Global Nearest Neighbor Approach”, International Conference on Computer Systems and Technologies− CompSysTech'2003.). "GNN" is a method of generating a cost matrix in consideration of all correspondences and performing the most probable allocation at that time. When m existing tracking objects and l observation information are obtained, a cost matrix c having a size of m × l is generated as shown in equation (4).

Therefore, the cost matrix changes in size depending on the number of existing tracking objects and the number of observation information. Then, the Mahalanobis distance is used for each element of the equation (4). Mahalanobis distance using the residual vector of the j-th observation information z ^j obtained from the state of the existing tracking object i, which is updated by the model substantially omnidirectional sensor system 30 and its covariance s ^ij d _ij is the formula ( It is represented by 5).

Further, the threshold constant χ ² (1-α) is defined, and when the following equation (6) is satisfied, the χ ² test is satisfied.

Here, α is a significance level, and χ ² (1-α) can be defined by defining this. When the χ ² test is satisfied, the Mahalanobis distance is substituted _{for the cost cij} as a matching candidate.

And if it is not satisfied, the cost is given as a combination with no possibility of association.

Francois Bourgeois, Jean-Claude Lassalle, “An Extension of the Munkres Algorithm for the Assignment Problem to Rectangular Matrices”, Communications of the ACM, Vol.14, No.12, pp.804 The association is determined by using -806, 1971). One observation information is assigned to only one existing tracking object.

次に、追跡情報作成管理手段４０における追跡管理に用いるフィルタの例について説明する。略全方位センサシステム３０の誤動作やクラッタにより、既存追跡物体から観測情報が得られなかったり不要に得られたりすることが考えられる。そのため既存追跡物体に対して割り当てが無い可能性や誤った追跡が開始される可能性を考慮する必要がある。そこで本実施例では、Binary Bayes Filterを用いて物体が本当に現実世界に存在する物体であるかを判断する。時刻ｔに事象ｘが発生する確率Ｐ（ｘ_ｔ）としたとき、対数オッズlog-odds(x_t)は次式（９）で表現され、

前時刻までの対数オッズ表現の事後確率log-odds(x_1:t-1)と足し合わせることで現在の対数オッズ表現の事後確率log-odds(x_1:t)が求まる。

このようにして求めた事後確率を基にフィルタリングを行う手法をBinary Bayes Filter という。また、log-odds(x_1:t)は式（１１）により事後確率Ｐ(x_1:t)に復元できる。

本実施例ではＰ(x_t)を物体が存在する確率としてマハラノビス距離ｄ_ｉｊに基づいて計算する。計算式を式（１２）に示す。

ここで、Ｐ_max＝０．８と設定している。そして、このＰ（ｘ_ｔ）を用いて物体が存在する事後確率（Track Score）Ｐ_TSを求める。またこれに加えていくつかの条件により追跡開始・継続・終了と移動物体であるかの判断を行う。この条件については後述する。 Next, an example of a filter used for tracking management in the tracking information creation management means 40 will be described. It is conceivable that observation information may not be obtained or may be obtained unnecessarily from the existing tracking object due to a malfunction of the substantially omnidirectional sensor system 30 or a clutter. Therefore, it is necessary to consider the possibility that there is no assignment for the existing tracking object and the possibility that erroneous tracking is started. Therefore, in this embodiment, the Binary Bayes Filter is used to determine whether the object really exists in the real world. The log odds log-odds (x _t ) are expressed by the following equation (9), _{where the probability P (x t} ) that the event x occurs at time t is assumed.

Before the posterior probability of the log odds representation up to the time _{log-odds (x 1: t} -1) and the posterior probability of the current log odds expressed by summing _{log-odds (x 1: t} ) is obtained.

The method of filtering based on the posterior probabilities obtained in this way is called Binary Bayes Filter. Also, log-odds (x _{1: t} ) can be restored to posterior probabilities P (x _{1: t) by Eq. (11).}

In this embodiment, P (x _t ) is calculated as the probability that an object exists based on the _{Mahalanobis distance dij.} The calculation formula is shown in the formula (12).

Here, P _max = 0.8 is set. Then, using this P (x _t ), the posterior probability (Track Score) P _TS that the object exists is obtained. In addition to this, tracking start / continuation / end and determination of whether the object is a moving object are made according to some conditions. This condition will be described later.

次に、追跡情報作成管理手段４０の移動物判断部４４における追跡管理について説明する。本実施例では追跡開始・継続・終了と移動物体であるかの判断を行うため、Confirmed・Tentative・Deleteの３つの追跡モードを用いる。
Confirmedモードは、その追跡物体が移動物体であると判断されたときに遷移し、追跡を継続するモードである。Tentativeモードは、その観測情報の値が何かしらの物体から得られたものとして識別用のＩＤを与えて追跡を開始したり、何かしらの物体ではあるが移動物体では無いとして追跡を継続したりするモードである。Deleteモードは、追跡物体が観測可能な範囲から外れた場合やノイズにより発生したものであると判断された場合に遷移し、追跡を終了するモードである。各モードの遷移条件を表１に示す。ここで、表１のＰ_cnf，Ｐ_stop，Ｄ_move，Ｐ_dlt，Ｎ_dltは任意のパラメータである。

表１に示すように、TentativeモードからConfirmedモードへは、事後確率（Track Score）Ｐ_TSがＰ_Cnfよりも大きいとき、ＩＭＭ法において求められた停止モデルのモデル確率がＰ_stopよりも小さいとき、及び全方位センサシステム３０による初期観測位置からの移動距離がＤ_moveよりも大きいときに遷移する。また、TentativeモードからDeleteモード又はConfirmedモードからDeleteモードへは、事後確率（Track Score）Ｐ_TSがＰ_Dltよりも小さいとき、又は追跡物体と観測情報との対応付けが無いフレーム連続数がＮ_Dltよりも大きいときに遷移する。 Next, the tracking management in the moving object determination unit 44 of the tracking information creation management means 40 will be described. In this embodiment, three tracking modes of Confirmed, Tentative, and Delete are used in order to determine whether the object is a moving object, such as tracking start / continuation / end.
The Confirmed mode is a mode in which a transition is made when the tracking object is determined to be a moving object, and tracking is continued. In the Tentative mode, the value of the observation information is given as an ID for identification as obtained from some object, and tracking is started, or tracking is continued as if it is some object but not a moving object. Is. The Delete mode is a mode in which the tracking is terminated when the tracking object is out of the observable range or when it is determined that the tracking object is caused by noise. Table 1 shows the transition conditions for each mode. Here, P _cnf , P _stop , D _move , P _dlt , and N _dlt in Table 1 are arbitrary parameters.

As shown in Table 1, from Tentative mode to Confirmed mode, when the posterior probability (Track Score) P _TS is _{larger than P Cnf and} the model probability of the stop model obtained by the IMM method is smaller than _{P stop,} And when the moving distance from the initial observation position by the omnidirectional sensor system 30 _{is larger than D move} , the transition occurs. Also, from Tentative mode to Delete mode or from Confirmed mode to Delete mode, when the posterior probability (Track Score) P _TS is _{smaller than P Dlt} , or the number of consecutive frames without association between the tracked object and the observation information is N _Dlt. Transition when greater than.

次に、略全方位ミリ波レーダシステム３０による物体追跡における処理時間の問題について説明する。複数のミリ波レーダ３１〜３９から構成される略全方位ミリ波レーダシステム３０は周辺から膨大な観測情報を取得する。この全ての観測情報を用いて追跡処理を行うと既存追跡物体と観測情報を対応付けるためのコスト行列は巨大化し、リアルタイムな追跡処理が困難となる。例えば、９個のミリ波レーダ３１〜３９を用いて略全方位ミリ波レーダシステム３０を構成し、金沢大学構内において追跡実験を行った場合、取得した最大観測情報数は１８０個であった。取得した観測情報全てを用いて追跡処理を行った場合、観測周期５０［ｍｓ］に対して最大処理時間は２７１［ｍｓ］という結果が得られ、リアルタイム処理が不可能であった。
そこで全ての観測情報を用いるのではなく、各ミリ波レーダ３１〜３９の観測情報を用いてそれぞれで追跡処理を行い、追跡情報を共有した。この結果、最大処理時間を９．２８［ｍｓ］まで抑えることができ、リアルタイム処理が可能となった。全ての観測情報を用いて追跡処理を行ったときのコスト行列から対応付けを見つける処理にかかった時間とその他の処理に要する時間およびコスト行列のサイズ（要素数）を図３に示す。図３において、最も濃い線が「コスト行列のサイズ（要素数）」、最も薄い線が「コスト行列の処理に要する時間（コスト行列から対応付けを見つける処理にかかった時間）」、その中間の濃淡線が「その他の処理に要する時間」を示す。また、全ての観測情報を用いて追跡処理を行った場合（全体処理）と各ミリ波レーダ３１〜３９の観測情報を用いてそれぞれで追跡処理を行い追跡情報を共有する場合（個別処理＋追跡情報共有処理）の処理時間を図４に示す。図４において、濃い線が本実施例による「個別処理＋追跡情報共有処理」、薄い線が従来の「全体処理」を示す。ここで、処理はクロックが「２．８ＧＨｚ」、実装メモリが「４ＧＢ」のＣＰＵで行った。共有処理については後述する。 Next, the problem of processing time in object tracking by the substantially omnidirectional millimeter-wave radar system 30 will be described. The substantially omnidirectional millimeter-wave radar system 30 composed of a plurality of millimeter-wave radars 31 to 39 acquires a huge amount of observation information from the surroundings. If the tracking process is performed using all the observation information, the cost matrix for associating the existing tracking object with the observation information becomes huge, and the real-time tracking process becomes difficult. For example, when a substantially omnidirectional millimeter-wave radar system 30 was constructed using nine millimeter-wave radars 31-39 and a tracking experiment was conducted on the premises of Kanazawa University, the maximum number of observation information acquired was 180. When the tracking process was performed using all the acquired observation information, the result that the maximum processing time was 271 [ms] for the observation cycle of 50 [ms] was obtained, and real-time processing was impossible.
Therefore, instead of using all the observation information, tracking processing was performed by each of the observation information of each millimeter-wave radar 31 to 39, and the tracking information was shared. As a result, the maximum processing time can be suppressed to 9.28 [ms], and real-time processing becomes possible. FIG. 3 shows the time required for the process of finding the correspondence from the cost matrix when the tracking process is performed using all the observation information, the time required for other processes, and the size (number of elements) of the cost matrix. In FIG. 3, the darkest line is the "cost matrix size (number of elements)", the lightest line is the "time required to process the cost matrix (time required to find the correspondence from the cost matrix)", and the middle line. The light and shade lines indicate "time required for other processing". In addition, when tracking processing is performed using all observation information (overall processing) and when tracking processing is performed and tracking information is shared using the observation information of each millimeter-wave radar 31 to 39 (individual processing + tracking). The processing time of the information sharing process) is shown in FIG. In FIG. 4, a dark line indicates "individual processing + tracking information sharing processing" according to this embodiment, and a light line indicates a conventional "overall processing". Here, the processing was performed by a CPU having a clock of "2.8 GHz" and a mounted memory of "4 GB". The sharing process will be described later.

次に、追跡情報作成管理手段４０における追跡情報の共有処理について説明する。略全方位ミリ波レーダシステム３０を構成する各ミリ波レーダ３１〜３９の観測情報を用いてそれぞれで追跡処理を行うと、リアルタイム処理は可能となるが、観測するミリ波レーダ３１〜３９が切り替わる領域で物体をロストしてしまう。そのため、追跡情報の共有処理が必要となる。そこで、以下の３つの仮定を置いて追跡情報の共有を行う。
１）周辺車両（物体）は少なくとも１つのミリ波レーダ３１〜３９で複数回観測されConfirmedモードで追跡される。
２）隣接するミリ波レーダ３１〜３９の観測可能領域は一部重複している。
３）あるミリ波レーダ３１〜３９の観測情報を用いて追跡の開始・継続された物体は次の時刻にそのミリ波レーダ３１〜３９か隣接するミリ波レーダ３１〜３９で観測される。
これらの仮定より、Confirmedモードで追跡された物体の追跡情報を、隣接するミリ波レーダ３１〜３９の観測情報を用いた追跡リストに共有する。なお、Tentativeモードで追跡された物体の追跡情報は隣接するミリ波レーダ３１〜３９同士で共有しないこと、すなわち、観測情報を取得した物体ではあるが静止物、又は移動物か静止物か不明の物体については共有処理を行わないことで、処理時間を短縮できる。但し、Tentativeモードの段階から物体の追跡情報を共有して追跡する場合もあり得る。 Next, the tracking information sharing process in the tracking information creation management means 40 will be described. If tracking processing is performed by each of the millimeter-wave radars 31 to 39 constituting the substantially omnidirectional millimeter-wave radar system 30, real-time processing becomes possible, but the millimeter-wave radars 31 to 39 to be observed are switched. The object is lost in the area. Therefore, it is necessary to share the tracking information. Therefore, tracking information is shared based on the following three assumptions.
1) Peripheral vehicles (objects) are observed multiple times by at least one millimeter-wave radar 31-39 and tracked in Confirmed mode.
2) The observable areas of the adjacent millimeter-wave radars 31 to 39 partially overlap.
3) An object whose tracking has been started / continued using the observation information of a certain millimeter-wave radar 31-39 will be observed by the millimeter-wave radar 31-39 or an adjacent millimeter-wave radar 31-39 at the next time.
Based on these assumptions, the tracking information of the object tracked in the confirmed mode is shared with the tracking list using the observation information of the adjacent millimeter wave radars 31 to 39. Note that the tracking information of the object tracked in the Tentative mode is not shared by the adjacent millimeter-wave radars 31 to 39, that is, it is unknown whether the object has acquired the observation information but is a stationary object, or a moving object or a stationary object. The processing time can be shortened by not performing the sharing processing on the object. However, there may be cases where the tracking information of the object is shared and tracked from the stage of Tentative mode.

図５は、追跡情報の共有処理のイメージを示す概念図である。図５において、自車両（実験車両（Experiment vehicle））１０の周囲には物体として先行車両（Preceding vehicle）Ａと交差車両（Crossing vehicle）Ｂが存在する。
第１のミリ波レーダ３１は先行車両Ａの観測情報を取得する。追跡情報作成部４１は第１のミリ波レーダ３１が取得した観測情報を用いて先行車両Ａの追跡情報を作成する。追跡リスト部４２は追跡リスト（TRACKING LIST 1）に先行車両Ａの追跡情報を記録する。移動物判断部４４は先行車両Ａが移動車両であると判断した場合に先行車両Ａの追跡モードをConfirmedモードに遷移させる。また、第９のミリ波レーダ３９は交差車両Ｂの観測情報を取得する。追跡情報作成部４１は第９のミリ波レーダ３９が取得した観測情報を用いて交差車両Ｂの追跡情報を作成する。追跡リスト部４２は追跡リスト（TRACKING LIST 2）に交差車両Ｂの追跡情報を記録する。移動物判断部４４は交差車両Ｂが移動車両であると判断した場合に交差車両Ｂの追跡モードをConfirmedモードに遷移させる。また、第２のミリ波レーダ３２の観測範囲には物体が存在しないため観測情報が取得されず、追跡リスト（TRACKING LIST 3）に先行車両Ａ及び交差車両Ｂの追跡情報は記録されない。
リスト共有部４３は、観測領域が隣接する第１のミリ波レーダ３１と第９のミリ波レーダ３９の追跡リストを比較し、第１のミリ波レーダ３１の追跡リストに交差車両Ｂの追跡情報を複製し、第９のミリ波レーダ３９の追跡リストに先行車両Ａの追跡情報を複製する。これにより、第１のミリ波レーダ３１と第９のミリ波レーダ３９の追跡リストには、先行車両Ａと交差車両Ｂの追跡情報が共有される。また、観測領域が隣接する第１のミリ波レーダ３１と第２のミリ波レーダ３２の追跡リストを比較し、第２のミリ波レーダ３２の追跡リストに先行車両Ａの追跡情報を複製する。これにより、第１のミリ波レーダ３１と第２のミリ波レーダ３２の追跡リストには、先行車両Ａの追跡情報が共有される。 FIG. 5 is a conceptual diagram showing an image of the tracking information sharing process. In FIG. 5, a preceding vehicle (Preceding vehicle) A and a crossing vehicle (Crossing vehicle) B exist as objects around the own vehicle (experiment vehicle) 10.
The first millimeter-wave radar 31 acquires the observation information of the preceding vehicle A. The tracking information creation unit 41 creates tracking information of the preceding vehicle A using the observation information acquired by the first millimeter-wave radar 31. The tracking list unit 42 records the tracking information of the preceding vehicle A in the tracking list (TRACKING LIST 1). When the moving object determination unit 44 determines that the preceding vehicle A is a moving vehicle, the moving object determination unit 44 shifts the tracking mode of the preceding vehicle A to the confirmed mode. Further, the ninth millimeter wave radar 39 acquires the observation information of the crossing vehicle B. The tracking information creation unit 41 creates tracking information of the crossing vehicle B using the observation information acquired by the ninth millimeter wave radar 39. The tracking list unit 42 records the tracking information of the crossing vehicle B in the tracking list (TRACKING LIST 2). When the moving object determination unit 44 determines that the crossing vehicle B is a moving vehicle, the moving object determination unit 44 shifts the tracking mode of the crossing vehicle B to the confirmed mode. Further, since there is no object in the observation range of the second millimeter wave radar 32, the observation information is not acquired, and the tracking information of the preceding vehicle A and the crossing vehicle B is not recorded in the tracking list (TRACKING LIST 3).
The list sharing unit 43 compares the tracking lists of the first millimeter-wave radar 31 and the ninth millimeter-wave radar 39 adjacent to the observation area, and the tracking information of the crossing vehicle B is added to the tracking list of the first millimeter-wave radar 31. Is duplicated, and the tracking information of the preceding vehicle A is duplicated in the tracking list of the ninth millimeter wave radar 39. As a result, the tracking information of the preceding vehicle A and the crossing vehicle B is shared in the tracking list of the first millimeter wave radar 31 and the ninth millimeter wave radar 39. Further, the tracking lists of the first millimeter-wave radar 31 and the second millimeter-wave radar 32, which are adjacent to each other in the observation area, are compared, and the tracking information of the preceding vehicle A is duplicated in the tracking list of the second millimeter-wave radar 32. As a result, the tracking information of the preceding vehicle A is shared in the tracking list of the first millimeter wave radar 31 and the second millimeter wave radar 32.

共有処理について詳しく説明する。まず、ｉ番目のミリ波レーダＭ^ｉの観測情報のみを用いた追跡リストＴ^ｉ＝｛Ｔ₁ ⁱ，Ｔ₂ ⁱ…｝とそれに隣接するｊ番目のミリ波レーダＭ^jの観測情報のみを用いた追跡リストＴ^ｊ＝｛Ｔ₁ ^j，Ｔ₂ ^j…｝を考える。追跡リスト部４２は、追跡情報をミリ波レーダごとの追跡リストに記録する。すなわち、ｉ番目のミリ波レーダＭ^ｉの観測情報を用いた追跡情報は追跡リストＴ^ｉに記録され、ｊ番目のミリ波レーダＭ^jの観測情報を用いた追跡情報は追跡リストＴ^ｊに記録される。リスト共有部４３は、このＴ^ｉ内のConfirmedモードの追跡情報をＴ^ｊ内の追跡情報と比較し、Ｔ^ｊ内に同じＩＤの追跡情報がなければそのｋ番目の追跡情報Ｔ_k ⁱをＴ^ｊに追加（複製）する。そして対応付け部４５は、共有された追跡情報Ｔ_k ⁱについて共有先のミリ波レーダＭ^jの観測情報と対応付けを行う。このとき対応付けがある場合は状態の更新を行いＴ_k ⁱはＴ^ｊに残り、対応付けが無い場合はＴ^ｊから除去する。このように、追加された追跡情報が共有先のミリ波レーダの観測情報と対応付けされない場合はその追加された追跡情報を除去することで、不要な情報が減り、処理時間を短縮できる。
最後にＴ^ｉとＴ^ｊ内のＴ_k ⁱが両方とも更新された場合、追跡情報選択部４６は、物体が現実世界に存在する事後確率（Track Score）が最大のものを追跡情報として選択する。追跡情報送信部４７は、追跡情報選択部４６が選択した事後確率が最大の追跡情報を制御監視手段５０に送信する。事後確率が最大のものを制御監視手段５０に送信する追跡情報として選定することで、物体を精度良く追跡できる。なお、追跡情報選択部４６は、対応付けコストの小さい方を追跡情報として選択することもできる。リスト共有部４３の共有処理のフローチャートを図６に示す。 The sharing process will be described in detail. First, only the observation information of the tracking list ^Ti = {T ₁ ⁱ , T ₂ ⁱ ...} using only the observation information of the i-th millimeter-wave radar M ^{i and} the observation information of the j-th millimeter-wave radar M ^j adjacent to it are used. Consider the tracking list T ^j = {T ₁ ^j , T ₂ ^j ...}. The tracking list unit 42 records the tracking information in the tracking list for each millimeter-wave radar. That is, tracking information using the observation information of the i-th of a millimeter wave radar M ⁱ is recorded in the track list T ^i, tracking information using the observation information of the j-th of a millimeter wave radar M ^j is recorded in the track list T ^j Will be done. List sharing unit 43, the T tracking information Confirmed mode in ⁱ compared with tracking information in T ^j, T to be in the tracking information of the same ID in ^j the k-th tracking information T _k ⁱ a T Add (duplicate) to ^j. Then, the association unit 45 associates the shared tracking information T _k ^{i with} the observation information of the shared destination millimeter wave radar M ^j. At this time, if there is a correspondence, the state is updated and T _k ⁱ remains in T ^j, and if there is no correspondence, it is removed from ^{T j.} In this way, when the added tracking information is not associated with the observation information of the sharing destination millimeter-wave radar, by removing the added tracking information, unnecessary information can be reduced and the processing time can be shortened.
Finally, ^{when both T i} and T _k ⁱ in ^{T j} are updated, the tracking information selection unit 46 selects the object having the maximum posterior probability (Track Score) in the real world as the tracking information. .. The tracking information transmission unit 47 transmits the tracking information with the maximum posterior probability selected by the tracking information selection unit 46 to the control monitoring means 50. By selecting the one with the maximum posterior probability as the tracking information to be transmitted to the control monitoring means 50, the object can be tracked with high accuracy. The tracking information selection unit 46 can also select the one with the smaller association cost as the tracking information. FIG. 6 shows a flowchart of the sharing process of the list sharing unit 43.

図６において、共有処理が開始されると、ｉ番目のミリ波レーダ（ＭＷＲ）Ｍ^ｉとｊ番目のミリ波レーダＭ^jの観測領域が隣接しているか否かを判断する（ステップ１）。
ステップ１において、ｉ番目のミリ波レーダＭ^ｉとｊ番目のミリ波レーダＭ^jの観測領域が隣接していないと判断された場合には、ステップ１に戻り、隣接するｉ番目のミリ波レーダＭ^ｉとｊ番目のミリ波レーダＭ^jが見つかるまで判断を繰返す。
ステップ１において、ｉ番目のミリ波レーダＭ^ｉとｊ番目のミリ波レーダＭ^jの観測領域が隣接していると判断された場合には、ｉ番目のミリ波レーダＭ^ｉの観測情報を用いて作成された追跡情報が記録された追跡リストＴ^ｉ内に、ｊ番目のミリ波レーダＭ^jを用いて作成された追跡情報が記録された追跡リストＴ^ｊ内に存在しない識別用のＩＤが付与された追跡情報Ｔ_k ⁱが存在するか否かを比較する（ステップ２）。
ステップ２において、追跡リストＴ^ｉ内に、追跡リストＴ^ｊ内には存在しない識別用のＩＤが付与された追跡情報Ｔ_k ⁱが存在しない場合には、ステップ１に戻る。
ステップ２において、追跡リストＴ^ｉ内に、追跡リストＴ^ｊ内には存在しない識別用のＩＤが付与された追跡情報Ｔ_k ⁱが存在する場合には、追跡リストＴ^ｊに追跡情報Ｔ_k ⁱを複製して共有する（ステップ３）。
ステップ３の後、全てのミリ波レーダの追跡リスト同士を比較したか否かを判断する（ステップ４）。
ステップ４において、全てのミリ波レーダの追跡リスト同士を比較していないと判断した場合には、ステップ１に戻る。
ステップ４において、全てのミリ波レーダの追跡リスト同士を比較したと判断した場合には、各ミリ波レーダの観測情報と追跡リストを用いてコスト行列を作成し、前時刻における追跡情報と次時刻における観測情報の対応付けを探索する（ステップ５）。
ステップ５の後、ステップ３において共有した追跡情報Ｔ_k ⁱに対応付けられる観測情報が共有先のミリ波レーダＭ^jの観測情報に存在するか否かを判断する（ステップ６）。
ステップ６において、共有した追跡情報Ｔ_k ⁱに対応付けられる観測情報が共有先のミリ波レーダＭ^jの観測情報に存在する場合には、共有した追跡情報Ｔ_k ⁱを更新して追跡リストＴ^ｊ内に保持する（ステップ７）。
ステップ６において、共有した追跡情報Ｔ_k ⁱに対応付けられる観測情報が共有先のミリ波レーダＭ^jの観測情報に存在しない場合には、共有した追跡情報Ｔ_k ⁱを追跡リストＴ^ｊ内から削除する（ステップ８）。
ステップ７又はステップ８の後、あるＩＤが付与された追跡情報について、複数の追跡リストに同じＩＤが付与された追跡情報が存在するか否かを判断する（ステップ９）。
ステップ９において、複数の追跡リストに、同じＩＤが付与された追跡情報が存在すると判断された場合には、同じＩＤが付与された追跡情報の内、物体が現実世界に存在する事後確率（Track Score）が最も大きい追跡情報を制御監視手段５０に送信する（ステップ１０）。
ステップ９において、複数の追跡リストに、同じＩＤが付与された追跡情報が存在しないと判断された場合には、そのまま追跡情報を制御監視手段５０に送信する（ステップ１１）。
ステップ１０又はステップ１１の後、次のフレームで同様の処理が行われる。 6, when sharing process is started, the observation area of the i-th of a millimeter wave radar (MWR) M ⁱ and j th of a millimeter wave radar M ^j determines whether adjacent (Step 1).
In Step 1, when the observation area of the i-th of a millimeter wave radar M ⁱ and j th of a millimeter wave radar M ^j is determined not adjacent, the process returns to step 1, the i-th of a millimeter wave radar adjacent M ⁱ and j-th of a millimeter-wave radar M ^j repeats the judgment until you find.
If it is determined in step 1 that the observation areas of the i-th millimeter-wave radar M ⁱ and the j-th millimeter-wave radar M ^j are adjacent to each other, the observation information of the i-th millimeter-wave radar M ^{i is used.} In the tracking list T ⁱ in which the tracking information created in the above is recorded, there is an identification ID that does not exist in ^{the tracking list T j} in which the tracking information created by using the j-th millimeter wave radar M ^{j is recorded.} Compare whether or not the given tracking information T _k ⁱ exists (step 2).
In Step 2, in the tracking list T ^i, if the track list T ^j tracking information T _k ⁱ where ID for identifying the absence have been given in the absence, the process returns to step 1.
In Step 2, in the tracking list T ^i, if the track list T ^j tracking information T _k ⁱ where ID for identifying the absence have been given in the present, tracking information T _k ⁱ in tracking list T ^j Is duplicated and shared (step 3).
After step 3, it is determined whether or not the tracking lists of all millimeter wave radars have been compared (step 4).
If it is determined in step 4 that the tracking lists of all millimeter-wave radars have not been compared, the process returns to step 1.
If it is determined in step 4 that the tracking lists of all millimeter-wave radars have been compared, a cost matrix is created using the observation information and tracking list of each millimeter-wave radar, and the tracking information at the previous time and the next time are used. Search for the correspondence of the observation information in (step 5).
After step 5, it is determined whether or not the observation information associated with the tracking information T _k ⁱ shared in step 3 exists in the observation information of the shared destination millimeter-wave radar M ^{j (step 6).}
In step 6, if the _{observation information associated with the shared tracking information T k} ⁱ exists in the observation information of the shared destination millimeter-wave radar M ^j , the shared tracking information T _k ⁱ is updated and the tracking list T ^{Hold in j} (step 7).
In step 6, if the _{observation information associated with the shared tracking information T k} ⁱ does not exist in the observation information of the shared destination millimeter-wave radar M ^j , the shared tracking information T _k ⁱ is obtained from the tracking list T ^j . Delete (step 8).
After step 7 or step 8, with respect to the tracking information to which a certain ID is given, it is determined whether or not the tracking information to which the same ID is given exists in a plurality of tracking lists (step 9).
In step 9, when it is determined that the tracking information with the same ID exists in the plurality of tracking lists, the posterior probability (Track) that the object exists in the real world among the tracking information with the same ID. The tracking information having the highest score) is transmitted to the control monitoring means 50 (step 10).
In step 9, when it is determined that the tracking information to which the same ID is assigned does not exist in the plurality of tracking lists, the tracking information is transmitted to the control monitoring means 50 as it is (step 11).
After step 10 or step 11, the same process is performed in the next frame.

次に、本発明の被観測物追跡装置を用いた実験について説明する。金沢大学構内の道路にて、物体を先行車両として実験を行った。先行車両は約１５〜２０km/hで走行しており、実験車両（自車両）１０もほぼ同じ速度で走行して先行車両を追跡する。先行車両は直線道路を走行した後に交差点で右折する。実験車両１０も同様に右折する。追跡実験を行った時間は２０［ｓ］（４００フレーム）である。走行した経路を図７に白矢印で示す。図７における背景は全方位ＬＩＤＡＲ２２から得られる赤外線反射率を利用して生成した地図画像である。そして上述のようにConfirmedモードで追跡された物体の追跡情報を、隣接するミリ波レーダ３１〜３９の観測情報を用いた追跡リストに共有する。ここで、モード遷移のためのパラメータはＰ_cnf＝０．９９９，Ｐ_stop＝０．１００，Ｄ_move＝１．５［ｍ］，Ｐ_dlt＝０．２００，Ｎ_dlt＝３と設定した。 Next, an experiment using the observed object tracking device of the present invention will be described. An experiment was conducted on the road on the premises of Kanazawa University with an object as the preceding vehicle. The preceding vehicle travels at about 15 to 20 km / h, and the experimental vehicle (own vehicle) 10 also travels at almost the same speed to track the preceding vehicle. The preceding vehicle will turn right at the intersection after traveling on a straight road. Similarly, turn right on the experimental vehicle 10. The time during which the follow-up experiment was performed is 20 [s] (400 frames). The route traveled is indicated by a white arrow in FIG. The background in FIG. 7 is a map image generated by using the infrared reflectance obtained from the omnidirectional LIDAR 22. Then, as described above, the tracking information of the object tracked in the confirmed mode is shared with the tracking list using the observation information of the adjacent millimeter wave radars 31 to 39. Here, the parameters for the mode transition were set to P _cnf = 0.999, P _stop = 0.100, D _move = 1.5 [m], P _dlt = 0.200, and N _dlt = 3.

次に、実験の結果を示す。実験車両１０は直線道路において車両前方のミリ波レーダ（図２の第１のミリ波レーダ３１）で先行車両を追跡した。その後、先行車両が交差点を右折した際には車両右斜め前のミリ波レーダ（図２の第９のミリ波レーダ３９）と追跡情報を共有することによりロストすることなく追跡を継続した。そして、実験車両が右折を終えて直線に戻った際には車両前方のミリ波レーダと追跡情報を共有することによりロストすることなく追跡を継続した。この結果を図８に示す。図８において太線のプロットが略全方位ミリ波レーダシステム３０の各ミリ波レーダ３１〜３９の観測情報を用いてそれぞれで追跡処理を行い、追跡情報を共有したときの先行車両の軌跡である。また、図８の破線のプロットは実験車両前方に取り付けたミリ波レーダのみで先行車両を追跡した場合の軌跡である。実験車両前方に取り付けたミリ波レーダのみで先行車両を追跡した場合は、先行車両が交差点を右折した後、実験車両も右折を行い前方に先行車両をとらえるまでの間、ロストしてしまう結果となった。
表２にロストしたフレーム数や処理時間などを示す。また、各フレームの処理時間と観測情報数の関係を図９に示す。図９において、濃い線が本実施例による略全方位ミリ波レーダシステム３０を利用し追跡情報の共有を行った追跡処理時間を示し、薄い線が実験車両前方に取り付けたミリ波レーダのみを用いた場合の追跡処理時間を示す。
表２より実験車両前方のミリ波レーダのみを用いた場合、先行車両を９６フレームの間ロストしたことがわかる。つまりミリ波レーダの観測周波数２０［Ｈｚ］を考慮すると４．８［ｓ］の間、実験車両は先行車両を見失い、先行車両が急ブレーキをかけたとしても衝突の危険性を察知することができないといえる。これに対して本実施例による略全方位ミリ波レーダシステム３０の各ミリ波レーダ３１〜３９の観測情報を用いてそれぞれで追跡処理を行い、追跡情報を共有したときの処理時間は、観測情報の数の分、前方のミリ波レーダのみを用いた場合よりは大きくなったが、リアルタイムでの処理でロストの無い効率的かつ効果的な追跡が行えることがわかる。

Next, the results of the experiment are shown. The experimental vehicle 10 tracked the preceding vehicle with a millimeter-wave radar (first millimeter-wave radar 31 in FIG. 2) in front of the vehicle on a straight road. After that, when the preceding vehicle turned right at the intersection, the tracking was continued without being lost by sharing the tracking information with the millimeter wave radar (9th millimeter wave radar 39 in FIG. 2) diagonally to the right of the vehicle. Then, when the experimental vehicle finished turning right and returned to a straight line, it continued tracking without being lost by sharing tracking information with the millimeter-wave radar in front of the vehicle. The result is shown in FIG. In FIG. 8, the thick line plot is the trajectory of the preceding vehicle when tracking processing is performed by each of the observation information of each millimeter wave radar 31 to 39 of the substantially omnidirectional millimeter wave radar system 30 and the tracking information is shared. The broken line plot in FIG. 8 is a trajectory when the preceding vehicle is tracked only by the millimeter wave radar attached to the front of the experimental vehicle. If the preceding vehicle is tracked only by the millimeter-wave radar installed in front of the experimental vehicle, after the preceding vehicle turns right at the intersection, the experimental vehicle also turns right and is lost until the preceding vehicle is caught in front. became.
Table 2 shows the number of lost frames and the processing time. Further, FIG. 9 shows the relationship between the processing time of each frame and the number of observation information. In FIG. 9, the dark line shows the tracking processing time for sharing the tracking information using the substantially omnidirectional millimeter-wave radar system 30 according to the present embodiment, and the thin line uses only the millimeter-wave radar attached to the front of the experimental vehicle. Shows the tracking processing time when there is.
From Table 2, it can be seen that when only the millimeter-wave radar in front of the experimental vehicle was used, the preceding vehicle was lost for 96 frames. In other words, considering the observation frequency of 20 [Hz] of the millimeter-wave radar, the experimental vehicle loses sight of the preceding vehicle during 4.8 [s], and even if the preceding vehicle suddenly brakes, it can detect the danger of collision. It can be said that it cannot be done. On the other hand, the tracking processing is performed by each of the observation information of each millimeter wave radar 31 to 39 of the substantially omnidirectional millimeter wave radar system 30 according to the present embodiment, and the processing time when the tracking information is shared is the observation information. It is larger than the case where only the millimeter wave radar in front is used by the number of the above, but it can be seen that the processing in real time enables efficient and effective tracking without loss.

本発明による物体追跡装置は、特に自動運転自動車に適用することで、先行車両や後続車両等に対して継続したリアルタイムな追跡を実現できる。 The object tracking device according to the present invention can realize continuous real-time tracking of a preceding vehicle, a following vehicle, or the like, particularly by being applied to an autonomous driving vehicle.

１０自車両
２１ＧＮＳＳ複合航法システム
２２全方位ＬＩＤＡＲ
３０略全方位センサシステム（観測情報取得手段）
３１、３２、３３、３４、３５、３６、３７、３８、３９センサ
４０追跡情報作成管理手段
４１追跡情報作成部
４２追跡リスト部
４３リスト共有部
４４移動物判断部
４５対応付け部
４６追跡情報選択部
４７追跡情報送信部
５０制御監視手段 10 Own vehicle 21 GNSS combined navigation system 22 Omnidirectional LIDAR
30 Approximately omnidirectional sensor system (observation information acquisition means)
31, 32, 33, 34, 35, 36, 37, 38, 39 Sensor 40 Tracking information creation management means 41 Tracking information creation unit 42 Tracking list unit 43 List sharing unit 44 Moving object judgment unit 45 Corresponding unit 46 Tracking information selection Unit 47 Tracking information transmission unit 50 Control and monitoring means

Claims

An object tracking device that estimates the state of moving objects around the vehicle in chronological order.
Observation information acquisition means for acquiring observation information of the object, and
It is provided with a tracking information creation management means that creates and manages tracking information of the object using the observation information acquired by the observation information acquisition means.
The observation information acquisition means includes a plurality of observation information acquisition units that acquire the distance, angle, or relative speed between the own vehicle and the object as the observation information.
The tracking information creation management means
Tracking information creation department and
Tracking list section and
And the tracking list sharing unit,
It has an association part and
The tracking information creation unit creates the tracking information including the identification ID given to the object and the estimated state at the next time of the object for each observation information acquired by each observation information acquisition unit. ,
The tracking list unit records the tracking information created by the tracking information creating unit in the tracking list for each observation information acquisition unit.
The tracking list sharing unit compares the tracking list of one observation information acquisition unit adjacent to the observation area with the tracking list of the other observation information acquisition unit, and adds the tracking list of one observation information acquisition unit to the other. When the tracking information with the ID that does not exist in the tracking list of the observation information acquisition unit exists, the tracking information with the ID that does not exist is used as the tracking information of the other observation information acquisition unit. There line sharing process to be replicated to the list,
The associating unit associates the tracking information at the previous time with the observation information at the next time for each observation information acquisition unit.
When the matching unit can associate the tracking information duplicated in the tracking list of the other observation information acquisition unit by the tracking list sharing unit, the tracking list unit duplicates the tracking information. Is updated and held in the tracking list of the other observation information acquisition unit .

The observation information acquisition unit is installed in front of and behind the own vehicle.
The object tracking device according to claim 1, wherein the number of the observation information acquisition units installed in the front is larger than the number of the observation information acquisition units installed in the rear.

The object tracking device according to claim 1, wherein the observation information acquisition unit is installed in front of, behind, and to the side of the own vehicle.

The tracking information creation management means includes a moving object determination unit that determines whether or not the object is a moving object.
Any one of claims 1 to 3, wherein the tracking list sharing unit performs the sharing process on the tracking information of the object determined to be a moving object by the moving object determination unit. The object tracking device described in.

Prior Symbol tracking list section, and if the previous SL correspondence 342C not map, claim 1, wherein the deletion replicated the tracking information from the tracking list of the other of said observation information acquisition unit The object tracking device according to any one of claims 4.

When the tracking information to which the same ID is assigned exists in the plurality of tracking lists, the tracking information creation management means has a tracking information selection unit that selects one of the tracking information, and the tracking. A tracking information transmitting unit for transmitting the tracking information selected by the information selection unit to a control monitoring means for controlling or monitoring the own vehicle is provided.
The object tracking device according to any one of claims 1 to 5, wherein the tracking information selection unit selects the tracking information having the highest posterior probability that the object exists in the real world.