JP7017217B1 - Target tracking device - Google Patents

Target tracking device Download PDF

Info

Publication number
JP7017217B1
JP7017217B1 JP2021131551A JP2021131551A JP7017217B1 JP 7017217 B1 JP7017217 B1 JP 7017217B1 JP 2021131551 A JP2021131551 A JP 2021131551A JP 2021131551 A JP2021131551 A JP 2021131551A JP 7017217 B1 JP7017217 B1 JP 7017217B1
Authority
JP
Japan
Prior art keywords
time
series
objects
series image
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021131551A
Other languages
Japanese (ja)
Other versions
JP2023026003A (en
Inventor
ソン グエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asilla Inc
Original Assignee
Asilla Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asilla Inc filed Critical Asilla Inc
Priority to JP2021131551A priority Critical patent/JP7017217B1/en
Application granted granted Critical
Publication of JP7017217B1 publication Critical patent/JP7017217B1/en
Publication of JP2023026003A publication Critical patent/JP2023026003A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 時系列画像に映った対象を追跡するための対象追跡装置を提供する。【解決手段】 対象追跡装置1は、一連の時系列画像Xに映った複数の対象を追跡する追跡部3と、一連の時系列画像Xにおける複数の対象間の対象間距離を測定する測定部4と、測定された第1の対象Aと第2の対象Bとの間の対象間距離Yに基づき、第2の対象Bが第1の対象Aに接近中であるか否かを判定する判定部5と、第1の時系列画像X1において接近中と判定されていた第2の対象Bを第2の時系列画像X2において追跡部3が追跡できなくなり、かつ、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以内であった場合に、第2の時系列画像X2以降の時系列画像において、追跡が継続されている第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定する決定部7と、を備えている。【選択図】図4PROBLEM TO BE SOLVED: To provide an object tracking device for tracking an object reflected in a time-series image. A target tracking device 1 has a tracking unit 3 that tracks a plurality of objects reflected in a series of time-series images X, and a measurement unit that measures a distance between the objects in a series of time-series images X. Based on 4 and the measured distance Y between the first target A and the second target B, it is determined whether or not the second target B is approaching the first target A. The determination unit 5 and the second target B determined to be approaching in the first time-series image X1 cannot be tracked by the tracking unit 3 in the second time-series image X2, and the first time-series image When the distance Y between the objects between the first object A and the second object B in X1 is within the first predetermined distance, the tracking is performed in the time series images after the second time series image X2. It includes a determination unit 7 that determines to treat the continuing first object A as an integral part of the second object B. [Selection diagram] FIG. 4

Description

本発明は、時系列画像に映った対象を追跡するための対象追跡装置に関する。 The present invention relates to an object tracking device for tracking an object reflected in a time-series image.

従来より、行動体の複数の関節の座標及び深度の時系列画像における変位に基づき、行動体の行動を推定する行動推定装置が知られている(例えば、特許文献1参照)。 Conventionally, a behavior estimation device that estimates the behavior of a behavioral body based on the displacement of the coordinates and depths of a plurality of joints of the behavioral body in a time-series image has been known (see, for example, Patent Document 1).

特許第6525179号Patent No. 6525179

上記技術では、時系列画像において同一の行動体を特定(追跡)する必要があるが、複数の行動体が重なった場合には行動体の追跡に失敗してしまうことがある。 In the above technique, it is necessary to identify (track) the same behavior in a time-series image, but if a plurality of behaviors overlap, the tracking of the behavior may fail.

そこで、本発明は、時系列画像に映った対象を高精度に追跡することが可能な対象追跡装置を提供することを目的としている。 Therefore, an object of the present invention is to provide an object tracking device capable of tracking an object reflected in a time-series image with high accuracy.

本発明は、一連の時系列画像に映った複数の対象を追跡する追跡部と、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定する測定部と、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定する判定部と、第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡部が追跡できなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、を備えたことを特徴とする対象追跡装置を提供している。 The present invention is a tracking unit that tracks a plurality of objects reflected in a series of time-series images, and a measurement that measures the distance between the objects in at least a plurality of time-series images in the series of time-series images. A determination unit for determining whether or not the second object is approaching the first object based on the distance between the unit and the measured distance between the first object and the second object. The second target, which was determined to be approaching in the first time-series image, cannot be tracked by the tracking unit in the second time-series image following the first time-series image, and When the distance between the objects in the first time-series image between the first object and the second object is within the first predetermined distance, the time series after the second time-series image. Provided is an object tracking device comprising: a determination unit that determines to treat a first object whose tracking is continued in an image as an integral part of the second object. There is.

また、前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において前記追跡部が第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定部は、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することが好ましい。 Further, in the third time-series image following the time-series image in which the first object is treated as integrated with the second object, the tracking unit newly starts tracking the third object. Moreover, when the distance between the objects in the third time-series image between the first object and the third object is within the second predetermined distance, the determination unit determines the third object. In the time-series images after the time-series image, the treatment of the first object as one integrated with the second object is stopped, and the third object newly started to be tracked is the second object. It is preferable to decide to treat it as an object.

また、前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数部は、前記第2の対象を加えて計数することが好ましい。 Further, among the tracking objects, a counting unit for counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image is further provided, and is integrated with the second object. When the first object, which is treated as a ghost, passes through the detection line, it is preferable that the counting unit adds the second object to count.

また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備えたことを特徴とする対象追跡プログラムを提供している。 Further, according to another aspect of the present invention, a program installed on a computer, in which a step of tracking a plurality of objects reflected in a series of time-series images, and at least a plurality of the series of time-series images. Based on the step of measuring the distance between objects in the time-series image of the above and the distance between the objects measured between the first object and the second object, the second object is the second object. The step of determining whether or not the object is approaching 1 and the second object determined to be approaching in the first time-series image are the second following the first time-series image. When the tracking cannot be performed in the time-series image of the above, and the distance between the objects in the first time-series image between the first object and the second object is within the first predetermined distance. In addition, in the time-series images after the second time-series image, the step of determining to treat the first object whose tracking is continued as one integrated with the second object is provided. It provides a target tracking program characterized by this.

また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備えたことを特徴とする対象追跡方法を提供している。 Further, according to another aspect of the present invention, a step of tracking a plurality of objects reflected in a series of time-series images and a plurality of objects in at least a plurality of time-series images in the series of time-series images. Whether or not the second target is approaching the first target based on the step of measuring the distance between the objects and the distance between the measured first target and the second target. The step of determining whether or not the second target, which was determined to be approaching in the first time-series image, cannot be tracked in the second time-series image following the first time-series image. Moreover, when the distance between the objects in the first time-series image between the first object and the second object is within the first predetermined distance, the second time-series image and thereafter. Provided is an object tracking method comprising: a step of determining to treat a first object whose tracking is continued as one integrated with the second object in the time-series image of the above. is doing.

また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡する追跡部と、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定する測定部と、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定する判定部と、第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、を備え、前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定部は、前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡装置を提供している。 Further, according to another aspect of the present invention, there is a tracking unit that tracks a plurality of objects reflected in a series of time-series images, and a plurality of objects in at least a plurality of time-series images in the series of time-series images. The first target and the second target are approaching based on the distance between the measuring unit for measuring the distance between the objects and the measured distance between the first target and the second target. A determination unit for determining whether or not the image is approaching, and an object between the first object and the second object in the first time-series image, which is determined to be approaching. When the distance is equal to or less than the first predetermined distance, it is decided to treat the first object as one integrated with the second object in the time series images after the first time series image. Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the determination unit continues the tracking. Provided is an object tracking device characterized in that it maintains a decision to treat the first object as an integral part of the second object.

また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備え、前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡プログラムを提供している。 Also, according to another aspect of the invention, a computer-installed program that tracks a plurality of objects in a series of time-series images and at least a plurality of the series of time-series images. Based on the step of measuring the distance between objects in the time-series image of the above and the distance between the objects measured between the first object and the second object, the first object and the first object are described. The step of determining whether or not the second object is approaching, the first object and the second object in the first time-series image, which are determined to be approaching, and the first time-series image. When the distance between the objects is equal to or less than the first predetermined distance, the first object is integrated with the second object in the time-series images after the first time-series image. The step of determining the second object is provided even when the tracking unit cannot track the second object in the time-series image after the first time-series image. Provided in the subject tracking program, characterized in that the determination to treat the first subject to which the tracking is continued as an integral part with the second subject is maintained.

また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備え、前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡方法を提供している。 Further, according to another aspect of the present invention, a step of tracking a plurality of objects reflected in a series of time-series images and between the plurality of objects in at least a plurality of time-series images in the series of time-series images. Whether or not the first target and the second target are approaching based on the step of measuring the distance between the objects and the distance between the measured first target and the second target. The step of determining whether or not, and the distance between the objects determined to be approaching in the first time-series image and between the first object and the second object in the first time-series image are When the distance is equal to or less than the first predetermined distance, in the time-series images after the first time-series image, the step of deciding to treat the first object as one integrated with the second object. , And even if the tracking unit cannot track the second target in the time-series image after the first time-series image, the tracking is continued in the determination step. Provided is a subject tracking method characterized in that the determination to treat the subject as one with the second subject is maintained.

本発明の対象追跡装置によれば、時系列画像に映った対象を高精度に追跡することが可能となる。 According to the object tracking device of the present invention, it is possible to track an object reflected in a time-series image with high accuracy.

本発明の実施の形態による追跡の説明図Explanatory drawing of tracking by embodiment of this invention 本発明の実施の形態による対象追跡装置のブロック図Block diagram of the target tracking device according to the embodiment of the present invention 本発明の実施の形態による対象間距離の説明図Explanatory drawing of distance between objects by embodiment of this invention 本発明の実施の形態による対象追跡装置のフローチャートFlow chart of the target tracking device according to the embodiment of the present invention 本発明の変形例による対象間距離の説明図Explanatory drawing of distance between objects by modification of this invention

以下、本発明の実施の形態による対象追跡装置1について、図1-図4を参照して説明する。 Hereinafter, the target tracking device 1 according to the embodiment of the present invention will be described with reference to FIGS. 1 to 4.

対象追跡装置1は、図1に示すように、一連の時系列画像Xに映った複数の対象(図1では、第1の対象A及び第2の対象B)を追跡するためのものである。本実施の形態では、対象として、人間を例に説明を行う。 As shown in FIG. 1, the object tracking device 1 is for tracking a plurality of objects (first object A and second object B in FIG. 1) reflected in a series of time-series images X. .. In the present embodiment, a human being will be used as an example for explanation.

対象追跡装置1は、図2に示すように、取得部2と、追跡部3と、測定部4と、判定部5と、決定部6と、計数部7と、を備えている。 As shown in FIG. 2, the target tracking device 1 includes an acquisition unit 2, a tracking unit 3, a measurement unit 4, a determination unit 5, a determination unit 6, and a counting unit 7.

取得部2は、一連の時系列画像Xを取得する。本実施の形態では、固定された撮影手段により撮影された所定の空間の映像を構成する一連のフレームを、一連の時系列画像Xとして取得するものとする。 The acquisition unit 2 acquires a series of time-series images X. In the present embodiment, it is assumed that a series of frames constituting an image of a predetermined space shot by a fixed shooting means is acquired as a series of time-series images X.

追跡部3は、一連の時系列画像Xに映った複数の対象(本実施の形態では、第1の対象A及び第2の対象B)を追跡する。 The tracking unit 3 tracks a plurality of objects (in the present embodiment, the first object A and the second object B) reflected in a series of time-series images X.

追跡の方法としては様々なものが考えられるが、本実施の形態では、一の時系列画像Xにおいて検出された複数の関節の集合体に基づき対象を特定し、当該検出された関節の集合体に対応する集合体を次の時系列画像Xにおいて検出した際に、同一の対象と特定して追跡を行う。 Various tracking methods can be considered, but in the present embodiment, the target is specified based on the aggregate of a plurality of joints detected in one time-series image X, and the aggregate of the detected joints is specified. When the aggregate corresponding to is detected in the next time-series image X, it is identified as the same target and tracked.

測定部4は、一連の時系列画像Xのうちの少なくとも複数の時系列画像Xにおける複数の対象間の対象間距離Yを測定する。本実施の形態では、各時系列画像Xにおける対象間の対象間距離Yを測定するものとするが、所定枚数ごとに測定しても良いし、任意の時系列画像Xのみで対象間距離Yを測定しても良い。対象間距離Yとしては、絶対的な距離であっても相対的な距離であっても良い。 The measuring unit 4 measures the distance Y between objects in at least a plurality of time-series images X in a series of time-series images X. In the present embodiment, the distance Y between objects in each time-series image X is measured, but the distance Y between objects may be measured for each predetermined number of images, or the distance Y between objects may be measured only in any time-series image X. May be measured. The distance Y between the objects may be an absolute distance or a relative distance.

なお、本実施の形態では、図1に示す側方から撮影された時系列画像Xから、図3(a)に示す水平面上の対象間距離Yを算出する。 In this embodiment, the distance Y between objects on the horizontal plane shown in FIG. 3A is calculated from the time-series image X taken from the side shown in FIG.

この算出方法としては様々なものが考えられるが、本実施の形態では、各時系列画像Xに映る第1の対象A及び第2の対象Bのサイズから第1の対象A及び第2の対象Bの水平面上の座標をそれぞれ推定し、当該座標間の距離を対象間距離Yとして算出する。 Various methods can be considered for this calculation method, but in the present embodiment, the first target A and the second target A and the second target are selected from the sizes of the first target A and the second target B reflected in each time-series image X. The coordinates of B on the horizontal plane are estimated, and the distance between the coordinates is calculated as the distance Y between the objects.

判定部5は、測定されたた第1の対象Aと第2の対象Bとの間の対象間距離Yに基づき、第2の対象Bが第1の対象Aに接近中であるか否かを判定する。 The determination unit 5 determines whether or not the second target B is approaching the first target A based on the measured distance Y between the first target A and the second target B. To judge.

これは、一の時系列画像Xにおける対象間距離Yが直前の時系列画像Xにおける対象間距離Yよりも短くなっていた場合に“接近中”と判定しても良いし、所定枚数前の時系列画像Xにおける対象間距離Yよりも短くなっていた場合に“接近中”と判定しても良い。 This may be determined as "approaching" when the inter-object distance Y in one time-series image X is shorter than the inter-object distance Y in the immediately preceding time-series image X, or may be determined to be "approaching". When the distance between the objects in the time-series image X is shorter than the distance Y, it may be determined as "approaching".

決定部6は、図3(b)(c)に示すように、第1の時系列画像X1において“接近中”と判定されていた第2の対象Bを、第1の時系列画像X1に続く第2の時系列画像X2において追跡部3が追跡できなくなり、かつ、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以内であった場合に、第2の時系列画像X2以降の時系列画像Xにおいて、追跡が継続されている第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定する。 As shown in FIGS. 3 (b) and 3 (c), the determination unit 6 converts the second target B determined to be “approaching” in the first time-series image X1 into the first time-series image X1. In the subsequent second time-series image X2, the tracking unit 3 cannot be tracked, and the distance Y between the first target A and the second target B in the first time-series image X1 is the first. When it is within a predetermined distance, in the time series image X after the second time series image X2, the first target A whose tracking is continued is treated as integrated with the second target B. decide.

これは、「それまで第1の対象Aに“接近中”であった第2の対象Bを追跡できなくなった」ことは、「第2の対象Bが第1の対象Aと重なっているはずである」という考えに起因したものである。 This means that "the second target B, which was" approaching "the first target A until then, can no longer be tracked" means that "the second target B should overlap with the first target A." It is due to the idea that "is."

これにより、対象の重なりを検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の重なりを検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。 This makes it possible to easily detect the overlap of objects with a low load without providing a high-performance and high-load configuration for detecting the overlap of objects, thereby realizing highly accurate tracking of objects. It becomes possible.

なお、一体として取り扱うタイミングは、追跡部3の能力に依存する。例えば、追跡部3の能力が高ければ、第1の対象Aと第2の対象Bの大部分が重なって初めて一体化したものとして取り扱うことになり、追跡部3の能力が低ければ、第1の対象Aと第2の対象Bの一部が重なっただけでも一体化したものとして取り扱うことになり得る。 The timing of handling as a unit depends on the ability of the tracking unit 3. For example, if the ability of the tracking unit 3 is high, it will be treated as integrated only when most of the first target A and the second target B overlap, and if the ability of the tracking unit 3 is low, the first Even if a part of the object A and the second object B overlap each other, they can be treated as one.

また、本実施の形態では、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以内であることを条件として、第2の時系列画像X2以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うので、これにより、第2の対象Bが第1の対象Aから遠く離れているにも関わらず何らかの原因で第2の対象Bを追跡できなかった場合にまで、第2の対象Bを第1の対象Aと一体化したものとして取り扱ってしまうことが防止される。 Further, in the present embodiment, the first is provided that the distance Y between the objects in the first time-series image X1 between the first object A and the second object B is within the first predetermined distance. In the time-series image X after the time-series image X2 of 2, the first target A is treated as integrated with the second target B, so that the second target B is far from the first target A. Even when the second target B cannot be tracked for some reason even though it is distant, it is possible to prevent the second target B from being treated as integrated with the first target A.

なお、第1の所定距離としては、「対象間距離Yがどれくらいになると追跡部3が第2の対象Bを追跡できなくなるか」を実験等により求めた上で、適当な距離を設定すれば良い。 As the first predetermined distance, if an appropriate distance is set after obtaining "how long the distance Y between the objects becomes so that the tracking unit 3 cannot track the second object B" by an experiment or the like. good.

更に、決定部6は、図3(d)に示すように、第1の対象Aを第2の対象Bと一体化したものとして取り扱っていた時系列画像Xに続く第3の時系列画像X3において追跡部3が第3の対象Cの追跡を新たに開始し、かつ、第3の時系列画像X3における第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であった場合に、第3の時系列画像X3以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことを中止し、新たに追跡を開始された第3の対象Cを第2の対象Bとして取り扱うことに決定する。 Further, as shown in FIG. 3D, the determination unit 6 treats the first target A as an integrated body with the second target B, and the third time-series image X3 following the time-series image X. In, the tracking unit 3 newly starts tracking the third target C, and the distance Y between the first target A and the third target C in the third time-series image X3 is a second predetermined distance. If it is within a distance, in the time series image X after the third time series image X3, the treatment of the first target A as one integrated with the second target B is stopped, and tracking is newly performed. It is decided to treat the started third object C as the second object B.

これは、「第1の対象Aから近い位置で第3の対象Cの追跡を新たに開始した」ことは、「第1の対象Aと重なっていた第2の対象Bが第1の対象Aから離れたはずである」という考えに起因したものである。 This means that "the tracking of the third target C was newly started at a position close to the first target A" means that "the second target B that overlapped with the first target A is the first target A." It is due to the idea that "it should be away from."

これにより、対象の分離を検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の分離を検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。 This makes it possible to detect the separation of the target easily and with a low load without providing a high-performance and high-load configuration for detecting the separation of the target, thereby realizing highly accurate tracking of the target. It becomes possible.

なお、第3の対象Cを第2の対象Bとして取り扱うタイミングも、追跡部3の能力に依存する。例えば、追跡部3の能力が高ければ、第1の対象Aと第2の対象Bがある程度分離しただけでも第3の対象Cを第2の対象Bとして取り扱うことになり、追跡部3の能力が低ければ、第1の対象Aと第2の対象Bが完全に分離して初めて第3の対象Cを第2の対象Bとして取り扱うことになり得る。 The timing of treating the third target C as the second target B also depends on the ability of the tracking unit 3. For example, if the ability of the tracking unit 3 is high, even if the first object A and the second object B are separated to some extent, the third object C will be treated as the second object B, and the ability of the tracking unit 3 If is low, the third object C can be treated as the second object B only after the first object A and the second object B are completely separated.

また、本実施の形態では、第3の時系列画像X3における第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であることを条件として、第3の対象Cを第2の対象Bとして取り扱うので、これにより、第1の対象Aとは遠く離れた位置で第3の対象Cの追跡が開始された場合にまで、第3の対象Cを第2の対象Bとして取り扱ってしまうことが防止される。 Further, in the present embodiment, the third object is provided on the condition that the distance Y between the objects A and the third object C in the third time-series image X3 is within the second predetermined distance. Since the target C is treated as the second target B, the third target C is treated as the second target C even when the tracking of the third target C is started at a position far away from the first target A. It is prevented from being treated as the target B of.

なお、第2の所定距離としては、「対象間距離Yがどれくらいになると追跡部3が第1の対象Aと重なっていた第2の対象Bを個別に追跡し始めるか」を実験等により求めた上で、適当な距離を設定すれば良い。 As the second predetermined distance, "when the inter-target distance Y becomes, the tracking unit 3 starts to individually track the second target B that overlaps with the first target A" by an experiment or the like. After that, you can set an appropriate distance.

計数部7は、追跡している対象のうち、各時系列画像X中の同一の空間位置に仮想的に配置された検出線Z(図1及び図3参照)を通過した対象を計数する。 The counting unit 7 counts the objects being tracked that have passed through the detection lines Z (see FIGS. 1 and 3) virtually arranged at the same spatial position in each time-series image X.

更に、本実施の形態では、第2の対象Bと一体化したものとして取り扱われている第1の対象Aが検出線Zを通過した場合に、計数部7は、第2の対象Bを加えて計数する。 Further, in the present embodiment, when the first target A, which is treated as integrated with the second target B, passes through the detection line Z, the counting unit 7 adds the second target B. And count.

これにより、第1の対象Aに重なっている第2の対象Bを計数し損なうことが防止される。 This prevents the second target B, which overlaps the first target A, from failing to be counted.

続いて、図4のフローチャートを用いて、対象追跡装置1の動作について説明する。以下では、対象A及び対象Bの追跡が既に行われている状態から説明を行う。 Subsequently, the operation of the target tracking device 1 will be described with reference to the flowchart of FIG. In the following, the description will be given from the state in which the tracking of the target A and the target B has already been performed.

まず、一の時系列画像Xを取得し(S1)、取得した時系列画像Xにおいて追跡部3が第2の対象Bを追跡できたか否かを判断する(S2)。 First, one time-series image X is acquired (S1), and it is determined whether or not the tracking unit 3 can track the second target B in the acquired time-series image X (S2).

第2の対象Bを追跡できた場合には(S2:YES)、S1に戻り、次に続く時系列画像Xを取得する。 If the second target B can be tracked (S2: YES), the process returns to S1 and the next time-series image X is acquired.

一方、第2の対象Bを追跡できなかった場合には(S2:NO)、前の時系列画像X(第1の時系列画像X1)において“接近中”と判定され、かつ、第1の時系列画像X1における対象間距離Yが第1の所定距離以内であったか否かを判断する(S3)。 On the other hand, when the second target B cannot be tracked (S2: NO), it is determined as "approaching" in the previous time-series image X (first time-series image X1), and the first time-series image X1 is determined. It is determined whether or not the distance Y between the objects in the time-series image X1 is within the first predetermined distance (S3).

“接近中”又は“第1の所定距離以内”でなかった場合には(S3:NO)、S1に戻り、次に続く時系列画像Xを取得する。 If it is not "approaching" or "within the first predetermined distance" (S3: NO), the process returns to S1 and the next time-series image X is acquired.

一方、“接近中”かつ“第1の所定距離以内”であった場合には(S3:YES)、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定する(S4)。 On the other hand, if it is "approaching" and "within the first predetermined distance" (S3: YES), it is decided to treat the first target A as one integrated with the second target B (S3: YES). S4).

その後、次に続く時系列画像Xを取得し(S5)、追跡部3が第3の対象Cの追跡を新たに開始したか否かを判断する(S6)。 After that, the following time-series image X is acquired (S5), and it is determined whether or not the tracking unit 3 has newly started tracking the third target C (S6).

第3の対象Cの追跡を新たに開始していない場合には(S6:NO)、S5に戻り、次に続く時系列画像Xを取得する。 If the tracking of the third target C has not been newly started (S6: NO), the process returns to S5 and the subsequent time-series image X is acquired.

一方、第3の対象Cの追跡を新たに開始した場合には(S6:YES)、当該時系列画像Xにおける第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であるか否かを判断する(S7)。 On the other hand, when the tracking of the third target C is newly started (S6: YES), the distance Y between the first target A and the third target C in the time-series image X is the second. It is determined whether or not it is within a predetermined distance (S7).

対象間距離Yが第2の所定距離以内でない場合には(S7:NO)、S5に戻り、次に続く時系列画像Xを取得する。 If the distance Y between the objects is not within the second predetermined distance (S7: NO), the process returns to S5 and the next time-series image X is acquired.

一方、対象間距離Yが第2の所定距離以内である場合には(S7:YES)、第3の対象Cを第2の対象Bとして取り扱うことに決定した上で(S8)、S1に戻り、次に続く時系列画像Xを取得する。 On the other hand, when the distance Y between the objects is within the second predetermined distance (S7: YES), it is decided to treat the third object C as the second object B (S8), and then the process returns to S1. , Acquires the following time-series image X.

なお、いずれかのタイミング(時系列画像X)で第1の対象Aが検出線Zを通過した際には第1の対象Aを第2の対象Bと一体化したものとして取り扱っているか否かに基づき対象の計数を行う。 When the first target A passes the detection line Z at any timing (time-series image X), whether or not the first target A is treated as integrated with the second target B. The target is counted based on.

以上説明したように、本実施の形態では、それまで第1の対象Aに“接近中”であった第2の対象Bを追跡できなくなった場合に、以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱う。 As described above, in the present embodiment, when the second target B, which has been "approaching" to the first target A, cannot be tracked, the first time-series image X will be the first. The target A of the above is treated as integrated with the second target B.

このような構成によれば、対象の重なりを検出するための高機能及び高負荷の構成を備えることなく、容易かつ低負荷で対象の重なりを検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。また、第1の対象Aと第2の対象B間の対象間距離Yが第1の所定距離以内であることを条件として、第1の対象Aを第2の対象Bと一体化したものとして取り扱うので、これにより、第2の対象Bが第1の対象Aから遠く離れているにも関わらず何らかの原因で第2の対象Bを追跡できなかった場合にまで、第2の対象Bを第1の対象Aと一体として取り扱ってしまうことが防止される。 With such a configuration, it is possible to easily detect the overlap of the targets with a low load without providing a high-performance and high-load configuration for detecting the overlap of the targets, and thus the height of the target. It is possible to realize accurate tracking. Further, assuming that the first target A is integrated with the second target B, provided that the distance Y between the targets between the first target A and the second target B is within the first predetermined distance. As a result, the second target B is handled even when the second target B cannot be tracked for some reason even though the second target B is far away from the first target A. It is prevented from being treated as one with the object A of 1.

また、本実施の形態では、第1の対象Aを第2の対象Bと一体化したものとして取り扱っていた状況で第3の対象Cの追跡が新たに開始された場合、第3の対象Cを第2の対象Bとして取り扱う。 Further, in the present embodiment, when the tracking of the third target C is newly started in the situation where the first target A is treated as integrated with the second target B, the third target C is used. Is treated as the second object B.

このような構成によれば、対象の分離を検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の分離を検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。また、第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であることを条件として、第3の対象Cを第2の対象Bとして取り扱うので、これにより、第1の対象Aとは遠く離れた位置で第3の対象Cの追跡が開始された場合にまで、第3の対象Cを第2の対象Bとして取り扱ってしまうことが防止される。 With such a configuration, it is possible to detect the separation of the target easily and with a low load without providing a high-performance and high-load configuration for detecting the separation of the target, and thus the high accuracy of the target. It is possible to realize a good tracking. Further, the third target C is treated as the second target B on condition that the distance Y between the targets between the first target A and the third target C is within the second predetermined distance. , It is possible to prevent the third target C from being treated as the second target B until the tracking of the third target C is started at a position far away from the first target A.

また、本実施の形態では、第2の対象Bと一体化したものとして取り扱われている第1の対象Aが検出線Zを通過した場合に、第2の対象Bを加えて計数する。 Further, in the present embodiment, when the first target A, which is treated as being integrated with the second target B, passes through the detection line Z, the second target B is added and counted.

このような構成によれば、第1の対象Aに重なっている第2の対象Bを計数し損なうことが防止される。 According to such a configuration, it is possible to prevent the second target B overlapping the first target A from failing to be counted.

尚、本発明の対象追跡装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。 The target tracking device of the present invention is not limited to the above-described embodiment, and various modifications and improvements can be made within the scope described in the claims.

例えば、上記実施の形態では、「それまで第1の対象Aに“接近中”であった第2の対象Bを追跡できなくなった場合に、以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱った」が、第2の対象Bを追跡できなくなる前から第1の対象Aを第2の対象Bと一体化したものとして取り扱っても良い。 For example, in the above embodiment, "when the second target B, which has been" approaching "the first target A until then, cannot be tracked, the first target A is used in the subsequent time-series image X. Was treated as integrated with the second target B ”, but the first target A may be treated as integrated with the second target B even before the second target B cannot be tracked.

この場合には、図5に示すように、決定部6は、「第1の時系列画像X1において“接近中”と判定され、かつ、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以下であった場合に、第1の時系列画像X1以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定し、更に、第2の時系列画像X2より後の時系列画像Xにおいて追跡部3が第2の対象Bを追跡できなかった場合にも、追跡が継続されている第1の対象Aを第2の対象Bと一体化として取り扱う決定を維持する」構成が考えられる。すなわち、本変形例では、図4におけるS2のステップを行わないこととなる。 In this case, as shown in FIG. 5, the determination unit 6 is determined to be "approaching" in the first time-series image X1 and with the first target A in the first time-series image X1. When the distance Y between the objects with the second object B is equal to or less than the first predetermined distance, the first object A is referred to as the second object A in the time series images X after the first time series image X1. It is decided to treat it as integrated with the target B, and even if the tracking unit 3 cannot track the second target B in the time series image X after the second time series image X2, it is tracked. Maintains the decision to treat the continuing first object A as one with the second object B ". That is, in this modification, the step S2 in FIG. 4 is not performed.

このような構成によれば、第2の対象Bが第1の対象Aと重なることを予測して、早めに第1の対象Aを第2の対象Bと一体化として取り扱うことができるので、安定した追跡を行うことが可能となる。また、図4のS2のステップを行わないのでコンピュータの負荷も低減させることが可能となる。 According to such a configuration, it is possible to predict that the second target B will overlap with the first target A, and treat the first target A as one with the second target B as soon as possible. It is possible to perform stable tracking. Further, since the step S2 in FIG. 4 is not performed, the load on the computer can be reduced.

なお、この場合にも、「第2の対象Bを追跡できなかった時系列画像Xに続く第2の時系列画像X2において追跡部3が第3の対象Cの追跡を新たに開始し、かつ、第2の時系列画像X2における第1の対象Aと第3の対象Cとの間の対象間距離Yが第2の所定距離以内であった場合に、決定部6は、第2の時系列画像X2以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことを中止し、新たに追跡を開始された第3の対象Cを第2の対象Bとして取り扱うことに決定する」こと、及び、「第2の対象Bと一体化したものとして取り扱われている第1の対象Aが検出線Zを通過した場合に、計数部7は、第2の対象Bを加えて計数する」ことが可能である。 Also in this case, "In the second time-series image X2 following the time-series image X in which the second target B could not be tracked, the tracking unit 3 newly starts tracking the third target C, and , When the distance Y between the first target A and the third target C in the second time-series image X2 is within the second predetermined distance, the determination unit 6 determines the second time. In the time-series image X after the series image X2, the treatment of the first target A as one integrated with the second target B is stopped, and the third target C newly started to be tracked is the second target C. When the first target A, which is treated as integrated with the second target B, passes through the detection line Z, the counting unit 7 determines to treat it as the target B. It is possible to add the target B of 2 and count.

また、上記実施の形態では、第1の対象A及び第2の対象Bの追跡を例に説明を行ったが、更に多くの対象の追跡を行っても良い。その場合には、対象の組み合わせごとに、一体として取り扱うか否かの決定等が行われることとなる。 Further, in the above-described embodiment, the tracking of the first target A and the second target B has been described as an example, but more targets may be tracked. In that case, it is decided whether or not to handle each combination of objects as a unit.

また、上記実施の形態では、一連の時系列画像Xは、固定された撮影手段により所定の空間を撮影したものであったが、移動手段に搭載された撮影手段等により任意の空間を撮影したものであっても良い。 Further, in the above embodiment, the series of time-series images X is obtained by photographing a predetermined space by a fixed photographing means, but an arbitrary space is photographed by an imaging means or the like mounted on the moving means. It may be a thing.

また、上記実施の形態では、測定部4は、理解容易のために、水平面上の対象間距離Yを算出したが、時系列画像X上の対象間の距離を単純に測定したものを対象間距離Yとして用いても良い。 Further, in the above embodiment, the measuring unit 4 calculates the distance Y between the objects on the horizontal plane for the sake of easy understanding, but the distance between the objects on the time-series image X is simply measured. It may be used as a distance Y.

また、上記実施の形態では、対象として人間を例に説明したが、動物やロボットについて使用することも可能である。 Further, in the above embodiment, although human beings have been described as an example, animals and robots can also be used.

また、本発明は、対象追跡装置が行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。 The present invention can also be applied to a program or method corresponding to the processing performed by the target tracking device, and a recording medium in which the program is stored. In the case of a recording medium, the program will be installed on a computer or the like. Here, the recording medium in which the program is stored may be a non-transient recording medium. As a non-transient recording medium, a CD-ROM or the like can be considered, but the non-transitory recording medium is not limited thereto.

1 対象追跡装置
2 取得部
3 追跡部
4 測定部
5 判定部
6 決定部
7 計数部
X 時系列画像
Y 対象間距離
Z 検出線
1 Target tracking device 2 Acquisition unit 3 Tracking unit 4 Measurement unit 5 Judgment unit 6 Determination unit 7 Counting unit X Time-series image Y Distance between targets Z Detection line

Claims (12)

一連の時系列画像に映った複数の対象を追跡する追跡部と、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定する測定部と、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定する判定部と、
第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡部が追跡できなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、
を備え、
前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において前記追跡部が第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定部は、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡装置。
A tracking unit that tracks multiple objects in a series of time-series images,
A measuring unit that measures the distance between objects between a plurality of objects in at least a plurality of time-series images in the series of time-series images.
A determination unit for determining whether or not the second target is approaching the first target based on the measured distance between the first target and the second target.
The tracking unit cannot track the second object determined to be approaching in the first time-series image in the second time-series image following the first time-series image, and the first time-series image. In the time-series images after the second time-series image, when the distance between the objects in the time-series image 1 is within the first predetermined distance between the first object and the second object. , A decision unit that decides to treat the first object for which tracking is continuing as an integral part of the second object.
Equipped with
In the third time-series image following the time-series image in which the first object is treated as integrated with the second object, the tracking unit newly starts tracking of the third object, and When the distance between the objects in the third time-series image between the first object and the third object is within the second predetermined distance, the determination unit determines the third time-series. In the time-series images after the image, the treatment of the first object as one integrated with the second object is stopped, and the newly started tracking third object is regarded as the second object. An object tracking device characterized in that it decides to handle .
前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数部は、前記第2の対象を加えて計数することを特徴とする請求項1に記載の対象追跡装置。
Among the tracked objects, a counting unit for counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image is further provided.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting unit adds the second object and counts. The target tracking device according to claim 1 .
コンピュータにインストールされるプログラムであって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡プログラム。
A program installed on your computer
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the second object is approaching the first object based on the measured distance between the objects of the first object and the second object.
The second object determined to be approaching in the first time-series image cannot be tracked in the second time-series image following the first time-series image, and the first one. When the distance between the objects in the time-series image between the first object and the second object is within the first predetermined distance, in the time-series images after the second time-series image, the said The step of deciding to treat the first object, which is being tracked, as an integral part of the second object,
Equipped with
The tracking of the third object is newly started in the third time-series image following the time-series image in which the first object is treated as integrated with the second object, and the third object is described. When the distance between the objects in the time-series image between the first object and the third object is within the second predetermined distance, in the step of determining the determination, after the third time-series image. In the time-series image, the treatment of the first object as one integrated with the second object is stopped, and the newly started tracking third object is treated as the second object. A target tracking program characterized by making decisions .
前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項3に記載の対象追跡プログラム。
Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking program according to claim 3 .
コンピュータで使用される方法であって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡方法。
The method used by computers
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the second object is approaching the first object based on the measured distance between the objects of the first object and the second object.
The second object determined to be approaching in the first time-series image cannot be tracked in the second time-series image following the first time-series image, and the first one. When the distance between the objects in the time-series image between the first object and the second object is within the first predetermined distance, in the time-series images after the second time-series image, the said The step of deciding to treat the first object, which is being tracked, as an integral part of the second object,
Equipped with
The tracking of the third object is newly started in the third time-series image following the time-series image in which the first object is treated as integrated with the second object, and the third object is described. When the distance between the objects in the time-series image between the first object and the third object is within the second predetermined distance, in the step of determining the determination, after the third time-series image. In the time-series image, the treatment of the first object as one integrated with the second object is stopped, and the newly started tracking third object is treated as the second object. A target tracking method characterized by determining .
前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項5に記載の対象追跡方法。
Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking method according to claim 5 .
一連の時系列画像に映った複数の対象を追跡する追跡部と、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定する測定部と、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定する判定部と、
第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、
を備え、
前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定部は、前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持し、
前記第2の対象を追跡できなかった時系列画像に続く第2の時系列画像において前記追跡部が第3の対象の追跡を新たに開始し、かつ、前記第2の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定部は、前記第2の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡装置。
A tracking unit that tracks multiple objects in a series of time-series images,
A measuring unit that measures the distance between objects between a plurality of objects in at least a plurality of time-series images in the series of time-series images.
A determination unit that determines whether or not the first target and the second target are approaching based on the measured distance between the first target and the second target.
When it is determined in the first time-series image that the object is approaching, and the distance between the objects in the first time-series image between the first object and the second object is equal to or less than the first predetermined distance. If there is, a determination unit that decides to treat the first object as one integrated with the second object in the time series images after the first time series image.
Equipped with
Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the determination unit may use the first object for which the tracking is continued. Maintaining the decision to treat as one with the second object,
In the second time-series image following the time-series image in which the second object could not be tracked, the tracking unit newly starts tracking the third object, and the second in the second time-series image. When the distance between the objects of 1 and the object of the third object is within the second predetermined distance, the determination unit determines the second time-series image in the time-series images after the second time-series image. It is characterized in that it decides to stop treating the object 1 as one integrated with the second object and treat the newly started third object as the second object . Target tracking device.
前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数部は、前記第2の対象を加えて計数することを特徴とする請求項7に記載の対象追跡装置。
Among the tracked objects, a counting unit for counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image is further provided.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting unit adds the second object and counts. The target tracking device according to claim 7 .
コンピュータにインストールされるプログラムであって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持し、
前記第2の対象を追跡できなかった時系列画像に続く第2の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第2の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第2の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡プログラム。
A program installed on your computer
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the first object and the second object are approaching based on the measured distance between the first object and the second object.
When it is determined in the first time-series image that the object is approaching, and the distance between the objects in the first time-series image between the first object and the second object is equal to or less than the first predetermined distance. If so, in the time-series images after the first time-series image, the step of deciding to treat the first object as one integrated with the second object, and
Equipped with
Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the first object whose tracking is continued in the determination step is described. Maintaining the decision to treat as one with the second object,
The tracking of the third object is newly started in the second time-series image following the time-series image in which the second object could not be tracked, and the first object in the second time-series image is used. When the distance between the objects with the third object is within the second predetermined distance, in the step of determining the first object in the time series images after the second time series image. Is discontinued as being integrated with the second target, and the target tracking program is determined to treat the newly started third target as the second target. ..
前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項9に記載の対象追跡プログラム。
Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking program according to claim 9 .
コンピュータで使用される方法であって、
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持し、
前記第2の対象を追跡できなかった時系列画像に続く第2の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第2の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第2の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡方法。
The method used by computers
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the first object and the second object are approaching based on the measured distance between the first object and the second object.
When it is determined in the first time-series image that the object is approaching, and the distance between the objects in the first time-series image between the first object and the second object is equal to or less than the first predetermined distance. If so, in the time-series images after the first time-series image, the step of deciding to treat the first object as one integrated with the second object, and
Equipped with
Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the first object whose tracking is continued in the determination step is described. Maintaining the decision to treat as one with the second object,
The tracking of the third object is newly started in the second time-series image following the time-series image in which the second object could not be tracked, and the first object in the second time-series image is used. When the distance between the objects with the third object is within the second predetermined distance, in the step of determining the first object in the time series images after the second time series image. Is discontinued as being integrated with the second target, and the target tracking method is determined to treat the newly started third target as the second target. ..
前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数するステップを更に備え、
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項11に記載の対象追跡方法。
Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking method according to claim 11 .
JP2021131551A 2021-08-12 2021-08-12 Target tracking device Active JP7017217B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021131551A JP7017217B1 (en) 2021-08-12 2021-08-12 Target tracking device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021131551A JP7017217B1 (en) 2021-08-12 2021-08-12 Target tracking device

Publications (2)

Publication Number Publication Date
JP7017217B1 true JP7017217B1 (en) 2022-02-08
JP2023026003A JP2023026003A (en) 2023-02-24

Family

ID=80844043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021131551A Active JP7017217B1 (en) 2021-08-12 2021-08-12 Target tracking device

Country Status (1)

Country Link
JP (1) JP7017217B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063577A (en) 2000-08-15 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> System and method for analyzing image, and image analysis program recording medium
JP2006172023A (en) 2004-12-14 2006-06-29 Matsushita Electric Works Ltd Human body detection device
JP2006331347A (en) 2005-05-30 2006-12-07 Olympus Corp Image processor and object domain tracking program
JP2009027651A (en) 2007-07-23 2009-02-05 Sony Corp Surveillance system, surveillance camera, surveillance method and surveillance program
JP2015222881A (en) 2014-05-23 2015-12-10 パナソニックIpマネジメント株式会社 Monitoring device, monitoring system and monitoring method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063577A (en) 2000-08-15 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> System and method for analyzing image, and image analysis program recording medium
JP2006172023A (en) 2004-12-14 2006-06-29 Matsushita Electric Works Ltd Human body detection device
JP2006331347A (en) 2005-05-30 2006-12-07 Olympus Corp Image processor and object domain tracking program
JP2009027651A (en) 2007-07-23 2009-02-05 Sony Corp Surveillance system, surveillance camera, surveillance method and surveillance program
JP2015222881A (en) 2014-05-23 2015-12-10 パナソニックIpマネジメント株式会社 Monitoring device, monitoring system and monitoring method

Also Published As

Publication number Publication date
JP2023026003A (en) 2023-02-24

Similar Documents

Publication Publication Date Title
US11763568B2 (en) Ground plane estimation in a computer vision system
CN108986164B (en) Image-based position detection method, device, equipment and storage medium
JP5911299B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP5767464B2 (en) Information processing apparatus, information processing apparatus control method, and program
JP2019514547A5 (en)
JP2010244549A5 (en)
RU2017102520A (en) METHOD AND DEVICE FOR IMAGE PROCESSING
JP2014063475A5 (en)
JP6331785B2 (en) Object tracking device, object tracking method, and object tracking program
JP2017033429A (en) Three-dimensional object inspection device
US11874666B2 (en) Self-location estimation method
JP2018022247A5 (en)
JP2015133078A5 (en)
JP2016110381A (en) Number-of-objects counting device, program, and method for counting number of objects
JP2018105688A (en) Obstacle detector
JP7017217B1 (en) Target tracking device
KR101428373B1 (en) Apparatus and method for determining available parking space
MY188075A (en) Pose detection method and device, electronic device and storage medium
US20150063637A1 (en) Image recognition method and robot
KR101556918B1 (en) Method for estimating the size of the imaging target
US20110085699A1 (en) Method and apparatus for tracking image patch considering scale
JP2017195458A5 (en)
KR20160085693A (en) Three-dimensional shape measuring device, three-dimensional shape measuring method and recording medium
JP2015056043A5 (en)
WO2014192061A1 (en) Image processing device, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220119

R150 Certificate of patent or registration of utility model

Ref document number: 7017217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150