JP7017217B1 - Target tracking device - Google Patents
Target tracking device Download PDFInfo
- Publication number
- JP7017217B1 JP7017217B1 JP2021131551A JP2021131551A JP7017217B1 JP 7017217 B1 JP7017217 B1 JP 7017217B1 JP 2021131551 A JP2021131551 A JP 2021131551A JP 2021131551 A JP2021131551 A JP 2021131551A JP 7017217 B1 JP7017217 B1 JP 7017217B1
- Authority
- JP
- Japan
- Prior art keywords
- time
- series
- objects
- series image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】 時系列画像に映った対象を追跡するための対象追跡装置を提供する。【解決手段】 対象追跡装置1は、一連の時系列画像Xに映った複数の対象を追跡する追跡部3と、一連の時系列画像Xにおける複数の対象間の対象間距離を測定する測定部4と、測定された第1の対象Aと第2の対象Bとの間の対象間距離Yに基づき、第2の対象Bが第1の対象Aに接近中であるか否かを判定する判定部5と、第1の時系列画像X1において接近中と判定されていた第2の対象Bを第2の時系列画像X2において追跡部3が追跡できなくなり、かつ、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以内であった場合に、第2の時系列画像X2以降の時系列画像において、追跡が継続されている第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定する決定部7と、を備えている。【選択図】図4PROBLEM TO BE SOLVED: To provide an object tracking device for tracking an object reflected in a time-series image. A target tracking device 1 has a tracking unit 3 that tracks a plurality of objects reflected in a series of time-series images X, and a measurement unit that measures a distance between the objects in a series of time-series images X. Based on 4 and the measured distance Y between the first target A and the second target B, it is determined whether or not the second target B is approaching the first target A. The determination unit 5 and the second target B determined to be approaching in the first time-series image X1 cannot be tracked by the tracking unit 3 in the second time-series image X2, and the first time-series image When the distance Y between the objects between the first object A and the second object B in X1 is within the first predetermined distance, the tracking is performed in the time series images after the second time series image X2. It includes a determination unit 7 that determines to treat the continuing first object A as an integral part of the second object B. [Selection diagram] FIG. 4
Description
本発明は、時系列画像に映った対象を追跡するための対象追跡装置に関する。 The present invention relates to an object tracking device for tracking an object reflected in a time-series image.
従来より、行動体の複数の関節の座標及び深度の時系列画像における変位に基づき、行動体の行動を推定する行動推定装置が知られている(例えば、特許文献1参照)。 Conventionally, a behavior estimation device that estimates the behavior of a behavioral body based on the displacement of the coordinates and depths of a plurality of joints of the behavioral body in a time-series image has been known (see, for example, Patent Document 1).
上記技術では、時系列画像において同一の行動体を特定(追跡)する必要があるが、複数の行動体が重なった場合には行動体の追跡に失敗してしまうことがある。 In the above technique, it is necessary to identify (track) the same behavior in a time-series image, but if a plurality of behaviors overlap, the tracking of the behavior may fail.
そこで、本発明は、時系列画像に映った対象を高精度に追跡することが可能な対象追跡装置を提供することを目的としている。 Therefore, an object of the present invention is to provide an object tracking device capable of tracking an object reflected in a time-series image with high accuracy.
本発明は、一連の時系列画像に映った複数の対象を追跡する追跡部と、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定する測定部と、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定する判定部と、第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡部が追跡できなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、を備えたことを特徴とする対象追跡装置を提供している。 The present invention is a tracking unit that tracks a plurality of objects reflected in a series of time-series images, and a measurement that measures the distance between the objects in at least a plurality of time-series images in the series of time-series images. A determination unit for determining whether or not the second object is approaching the first object based on the distance between the unit and the measured distance between the first object and the second object. The second target, which was determined to be approaching in the first time-series image, cannot be tracked by the tracking unit in the second time-series image following the first time-series image, and When the distance between the objects in the first time-series image between the first object and the second object is within the first predetermined distance, the time series after the second time-series image. Provided is an object tracking device comprising: a determination unit that determines to treat a first object whose tracking is continued in an image as an integral part of the second object. There is.
また、前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において前記追跡部が第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定部は、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することが好ましい。 Further, in the third time-series image following the time-series image in which the first object is treated as integrated with the second object, the tracking unit newly starts tracking the third object. Moreover, when the distance between the objects in the third time-series image between the first object and the third object is within the second predetermined distance, the determination unit determines the third object. In the time-series images after the time-series image, the treatment of the first object as one integrated with the second object is stopped, and the third object newly started to be tracked is the second object. It is preferable to decide to treat it as an object.
また、前記追跡している対象のうち、各時系列画像中の同一の空間位置に仮想的に配置された検出線を通過した対象を計数する計数部を更に備え、前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数部は、前記第2の対象を加えて計数することが好ましい。 Further, among the tracking objects, a counting unit for counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image is further provided, and is integrated with the second object. When the first object, which is treated as a ghost, passes through the detection line, it is preferable that the counting unit adds the second object to count.
また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備えたことを特徴とする対象追跡プログラムを提供している。 Further, according to another aspect of the present invention, a program installed on a computer, in which a step of tracking a plurality of objects reflected in a series of time-series images, and at least a plurality of the series of time-series images. Based on the step of measuring the distance between objects in the time-series image of the above and the distance between the objects measured between the first object and the second object, the second object is the second object. The step of determining whether or not the object is approaching 1 and the second object determined to be approaching in the first time-series image are the second following the first time-series image. When the tracking cannot be performed in the time-series image of the above, and the distance between the objects in the first time-series image between the first object and the second object is within the first predetermined distance. In addition, in the time-series images after the second time-series image, the step of determining to treat the first object whose tracking is continued as one integrated with the second object is provided. It provides a target tracking program characterized by this.
また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備えたことを特徴とする対象追跡方法を提供している。 Further, according to another aspect of the present invention, a step of tracking a plurality of objects reflected in a series of time-series images and a plurality of objects in at least a plurality of time-series images in the series of time-series images. Whether or not the second target is approaching the first target based on the step of measuring the distance between the objects and the distance between the measured first target and the second target. The step of determining whether or not the second target, which was determined to be approaching in the first time-series image, cannot be tracked in the second time-series image following the first time-series image. Moreover, when the distance between the objects in the first time-series image between the first object and the second object is within the first predetermined distance, the second time-series image and thereafter. Provided is an object tracking method comprising: a step of determining to treat a first object whose tracking is continued as one integrated with the second object in the time-series image of the above. is doing.
また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡する追跡部と、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定する測定部と、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定する判定部と、第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、を備え、前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定部は、前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡装置を提供している。 Further, according to another aspect of the present invention, there is a tracking unit that tracks a plurality of objects reflected in a series of time-series images, and a plurality of objects in at least a plurality of time-series images in the series of time-series images. The first target and the second target are approaching based on the distance between the measuring unit for measuring the distance between the objects and the measured distance between the first target and the second target. A determination unit for determining whether or not the image is approaching, and an object between the first object and the second object in the first time-series image, which is determined to be approaching. When the distance is equal to or less than the first predetermined distance, it is decided to treat the first object as one integrated with the second object in the time series images after the first time series image. Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the determination unit continues the tracking. Provided is an object tracking device characterized in that it maintains a decision to treat the first object as an integral part of the second object.
また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備え、前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡プログラムを提供している。 Also, according to another aspect of the invention, a computer-installed program that tracks a plurality of objects in a series of time-series images and at least a plurality of the series of time-series images. Based on the step of measuring the distance between objects in the time-series image of the above and the distance between the objects measured between the first object and the second object, the first object and the first object are described. The step of determining whether or not the second object is approaching, the first object and the second object in the first time-series image, which are determined to be approaching, and the first time-series image. When the distance between the objects is equal to or less than the first predetermined distance, the first object is integrated with the second object in the time-series images after the first time-series image. The step of determining the second object is provided even when the tracking unit cannot track the second object in the time-series image after the first time-series image. Provided in the subject tracking program, characterized in that the determination to treat the first subject to which the tracking is continued as an integral part with the second subject is maintained.
また、本発明の別の観点によれば、一連の時系列画像に映った複数の対象を追跡するステップと、前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、を備え、前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持することを特徴とする対象追跡方法を提供している。 Further, according to another aspect of the present invention, a step of tracking a plurality of objects reflected in a series of time-series images and between the plurality of objects in at least a plurality of time-series images in the series of time-series images. Whether or not the first target and the second target are approaching based on the step of measuring the distance between the objects and the distance between the measured first target and the second target. The step of determining whether or not, and the distance between the objects determined to be approaching in the first time-series image and between the first object and the second object in the first time-series image are When the distance is equal to or less than the first predetermined distance, in the time-series images after the first time-series image, the step of deciding to treat the first object as one integrated with the second object. , And even if the tracking unit cannot track the second target in the time-series image after the first time-series image, the tracking is continued in the determination step. Provided is a subject tracking method characterized in that the determination to treat the subject as one with the second subject is maintained.
本発明の対象追跡装置によれば、時系列画像に映った対象を高精度に追跡することが可能となる。 According to the object tracking device of the present invention, it is possible to track an object reflected in a time-series image with high accuracy.
以下、本発明の実施の形態による対象追跡装置1について、図1-図4を参照して説明する。
Hereinafter, the
対象追跡装置1は、図1に示すように、一連の時系列画像Xに映った複数の対象(図1では、第1の対象A及び第2の対象B)を追跡するためのものである。本実施の形態では、対象として、人間を例に説明を行う。
As shown in FIG. 1, the
対象追跡装置1は、図2に示すように、取得部2と、追跡部3と、測定部4と、判定部5と、決定部6と、計数部7と、を備えている。
As shown in FIG. 2, the
取得部2は、一連の時系列画像Xを取得する。本実施の形態では、固定された撮影手段により撮影された所定の空間の映像を構成する一連のフレームを、一連の時系列画像Xとして取得するものとする。
The
追跡部3は、一連の時系列画像Xに映った複数の対象(本実施の形態では、第1の対象A及び第2の対象B)を追跡する。
The
追跡の方法としては様々なものが考えられるが、本実施の形態では、一の時系列画像Xにおいて検出された複数の関節の集合体に基づき対象を特定し、当該検出された関節の集合体に対応する集合体を次の時系列画像Xにおいて検出した際に、同一の対象と特定して追跡を行う。 Various tracking methods can be considered, but in the present embodiment, the target is specified based on the aggregate of a plurality of joints detected in one time-series image X, and the aggregate of the detected joints is specified. When the aggregate corresponding to is detected in the next time-series image X, it is identified as the same target and tracked.
測定部4は、一連の時系列画像Xのうちの少なくとも複数の時系列画像Xにおける複数の対象間の対象間距離Yを測定する。本実施の形態では、各時系列画像Xにおける対象間の対象間距離Yを測定するものとするが、所定枚数ごとに測定しても良いし、任意の時系列画像Xのみで対象間距離Yを測定しても良い。対象間距離Yとしては、絶対的な距離であっても相対的な距離であっても良い。
The
なお、本実施の形態では、図1に示す側方から撮影された時系列画像Xから、図3(a)に示す水平面上の対象間距離Yを算出する。 In this embodiment, the distance Y between objects on the horizontal plane shown in FIG. 3A is calculated from the time-series image X taken from the side shown in FIG.
この算出方法としては様々なものが考えられるが、本実施の形態では、各時系列画像Xに映る第1の対象A及び第2の対象Bのサイズから第1の対象A及び第2の対象Bの水平面上の座標をそれぞれ推定し、当該座標間の距離を対象間距離Yとして算出する。 Various methods can be considered for this calculation method, but in the present embodiment, the first target A and the second target A and the second target are selected from the sizes of the first target A and the second target B reflected in each time-series image X. The coordinates of B on the horizontal plane are estimated, and the distance between the coordinates is calculated as the distance Y between the objects.
判定部5は、測定されたた第1の対象Aと第2の対象Bとの間の対象間距離Yに基づき、第2の対象Bが第1の対象Aに接近中であるか否かを判定する。
The
これは、一の時系列画像Xにおける対象間距離Yが直前の時系列画像Xにおける対象間距離Yよりも短くなっていた場合に“接近中”と判定しても良いし、所定枚数前の時系列画像Xにおける対象間距離Yよりも短くなっていた場合に“接近中”と判定しても良い。 This may be determined as "approaching" when the inter-object distance Y in one time-series image X is shorter than the inter-object distance Y in the immediately preceding time-series image X, or may be determined to be "approaching". When the distance between the objects in the time-series image X is shorter than the distance Y, it may be determined as "approaching".
決定部6は、図3(b)(c)に示すように、第1の時系列画像X1において“接近中”と判定されていた第2の対象Bを、第1の時系列画像X1に続く第2の時系列画像X2において追跡部3が追跡できなくなり、かつ、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以内であった場合に、第2の時系列画像X2以降の時系列画像Xにおいて、追跡が継続されている第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定する。
As shown in FIGS. 3 (b) and 3 (c), the
これは、「それまで第1の対象Aに“接近中”であった第2の対象Bを追跡できなくなった」ことは、「第2の対象Bが第1の対象Aと重なっているはずである」という考えに起因したものである。 This means that "the second target B, which was" approaching "the first target A until then, can no longer be tracked" means that "the second target B should overlap with the first target A." It is due to the idea that "is."
これにより、対象の重なりを検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の重なりを検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。 This makes it possible to easily detect the overlap of objects with a low load without providing a high-performance and high-load configuration for detecting the overlap of objects, thereby realizing highly accurate tracking of objects. It becomes possible.
なお、一体として取り扱うタイミングは、追跡部3の能力に依存する。例えば、追跡部3の能力が高ければ、第1の対象Aと第2の対象Bの大部分が重なって初めて一体化したものとして取り扱うことになり、追跡部3の能力が低ければ、第1の対象Aと第2の対象Bの一部が重なっただけでも一体化したものとして取り扱うことになり得る。
The timing of handling as a unit depends on the ability of the
また、本実施の形態では、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以内であることを条件として、第2の時系列画像X2以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うので、これにより、第2の対象Bが第1の対象Aから遠く離れているにも関わらず何らかの原因で第2の対象Bを追跡できなかった場合にまで、第2の対象Bを第1の対象Aと一体化したものとして取り扱ってしまうことが防止される。 Further, in the present embodiment, the first is provided that the distance Y between the objects in the first time-series image X1 between the first object A and the second object B is within the first predetermined distance. In the time-series image X after the time-series image X2 of 2, the first target A is treated as integrated with the second target B, so that the second target B is far from the first target A. Even when the second target B cannot be tracked for some reason even though it is distant, it is possible to prevent the second target B from being treated as integrated with the first target A.
なお、第1の所定距離としては、「対象間距離Yがどれくらいになると追跡部3が第2の対象Bを追跡できなくなるか」を実験等により求めた上で、適当な距離を設定すれば良い。
As the first predetermined distance, if an appropriate distance is set after obtaining "how long the distance Y between the objects becomes so that the
更に、決定部6は、図3(d)に示すように、第1の対象Aを第2の対象Bと一体化したものとして取り扱っていた時系列画像Xに続く第3の時系列画像X3において追跡部3が第3の対象Cの追跡を新たに開始し、かつ、第3の時系列画像X3における第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であった場合に、第3の時系列画像X3以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことを中止し、新たに追跡を開始された第3の対象Cを第2の対象Bとして取り扱うことに決定する。
Further, as shown in FIG. 3D, the
これは、「第1の対象Aから近い位置で第3の対象Cの追跡を新たに開始した」ことは、「第1の対象Aと重なっていた第2の対象Bが第1の対象Aから離れたはずである」という考えに起因したものである。 This means that "the tracking of the third target C was newly started at a position close to the first target A" means that "the second target B that overlapped with the first target A is the first target A." It is due to the idea that "it should be away from."
これにより、対象の分離を検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の分離を検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。 This makes it possible to detect the separation of the target easily and with a low load without providing a high-performance and high-load configuration for detecting the separation of the target, thereby realizing highly accurate tracking of the target. It becomes possible.
なお、第3の対象Cを第2の対象Bとして取り扱うタイミングも、追跡部3の能力に依存する。例えば、追跡部3の能力が高ければ、第1の対象Aと第2の対象Bがある程度分離しただけでも第3の対象Cを第2の対象Bとして取り扱うことになり、追跡部3の能力が低ければ、第1の対象Aと第2の対象Bが完全に分離して初めて第3の対象Cを第2の対象Bとして取り扱うことになり得る。
The timing of treating the third target C as the second target B also depends on the ability of the
また、本実施の形態では、第3の時系列画像X3における第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であることを条件として、第3の対象Cを第2の対象Bとして取り扱うので、これにより、第1の対象Aとは遠く離れた位置で第3の対象Cの追跡が開始された場合にまで、第3の対象Cを第2の対象Bとして取り扱ってしまうことが防止される。 Further, in the present embodiment, the third object is provided on the condition that the distance Y between the objects A and the third object C in the third time-series image X3 is within the second predetermined distance. Since the target C is treated as the second target B, the third target C is treated as the second target C even when the tracking of the third target C is started at a position far away from the first target A. It is prevented from being treated as the target B of.
なお、第2の所定距離としては、「対象間距離Yがどれくらいになると追跡部3が第1の対象Aと重なっていた第2の対象Bを個別に追跡し始めるか」を実験等により求めた上で、適当な距離を設定すれば良い。
As the second predetermined distance, "when the inter-target distance Y becomes, the
計数部7は、追跡している対象のうち、各時系列画像X中の同一の空間位置に仮想的に配置された検出線Z(図1及び図3参照)を通過した対象を計数する。
The
更に、本実施の形態では、第2の対象Bと一体化したものとして取り扱われている第1の対象Aが検出線Zを通過した場合に、計数部7は、第2の対象Bを加えて計数する。
Further, in the present embodiment, when the first target A, which is treated as integrated with the second target B, passes through the detection line Z, the
これにより、第1の対象Aに重なっている第2の対象Bを計数し損なうことが防止される。 This prevents the second target B, which overlaps the first target A, from failing to be counted.
続いて、図4のフローチャートを用いて、対象追跡装置1の動作について説明する。以下では、対象A及び対象Bの追跡が既に行われている状態から説明を行う。
Subsequently, the operation of the
まず、一の時系列画像Xを取得し(S1)、取得した時系列画像Xにおいて追跡部3が第2の対象Bを追跡できたか否かを判断する(S2)。
First, one time-series image X is acquired (S1), and it is determined whether or not the
第2の対象Bを追跡できた場合には(S2:YES)、S1に戻り、次に続く時系列画像Xを取得する。 If the second target B can be tracked (S2: YES), the process returns to S1 and the next time-series image X is acquired.
一方、第2の対象Bを追跡できなかった場合には(S2:NO)、前の時系列画像X(第1の時系列画像X1)において“接近中”と判定され、かつ、第1の時系列画像X1における対象間距離Yが第1の所定距離以内であったか否かを判断する(S3)。 On the other hand, when the second target B cannot be tracked (S2: NO), it is determined as "approaching" in the previous time-series image X (first time-series image X1), and the first time-series image X1 is determined. It is determined whether or not the distance Y between the objects in the time-series image X1 is within the first predetermined distance (S3).
“接近中”又は“第1の所定距離以内”でなかった場合には(S3:NO)、S1に戻り、次に続く時系列画像Xを取得する。 If it is not "approaching" or "within the first predetermined distance" (S3: NO), the process returns to S1 and the next time-series image X is acquired.
一方、“接近中”かつ“第1の所定距離以内”であった場合には(S3:YES)、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定する(S4)。 On the other hand, if it is "approaching" and "within the first predetermined distance" (S3: YES), it is decided to treat the first target A as one integrated with the second target B (S3: YES). S4).
その後、次に続く時系列画像Xを取得し(S5)、追跡部3が第3の対象Cの追跡を新たに開始したか否かを判断する(S6)。
After that, the following time-series image X is acquired (S5), and it is determined whether or not the
第3の対象Cの追跡を新たに開始していない場合には(S6:NO)、S5に戻り、次に続く時系列画像Xを取得する。 If the tracking of the third target C has not been newly started (S6: NO), the process returns to S5 and the subsequent time-series image X is acquired.
一方、第3の対象Cの追跡を新たに開始した場合には(S6:YES)、当該時系列画像Xにおける第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であるか否かを判断する(S7)。 On the other hand, when the tracking of the third target C is newly started (S6: YES), the distance Y between the first target A and the third target C in the time-series image X is the second. It is determined whether or not it is within a predetermined distance (S7).
対象間距離Yが第2の所定距離以内でない場合には(S7:NO)、S5に戻り、次に続く時系列画像Xを取得する。 If the distance Y between the objects is not within the second predetermined distance (S7: NO), the process returns to S5 and the next time-series image X is acquired.
一方、対象間距離Yが第2の所定距離以内である場合には(S7:YES)、第3の対象Cを第2の対象Bとして取り扱うことに決定した上で(S8)、S1に戻り、次に続く時系列画像Xを取得する。 On the other hand, when the distance Y between the objects is within the second predetermined distance (S7: YES), it is decided to treat the third object C as the second object B (S8), and then the process returns to S1. , Acquires the following time-series image X.
なお、いずれかのタイミング(時系列画像X)で第1の対象Aが検出線Zを通過した際には第1の対象Aを第2の対象Bと一体化したものとして取り扱っているか否かに基づき対象の計数を行う。 When the first target A passes the detection line Z at any timing (time-series image X), whether or not the first target A is treated as integrated with the second target B. The target is counted based on.
以上説明したように、本実施の形態では、それまで第1の対象Aに“接近中”であった第2の対象Bを追跡できなくなった場合に、以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱う。 As described above, in the present embodiment, when the second target B, which has been "approaching" to the first target A, cannot be tracked, the first time-series image X will be the first. The target A of the above is treated as integrated with the second target B.
このような構成によれば、対象の重なりを検出するための高機能及び高負荷の構成を備えることなく、容易かつ低負荷で対象の重なりを検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。また、第1の対象Aと第2の対象B間の対象間距離Yが第1の所定距離以内であることを条件として、第1の対象Aを第2の対象Bと一体化したものとして取り扱うので、これにより、第2の対象Bが第1の対象Aから遠く離れているにも関わらず何らかの原因で第2の対象Bを追跡できなかった場合にまで、第2の対象Bを第1の対象Aと一体として取り扱ってしまうことが防止される。 With such a configuration, it is possible to easily detect the overlap of the targets with a low load without providing a high-performance and high-load configuration for detecting the overlap of the targets, and thus the height of the target. It is possible to realize accurate tracking. Further, assuming that the first target A is integrated with the second target B, provided that the distance Y between the targets between the first target A and the second target B is within the first predetermined distance. As a result, the second target B is handled even when the second target B cannot be tracked for some reason even though the second target B is far away from the first target A. It is prevented from being treated as one with the object A of 1.
また、本実施の形態では、第1の対象Aを第2の対象Bと一体化したものとして取り扱っていた状況で第3の対象Cの追跡が新たに開始された場合、第3の対象Cを第2の対象Bとして取り扱う。 Further, in the present embodiment, when the tracking of the third target C is newly started in the situation where the first target A is treated as integrated with the second target B, the third target C is used. Is treated as the second object B.
このような構成によれば、対象の分離を検出するための高機能及び高負荷の構成を備えることなく容易かつ低負荷で対象の分離を検出することが可能となり、以て、対象の高精度な追跡を実現することが可能となる。また、第1の対象Aと第3の対象C間の対象間距離Yが第2の所定距離以内であることを条件として、第3の対象Cを第2の対象Bとして取り扱うので、これにより、第1の対象Aとは遠く離れた位置で第3の対象Cの追跡が開始された場合にまで、第3の対象Cを第2の対象Bとして取り扱ってしまうことが防止される。 With such a configuration, it is possible to detect the separation of the target easily and with a low load without providing a high-performance and high-load configuration for detecting the separation of the target, and thus the high accuracy of the target. It is possible to realize a good tracking. Further, the third target C is treated as the second target B on condition that the distance Y between the targets between the first target A and the third target C is within the second predetermined distance. , It is possible to prevent the third target C from being treated as the second target B until the tracking of the third target C is started at a position far away from the first target A.
また、本実施の形態では、第2の対象Bと一体化したものとして取り扱われている第1の対象Aが検出線Zを通過した場合に、第2の対象Bを加えて計数する。 Further, in the present embodiment, when the first target A, which is treated as being integrated with the second target B, passes through the detection line Z, the second target B is added and counted.
このような構成によれば、第1の対象Aに重なっている第2の対象Bを計数し損なうことが防止される。 According to such a configuration, it is possible to prevent the second target B overlapping the first target A from failing to be counted.
尚、本発明の対象追跡装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。 The target tracking device of the present invention is not limited to the above-described embodiment, and various modifications and improvements can be made within the scope described in the claims.
例えば、上記実施の形態では、「それまで第1の対象Aに“接近中”であった第2の対象Bを追跡できなくなった場合に、以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱った」が、第2の対象Bを追跡できなくなる前から第1の対象Aを第2の対象Bと一体化したものとして取り扱っても良い。 For example, in the above embodiment, "when the second target B, which has been" approaching "the first target A until then, cannot be tracked, the first target A is used in the subsequent time-series image X. Was treated as integrated with the second target B ”, but the first target A may be treated as integrated with the second target B even before the second target B cannot be tracked.
この場合には、図5に示すように、決定部6は、「第1の時系列画像X1において“接近中”と判定され、かつ、第1の時系列画像X1における第1の対象Aと第2の対象Bとの間の対象間距離Yが第1の所定距離以下であった場合に、第1の時系列画像X1以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことに決定し、更に、第2の時系列画像X2より後の時系列画像Xにおいて追跡部3が第2の対象Bを追跡できなかった場合にも、追跡が継続されている第1の対象Aを第2の対象Bと一体化として取り扱う決定を維持する」構成が考えられる。すなわち、本変形例では、図4におけるS2のステップを行わないこととなる。
In this case, as shown in FIG. 5, the
このような構成によれば、第2の対象Bが第1の対象Aと重なることを予測して、早めに第1の対象Aを第2の対象Bと一体化として取り扱うことができるので、安定した追跡を行うことが可能となる。また、図4のS2のステップを行わないのでコンピュータの負荷も低減させることが可能となる。 According to such a configuration, it is possible to predict that the second target B will overlap with the first target A, and treat the first target A as one with the second target B as soon as possible. It is possible to perform stable tracking. Further, since the step S2 in FIG. 4 is not performed, the load on the computer can be reduced.
なお、この場合にも、「第2の対象Bを追跡できなかった時系列画像Xに続く第2の時系列画像X2において追跡部3が第3の対象Cの追跡を新たに開始し、かつ、第2の時系列画像X2における第1の対象Aと第3の対象Cとの間の対象間距離Yが第2の所定距離以内であった場合に、決定部6は、第2の時系列画像X2以降の時系列画像Xにおいて、第1の対象Aを第2の対象Bと一体化したものとして取り扱うことを中止し、新たに追跡を開始された第3の対象Cを第2の対象Bとして取り扱うことに決定する」こと、及び、「第2の対象Bと一体化したものとして取り扱われている第1の対象Aが検出線Zを通過した場合に、計数部7は、第2の対象Bを加えて計数する」ことが可能である。
Also in this case, "In the second time-series image X2 following the time-series image X in which the second target B could not be tracked, the
また、上記実施の形態では、第1の対象A及び第2の対象Bの追跡を例に説明を行ったが、更に多くの対象の追跡を行っても良い。その場合には、対象の組み合わせごとに、一体として取り扱うか否かの決定等が行われることとなる。 Further, in the above-described embodiment, the tracking of the first target A and the second target B has been described as an example, but more targets may be tracked. In that case, it is decided whether or not to handle each combination of objects as a unit.
また、上記実施の形態では、一連の時系列画像Xは、固定された撮影手段により所定の空間を撮影したものであったが、移動手段に搭載された撮影手段等により任意の空間を撮影したものであっても良い。 Further, in the above embodiment, the series of time-series images X is obtained by photographing a predetermined space by a fixed photographing means, but an arbitrary space is photographed by an imaging means or the like mounted on the moving means. It may be a thing.
また、上記実施の形態では、測定部4は、理解容易のために、水平面上の対象間距離Yを算出したが、時系列画像X上の対象間の距離を単純に測定したものを対象間距離Yとして用いても良い。
Further, in the above embodiment, the measuring
また、上記実施の形態では、対象として人間を例に説明したが、動物やロボットについて使用することも可能である。 Further, in the above embodiment, although human beings have been described as an example, animals and robots can also be used.
また、本発明は、対象追跡装置が行う処理に相当するプログラム又は方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、CD-ROM等が考えられるが、それに限定されるものではない。 The present invention can also be applied to a program or method corresponding to the processing performed by the target tracking device, and a recording medium in which the program is stored. In the case of a recording medium, the program will be installed on a computer or the like. Here, the recording medium in which the program is stored may be a non-transient recording medium. As a non-transient recording medium, a CD-ROM or the like can be considered, but the non-transitory recording medium is not limited thereto.
1 対象追跡装置
2 取得部
3 追跡部
4 測定部
5 判定部
6 決定部
7 計数部
X 時系列画像
Y 対象間距離
Z 検出線
1
Claims (12)
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定する測定部と、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定する判定部と、
第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡部が追跡できなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、
を備え、
前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において前記追跡部が第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定部は、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡装置。 A tracking unit that tracks multiple objects in a series of time-series images,
A measuring unit that measures the distance between objects between a plurality of objects in at least a plurality of time-series images in the series of time-series images.
A determination unit for determining whether or not the second target is approaching the first target based on the measured distance between the first target and the second target.
The tracking unit cannot track the second object determined to be approaching in the first time-series image in the second time-series image following the first time-series image, and the first time-series image. In the time-series images after the second time-series image, when the distance between the objects in the time-series image 1 is within the first predetermined distance between the first object and the second object. , A decision unit that decides to treat the first object for which tracking is continuing as an integral part of the second object.
Equipped with
In the third time-series image following the time-series image in which the first object is treated as integrated with the second object, the tracking unit newly starts tracking of the third object, and When the distance between the objects in the third time-series image between the first object and the third object is within the second predetermined distance, the determination unit determines the third time-series. In the time-series images after the image, the treatment of the first object as one integrated with the second object is stopped, and the newly started tracking third object is regarded as the second object. An object tracking device characterized in that it decides to handle .
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数部は、前記第2の対象を加えて計数することを特徴とする請求項1に記載の対象追跡装置。 Among the tracked objects, a counting unit for counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image is further provided.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting unit adds the second object and counts. The target tracking device according to claim 1 .
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡プログラム。 A program installed on your computer
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the second object is approaching the first object based on the measured distance between the objects of the first object and the second object.
The second object determined to be approaching in the first time-series image cannot be tracked in the second time-series image following the first time-series image, and the first one. When the distance between the objects in the time-series image between the first object and the second object is within the first predetermined distance, in the time-series images after the second time-series image, the said The step of deciding to treat the first object, which is being tracked, as an integral part of the second object,
Equipped with
The tracking of the third object is newly started in the third time-series image following the time-series image in which the first object is treated as integrated with the second object, and the third object is described. When the distance between the objects in the time-series image between the first object and the third object is within the second predetermined distance, in the step of determining the determination, after the third time-series image. In the time-series image, the treatment of the first object as one integrated with the second object is stopped, and the newly started tracking third object is treated as the second object. A target tracking program characterized by making decisions .
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項3に記載の対象追跡プログラム。 Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking program according to claim 3 .
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像における複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第2の対象が前記第1の対象に接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定されていた前記第2の対象を、前記第1の時系列画像に続く第2の時系列画像において前記追跡ができなくなり、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以内であった場合に、前記第2の時系列画像以降の時系列画像において、前記追跡が継続されている第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の対象を前記第2の対象と一体化したものとして取り扱っていた時系列画像に続く第3の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第3の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第3の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡方法。 The method used by computers
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the second object is approaching the first object based on the measured distance between the objects of the first object and the second object.
The second object determined to be approaching in the first time-series image cannot be tracked in the second time-series image following the first time-series image, and the first one. When the distance between the objects in the time-series image between the first object and the second object is within the first predetermined distance, in the time-series images after the second time-series image, the said The step of deciding to treat the first object, which is being tracked, as an integral part of the second object,
Equipped with
The tracking of the third object is newly started in the third time-series image following the time-series image in which the first object is treated as integrated with the second object, and the third object is described. When the distance between the objects in the time-series image between the first object and the third object is within the second predetermined distance, in the step of determining the determination, after the third time-series image. In the time-series image, the treatment of the first object as one integrated with the second object is stopped, and the newly started tracking third object is treated as the second object. A target tracking method characterized by determining .
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項5に記載の対象追跡方法。 Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking method according to claim 5 .
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定する測定部と、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定する判定部と、
第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定する決定部と、
を備え、
前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定部は、前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持し、
前記第2の対象を追跡できなかった時系列画像に続く第2の時系列画像において前記追跡部が第3の対象の追跡を新たに開始し、かつ、前記第2の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定部は、前記第2の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡装置。 A tracking unit that tracks multiple objects in a series of time-series images,
A measuring unit that measures the distance between objects between a plurality of objects in at least a plurality of time-series images in the series of time-series images.
A determination unit that determines whether or not the first target and the second target are approaching based on the measured distance between the first target and the second target.
When it is determined in the first time-series image that the object is approaching, and the distance between the objects in the first time-series image between the first object and the second object is equal to or less than the first predetermined distance. If there is, a determination unit that decides to treat the first object as one integrated with the second object in the time series images after the first time series image.
Equipped with
Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the determination unit may use the first object for which the tracking is continued. Maintaining the decision to treat as one with the second object,
In the second time-series image following the time-series image in which the second object could not be tracked, the tracking unit newly starts tracking the third object, and the second in the second time-series image. When the distance between the objects of 1 and the object of the third object is within the second predetermined distance, the determination unit determines the second time-series image in the time-series images after the second time-series image. It is characterized in that it decides to stop treating the object 1 as one integrated with the second object and treat the newly started third object as the second object . Target tracking device.
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数部は、前記第2の対象を加えて計数することを特徴とする請求項7に記載の対象追跡装置。 Among the tracked objects, a counting unit for counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image is further provided.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting unit adds the second object and counts. The target tracking device according to claim 7 .
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持し、
前記第2の対象を追跡できなかった時系列画像に続く第2の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第2の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第2の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡プログラム。 A program installed on your computer
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the first object and the second object are approaching based on the measured distance between the first object and the second object.
When it is determined in the first time-series image that the object is approaching, and the distance between the objects in the first time-series image between the first object and the second object is equal to or less than the first predetermined distance. If so, in the time-series images after the first time-series image, the step of deciding to treat the first object as one integrated with the second object, and
Equipped with
Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the first object whose tracking is continued in the determination step is described. Maintaining the decision to treat as one with the second object,
The tracking of the third object is newly started in the second time-series image following the time-series image in which the second object could not be tracked, and the first object in the second time-series image is used. When the distance between the objects with the third object is within the second predetermined distance, in the step of determining the first object in the time series images after the second time series image. Is discontinued as being integrated with the second target, and the target tracking program is determined to treat the newly started third target as the second target. ..
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項9に記載の対象追跡プログラム。 Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking program according to claim 9 .
一連の時系列画像に映った複数の対象を追跡するステップと、
前記一連の時系列画像のうちの少なくとも複数の時系列画像において複数の対象間の対象間距離を測定するステップと、
前記測定された第1の対象と第2の対象との間の対象間距離に基づき、前記第1の対象と前記第2の対象が接近中であるか否かを判定するステップと、
第1の時系列画像において前記接近中と判定され、かつ、前記第1の時系列画像における前記第1の対象と前記第2の対象との間の対象間距離が第1の所定距離以下であった場合に、前記第1の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことに決定するステップと、
を備え、
前記第1の時系列画像より後の時系列画像において前記追跡部が前記第2の対象を追跡できなかった場合にも、前記決定するステップにおいて前記追跡が継続されている第1の対象を前記第2の対象と一体化として取り扱う決定を維持し、
前記第2の対象を追跡できなかった時系列画像に続く第2の時系列画像において第3の対象の追跡を新たに開始し、かつ、前記第2の時系列画像における前記第1の対象と前記第3の対象との間の対象間距離が第2の所定距離以内であった場合に、前記決定するステップでは、前記第2の時系列画像以降の時系列画像において、前記第1の対象を前記第2の対象と一体化したものとして取り扱うことを中止し、前記新たに追跡を開始された第3の対象を前記第2の対象として取り扱うことに決定することを特徴とする対象追跡方法。 The method used by computers
Steps to track multiple objects in a series of time series images,
A step of measuring the distance between a plurality of objects in at least a plurality of time-series images in the series of time-series images, and a step of measuring the distance between the objects.
A step of determining whether or not the first object and the second object are approaching based on the measured distance between the first object and the second object.
When it is determined in the first time-series image that the object is approaching, and the distance between the objects in the first time-series image between the first object and the second object is equal to or less than the first predetermined distance. If so, in the time-series images after the first time-series image, the step of deciding to treat the first object as one integrated with the second object, and
Equipped with
Even if the tracking unit cannot track the second object in the time-series image after the first time-series image, the first object whose tracking is continued in the determination step is described. Maintaining the decision to treat as one with the second object,
The tracking of the third object is newly started in the second time-series image following the time-series image in which the second object could not be tracked, and the first object in the second time-series image is used. When the distance between the objects with the third object is within the second predetermined distance, in the step of determining the first object in the time series images after the second time series image. Is discontinued as being integrated with the second target, and the target tracking method is determined to treat the newly started third target as the second target. ..
前記第2の対象と一体化したものとして取り扱われている前記第1の対象が前記検出線を通過した場合に、前記計数するステップでは、前記第2の対象を加えて計数することを特徴とする請求項11に記載の対象追跡方法。 Further provided is a step of counting the objects that have passed through the detection lines virtually arranged at the same spatial position in each time-series image among the objects being tracked.
When the first object, which is treated as integrated with the second object, passes through the detection line, the counting step is characterized in that the second object is added and counted. The target tracking method according to claim 11 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021131551A JP7017217B1 (en) | 2021-08-12 | 2021-08-12 | Target tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021131551A JP7017217B1 (en) | 2021-08-12 | 2021-08-12 | Target tracking device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7017217B1 true JP7017217B1 (en) | 2022-02-08 |
JP2023026003A JP2023026003A (en) | 2023-02-24 |
Family
ID=80844043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021131551A Active JP7017217B1 (en) | 2021-08-12 | 2021-08-12 | Target tracking device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7017217B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002063577A (en) | 2000-08-15 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | System and method for analyzing image, and image analysis program recording medium |
JP2006172023A (en) | 2004-12-14 | 2006-06-29 | Matsushita Electric Works Ltd | Human body detection device |
JP2006331347A (en) | 2005-05-30 | 2006-12-07 | Olympus Corp | Image processor and object domain tracking program |
JP2009027651A (en) | 2007-07-23 | 2009-02-05 | Sony Corp | Surveillance system, surveillance camera, surveillance method and surveillance program |
JP2015222881A (en) | 2014-05-23 | 2015-12-10 | パナソニックIpマネジメント株式会社 | Monitoring device, monitoring system and monitoring method |
-
2021
- 2021-08-12 JP JP2021131551A patent/JP7017217B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002063577A (en) | 2000-08-15 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | System and method for analyzing image, and image analysis program recording medium |
JP2006172023A (en) | 2004-12-14 | 2006-06-29 | Matsushita Electric Works Ltd | Human body detection device |
JP2006331347A (en) | 2005-05-30 | 2006-12-07 | Olympus Corp | Image processor and object domain tracking program |
JP2009027651A (en) | 2007-07-23 | 2009-02-05 | Sony Corp | Surveillance system, surveillance camera, surveillance method and surveillance program |
JP2015222881A (en) | 2014-05-23 | 2015-12-10 | パナソニックIpマネジメント株式会社 | Monitoring device, monitoring system and monitoring method |
Also Published As
Publication number | Publication date |
---|---|
JP2023026003A (en) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11763568B2 (en) | Ground plane estimation in a computer vision system | |
CN108986164B (en) | Image-based position detection method, device, equipment and storage medium | |
JP5911299B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
JP5767464B2 (en) | Information processing apparatus, information processing apparatus control method, and program | |
JP2019514547A5 (en) | ||
RU2017102520A (en) | METHOD AND DEVICE FOR IMAGE PROCESSING | |
CN110851296A (en) | Fault detection method and device and storage medium | |
JP2014063475A5 (en) | ||
JP6331785B2 (en) | Object tracking device, object tracking method, and object tracking program | |
JP2017033429A (en) | Three-dimensional object inspection device | |
JP2013161405A5 (en) | Subject determination device, subject determination method, and program | |
US11874666B2 (en) | Self-location estimation method | |
JP2018022247A5 (en) | ||
JP2015133078A5 (en) | ||
JPWO2020230237A5 (en) | ||
JP2016110381A (en) | Number-of-objects counting device, program, and method for counting number of objects | |
JP2018105688A (en) | Obstacle detector | |
JP7017217B1 (en) | Target tracking device | |
KR101428373B1 (en) | Apparatus and method for determining available parking space | |
MY188075A (en) | Pose detection method and device, electronic device and storage medium | |
US20150063637A1 (en) | Image recognition method and robot | |
KR101556918B1 (en) | Method for estimating the size of the imaging target | |
US20110085699A1 (en) | Method and apparatus for tracking image patch considering scale | |
JP2017195458A5 (en) | ||
JP2015201010A (en) | Unpredictable motion determination device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7017217 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |